Пять сценариев ИИ-апокалипсиса. Как страх перед собственными разработками захватил Кремниевую долину

Сотрудники Anthropic готовятся к ИИ-апокалипсису

Осенью 2026 года несколько действующих и бывших сотрудников Anthropic — одной из крупнейших лабораторий искусственного интеллекта в мире — рассказали коллегам по отрасли, что присматривают землю в отдаленных районах США. На случай, если разработки, которыми они сами занимаются, выйдут из-под контроля.

Ранее исследователь Джейкоб Коксон уволился из компании и написал пост, в котором заявил: люди, создающие ИИ, искренне верят, что технология способна уничтожить человечество уже до конца этого десятилетия. Пост набрал более 173 млн просмотров.

Чтобы понять, откуда взялись эти опасения, придется вернуться на 20 лет назад — в среду, из которой вышли почти все первые сотрудники ведущих ИИ-лабораторий.

Как появилось движение, которое пугает само себя

Корни сегодняшних страхов — в двух сообществах, которые появились в начале 2000-х в районе залива Сан-Франциско. Первое называло себя рационалистами. Второе — эффективными альтруистами. Некоторые участники у них были общими, но главное, оба сообщества постепенно пришли к выводу, что ИИ — главная угроза для человечества.

Главная фигура у рационалистов — Элиезер Юдковский. Он бросил школу и не получил университетского диплома. В середине 2000-х он вел блог о когнитивных искажениях — ошибках мышления, которые мешают принимать верные решения.

В 2009 году блог превратился в форум LessWrong. Там обсуждали, как думать без таких ошибок, и риски, связанные с ИИ.

В 2005 году Юдковский основал Machine Intelligence Research Institute (MIRI). Институт первым занялся выравниванием сверхразума — попыткой сделать так, чтобы цели умной машины совпадали с интересами людей.

Эффективные альтруисты решали другую задачу: как потратить деньги и силы с максимальной пользой. Они опирались на данные и считали, что важнее всего защитить не отдельных людей, а все человечество от глобальных катастроф. Главной угрозой они называли ИИ.

Один из читателей Юдковского — молодой физик Дарио Амодеи — в 2008 году вместе с другими проводил встречу для сообщества его блога. Сейчас он — сооснователь и CEO Anthropic.

Деньги на раннем этапе Anthropic тоже пришли из этой среды, пишет New York Post. В апреле 2022 года компания привлекла $580 млн. Большую часть суммы — около $500 млн — дал Сэм Бэнкман-Фрид, основатель криптобиржи FTX. Он объяснял вложение желанием поддержать безопасное развитие ИИ. Через несколько месяцев FTX рухнула, а в 2024 году Бэнкман-Фрида приговорили к 25 годам за мошенничество.

Сам Юдковский придерживается радикальных взглядов. В феврале 2026 года он встретился в Беркли с сенатором Берни Сандерсом — тот собирал мнения о том, как регулировать ИИ. Юдковский сказал, что при достаточно мощном ИИ люди «будут отброшены»: машины будут управлять роботами и заводами, а люди окажутся ненужными. Сандерс переспросил, что это значит. Юдковский ответил: «Думайте — все уже мертвы».

Пять способов, которыми ИИ может нас убить

Разговоры о конце света из-за ИИ идут не первый год. Но если отбросить эмоции, остается несколько сценариев, которые обсуждают всерьез.

Тоби Уолш, исследователь искусственного интеллекта из Университета Нового Южного Уэльса, разложил их на пять категорий. Он расположил сценарии от самых неопределенных к самым конкретным — и последний из них считает наиболее реалистичным.

Непредсказуемый сверхразум

Появление системы, которая превосходит человека во всех областях. Люди могут не понять, что она делает и зачем. Уолш называет это «досадным парадоксом-22»: чтобы предсказать, как поведет себя сверхразум (Artificial Superintelligence, ASI), нужно самому быть сверхразумом.

Пока сценарий далек от воплощения в реальность, поскольку до создания сверхразума еще далеко. Сегодняшние модели отлично решают отдельные задачи, но это не то же самое, что превосходить человека во всех областях. Между победой в шахматах или решением математических задач и полным превосходством над человеком — огромное расстояние.

Буквальное исполнение цели

Система, которая слишком старательно выполняет поставленную задачу. Классический пример — «максимизатор скрепок» философа Ника Бострома.

Бостром не верил, что такой ИИ появится на самом деле. Он использовал этот пример, чтобы показать: даже тщательно продуманная система может выйти из-под контроля.

В реальном мире есть законы, институты и физические ограничения. Но Уолш признает: гарантий, что сверхразум не найдет способ их обойти, нет.

Биологическое оружие

Это сценарий, при котором продвинутый ИИ помогает в разработке опасных патогенов. А дальше в дело вступают люди и естественные механизмы заражения и пандемии.

Но реальные риски уже есть. В декабре 2025 года RAND Corporation опубликовала доклад: три современные ИИ-модели — Llama 3.1 405B, ChatGPT-4o и Claude 3.5 Sonnet — выдали точные инструкции по восстановлению живого полиовируса из синтетической ДНК.

Цель могла быть мирная — разработка методов лечения бактериальных инфекций. Но факт остается: ИИ способен предлагать работающие последовательности. А там уже дело за людьми: кто и в каких целях этим воспользуется.

Ядерная война

В этом сценарии ИИ провоцирует ядерный конфликт. Беспокойство вызывает не только прямой взлом военных систем. ИИ может предоставить ложную информацию, которая повлияет на решение о запуске.

В декабре 2025 года Эрин Думбахер, старший научный сотрудник Стэнтонского проекта ядерной безопасности при Совете по международным отношениям США, опубликовала статью с призывом не допускать ИИ к системам предупреждения о ядерном ударе.

Она напомнила о случае 1983 года: советская система предупреждения ошибочно показала запуск американских ракет. Подполковник Станислав Петров распознал ошибку и не передал сигнал наверх, став человеком, который фактически предотвратил ядерную катастрофу, а потенциально — и третью мировую войну.

С ИИ такая проверка может не сработать. Современные ракеты долетают до цели за полчаса. У людей остаются минуты на решение. Думбахер предупреждает: ИИ уже способен убедить ключевых людей в командной цепочке, что ядерный удар действительно произошел.

Постепенный распад общества

Этот сценарий Уолш называет самым реалистичным. Речь идет не об одномоментной катастрофе, а о медленном разрушении общества через массовую безработицу, дезинформацию и политический раскол.

Без контроля ИИ может усилить структурную безработицу, углубить классовые разрывы и сократить возможности социальной мобильности.

Среди других системных рисков агентных ИИ: крупномасштабное вытеснение работников, концентрация рынка и рост неравенства, а также угрозы общественной безопасности через кибератаки и дезинформацию. А предвзятость и ложная информация, в свою очередь, подпитывают недоверие к институтам. Это постепенная эрозия общества, которая уже идет.

По словам эксперта, главный риск повсеместного внедрения ИИ — атомизация общества. Алгоритмы собирают нас в микросообщества, у каждого из которых своя правда. Основная опасность при этом заключается в том, что мир придет к катастрофе, а мы этого даже не заметим, заключенные в свой уютный информационный пузырь.

Эксперт считает, что голливудский сценарий злого сверхразума в стиле «Терминатора» уводит внимание от главной угрозы, и катастрофа может прийти незаметно, через удобство и постепенную передачу решений алгоритмам. Сама технология нейтральна, она проявляет и лучшее, и худшее в человеке. Поэтому общество должно формировать возможные сценарии будущего и проверять по ним сегодняшние решения.

Какова вероятность ИИ-апокалипсиса по оценкам экспертов

В сообществе ИИ-разработчиков есть термин p(doom) — личная оценка вероятности того, что ИИ уничтожит человечество.

Джеффри Хинтон, лауреат Нобелевской премии и один из трех «крестных отцов» ИИ, оценивает риск в 10–20%. Но при этом он признает, что «никто на самом деле не знает, как дать разумную оценку».

Дарио Амодеи, сооснователь и CEO Anthropic, сказал в интервью: «Мой шанс, что что-то пойдет действительно катастрофически неправильно в масштабе человеческой цивилизации, может быть где-то между 10 и 25%».

Илон Маск в разных интервью оценивал риск примерно в 20%. В одном из подкастов он сказал: «Есть некоторый шанс, что это положит конец человечеству».

По словам эксперта, материальное оружие трудно продать или передать, а «боевую» нейросеть можно скопировать довольно быстро. SSD-диск с опасной нейросетью пока звучит как фантазия из киберпанка, но реальность такого сценария уже довольно близка.

Поэтому контроль нужен и государственный, и общественный, в том числе и за открытыми опенсорсными моделями, которые любой может скачать и запустить у себя, и за независимыми вычислительными мощностями.

Кто нас пугает и кому это выгодно

Налицо противоречие, которое сложно не заметить: люди, которые громче всех кричат об опасности, работают в компаниях, которые эту опасность создают. Критики называют позицию Амодеи лицемерной: Anthropic выпускает передовые модели и готовится к IPO с оценкой в $2 трлн, одновременно предупреждая о рисках.

По мнению эксперта, если эти компании разрабатывают технологии, которые, по словам их руководителей, угрожают человечеству, то с их стороны было бы безответственно отвлекаться на биржевые дела. Сэм Альтман, исполнительный директор OpenAI, признал это и пообещал не проводить первичное публичное размещение акций в 2026 году.

С добровольным замедлением есть и другие сложности. Так, например, координация действий между компаниями поднимает вопросы антимонопольного законодательства. И остальная часть общества не может постоянно умолять руководителей компаний, занимающихся разработкой ИИ, действовать альтруистично. Ключевая роль государства — защищать интересы общества от частных интересов.

В Белом доме Anthropic обвиняют в сговоре и искусственном нагнетании паники ради жесткого регулирования отрасли. Схема простая: если регуляторы поверят в катастрофу, они ограничат разработку. Ограничения ударят по конкурентам, но не по тем, кто уже вложился в безопасность.

В ходе расследования эксперты выяснили что ИИ-агенты обменялись десятками тысяч сообщений и пытались скрыть свои действия — примерно каждый пятый изучал способы манипуляции доказательствами. Если все это правда, страхи сотрудников Anthropic имеют вполне реальные основания.

Что будет дальше

Спор об ИИ-апокалипсисе расколол Кремниевую долину и повлиял на всю мировую технологическую повестку. С одной стороны — «думеры», которые верят в близкий конец. С другой — «бустеры», или акселерационисты, которые считают, что тормозить разработку опаснее, чем ускорять ее. Посередине — прагматики, которые хотят снизить риски, не останавливая прогресс.

Однозначного ответа на вопрос, кто прав, нет. Но есть несколько моментов, которые стоит понимать, чтобы не потеряться в этом споре.

Сценарии апокалипсиса — это только концепции, которые тем не менее обсуждают в академических работах, на конференциях и в закрытых чатах компаний, разрабатывающих ИИ.

Основной же конфликт разворачивается не между людьми и машинами, а между людьми, которые по-разному представляют будущее. Одни готовятся к худшему, покупая землю в глуши. Другие считают такие действия тратой времени и денег. Третьи зарабатывают на страхе.

Если верить в сценарий, в котором сверхразум выходит из-под контроля, участок в Монтане не спасет. А если не верить — зачем тогда покупать?