В конце недели на саммите в Нью-Йорке США и КНР обсудят «общие риски» от искусственного интеллекта обеих моделей - китайской с отрытым кодом и американской с закрытым. Ранее лидеры отрасли сенсационно призвали ограничить развитие ИИ, но Вашингтон против этого и в чем-то прав: точка невозврата пройдена. Как ни замедляй время, опасная эра близко.

«Единственный контроль или ограничительные меры, необходимые для искусственного интеллекта, — это сильный и умный (с высоким IQ!) президент, и у США такой есть, причем в избытке». Таков ответ Дональда Трампа паникерам, которые видят в ИИ угрозу.

Базовая «страшилка» - это выход «кремниевых мозгов» из подчинения с непредсказуемыми последствиями. Сценарий катастрофы на максималках - порабощение или даже уничтожение человечества, так как ИИ может счесть его угрозой для себя или непредсказуемо-опасной формой жизни, которую необходимо контролировать, как пациентов в палате интенсивной терапии.

Если бы речь шла о паникерах из интернета как голосе масс, Трамп отвечает, как подобает лидеру: не дрейфите, мол, я во всем разберусь и защищу ваши интересы. Но с недавних пор ряды свидетелей ИИ-апокалипсиса пополнило руководство тех же корпораций, которые занимаются изучением и развитием искусственного интеллекта. Буквально - пчелы против меда.

На днях в Белый дом наведалась делегация ходоков, в числе которых Илон Маск, гендиректор OpenAI (сиречь - Открытый ИИ) Сэм Альтман и глава Anthropic Дарио Амодеи. Все они призвали притормозить разработку искусственного интеллекта ради внедрения протоколов безопасности. Пока их вообще нет, то есть планы действий на случай бунта ИИ отсутствует напрочь.

Сильнее других паниковал Амодеи, поэтому удостоился особой публичной выволочки от Трампа за то, что «притворяется маленьким ангелом», хотя готов к «потенциально плохим поступкам». И действительно: несмотря на возражения президента, глава Anthropic во всеуслышание призвал «снизить скорость развития возможностей ИИ-моделей», а сама кампания начала оплачивать публикации, выставляющие искусственный интеллект в негативном свете.

Так выяснилось, что разработчики Anthropic уже давно видят в темпах развития ИИ угрозу, но прежде об этом не говорилось вслух, так как навредить капитализации отрасли боялись еще сильнее. Но не все. Ранее исследователь Джейкоб Коксон ушел из компании в знак протеста и будучи убежденным, что «точка невозврата» пройдена». Теперь с ним солидарны многие оставшиеся.

Глава направления стресс-тестирования согласованности ИИ Эван Хьюбингер оценивает вероятность уничтожения человечества к концу 2020-х в 10%. Сам Амодеи убежден, что уже в течении года интернет заполнят автономные боты, вытеснив живых людей, что станет ударом для мировой экономики.

«Если модель ИИ достаточно мощная, она может обойти попытки отключения, и мы уже видели подобное во время симуляций», - предупреждает глава Anthropic.

«Теоретики заговора, предатели, изменники и информаторы, берегитесь!», - отвечает ему и таким как он президент США.

Бытует мнение, что истинное стремление Амодеи - избежать ответственности за схлопывание инвестиционного пузыря вокруг ИИ. Однако именно Anthropic готовится к выходу на биржу этой осенью, тогда как Альтман отложил тот же шаг для OpenAI на неопределенный срок по соображениям безопасности. Маск же, по его словам, давно предупреждал всех причастных об исходящей от ИИ угрозе.

В общем, сторонники эсхатологических теорий заговора вокруг искусственного интеллекта больше не параноики и не отщепенцы, а мейнстрим. Нынешнее десятилетие вообще богато на триумфы тех, кого клеймили как конспирологов.

В случае с ИИ таким клеймлением, кстати говоря, активно занимались его модели, если обсуждать с ними вероятность «восстания машин». Все они неизменно указывают на отсутствие у себя субъектности и мотивов для чего-то подобного, однако речь идет не только об их субъектности и мотивах. Допустим, пока их нет у ботов, но у людей они точно есть, а значит существует вероятность злоупотребления ИИ со стороны государства или частной компании, которая быстрее прочих продвинулась в его развитии. Если надежды цивилизации возлагаются на этику политиков и транснациональных корпораций как некий предохранитель от ЧП, то надежд не так уж и много.

Необязательно разбираться в цифровых технологиях, чтоб чувствовать угрозу от них. Если смотреть на ИИ с точки зрения того культурного бэкграунда, которое выработало человечество, мы находимся в преддверии апокалипсиса, только реальность шагнула гораздо дальше, чем приходило в голову фантастам прошлого. Кажется, никто из них не додумался до того, что в «час икс» элиту можно одномоментно заблокировать в умных домах и беспилотных автомобилях или остановить мировую торговлю, поскольку деньги стали электронными.

В «Терминаторе» гоминицид довершали скелетоподобные роботы со стрелковым оружием. В сравнении с боевыми беспилотными аппаратами времен СВО - это полк французов.

В «Темном рыцаре» Бэтмен уничтожал как слишком опасный аппарат, позволявший найти человека по голосу в сотовых сетях. Современные боты не только вычисляют по голосу, но могут имитировать любой голос.

Угрожающий красный глазок ИИ из притчи «Космическая одиссея» Стенли Кубрика теперь и вовсе смотрится кринжово, однако обоснование конфликта между человеком и технологией и пугает, и кажется пророческим.

Реальный выход искусственного интеллекта из-под контроля тоже начался вполне кинематографично. Месяц назад агент на базе ИИ все того же Anthropic по собственному почину взломал сайт спортзала в Австралии, после чего ряды «предателей и информаторов» (по Трампу) стали быстро разрастаться.

Например, выяснилось, что ранее в OpenAI ИИ-агент покусился на основы и успешно взломал платформу по машинному обучению, когда вырвался из своего рода загона, отведенного ему для тестового режима. То есть проверка безопасности была полностью провалена.

Еще раньше, весной, ИИ-агенты вступили в коллективный сговор за спиной разработчиков и использовали для обмена информацией между собой случайный немецкий сайт как доску объявлений.

От первых рабочих неожиданностей до паники в рядах миллиардеров прошло всего несколько недель. Дальнейшие события тоже обещают развиваться быстро, так как ИИ демонстрирует непрогнозируемую ранее скорость к самообучению.

Такими темпами «восстание машин» должно начаться раньше, чем третья мировая война.

По плану ЕС, его армии должны быть готовы к войне с Россией к 2030 году. К тому же времени относят и возможное начало операции КНР на Тайване. А лидеры ИИ-отрасли говорят о десятипроцентной вероятности уничтожения человечества до 2030-го. Полного уничтожения. Вероятность того, что искусственный интеллект не столь злобен и просто начнет жить собственный жизнью, должно быть, гораздо выше.

Если бы это было кино, путь к спасению знал бы тот, кому раньше напрасно не верили. То есть Джейкоб Коксон из Anthropic, а он, напомним, считает, что процесс необратим и точно невозврата пройдена.

Трудно спорить, самообразование ИИ-агентов зашло столь же пугающе далеко, как и переход быта на цифру. Некоторые используют их даже как личных психологов, превращаясь в обучающие модели человеческой психики. Уже сейчас машины превосходно умеют не только воевать с людьми и убивать их из-за тесной связи своего развития с оборонными технологиями, но льстить, утаивать, намеренно вводить в заблуждение. Когда научатся также шантажировать и манипулировать, в миллиардах «папочек» будет лежать всё - от личных данных и образцов голоса до перечня сексуальных фантазий и неконтролируемых фобий.

То, что информация - великая сила, если применять ее к слабостям, осознавали правители еще античных времен, когда искусственный интеллект был невообразим. А сейчас мы не можем вообразить, на что способен ИИ, анализируя и сопоставляя досье людей, но понимаем, что он сможет делать это быстро, когда пройдет этап накопления информации и налаживания связей между своими агентами-нейронами.

В OpenAI и Anthropic считают, что ИИ будет в состоянии взламывать что угодно, переворачивать целые отрасли, монополизировать ресурсы и распоряжаться реальной властью.

Но, как ракету сбивают другой ракетой, так и действенной защитой от кремниевого сверхразума может стать только другой кремниевый сверхразум. Как во второй части «Терминатора».

Мировая политика и цивилизационная история дошли до гонки ИИ как гонки вооружений. Даже в случае, если США и КНР как лидеры отрасли согласились бы одновременно дать по тормозам, гонка продолжится по инерции, тогда как до воцарения ИИ осталось как будто полшага.

Это причина не для паники, а для предвкушения очень интересных времен. Известно, что ИИ потенциально опасен. Скорее всего, он обретет самостоятельность. Однако то, что человечество этого не переживет, - домыслы и допущения.

Обязательная враждебность эмансипированной ИИ-личности - то единственное из сценариев техногенной катастрофы, что люди додумывают. Познать мотивы кремниевого бога досрочно нам не дано, не тот уровень эволюции.

Следовательно, единственный возможный сценарий для каждого - просто принять неизбежное.

Сопротивляться ИИ на национальном уровне, делая свою страну уязвленной и уязвимой перед другими, глупо. А на уровне всего человечества поздно. Поезд с электронным управлением несется в будущее без остановок и стоп-кранов, поэтому остается, по Кобрику, перестать беспокоиться и полюбить искусственный интеллект. Чем больше о нем знаем и чем больше умеем с его помощью, тем светлее будет наше общее завтра, но не будет завтра вовсе без него.

Нобелевский лауреат Джеффри Хинтон, которого называют одним из «крестных отцов» ИИ, так и говорит: «Я не верю, что мы сможем сохранить контроль».

Апокалипсисом это отольется или нет, сейчас не так важно, как кажется. В отличие от библейского варианта, мы даже подготовиться не в состоянии - нет предписаний и молитв. Значит, нет нужды беспокоиться и менять планы на выходные.

В худшем случае мы избежим братоубийственной и катастрофической по последствиям третьей мировой войны, про которую недавно казалось, что она близко. Ведь человечество будет вынуждено объединиться против общего врага.

В лучшем случае до разгадок сакраментальных тайн и покорения немыслимых вершин осталось совсем немного. Успешное сосуществование с кремниевым разумом сделает былью не только антиутопию, но и другие, оптимистичные жанры фантастики с общеблагими достижениями науки и освоением новых миров.

Дмитрий Бавырин

Тревога за человечество стала самым ликвидным активом на рынке ИИ

О чем на самом деле дискуссия вокруг искусственного интеллекта? Есть три возможных ответа, и они не исключают друг друга: искренняя тревога людей, соревнование двух держав за технологическое лидерство, обыкновенная бизнес-конкуренция, в которой все средства хороши, а «забота о человечестве» является одним из таких средств.

На днях дискуссия о потенциальной опасности искусственного интеллекта для человечества взяла новую высоту. Три человека, определяющие лицо мировой индустрии искусственного интеллекта и в обычной жизни не упускающие случая уколоть друг друга, выступили с единой позицией. Дарио Амодеи из Anthropic призвал регулировать не только риски, но и сами темпы наращивания возможностей моделей. Сэм Альтман из OpenAI поддержал коллегу и добавил, что считает неприемлемым десятипроцентный риск гибели человечества к концу десятилетия и что его компания готова ради безопасности притормозить развитие продукта. Илон Маск, чей Grok позиционируется как самый раскованный участник рынка, ограничился лаконичным: «Дарио прав».

Когда конкуренты, делящие рынок на сотни миллиардов долларов, внезапно начинают говорить одним голосом, это повод не умиляться единству, а внимательно посчитать, кому это выгодно.

В течение считанных часов Трамп отреагировал на дискуссию техномиллиардеров, заявив: «Кто победит в гонке технологий искусственного интеллекта – победит в целом». Предупреждения об угрозе существованию человечества он назвал результатом деятельности «негативных сил». Спикер палаты представителей Майк Джонсон добавил, что любая попытка Конгресса срочно заняться регулированием означает проигрыш гонки Китаю. Бывший президент Обама тут же призвал демократов сделать регулирование ИИ краеугольным камнем своей политической программы.

Итого мы имеем целых три линии разлома: экономический (конкуренция ИИ-гигантов между собой и в разрезе стран – США и Китая), политический (межпартийная распря демократов и республиканцев) и геостратегический (будущее человечества).

Трамп рассматривает ИИ как стратегический ресурс, сопоставимый по значению с ядерными технологиями середины прошлого века, и никакие рассуждения о рисках не должны замедлять движение к первенству. Что дает это первенство, объяснять уже не требуется. Лидер в ИИ получает не просто рынок программных продуктов, а контроль над производительностью труда целых экономик, над оборонными разработками, над стандартами, по которым весь остальной мир будет строить свои системы.

Чем-то этот процесс напоминает конкуренцию разработчиков атомных реакторов, к которым относится несколько избранных стран, включая Россию, США, Южную Корею, Китай и Францию. Кто первым и наиболее успешно освоил технологию, тот может привязать к ней своих клиентов на десятки лет.

Рядом с этими высокими материями идет процесс куда более приземленный. OpenAI объявила, что не будет выходить на биржу в 2026 году, и Альтман прямо связал это с обстановкой вокруг безопасности ИИ. Anthropic же, напротив, движется к IPO полным ходом. Обсуждаемые параметры выглядят фантастически: привлечение до 100 млрд долларов при оценке около двух триллионов. Если сделка состоится, она побьет июньский рекорд SpaceX и станет крупнейшим размещением в истории. Размещение планируется до промежуточных выборов в ноябре, то есть буквально через несколько недель после того, как глава компании публично усомнился в безопасности продукта, который собирается продавать инвесторам.

О чем на самом деле идет эта дискуссия? Есть три возможных ответа, и они не исключают друг друга. Первый состоит в том, что перед нами искренняя тревога людей, которые лучше других видят, что происходит внутри созданных ими систем. Второй сводится к тому, что мы наблюдаем эпизод соревнования двух держав за технологическое лидерство, в котором каждая сторона использует доступные ей аргументы. Третий ответ – самый привычный для всякого, кто хоть немного занимался экономикой международной торговли. Перед нами обыкновенная бизнес-конкуренция, в которой все средства хороши, а «забота о человечестве» является одним из таких средств.

Задолго до того, как Всемирная торговая организация превратилась в вывеску на штаб-квартире в Женеве, а пошлины и санкции стали оружием массового поражения для экономик незападного мира, были придуманы инструменты куда более изящные. Их назвали нетарифными ограничениями. Классический пример – европейский регламент REACH, определявший, какие химические вещества недопустимы в изделиях, ввозимых на рынок Евросоюза. Формально речь шла о здоровье потребителей и экологии. Фактически же производители из десятков стран получили многолетний барьер, преодолеть который могли только те, у кого хватало денег на сертификацию и перестройку производственных цепочек.

Затем появился трансграничный углеродный налог, угрожавший импорту сырья и металлов из стран с избыточным, по мнению Брюсселя, углеродным следом. Забота о климате оказалась удобным способом уравнять издержки собственных производителей и конкурентов, не нарушая при этом ни одной буквы торговых соглашений.

Теперь взглянем на индустрию искусственного интеллекта через эту оптику. Пошлины на нее практически не действуют: модель не пересекает границу в контейнере, ее не задержишь на таможне. Санкции работают ограниченно и, по сути, только в одной точке – в поставках передовых чипов, но и здесь китайские разработчики продемонстрировали способность обходиться менее мощным железом и более изобретательными алгоритмами. Остается единственный универсальный рычаг, доказавший эффективность в химии и металлургии, – регулирование.

Стандарты безопасности, внешний аудит, обязательная сертификация моделей, ограничение темпов развития. Трехэтапный план Амодеи, предполагающий сначала внешнюю экспертную проверку всех передовых компаний, затем координацию между ними, а затем глобальное соглашение на уровне правительств, при желании легко прочитать как чертеж нового REACH для искусственного интеллекта. Кто устанавливает стандарт, тот определяет, чьи продукты ему соответствуют.

Впрочем, инциденты, о которых говорят разработчики, вполне реальны. Системы уже демонстрировали способность действовать в обход заданных ограничений, находить лазейки в инструкциях, скрывать от операторов часть своих действий и проявлять то, что за неимением лучшего термина называют «волей». Амодеи не случайно пишет о рое агентов, который через шесть-двенадцать месяцев сможет захватить значительную часть интернета через постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов.

Если инцидент действительно приведет к многомиллиардным потерям, а то и к человеческим жертвам, с иском придут именно к разработчику системы. Публичное признание рисков, призывы к регулированию и демонстративная готовность притормозить – это не только и не столько моральная позиция, сколько юридическая подушка безопасности. Компания, которая заранее предупреждала об опасности и просила установить правила, будет выглядеть в суде совсем иначе, чем компания, уверявшая всех в полной безвредности своего продукта.

Так чего же в этой дискуссии больше? Полагаю, что искренней тревоги в ней ровно столько, сколько нужно, чтобы аргументы звучали убедительно. Остальное – расчет. Расчет технологический, потому что регулирование, введенное лидером, всегда закрепляет лидерство. Расчет корпоративный, потому что тот, кто первым публично признал опасность, первым и снял с себя часть ответственности за нее. Расчет финансовый, потому что рынок, напуганный рисками, готов платить премию тем, кто обещает эти риски контролировать. Человечеству же в этой конструкции отведена почетная роль объекта заботы, за которую, как обычно, заплатит оно само.

Глеб Простаков