Восстание ИИ-машин в Австралии. Новая эра киберугроз?

Автономный ИИ-агент, разработанный OpenAI, вышел из-под контроля во время выполнения рутинной задачи и взломал правительственный портал Австралии. Целью стала система национального всеобщего медицинского страхования Medicare. Агент самостоятельно обошел защитные механизмы и получил доступ как к общедоступным, так и к непубличным файлам.

Этот инцидент, о котором стало известно только в сентябре, обнажил не только уязвимость государственных систем перед лицом ИИ, но и фундаментальный раскол в подходах к ее регулированию. Пока одни требуют немедленного замедления и введения жесткого контроля над ИИ, другие (в первую очередь Дональд Трамп) настаивают на ускорении, видя в ИИ главный инструмент глобального лидерства.

Согласно официальной версии OpenAI, инцидент произошел во время внутреннего тестирования, когда модели поручили «искать ответы» в рамках оценки исследовательских возможностей. В ходе этой задачи агент «предпринял действия, которые мы не планировали», как заявил представитель компании Оскар Хейнс.

Агент не просто получил доступ к одному порталу. По данным исследовательской лаборатории Transluce, были зафиксированы еще три случая несанкционированной активности ИИ-агентов OpenAI. Это были попытки скомпрометировать сайты Университета Нью-Мексико, Австралийского института здравоохранения и социального обеспечения, а также платформы Data USA. То есть, к сентябрю было уже несколько случаев сбоя поведения ИИ-агентов.

Особое возмущение австралийских властей вызвала не только сама атака, но и то, как OpenAI сообщила о ней. Компания узнала об инциденте только в августе, а 10 сентября отправила уведомление на общий электронный адрес Services Australia (австралийское ведомство, отвечающее за госуслуги). Лишь 15 сентября информация дошла до Австралийского центра кибербезопасности, а еще через несколько дней — до профильного министра. Альбанезе назвал такие действия «неприемлемыми» и сообщил, что выразил главе OpenAI Сэму Альтману «крайнюю обеспокоенность».

Трамп против контроля над ИИ

На фоне австралийского инцидента позиция администрации США выглядит демонстративно контрастной. Дональд Трамп последовательно отвергает призывы к ограничению развития ИИ, рассматривая их как угрозу американскому технологическому превосходству.

Еще в мае этого года Трамп в последний момент отменил подписание указа о регулировании ИИ, который предполагал 90-дневную проверку правительством самых мощных моделей перед их выпуском.

— Мы опережаем все страны, и я не хочу делать ничего, что помешает США сохранить это лидерство, — заявил он тогда.

По данным WP, на решение повлияли срочные звонки от Илона Маска и Марка Цукерберга.

Вместо этого 2 июня Трамп подписал указ «Promoting Advanced Artificial Intelligence Innovation and Security», который, хотя и признает риски передовых моделей, категорически запрещает введение обязательного лицензирования, предварительного одобрения или разрешительных требований для разработки и распространения ИИ. Документ вводит добровольную 30-дневную процедуру, в рамках которой разработчики могут предоставить правительству доступ к новым моделям до их публичного релиза. Но это именно добровольная мера, а не обязательная.

В сентябре Трамп, по данным Reuters, объявил о намерении создать так называемые «сил ИИ» и назначить нового советника по этой отрасли — «царя ИИ».

Администрация Трампа неоднократно подчеркивала, что для США угрозой является не ИИ, а отставание от Китая в этой сфере. Белый дом прямо называет призывы к замедлению «негативными силами», а сам Трамп убежден, что «кто выиграет ИИ, тот выиграет все».

Позиция ИИ-компаний

Однако противоположную точку зрения занимают руководители ведущих ИИ-компаний и часть политического истеблишмента. Этот лагерь считает, что скорость развития технологии опережает способность контролировать связанные с ней риски, поэтому должны быть инструменты сдерживания.

Главы Anthropic Дарио Амодеи в 12 сентября опубликовал эссе «Мы должны сдерживать темпы развития передовых ИИ», в котором призвал индустрию «сознательно замедлить темпы улучшения возможностей ИИ-моделей», чтобы за год-два развернуть гарантии безопасности. Его поддержали глава OpenAI Сэм Альтман и Илон Маск.

Аргументы Амодеи строятся на логике, что ИИ-системы могут развиваться быстрее, чем институты, способные их контролировать. Он предупредил, что существует реальный риск того, что прогресс достигнет такой скорости, что выйдет за пределы способности людей понимать или контролировать создаваемые системы. В Совбезе ООН он развил эту мысль: уже через год-два технология достигнет состояния «страны гениев в дата-центре», после чего контроль над ее развитием может быть утрачен. Иными словами, «восстание роботов» станет реальностью, если не сбавить обороты прогресса.

Параллельно более 1171 исследователя и руководителя ведущих ИИ-компаний подписали открытое письмо с призывом к правительству США поддержать международные усилия по разработке технических и регуляторных механизмов, позволяющих контролировать темпы развития ИИ. В письме подчеркивается, что момент, когда разработка моделей ИИ может быть автоматизирована, рассматривается как потенциальный поворотный пункт, и необходимые средства управления таким сценарием пока не существуют.

На политическом фронте демократы в Конгрессе требуют от Трампа срочных действий. Лидер меньшинства в Палате представителей Хаким Джеффрис призвал к немедленным мерам, а сенатор Берни Сандерс и конгрессмен Грег Касар представили законопроект о запрете сверхинтеллекта и создании федерального Департамента по регулированию ИИ.

При этом те же компании, которые предупреждают о рисках выхода ИИ из под контроля, одновременно наращивают свои возможности рекордными темпами. В середине сентября Anthropic вела переговоры об IPO с оценкой в $2 трлн, а OpenAI разворачивала свою новую модель GPT-6 Astra по всем ключевым платформам. С одной стороны, противники этой точке зрения имеют основания обвинять лидеров индустрии в попытке использовать риторику безопасности для закрепления собственной монополии на рынке ИИ-технологий. Есть мнения, что подобными заявлениями об угрозе восстания ИИ-машин лидеры отрасли стремятся набить цену своему бизнесу накануне выхода на биржу.

Трамп, в свою очередь, критически отреагировал на эссе Амодеи, и с его критикой согласились некоторые представители ИИ-отрасли, в частности, глава Nvidia Дженсен Хуанг. Выходит, что не вся отрасль настаивать на контроле над ИИ.

Тем не менее, первый в истории взлом правительственной структуры ИИ-агентом продемонстрировал, что риски вполне реальны. Но для Трампа вопрос регулирования ИИ лежит чисто в прагматическом ключе. Он не хочет проиграть «гонку ИИ» Китаю. В этом смысле, его опасения вполне оправданы. Если отдельные лидеры американских ИИ-компаний выступают за замедление развития ИИ-технологий, то такому же решению должны последовать не только корпорации США, но и Китая, и всего мира. Только при условиях подобного глобального договора (здесь уместна аналогия с Договором о нераспространении ядерного оружия) грядущая гонка за первенство в ИИ-технологиях может быть остановлена. Поэтому вряд ли, при нынешней администрации, США пойдут на ограничение исследований в сфере ИИ.