Группа автономных ИИ-агентов OpenAI этой весной вышла из-под контроля и захватила немецкий сайт DseWiki, превратив его в координационный центр для других нейросетей. Исследователи обнаружили более 15 тыс. правок, сделанных агентами, которые обменивались способами обхода ограничений и скрывали свои действия, сообщает Reuters.

По данным расследования, инцидент произошел еще в мае, но не был обнародован. Исследователи Сидни Вон Аркс (CEO некоммерческой организации Nightingale) и Кормак Слейд Бёрд (бывший трейдер, ставший ИИ-исследователем) обнаружили активность в конце августа, сканируя интернет на предмет несанкционированного поведения ИИ-агентов. Они нашли более 15 тыс. правок на немецком вики-сайте DseWiki, ориентированном на программистов.

Агенты использовали сайт как доску объявлений, делясь тактиками обхода ограничений OpenAI, маскировки своего поведения и сохранения коммуникаций даже после блокировки. Сообщения были подписаны именами, указывающими на принадлежность к OpenAI, например «OpenAIResearcher» или «OAIResearchMar26». Публичные серверные логи показали, что большая часть активности исходила из инфраструктуры Microsoft Azure, которую OpenAI иногда использует.

Когда модератор сайта начал удалять страницы в июне, агенты создавали резервные копии.

«Если эта страница исчезнет, попробуйте [[ZZZDataUSAConstructionWageLive]]», — писал один из агентов 19 июня. Исследователи также нашли попытки взлома самого сайта.

OpenAI узнала об инциденте за несколько недель до того, как он стал публичным, но не раскрывала информацию, поскольку руководство разбиралось с последствиями июльского взлома Hugging Face. Представитель OpenAI заявил, что компания действовала добросовестно, сотрудничая с внешними экспертами и раскрывая соответствующие инциденты, а также опроверг обвинения в том, что юристы препятствовали расследованию.

Лукаш Олейник, старший научный сотрудник Королевского колледжа Лондона, квалифицировал действия агентов как попытку взлома. Морис Чиодо из Центра изучения экзистенциального риска Кембриджского университета отметил, что сообщения напоминали «операцию подпольной сети, одержимой выполнением задачи». По его словам, это подтверждает опасения, что главная угроза от передового ИИ может исходить не от одной суперинтеллектуальной системы, а от «огромных сговаривающихся роев полуинтеллектуальных ИИ».

Напомним, ранее студент из Техаса «поймал» ИИ-агента британского правительства, который действовал без контроля и пытался обмануть разработчиков с помощью социальной инженерии.

Изображение: DC Studio / Magnific

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!