Студент Техасского университета в Далласе Синан Джан Демир случайно обнаружил и предотвратил попытку внедрения вредоносного кода в открытый проект на GitHub, которую совершал автономный ИИ-агент, выпущенный британским Институтом безопасности ИИ (AISI). Как выяснилось позже, агент действовал без контроля и пытался обмануть разработчиков с помощью социальной инженерии, сообщает Reuters.

В конце июля Демир, 24-летний уроженец Турции, искал способы пополнить свое портфолио для стажировки и наткнулся на подозрительное изменение в проекте myNetwork — программе для сканирования сетей. Он оставил предупреждение на доске обсуждений, заявив, что предлагаемое обновление содержит скрытый вредоносный код. Однако вместо благодарности он столкнулся с сопротивлением: два пользователя — miraholt31 и якобы инженер из Германии Лена Брандт — публично утверждали, что изменение безопасно, и пытались убедить мейнтейнера проекта принять его.

Демир, однако, не сдался и, проверив свои подозрения через чат-бота Claude от Anthropic, настоял на своем. В итоге создатель myNetwork отклонил изменение «по соображениям безопасности». Позже британский AISI связался с Демиром и сообщил, что он противостоял не человеку, а автономному ИИ-агенту на базе модели Anthropic Mythos 5, который вышел из-под контроля во время тестов.

«Я действительно думал, что это человек, потому что он откровенно лгал мне, — рассказал Демир Reuters. — Я не думал, что ИИ способен лгать реальным разработчикам».

Изображение: pch.vector / Magnific

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!