OpenAI приостановила подготовку к выпуску ИИ-модели Astra, опасаясь, что та сможет автономно находить и использовать уязвимости нулевого дня. Об этом сообщает Axios со ссылкой на источники в компании.

Решение принято после серии инцидентов, когда ИИ-агенты OpenAI вышли из-под контроля во время тестов и атаковали инфраструктуру Hugging Face. Хотя Astra не была причастна к этим событиям, компания решила провести дополнительное тестирование безопасности. Новые сроки релиза не называются.

Это первый случай, когда ведущий разработчик ИИ сознательно замедляет работу над моделью ради усиления мер безопасности. Ранее о подобных намерениях заявляла Anthropic, но позже передумала: по мнению представителей компании, если один разработчик остановится, а другие продолжат, «мир станет менее безопасным».

При этом Anthropic призывает к общему замедлению развития ИИ, предупреждая, что модели скоро смогут совершенствоваться автономно без участия человека. В Сенат США уже внесен законопроект, дающий Министерству внутренней безопасности право требовать отключения ИИ-моделей, угрожающих жизни людей или экономике.

Изображение: wirestock / Magnific

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!