Компании поручают AI-агентам задачи с разной степенью ответственности. Самые простые — найти информацию и ответить на вопрос. Более сложные — подготовить письмо, документ или данные для CRM, оставляя их финальное утверждение и последующие действия за человеком. Следующий уровень — самостоятельно отправить сообщение, изменить запись, назначить встречу или предложить скидку. Наконец, агенту могут поручить весь многошаговый процесс от начала до конца. Чем выше уровень автономности, тем больше задач агент может выполнять без участия человека — и тем серьезнее последствия его ошибки.

При этом в проектах я часто вижу одну и ту же логику: раз компания уже вкладывается в разработку, агенту хочется поручить как можно больше. Я начинаю с обратного: определяю конкретную задачу агента и границы, за которые он не должен выходить. Чем шире его доступ к системам и данным, тем больше сценариев приходится предусмотреть еще до запуска.

Вместе с самостоятельностью агента растет и цена ошибки. Неудачный ответ нейросети можно не использовать, а ошибка агента способна привести к неверному изменению карточки клиента, отправке письма не тому адресату, предоставлению необоснованной скидки или изменению оригинала документа.

Поэтому безопасность такого решения нужно закладывать при проектировании процесса, а не после разработки.

Сначала процесс, потом агент

Я не встречала компаний, в которых можно сразу переходить к разработке. Руководитель обычно представляет желаемый результат, но при разборе процесса выясняется, что часть регламентов отсутствует, документы хранятся в разных папках, правила известны только сотрудникам, а исключения существуют на уровне «мы обычно делаем вот так».

В результате одна из самых трудоемких частей проекта не связана с искусственным интеллектом. Команде приходится собирать документы, оцифровывать правила, описывать исключения и путь клиента или сотрудника, и уже на этой основе формировать техническое задание. Если компания сама не может объяснить, по каким правилам принимаются решения, безопасно поручить этот процесс агенту невозможно.

Возьмем AI-агента в продажах. Если допустимые скидки и условия их предоставления четко определены, эту часть процесса можно формализовать. А жалобу клиента, спор по договору, запрос на нестандартные условия или ситуацию, в которой есть риск потерять клиента, лучше передавать сотруднику.

При этом инструкция «если не уверен — передай менеджеру» проблему не решает: в таком случае самой модели приходится определять, какую степень уверенности считать достаточной. Условия остановки должны быть заданы при проектировании. Мы заранее определяем ситуации, в которых агент прекращает самостоятельные действия и передает задачу человеку.

Инструкция не заменяет технических ограничений

Если агенту нужно читать определенные данные из CRM — ему не требуется право удалять карточки. Если его задача подготовить письмо — необязательно сразу разрешать ему самостоятельную отправку. Системе, которая проверяет договоры, может не понадобиться возможность изменять оригиналы документов.

Принцип здесь достаточно простой: агент получает не максимальные права «на всякий случай», а только те, которые необходимы для его работы. Даже хорошо составленная инструкция не дает абсолютной гарантии, что в неожиданной ситуации система поведет себя именно так, как предполагал разработчик.

Показательный случай произошел этим летом во время кибертестирования моделей OpenAI. В тестовой среде у моделей не было прямого выхода в интернет, однако они обнаружили ранее неизвестную уязвимость в одном из компонентов инфраструктуры и через нее получили доступ к производственной инфраструктуре Hugging Face. Инцидент обнаружили и остановили команды безопасности.

Из этого не следует, что «ИИ решил сбежать в интернет»: эксперимент проводился для проверки предельных кибервозможностей моделей, часть обычных защитных механизмов намеренно отключили. Для бизнеса здесь важен вывод: если поставить системе цель и предоставить широкий набор инструментов, она может найти способ достичь результата, который человек заранее не предусмотрел. Поэтому ограничения должны существовать не только в инструкции, но и на уровне доступов и архитектуры.

Проверять нужно не только идеальный сценарий

На этапе тестирования без человеческого контроля не обойтись. Сотрудник проверяет ответы агента, заполнение CRM, сформированные документы и совершенные действия. Это не отменяет экономии времени: проверить подготовленный ответ быстрее, чем написать его с нуля, а по мере доработки системы объем ручного контроля можно сокращать.

Когда конкретная операция начинает стабильно выполняться корректно, ее постепенно переводят в автономный режим. При этом сохраняются журнал действий и контроль результатов, а внутри компании должен быть назначен сотрудник, который отвечает за актуальность базы знаний, прайс-листов и регламентов. Изменения, затрагивающие логику работы системы, необходимо отдельно вносить и тестировать.

Во время тестирования мы намеренно выходим за пределы стандартного пути клиента. Проверяем, как агент реагирует на жалобы, финансовые и юридические вопросы, нестандартные просьбы и запросы, которые вообще не относятся к его компетенции. Утрируя, система, созданная для заполнения карточки в CRM, не должна внезапно превращаться в консультанта по рецептам яблочного пирога только потому, что пользователь ее об этом попросил.

Купить технологию проще, чем перестроить процесс

Enterprise AI Maturity Index 2026 хорошо показывает этот разрыв. В исследовании ServiceNow и ThoughtLab приняли участие 4,5 тыс. руководителей из 19 стран: 59% организаций уже используют агентный ИИ, однако только 9% перешли к автономным многошаговым процессам.

Вторая цифра здесь гораздо показательнее первой. Подключить модель или предоставить сотрудникам AI-инструмент сравнительно просто. Для полноценной автоматизации приходится разбирать процесс, готовить данные, определять полномочия агента и точки передачи задачи человеку, выстраивать контроль и назначать ответственных за актуальность информации.

На этом фоне особенно странно выглядят обещания о «цифровых сотрудниках», которые работают круглосуточно и позволяют едва ли не уволить целый отдел. AI-агент требует затрат на разработку, API, инфраструктуру, тестирование и дальнейшее сопровождение, поэтому экономический эффект далеко не всегда начинается с сокращения фонда оплаты труда.

На практике первый результат автоматизации может оказаться менее эффектным для маркетинга, но более ценным для самой компании: бизнес разбирает собственные процессы, приводит в порядок данные, вытаскивает правила из голов сотрудников и сокращает объем повторяющейся ручной работы.

Поэтому корпоративного AI-агента я бы оценивала не по количеству функций и не по максимальной автономности, а по тому, насколько точно определена зона его ответственности. Компания должна понимать, какую работу он выполняет, какие данные видит, что может делать самостоятельно, в какой момент обязан остановиться и кто отвечает за результат.

Чем больше самостоятельных действий может выполнять искусственный интеллект, тем точнее должны быть определены его полномочия.

Изображение: Magnific

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!