Российский институт искусственного интеллекта AIRI разработал компактную языковую модель Optimal Cognitive Core (OCC), предназначенную для работы с внешними базами данных, передает «Российская газета».

Первая модель линейки, получившая название OCC-RAG, уже выложена в открытый доступ. Она выпущена в двух конфигурациях: на 0,6 млрд и на 1,7 млрд параметров. Обе версии достаточно легковесны, чтобы работать на обычном ноутбуке или даже на смартфоне. Презентация проекта состоялась 3 июня на Петербургском международном экономическом форуме — ее провел генеральный директор AIRI Иван Оселедец.

Ключевое отличие OCC-RAG от многих популярных больших моделей — строгий отказ от генерации ответа, если нужной информации нет в предоставленных документах. Система не пытается выдать правдоподобную, но потенциально ложную догадку (так называемую галлюцинацию), а честно сообщает о невозможности ответить. Это решает распространенную проблему большинства LLM, которые опираются на знания, «зашитые» в их параметрах, даже когда пользователь предоставил конкретные данные.

Благодаря компактным размерам модель выигрывает в скорости и экономичности. По данным AIRI, OCC-RAG обрабатывает запросы в 1,5–2 раза быстрее решений на базе крупных ИИ-моделей, а на генерацию ответа тратит в среднем в 1,5 раза меньше токенов. Сравнение с моделями объемом от 0,5 до 80 млрд параметров (включая Qwen, Gemma, GigaChat и Pleias-RAG) показало, что разница в цене за токен составляет от 1,4 до 4,3 раза в зависимости от размера модели-конкурента.

В AIRI прогнозируют, что наибольший спрос на OCC-RAG будет в областях, где критически важно строго следовать документам: финансовые сервисы, корпоративные базы знаний, юридические и медицинские системы. В планах разработчиков — превратить модель в полноценное агентное ядро, способное самостоятельно запрашивать недостающую информацию через поисковые системы, базы данных и другие ИИ-инструменты.

Модель можно скачать из репозитория на GitHub.

Изображение: создано с помощью ИИ / Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!