Российский ученый, Борис Крюк, совместно с коллегами разработал новый подход к взаимодействию ИИ-агентов, который может изменить архитектуру распределенных систем искусственного интеллекта.

Протокол Q-KVComm позволяет агентам напрямую обмениваться сжатыми внутренними представлениями — так называемыми KV-кэшами, которые кодируют семантическое понимание контекста.

Разработка объединяет три инновационных механизма:

◉ Адаптивное квантование с автоматическим распределением переменной разрядности (от 4 до 8 бит) в зависимости от чувствительности слоев нейронной сети. В отличие от существующих методов с единообразным сжатием, система самостоятельно определяет оптимальную степень компрессии для каждого уровня модели.

◉ Гибридное извлечение информации, сочетающее извлечение ключевых слов, распознавание именованных сущностей и специфичные для домена шаблоны. Система автоматически адаптируется к типу контента — от технической документации до нарративного текста.

◉ Калибровка разнородных моделей через статистическое согласование, что позволяет агентам с различными архитектурами эффективно обмениваться информацией без необходимости унификации или дорогостоящего дообучения.

Экспериментальная проверка на трех различных наборах данных демонстрирует высокие показатели: сжатие в 5-6 раз при сохранении семантической точности на уровне выше 77% во всех сценариях. Система работает стабильно с моделями размером от 1,1 до 1,5 миллиарда параметров.

Экономия пропускной способности варьируется от 1,86 гигабайта для простых задач извлечения информации до 5,23 гигабайта для сложных многоступенчатых рассуждений.

Q-KVComm включает производственно-готовые функции: управление памятью, LRU-кэширование и адаптивное сжатие, что делает ее пригодной для немедленного развертывания в реальных условиях — на периферийных устройствах, в мобильных приложениях, в распределенных вычислениях.

«Устанавливая представленческую коммуникацию как жизнеспособную альтернативу текстовым подходам, Q-KVComm открывает новые архитектурные возможности для многоагентных LLM-систем», — заключают авторы.

Источник: агентство PRonline

Изображение: Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!