На конференции AI Journey 2025 был официально представлен MERA Multi — новый бенчмарк для комплексной оценки мультимодальных способностей современных моделей на русском языке. Деталями с редакцией Let AI be поделилась пресс-служба Альянса в сфере ИИ.

Бенчмарки экосистемы MERA — это независимая система тестов для проверки возможностей больших языковых моделей на русском языке. Ранние версии MERA включали текстовые тесты и специализированные разделы (например, MERA Code для задач программирования и MERA Industrial для отраслевых сценариев).

С выпуском MERA Multi экосистема расширяется: теперь модели оцениваются также по задачам на понимание изображений, аудио и видео. Это первый открытый мультимодальный бенчмарк, созданный экспертами с учетом языковой и культурной специфики России.

MERA Multi включает 18 новых задач, разработанных по методологии бенчмарка MERA Text. Эти задачи проверяют ключевые мультимодальные умения моделей:

◉ Визуальное восприятие: способность анализировать изображения — распознавать объекты, интерпретировать сцены и соотносить их с текстовым описанием. Это важно для систем генерации и поиска по картинкам, а также для применения ИИ в системах безопасности.

◉ Аудиопонимание: способность обрабатывать аудиоконтент на русском языке — распознавать речь, интонации и звуковые сигналы. Этот навык нужен для голосовых ассистентов и приложений, работающих в шумной среде.

◉ Анализ видео: умение ИИ «понимать» динамику видеоконтента — отслеживать действия, события и причинно-следственные связи во временном контексте. Это основа для интеллектуальных ассистентов, агентов и мультимодального поиска.

Каждая задача оформлена в строгом инструктивном формате. MERA Multi охватывает четыре модальности – текст (как базовая), изображения, аудио и видео – и оснащен прозрачной системой подсчёта баллов и рейтингов. Для исследователей и индустрии это значит, что теперь можно количественно сравнивать насколько хорошо современные модели «видят», «слышат» и понимают контент на русском языке.

Проект MERA Multi также способствует стандартизации оценки ИИ в России. Разработчики создали единую «таксономию навыков» — системное описание компетенций, нужных для мультимодальных задач. В перспективе все бенчмарки MERA будут использовать одну систему навыков, что обеспечивает «согласованную и прозрачную оценку моделей во всех доменах». Такой единый подход упрощает сравнение моделей между собой и выявление направлений для улучшения.

Кроме того, MERA Multi разработан экспертами с учетом российской специфики — это делает результаты особенно релевантными для отечественных научных групп и индустриальных разработчиков.

По словам Валерии Воробьевой стандартизация критически важна: «Единый подход к оценке моделей позволяет формировать общую «шкалу» качества и координировать усилия внутри страны. MERA Multi создает такой стандарт — он дает российским разработчикам и исследователям понятную методологию сравнения моделей и синхронизирует наши усилия. Это ключевой шаг для развития качественных отечественных ИИ-решений в будущем».

Как подчеркивает пресс-служба Альянса в сфере ИИ, MERA Multi открывает новые возможности для российского ИИ-сообщества: теперь лаборатории, стартапы и крупные компании смогут открыто и объективно тестировать свои мультимодальные модели и видеть, где они сильны, а где — отстают.

Изображение: Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!