Концепция нового бенчмарка MERA (Multimodal Evaluation for Russian-language Architectures) анонсирована на международной конференции по искусственному интеллекту AI Journey. Бенчмарк поможет объективно оценивать большие языковые модели, что особенно актуально с ростом их числа и возможностей. Для тестирования моделей часто используют бенчмарки, которые представляют собой набор сложных задач, решение которых отражает способности моделей по различным доменам, задачам или модальностям. Благодаря такой оценке пользователи могут понять, как применять модель, а исследователи — получить объективную информацию для дальнейшего обучения, адаптации или развития языковых моделей.

Современные языковые модели, лежащие в основе таких сервисов, как GigaChat, ChatGPT и других, нуждаются в объективном сравнении и независимой оценке. Командой SberDevices, компании-партнера «Сбера», в коллаборации с партнерами из академического сообщества была разработана методология тестирования. В нее вошли 21 задача в инструктивном формате для тестирования фундаментальных моделей. Тесты охватывают вопросы знаний о мире, логику, причинно-следственные связи, этику искусственного интеллекта, память моделей и многое другое. В создании тестов участвовали команды из Sber AI, Skoltech AI, НИУ ВШЭ. Так появился открытый бенчмарк MERA: Multimodal Evaluation for Russian-language Architectures. Это концепция единого независимого лидерборда с фиксированными верифицированными экспертами задачами и стандартизированными конфигурациями промптов и параметров.

«С каждым днем границы применения искусственного интеллекта расширяются. Нам как никогда важно иметь актуальное представление о реальных способностях современных языковых моделей. Признанный всеми крупными участниками индустрии набор тестов — это возможность для индустрии и академического сообщества исследовать способности фундаментальных моделей, объективно оценивать их, развить коллаборации как внутри РФ, так и на международной арене. Мы приглашаем другие компании, в том числе, участников Альянса в сфере ИИ присоединиться к обсуждению методологии и зафиксировать общепринятые отраслевые стандарты», — отметил Сергей Марков, руководитель Управления экспериментальных систем машинного обучения дивизиона общих сервисов «Салют» Сбербанка.

Ассоциация «Альянс в сфере искусственного интеллекта» объединяет ведущие технологические компании для развития искусственного интеллекта. Среди участников ассоциации — «Сбер», «Газпром нефть», VK, РФПИ, Яндекс, «Сибур», АО «ОХК «Уралхим», ГК «Русагро», «Северсталь», ГК «Самолет» и другие.

Источник: пресс-служба Альянса в сфере искусственного интеллекта

Изображение: Unsplash

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!