Альянс в сфере искусственного интеллекта представил новую версию бенчмарка MERA: в нее вошли динамический лидерборд, обновленная кодовая база замеров, более совершенная система промптов и улучшенные датасеты, поддержка API, а также замеры десятков новых моделей, включая созданные OpenAI.

MERA (Multimodal Evaluation for Russian-language Architectures) – это крупнейший независимый открытый бенчмарк для оценки фундаментальных моделей русского языка, совместно разработанный на площадке Альянса в сфере искусственного интеллекта исследователями от индустрии – командами «Сбера» и MTS AI, а также академическими партнерами Skoltech AI и НИУ ВШЭ. 

Обновленная версия бенчмарка включает в себя 15 основных задач, из которых строится рейтинг, и 8 открытых публичных датасетов. 

С момента релиза первой версии бенчмарка им воспользовались десятки разработчиков моделей, отправивших свыше 1000 сабмитов. Совершенствование MERA стало возможно благодаря комментариям пользователей и обратной связи от участников NLP-сообщества. Дальнейшее развитие MERA предусматривает появление в нем задач для оценки распознавания изображений, аудио- и видеоматериалов.

Источник: пресс-служба Альянса в сфере ИИ

Изображение: Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!