Недавно компания Meta* выпустила свою новую языковую ИИ-модель под названием SeamlessM4T (Massively Multilingual and Multimodal Machine Translation) — универсальную систему, выполняющую широкий спектр задач по обработке речи и текста. Эта нейросеть распознает около 100 языков — от английского до хинди — и выдает результат на 35 языках. При этом особенность модели SeamlessM4T в том, что она способна понять, когда человек использует несколько языков сразу, и переключается с одного на другой.

Преимущества представленной модели — в ее многоязычности и многозадачности, то есть способности расшифровывать и переводить речь или текст в различных комбинациях. Это может быть преобразование речи в речь / речи в текст / текста в речь / текста в текст / автоматическое распознавание речи.

Чтобы воплотить модель в жизнь, разработчики извлекли веб-данные (десятки миллиардов предложений) и речь (четыре миллиона часов) из общедоступных источников и использовали их для создания открытого датасета для перевода SeamlessAlign. В общей сложности, по словам компании, ей удалось сопоставить более 443 тысяч часов речи с текстами и преобразовать около 29 тысяч часов речи.

В прошлом году Meta* выпустила NLLB-200 (No Language Left Behind) — модель машинного перевода, которая может поддерживать 200 языков. Также компания разработала SpeechMatrix — крупномасштабный многоязычный набор данных для перевода речи в речь, а также модель Massively Multilingual Speech, поддерживающую автоматическое распознавание речи (ASR) и синтез текста в речь (TTS) более чем на 1100 языках, а также идентификацию (LID) более чем 4000 языков. Кроме того, Meta* продемонстрировала Universal Speech Translator — первый переводчик устной речи, работающий для языков, которые являются в основном устными и не имеют своей письменности.

Хотя новейшая модель SeamlessM4T и основывается на предыдущих разработках компании, это еще один шаг Meta* к созданию ИИ-модели для перевода, которая будет работать на всех языках мира.

Текст: Юлия Быстрова

Источник: The Verge   

Изображение: Adobe Stock (шапка); *Meta

*компания признана экстремистской и запрещена на территории России

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!