В Санкт-Петербургском Федеральном исследовательском центре РАН (СПб ФИЦ РАН) создали приложение для распознавания речи человека по губам. В его основе лежит нейросеть, которую обучили понимать несколько сотен наиболее распространенных команд по видеозаписям со звуком. Эта разработка на базе алгоритмов искусственного интеллекта и компьютерного зрения поможет повысить точность работы голосовых помощников в шумных условиях, например в людных местах или при управлении тяжелой техникой.

По словам ученых, созданная нейросеть способна воспринимать аудиовизуальный сигнал и автоматически принимать решение о том, какие данные (видео или звук, или оба) при распознавании дадут максимальную точность.

«Мы разработали приложение для смартфона, которое распознает звучащую речь, и считывает „по губам” слова пользователя, анализируя видеосигнал с камеры гаджета. Программа совмещает и анализирует информацию из двух источников для улучшения точности распознавания. Эксперименты показали, что такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных условиях», – рассказал старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько.

В ходе экспериментов приложение использовалось водителями шумных большегрузных автомобилей одной из логистических компаний России. Для этого ПО было установлено на смартфоны испытуемых. Точность распознавания команд только по визуальным эффектам составила 60–80 %, а в комбинации со звуковым сигналом – более 90 %.

Разработчики предполагают, что в будущем их приложение может найти применение у пилотов самолетов и тяжелой промышленной техники или для использования в интерактивных информационных киосках в торговых центрах и других местах массового скопления людей.

Источник: СПб ФИЦ РАН

Изображение: Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!