Исследователи Университета Иннополис, Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» и Джадавпурского университета разработали гибридную нейросетевую архитектуру, которая анализирует электроэнцефалограммы для определения стресса, радости и других эмоциональных состояний. Решение полезно при создании систем мониторинга психического здоровья и адаптивных интерфейсов «человек — компьютер». Результаты экспериментов опубликовал научный журнал Scientific Reports, входящий в Nature Portfolio. Подробностями с Let AI be поделилась пресс-служба Университета Иннополис.

Новая модель была протестирована на трех общедоступных эталонных наборах данных ЭЭГ. Максимальную точность — 99,99% — модель показала на наборах данных, где нужно было определить спокойствие, стресс или радость и эмоциональные состояния в условиях стресса: в первом случае система совершила 3 ошибки из 27 130 образцов, во втором — всего 1 ошибку из 78 328 вариантов. Наибольшее количество ошибок модель сделала на наборе, где требовалось выявить негативное, нейтральное и положительное настроения — 15 ошибок на 427 случаев — точность 96,49%.

«Мониторинг психического здоровья с помощью распознавания эмоций играет важную роль в разработке систем персонализированного здравоохранения и в ранней диагностике депрессии, тревожности и связанных со стрессом расстройств. Если существующие подходы к распознаванию эмоций по ЭЭГ с помощью искусственного интеллекта требуют ручного выбора и настройки признаков, плохо обобщаются на разные наборы данных и вычислительно сложны, то наша новая ИИ-архитектура снимает эти ограничения: позволяет получить результат быстрее, точнее и с меньшими вычислительными затратами», — рассказал Дмитрий Каплун, ведущий программист-математик Исследовательского центра в сфере ИИ Университета Иннополис.

Предложенная исследователями архитектура объединяет две параллельные ветви нейронной сети. Временная ветвь использует сеть долгой краткосрочной памяти, которая обрабатывает сырые сигналы электроэнцефалограмм и улавливает изменения, связанные с эмоциональными состояниями. А спектральная ветвь с помощью сверточной нейросети извлекает из ЭЭГ-сигналов признаки. Результаты обеих ветвей объединяются, а итог классифицируется с помощью компактной нейросети. Ученые также придумали ввести механизм кросс-модального улучшения, который позволяет двум этим ветвям обмениваться информацией и обогащать друг друга признаками, что делает прогноз эмоций точнее.

В сравнении с существующими моделями, решение исследователей на тех же наборах данных превзошло или сравнялось с известными результатами.

На наборе данных с негативными, нейтральными и положительными эмоциями лучший результат был 95,99% — новая модель показала 96,49% точность. На наборе данных со спокойным, стрессовым и радостным состояниями прежний лучший результат составлял 98,55%, а предложенная модель достигла точности в 99,99%. В дальнейшем ученые планируют адаптировать модель для онлайн-распознавания эмоций по потоковым данным ЭЭГ и интегрировать ИИ-архитектуру для использования с другими методами и данными психофизиологической диагностики: электрокардиограммами, фотоплетизмограммами и электродермальной активностью.

Статья «Двухветвевая структура глубокого обучения для распознавания эмоций по сигналам ЭЭГ» опубликована в научном журнале Scientific Reports. Ее авторы — Вячеслав Гульванский и Дмитрий Каплун (Университет Иннополис и ЛЭТИ), а также Дебам Саха, Асфак Али и Рам Саркар (Джадавпурский университет, Индия). 

Изображение: DС Studio / Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!