Международный коллектив исследователей, включая российских ученых из Университета Иннополис и Санкт-Петербургского государственного электротехнического университета «ЛЭТИ», разработал нейросетевую архитектуру для распознавания по данным сенсоров и датчиков более 30 видов активности человека — от бега и бытовых действий до сложных физических нагрузок и опасных падений. Новая модель показала точность до 98,91% и может улучшить системы мониторинга здоровья, отслеживания прогресса спортсменов, реабилитационной медицины и другие сервисы. О разработке Let AI be рассказала пресс-служба Университета Иннополис.

Системы распознавания активности человека по данным сенсоров сталкиваются с двумя противоречивыми требованиями: необходимо одновременно распознавать быстрые движения, например резкое ускорение при падении, и понимать длительные паттерны поведения — отличать ходьбу от бега за несколько секунд. Большинство моделей справляются с чем-то одним. Разработанная исследователями ИИ-модель решает эту проблему с помощью двухветвевой архитектуры.

«Первая ветвь — временная сверточная сеть с причинными свертками — захватывает локальные и среднесрочные паттерны активностей — то, что человек делает прямо сейчас. А вторая ветвь — двунаправленные рекуррентные слои с механизмом канального внимания — моделирует долгосрочные зависимости — понимает контекст всей последовательности движений пользователя и предсказывает дальнейшую активность», — пояснил Дмитрий Каплун, ведущий программист-математик Исследовательского центра в сфере ИИ Университета Иннополис.

При этом модель остается крайне легкой: всего 50—62 тыс. параметров и 2—3,5 млн вычислительных операций на одно предсказание. Это позволяет, не передавая данные в облако, развертывать ее даже на недорогих носимых устройствах с ограниченными ресурсами: смарт-часах, фитнес-браслетах, медицинских устройствах.

Исследователи протестировали модель на трех общедоступных наборах данных, которые используются во всем мире для оценки систем распознавания активности человека. Первый состоит из почти 12 тыс. записей с акселерометров смартфонов 30 испытуемых и включает 17 видов активностей: бег, подъем по лестнице, прыжки, падение в обморок, удар о препятствие и другие. Второй набор — 4 млн записей с датчиков на запястьях, груди и лодыжках 9 человек с фиксированием 13 классов активностей, в том числе скандинавской ходьбы, уборки пылесосом и езды на велосипеде. И третий — 4 тыс. записей с акселерометров 14 испытуемых, совершавших 12 повседневных активностей от приёма пищи, питья из стакана, чистки зубов до лежания на кровати и использования телефона.

На первом наборе разработанная модель достигла точности 97,49%, что на 2,49% выше предыдущего лучшего мирового результата. Особенно важно, что показатель сбалансированности по классам, то есть способность одинаково хорошо распознавать все активности, включая редкие, составил 97,5% против 74,2% у другой популярной ИИ-модели. Решение исследователей гораздо лучше распознает редкие классы активностей, в частности, различные типы падений.

На втором наборе данных точность приблизилась к 98,91%, что на 1,2% выше предыдущего мирового лидера. Третий набор данных оказался самым трудным: информации об одних движениях в базе было в 10 раз больше, чем других. Если нейросеть учится на таких базах, она может заучить только частые действия и игнорировать редкие. Но модель учёных достигла 92% точности и при этом стала распознавать редкие активности на 10,38 процентных пункта лучше, чем предыдущая известная модель. Это важно, потому что в жизни редкие события, например падение, оказываются важнее частых — ходьбы.

«Наша модель оказалась устойчивой к реальным условиям. В отдельном эксперименте мы тестировали ее в условиях зашумленных сенсорных данных, собранных в естественных условиях без лабораторного контроля. При легком шуме точность сигнала снизилась всего на 3,34 процентных пункта — с 91,67% до 88,33%. При умеренном шуме — на 8,34 процентных пункта до 83,33%. Модель показала предсказуемое, а не резкое падение качества, что важно для реальных сценариев использования в носимых устройствах», — рассказал Дмитрий Каплун.

По словам ученых, распознавание человеческой активности по данным сенсоров — не просто научно-исследовательская задача. Технология лежит в основе систем мониторинга здоровья и может своевременно вызвать скорую помощь при рисках для здоровья. Такая ИИ-модель в перспективе поможет отслеживать восстановление пациента после травм и инсультов и контролировать прогресс профессиональных спортсменов при подготовке к соревнованиям. Улучшенная ИИ-модель сделает умные часы и фитнес-браслеты еще точнее: позволит подсчитывать шаги, пульс, сожженные калории и распознавать виды физической активности без ошибок. В автономных транспортных системах такая технология поможет распознавать пешеходов и их поведение на дорогах.

Работа опубликована в авторитетном научном журнале «Сложные и интеллектуальные системы». Её авторы — Дмитрий Каплун (Университет Иннополис, ЛЭТИ и Китайский горно-технологический университет), Дарья Сидорина (Университет Иннополис и ЛЭТИ), Рам Саркар (Джадавпурский университет), Сохом Госал (Джадавпурский университет и Индийский институт информационных технологий IIIT) и Сагник Госал (Вашингтонский университет).

Изображение: Mafnific

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!