21 мая в Нижнем Новгороде в рамках конференции «Цифровая индустрия промышленной России» (ЦИПР) состоялась панельная сессия «Бенчмарки как основа систем оценки ИИ-решений». Организаторы сессии — Минцифры России и ассоциация «Альянс в сфере искусственного интеллекта».

Технологии искусственного интеллекта стремительно развиваются, ускоряются инновации во многих областях науки, повышается качество и доступность социальных услуг, улучшаются производственные процессы и в целом благодаря ИИ ускоряется рост мировой экономики. Вместе с тем в условиях стремительного развития требуется удобный инструмент определения качества ИИ-решений, доступный каждому.

Бенчмарки — автоматизированные алгоритмы замера показателей эффективности — уже зарекомендовали себя в качестве адекватного механизма оценки точности и корректности работы моделей машинного обучения, и Альянс в сфере ИИ совместно с Минцифры России решили посвятить сессию аспектам применения бенчмарков в различных отраслях экономики – от нефтехимии и строительства до сельского хозяйства и здравоохранения. Модератором сессии выступила Вероника Строголева, начальник отдела развития технологий искусственного интеллекта и больших данных Минцифры России.

Анна Мещерякова, генеральный директор компании «Платформа Третье Мнение», рассказала участникам и слушателям сессии о специфике использования ИИ в здравоохранении. Она подчеркнула, что в медицине от качества принимаемых решений зависит здоровье и жизнь человека, поэтому здесь особенно важно использовать механизмы объективной оценки эффективности выполнения типовых задач ИИ-сервисами.

«Современные ИИ-алгоритмы позволяют не только помочь своевременно диагностировать заболевание, но и спрогнозировать риск его развития. В мировой практике есть влиятельные бенчмарки, которые дают рынку точное представление о возможностях ML-моделей. У российского заказчика также должна быть возможность первичного отбора и квалификации решений, которая подходит для сервисов анализа данных вне зависимости от их типа: изображений, текстовых или звуковых файлов, видеопотока. Первично отобранные решения в дальнейшем должны будут себя проявить и показать стабильность в реальной клинической практике на больших потоках данных», — отметила эксперт.

По мнению исполнительного директора Центра индустриальных внедрений ИИ Сбербанка Кирилла Солнцева, бенчмаркинг ML-моделей позволяет участникам рынка находить те продукты, которые в наибольшей степени отвечают требованиям времени: «В основе каждого бенчмарка – прикладная задача, которую решают с помощью машинного обучения с той или иной эффективностью. Заказчикам ИИ-решений важно понимать, действительно ли предлагаемые вендорами разработки конкурентоспособны, чтобы не полагаться лишь на маркетинговые материалы. Поэтому для компаний, которые вошли в отраслевые клубы “ИИ в АПК” и “ИИ в здравоохранении” Альянса, инициативы по бенчмаркингу вошли в число приоритетных».

Лидер продуктового направления Cloud.ru Антон Смирнов, представивший на сессии платформу, разработанную Альянсом в сфере ИИ и Минцифры совместно с Cloud.ru, пригласил всех желающих познакомиться с ее функционалом: «Пилотирование первых отраслевых бенчмарков, созданных при участии компаний из клуба “ИИ в АПК” Альянса, показало, что результаты замера эффективности моделей по общепринятым метрикам могут быть весьма неожиданными — для одного из партнеров, скажем, стало сюрпризом, что их модель, которая совершенствовалась не один год, уступила, хоть и немного, по точности решению другой команды. И мы уверены, что подобные инструменты объективной оценки применяемых моделей могут стать основой для принятия бизнес-решений крупными заказчиками уже в ближайшем будущем».

Бизнес-партнер централизованных функций ИТ «Русагро Тех» Николай Стадников и Анна Мещерякова («Платформа Третье Мнение») анонсировали появление на платформе Альянса новых бенчмарков, которые позволят оценить точность моделей, призванных решать задачи в АПК (прогноз фенофаз культурных растений, прогнозирование болезней и вредителей) и в здравоохранении (понимание медицинского текста, умение отвечать на уточняющие вопросы по нему и делать выводы, а также обработка ЭКГ-сигналов для раннего выявления заболеваний сердца).

«С помощью бенчмаркинга мы бы хотели получить ответы на два вопроса: возможно ли найти решение, которое является хотя бы минимально экономически оправданным, и, если да, то какая из множества существующих моделей наиболее эффективна, — уточнил Николай Стадников. — Надеюсь, что к “Русагро” присоединятся и другие компании АПК, и вместе нам удастся проверить, какие ИИ-решения в наибольшей степени подходят для использования в сельском хозяйстве».

Руководитель по управлению данными, аналитике и инновациям «Сибур Диджитал» Алексей Винниченко в свою очередь привел пример разработки корпоративной системы аналитики, позволяющей прогнозировать изменение котировок нефтехимических продуктов, — в нее уже встроены элементы бенчмаркинга, в режиме реального времени оценивающие точность модели, а также дополнительный модуль, который обогащает прогноз информационным контекстом,  изучая новостные материалы и конъюнктуру рынка.

«При использовании бенчмарков стоит не только учитывать результаты математического расчета показателей той или иной модели, но и все многообразие сценариев и обстоятельств, в которых она будет применяться, — добавил Алексей Винниченко, — Только такой подход позволяет рассчитывать на экономический эффект, и на примере “Сибура” могу заявить, что он может быть значительным».

Руководитель центра цифровых технологий компании «Газпром нефть» Михаил Корольков, рассказавший на сессии про использование ML-моделей в нефтяной отрасли, выделил несколько уровней применяемых решений — от базовых «коробочных» версий до узкоспециализированных, заточенных под специфику конкретных индустрий — и подчеркнул, что на каждом уровне применяются разные критерии оценки: «Нам еще предстоит определиться с тем, как должны быть устроены бенчмарки для такого разнообразия задач, какие из них имеет смысл делать действительно открытыми, а какие будут применимы только в привязке к конкретным предприятиям. Мы еще в начале этого важного пути». 

Материал предоставлен пресс-службой Альянса в сфере ИИ

Изображение: скриншот трансляции конференции ЦИПР 2024

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!