В прошлом году широкая аудитория пользователей оценила возможности генеративных нейросетей: как они придумывают и улучшают изображения, генерируют тексты на разных языках и имитируют голоса разных людей. ChatGPT уверенно вошел в заголовки СМИ, повестку деловых конференций и в бытовые разговоры. Но, помимо генеративных сетей, есть и другие нейросети, которые способны на многое.

Например, нейросети AlphaFold и AlphaFold-2 от компании Google DeepMind по текстовому описанию последовательности аминокислот умеют строить геометрическую трехмерную структуру белка. Если у ученых на эту операцию уйдут десятки лет, то нейросеть на хороших вычислительных мощностях справляется за минуты. При этом экспериментальные методы показывают, что точность у человека и нейросети сопоставимая.

Большую популярность нейросети приобрели в области компьютерного зрения. И на металлургическом комбинате их функциональность очень востребована.

В «Северстали», например, с их помощью детектируются отклонения в качестве готовой продукции. Если развернуть рулон стального проката, его длина может достичь 5 км, оператору пришлось бы анализировать за смену от полумиллиона до полутора миллионов фотографий вручную. Конечно, отсмотреть такой объем физически невозможно, поэтому ранее осмотр производился выборочно, а процент отклонений был выше.

Сейчас разработанная нами система видеоинспекции полосы, которую мы назвали VERA, получает изображения с камер высокого разрешения, распознает и классифицирует дефекты с помощью нейросети, обученной на десятках тысяч размеченных фотографий металлопроката. После этого эксперты проводят аттестацию и принимают решение о соответствии продукции требованиям клиента. Для оценки качества работы модели отслеживаются две метрики некорректных срабатываний: «перебраковка» (как часто модель путает классы дефектов или находит лишние) и «недобраковка» (как часто модель не обнаруживает дефекты). Для примера, VERA на агрегате НТА-4 достигает уровней некорректных срабатываний 12% и 14% соответственно, в то время как рыночные аналоги демонстрируют результаты более 30% и 15%.

Кроме отклонений в качестве, мы научились с помощью нейросетей находить посторонние предметы на конвейере, которые могут помешать его стандартной работе, а также распознавать дефекты на подобных конвейерах и обнаруживать трещины на цепных конвейерах. Когда мы учили модели, мы столкнулись с тем, что посторонние предметы, некоторые виды дефектов и трещины встречаются нечасто. Это хорошо для производства, но не очень удобно для обучения нейросети, потому что данных для формирования датасета будет не хватать.

Сначала мы пробовали бросать реальные предметы на конвейер. Но это сильно затягивает процесс разработки и не всегда выглядит аналогично жизненным ситуациям. Тогда мы прибегли к генерации таких примеров. Для этого мы использовали разные подходы — пробовали и сканировать объекты 3D-сканером, но на деле наиболее простым и визуально качественным подходом оказался Deep Image Blending, в котором отдельная нейросеть учится хорошо вписывать в фон дефекты, нарисованные вручную или взятые из интернета.

Также мы все больше пользуемся нейросетью Segment Anything. Это предобученная сеть, свободно доступная для использования, которая без учителя выделяет контуры всех объектов на любом изображении. Мы загружаем фото, отмечаем несколько точек в центре объекта, а сеть выделяет контуры оборудования, предметов, людей и т.д. В результате разметка по контуру, которая делается часами, в нашем случае делается за считанные минуты и очень точно.

Еще один пример — использование модели Segment Any Anomaly для проверки синтетических данных, которые мы, как в примере выше, генерируем сами. Мы подаем синтезированное изображение в модель и указываем в текстовом запросе, что на ней есть инородные объекты. Segment Any Anomaly должна выделить их на изображении, но если она выделяет их по контуру вставки, значит, дефект вставлен плохо и надо улучшать метод синтеза.

Перечисленные выше примеры касаются улучшения качества готовой продукции и повышения работоспособности оборудования. Однако есть у нейросетей на производстве и другие области применения. Так, в «Северстали» наша собственная модель на основе компьютерного зрения используется для снижения утечек загрязняющих веществ. Она контролируют плотность прилегания дверей коксовой батареи, анализируя данные с четырех камер видеонаблюдения, расположенных с разных сторон батареи. Визуальный контроль в этом месте обеспечить непросто, тем более в неблагоприятных погодных условиях, при разной степени освещения и в ходе технологических процессов производства. При обнаружении выброса коксового газа система его регистрирует и мгновенно оповещает технологический персонал звуковым сигналом.

Среднее время устранения газований за период промышленной эксплуатации модели сократилось почти в 2 раза. Также решение автоматически формирует ежесуточный отчет о продолжительности выброса, что позволяет контролировать состояние агрегата и предотвращать новые выбросы коксового газа. Таким образом, мы не только предотвращаем утечку вредных веществ в атмосферу, но и продлеваем срок службы оборудования.

Еще один приоритет производства — это безопасность. И здесь не обошлось без решений на основе компьютерного зрения. Модели на основе нейросетей, дополненных алгоритмами компьютерного зрения, анализируют видеопоток и контролируют присутствие персонала в потенциально опасной зоне, определяют наличие у работников средств индивидуальной защиты, а также следят за безопасным передвижением техники и обращением с промышленным оборудованием. Для большинства проектов удалось снизить количество опасных действий более чем в 3 раза, а для некоторых из них — полностью исключить.

Для повышения точности моделей применяются комбинации различных архитектур нейросетей. Например, для контроля наличия средств индивидуальной защиты используется трекинг объектов, который помогает отслеживать перемещение одних и тех же людей в кадре, снижая количество ложных срабатываний системы, в том числе при неудачном ракурсе. Для передачи сигнала об опасном действии реализуется интеграция с АСУ ТП (автоматизированной системой управления технологическим процессом) и информационными системами «Северстали». Например, для оповещения машиниста о наличии людей в зоне работы крана в цехе отделки металла №2 была настроена интеграция модели компьютерного зрения с системой 3D-склад.  

Модели на основе компьютерного зрения используются и в составе комплексных продуктов, которые включают в себя и классические модели машинного обучения. Например, в 2023 году «Северсталь» внедрила решение, которое определяет гранулометрический состав железорудных окатышей и на этой основе управляет процессом их окомкования. Наиболее эффективный обжиг возможен тогда, когда в обжиговой машине преобладает доля окатышей класса 10-12,5 мм. Ранее у операторов не было индикатора, который мог бы точно определить эту долю: замеры проводились визуально, выборочно и в ручном режиме на основе лабораторных проб.

Модель компьютерного зрения высчитывает гранулометрический состав сырых окатышей, точно определяет их контур и размеры, в том числе и тех, которые скрывает первый слой, и предсказывает долю нужных классов. В зависимости от этого показателя другие модели машинного обучения регулируют скорость вращения окомкователя и дозировку бентонита и концентрата. Решение дало возможность не только контролировать процесс окомкования и управлять им, но и стандартизировало работу обжиговой машины. В результате использования модели производительность линии окомкования повысилась на 11% с сохранением качества продукции.

В настоящее время в развитии компьютерного зрения есть несколько трендов, и «Северсталь» планирует их использовать в своей разработке. Во-первых, нейросети-трансформеры. Сейчас их можно отнести к state-of-the-art подходу, который применяется и в компьютерном зрении, и в языковых моделях. Пока они достаточно тяжелые, но есть возможность их облегчить. Например, мы сравнили Detection Transformer с нашими текущими подходами на одном из проектов и получили прирост по точности в 20% по некоторым классам, не теряя в скорости обработки.

Во-вторых, мы работаем с детекторами аномалий, позволяющими отслеживать отклонения с минимальным количеством примеров таких отклонений.

В-третьих, пробуем генерацию изображений дефектов с помощью переноса стилей, без рисования вручную. Например, у нас накопилось много картинок с порезами на металлической поверхности, но нет ничего подобного на резиновой. Генеративная сеть по аналогии создает изображение поверхности резинового конвейера с отверстиями и порезами, перенесенными с металла.

Впереди нас ждет множество интересных прорывов в области компьютерного зрения, при этом научное сообщество активно обращает внимание и на этичность искусственного интеллекта, и на объяснимость принимаемых решений. Поэтому сценарий «восстания машин», который так популярен в киноиндустрии, маловероятен. Важный нюанс текущего развития — создание новых рабочих мест в сфере ИИ. Очевидно, что какие-то рабочие места постепенно будут уходить или потребуют меньшей квалификации. Но в истории человечества таких прорывных технологических революций было уже несколько. Люди переучивались, осваивая новые технологии, компьютеры, и сейчас станут работать с ИИ. Эти технологии прочно войдут в наш обиход, будут помогать и на производстве, и в творчестве. А мы продолжаем следить за трендами и применять их для производственных задач.

Изображения: fanjianhua / Freepik; из личного архива автора

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!