Многие производства в России сталкиваются с браком продукции, который можно обнаружить путем визуального осмотра (примерами такого вида брака могут быть петли на тканях, дефекты катализаторов для автомобилей, замятие или отсутствие частей изделия). Однако визуальный осмотр требует от проверяющего повышенной внимательности и выносливости, а также высокой скорости и точности в его работе. В современных условиях производства, с его темпами и объемами, необходимо использование новых технологий для осуществления такого контроля качества. На помощь приходят алгоритмы компьютерного зрения.

Нашей командой для решения подобного вида задач предлагается применение нейронной сети на архитектуре YOLOv5. У этой модели инференс (так называют непрерывную работу какой-либо нейросети на конечном устройстве) обладает низкими требованиями к вычислительной мощности: ее можно активно использовать как на «домашних» ноутбуках, так и на промышленных компьютерах. Кроме того, YOLOv5 демонстрирует хорошую обучаемость даже на небольших объемах данных. Эти преимущества позволяют быстро адаптировать алгоритмы поиска брака для конкретных задач на производствах, а также определять положение бракованных изделий на линии.

Для того чтобы обучить нейросеть, необходимо собрать и подготовить данные. «Сырые» данные — фотографии или видео с бракованными изделиями — мы получаем с помощью съемки на обычный смартфон. Важно, чтобы эти изображения демонстрировали как можно больше различных ситуаций возникновения брака.

После того как данные собраны, происходит самый скучный и монотонный процесс — разметка.  В ходе этого процесса на каждой фотографии или на кадре видео создается метка, которая определяет местоположение детектируемого объекта и его принадлежность к конкретному классу.

Теперь, когда данные готовы, на более мощной ЭВМ запускается алгоритм обучения нейросети. Это долгий процесс, который может занимать несколько дней. Итогом является сгенерированная алгоритмом конфигурация, которая позволяет выполнять поставленные системе задачи.

Когда все готово к инференсу, на производственную линию устанавливаются камеры и так называемый вычислительный блок (он представляет собой компьютер с модулем ввода/вывода) с необходимым программным обеспечением, которое теперь осуществляет контроль качества вместо человека.

Если технология производства требует осуществления отбраковки, подсчета количества бракованных изделий, внесения их в базу данных или других не связных с обнаружением и классификацией брака задач, то эти функции возлагаются на вспомогательные модули и подсистемы, которые также могут быть установлены в существующую систему контроля качества.

Я считаю, что применение модели YOLOv5 лучше всего подходит в ситуациях, когда бракованные изделия имеют какие-либо геометрические или цветовые отклонения от эталона, поскольку ярко выраженные различия между объектами существенно упрощают задачу их классификации.

Разумеется, существуют и другие методы осуществления визуального контроля качества с помощью систем компьютерного зрения. В ситуациях, когда необходимо установить только факт наличия брака (не определяя положение бракованного изделия на линии, как в ситуации с YOLOv5), можно применять классические методы компьютерного зрения, такие как поиск ключевых точек, выделение границ объектов, сегментация, геометрические преобразования, то есть не создавать нейросети.

Стоит понимать, что алгоритмы компьютерного зрения несовершенны. Их производительность во многом зависит от оборудования (камер и датчиков), и зачастую необходимая скорость обработки данных требует серьезных вычислительных мощностей. Еще одним недостатком промышленных систем компьютерного зрения можно назвать сложность их масштабирования, поскольку для каждого нового типа брака на производстве необходимо заново собирать и обрабатывать данные для обучения. Возможно, в будущем появятся самообучающиеся алгоритмы, которые смогут нивелировать эту проблему.

Однако именно благодаря технологиям компьютерного зрения можно добиться точности при детектировании брака. Например, в ходе производственных испытаний нашей системой из партии в 10 тыс. ед. продукта было отбраковано около 1 тыс. ед. некачественных изделий — и 100% из них действительно имели потребительские недостатки. Человек же осуществляет примерно 25% ложных отбраковок или вовсе пропускает бракованную продукцию. Таким образом, применение компьютерного зрения позволяет не только избавить человека от утомительной работы, но и повысить качество производства.