Индустрия 4.0 существует уже десять лет и развивается параллельно с быстро развивающимися инновациями в области искусственного интеллекта (ИИ). На нашей недавней конференции Perceive 2020 Цянь Линь, доктор философии. HP обсудили последние исследования в области глубокого обучения для визуального контроля.

По сравнению с индустрией 3.0, где для повышения производительности используются логические элементы управления на основе правил и базовая связь между различными частями производственного подразделения, глубокое обучение является основным двигателем аналитики и интеллекта в индустрии 4.0. Компьютерное зрение на основе глубокого обучения имеет широкое применение в автоматизации визуального контроля для контроля качества и улучшения процессов на основе аналитики в цифровом производстве.

Рис. 1. Четыре ключевые технологии в индустрии 4.0

Цифровая промышленная революция изменит обрабатывающую промышленность за счет внедрения искусственного интеллекта, робототехники, 3D-печати, промышленного Интернета вещей (IIoT), больших данных и аналитики. Эти технологии позволят обрабатывающей промышленности эффективно производить продукцию с автоматизированным контролем качества. Задержки в контроле качества и проверке значительно сократятся. Это, в свою очередь, приведет к уменьшению складских запасов, повышению эффективности цепочек поставок, сокращению времени выхода на рынок и повышению эффективности использования капитала.

Используя эту технологию цифрового производства, компании могут выполнять массовую настройку. Простой пример этой технологии можно найти в испанском магазине игрушек, где 3D-печать используется для создания кукол, которые выглядят как их покупатели.

Контроль качества в автоматизации производства с использованием компьютерного зрения

Контроль качества должен осуществляться в течение всего производственного процесса во время производства. Это одна из областей, которая требует значительных затрат времени и средств. Революция в индустрии 4.0 может автоматизировать процессы контроля качества с использованием таких технологий, как компьютерное зрение и аналитика больших данных. Автоматизация контроля качества может применяться не только к конечному продукту, но и при получении комплектующих от поставщика, при сборке и окончательной упаковке. Компьютерное зрение можно использовать для обнаружения дефектов продукции на этапе производства, выявления проблем с производственным процессом и, наконец, изменения производственного процесса для устранения дефекта.

Рис. 2. Автоматизированный заводской контроль качества управляется компьютерным зрением

Человеческое зрение и «классическое» компьютерное зрение

HP производит 2D- и 3D-принтеры. Они тестируют каждый принтер перед отправкой, используя набор тестовых шаблонов. Затем эти тестовые шаблоны проверяются визуально, а также с помощью классического компьютерного зрения на наличие дефектов в отпечатках. «Классический» использует предопределенный подход, основанный на правилах, для интерпретации визуальных данных, аналогичный типу технологии, которая будет использоваться для сканирования формы с множественным выбором.

Принтеры подвергаются различным уровням влажности и температуры, чтобы увидеть, влияет ли это на качество печатаемого изображения. В этом случае классическое компьютерное зрение в сочетании с ручным контролем человека очень хорошо работает при оценке отпечатанных образцов, однако при изготовлении нестандартных отпечатков в очень больших масштабах возникает проблема.

Рисунок 3. Инспекция человеческого и классического компьютерного зрения

Задача визуального контроля пользовательской печати

В очень крупных пользовательских типографиях основным препятствием является ручная проверка качества каждого отпечатка. Например, рулонная печатная машина HP PageWide — это промышленная печатная машина для коммерческой печати больших объемов. Скорость печати может достигать 1000 футов/мин (305 м/мин) при ширине полотна до 42 дюймов (106,7 см).

Рис. 4. Рулонная печатная машина HP PageWide серии T400

При такой высокоскоростной заказной печати ручные проверки быстро становятся неуправляемыми. Наем и обучение большого количества персонала для визуального контроля требует больших затрат и приводит к высокому уровню ошибок. ИИ может автоматизировать проверку, используя компьютерное зрение, подкрепленное глубоким обучением. Успех глубокого обучения обусловлен достижениями в трех ключевых областях: большие наборы данных для обучения моделей, более совершенные сетевые модели и более мощные графические процессоры.

Рисунок 5. Три ключевые области, необходимые для эффективного глубокого обучения

Характеристика дефектов печати с использованием ИИ и глубокого обучения

Чтобы охарактеризовать дефект печати, исследователи разделили задачу следующим образом:

  • Цель: создать карту дефектов печати с точностью до пикселя.
  • Проблема: отсутствие точно аннотированных данных изображений для обучения
  • Решение: использование смоделированных артефактов для обучающих данных и реальных артефактов на распечатанных и отсканированных изображениях в качестве тестовых данных.

Ниже приведены некоторые примеры дефектов печати, которые ИИ должен обнаруживать во время высокоскоростной крупномасштабной печати:

Рисунок 6. Некоторые виды дефектов при печати

Видно, что аннотировать эти дефекты для компьютерного зрения очень сложно. Например, в полосах много пикселей. Данные также недоступны для обучения моделей ИИ. Решение, предложенное исследователями, заключалось в том, чтобы использовать смоделированные дефекты в качестве обучающих данных, а затем использовать реальные дефекты на распечатанных и отсканированных изображениях в качестве тестовых данных. Исследователи эффективно подошли к этой проблеме, создав синтетические дефекты (полосы, цветные полосы и т. д.), как показано ниже:

Рис. 7: (a) Темные полосы: текстурированная область (шум Перлина) и блеклые края, примененные к обратному каналу. (б). Цветовые полосы: бимодель Гаусса для моделирования интенсивности + шума, применяемая к любому каналу CMYK

Конвейер обучения и тестирования ИИ

Исследователи использовали следующий конвейер обучения и тестирования для определения характеристик дефектов печати.

Рис. 8. Процесс обучения и тестирования ИИ

После добавления синтетических эффектов есть два варианта: либо уменьшить размер изображения для эффективного обучения, либо изменить размер изображения на основе патча, как показано на следующей диаграмме:

Рис. 9. Изменение размера изображения и входные данные изображения на основе исправлений как параметры модели машинного обучения

Исследователи обнаружили, что изменение размера изображения заняло всего 1,7 секунды, в то время как метод на основе патчей занял почти 20 секунд для того же изображения. Последний метод оказался более точным, чем первый.

На следующем шаге был добавлен эффект печати-сканирования, потому что распечатанное изображение должно быть отсканировано каким-либо устройством перед вводом в модель ИИ для обнаружения дефектов. При моделировании было два варианта. Либо используйте исходное эталонное изображение (исходное изображение RGB) в качестве дополнительных входных данных, либо тренируйтесь без эталонного изображения. Исследователи обнаружили, что когда модель обучалась без исходного эталонного изображения, производительность была выше.

Рисунок 10. Архитектура модели

Модель была протестирована на реальных данных, и были получены следующие результаты:

Трансформация индустрии 3.0 в индустрию 4.0 уже началась. В этой статье описан только один аспект автоматизации контроля качества 2D-изображений. Но те же методы могут быть использованы для других производственных систем в будущем. Это сократит задержки в контроле качества, особенно в отраслях, производящих продукцию на заказ.

Компьютерное зрение на основе глубокого обучения имеет широкое применение в автоматизации визуального контроля для контроля качества и улучшения процессов на основе аналитики в цифровом производстве.