Машинное зрение

Исходя из задач, которые  решает машинное зрение, можно выделить множество областей применения машинного  зрения. Однако стоит отметить, что  сегодняшняя структура спроса определяется пока еще ограниченными возможностями  современных систем машинного зрения.

Ниже приведена структура  рыночного спроса по проектной тематике.

· 50% всех систем машинного  зрения эксплуатируются в задачах  контроля качества, т.е. решают инспекционные задачи машинного зрения. Это, прежде всего визуальный контроль за процессом сборки, цветом и качеством поверхности продукции, внешним видом и чистотой упаковки, правильностью и разборчивостью этикеток, уровнем жидкости во всевозможной таре и т. д. Примерно 10% этих задач выполняются системами трехмерного зрения. Отдельная область использования систем машинного зрения на производстве - проведение всевозможных визуальных измерений параметров технологических процессов и, в частности, определение размеров предметов, т.е. решение задач измерения.

· 20% спроса приходится на системы  машинного зрения для проектов автоматизации  производства и внедрения промышленных роботов. Такие системы машинного  зрения упрощают самые разные виды высокоточной деятельности (сборка и  разборка, фасовка, покраска, сварка, утилизация), облегчают транспортировку грузов, применяются в системах учета, маркировки, регистрации и сортировки продукции. Также инспекционные задачи и задачи расположения для правильной работы робота.

· 17% всех продаж систем машинного  зрения составляют широко известные  и хорошо работающие OCR/OCV-системы  распознавания печатных символов и  штрих-кодов. Решение задачи идентификации.

· Рынок систем машинного  зрения для непроизводственных (развлекательных, бытовых, исследовательских) роботов  составляет 13%.

Разница между зрением человека и компьютера. 
Ребенок учится распознавать объекты постепенно. Он начинает осознавать, как меняется форма объекта в зависимости от его положения и освещения. В дальнейшем при распознавании объектов человек ориентируется на предыдущий опыт. За свою жизнь человек накапливает огромное количество информации, процесс обучения нейронной сети не останавливается ни на секунду. Для человека не представляет особой сложности по плоской картинке восстановить перспективу и представить себе, как бы все это выглядело в трех измерениях.  
Компьютеру все это дается гораздо сложнее. И в первую очередь из-за проблемы накопления опыта. Нужно собрать огромное количество примеров, что пока что не очень получается. 
Кроме того, человек при распознавании объекта всегда учитывает окружение. Если выдернуть объект из привычного окружения, узнать его станет заметно труднее. Тут тоже играет роль накопленный за жизнь опыт, которого у компьютера нет.

Методы обработки

Коммерческие пакеты программ для машинного зрения и пакеты программ с открытым исходным кодом  обычно включают в себя ряд методов  обработки изображений, таких как:

• Счетчик пикселей: подсчитывает количество светлых или темных пикселей.
• Бинаризация: преобразует изображение в серых тонах в бинарное (белые и черные пиксели).
• Сегментация: используется для поиска и/или подсчета деталей.
• Поиск и анализ блобов (Блоб - объектный файл без публично доступных исходных кодов, загружаемый в ядро операционной системы.): проверка изображения на отдельные блобы связанных пикселей (например, черной дыры на сером объекте) в виде опорных точек изображения. Эти блобы часто представляют цели для обработки, захвата или производственного брака.
• Покомпонентное распознавание и извлечение геонов (geons) на входном изображении(Гео́н — электромагнитная или гравитационная волна, которая удерживается в ограниченной области гравитационным притяжением энергии своего собственного поля.).
• Надежное распознавание по шаблонам: поиск по шаблону объекта, который может быть повернут, частично скрыт другим объектом, или отличным по размеру.
• Чтение штрих-кодов: декодирование 1D и 2D кодов, разработанных для считывания или сканирования машинами.
• Оптическое распознавание символов: автоматизированное чтение текста, например, серийных номеров.
• Измерение: измерение размеров объектов в дюймах или миллиметрах.
• Обнаружение краев: поиск краев объектов.
• Сопоставление шаблонов: поиск, подбор, и/или подсчет конкретных моделей.
• Обработка нейронной сети: взвешенное и самообучающееся многовариантное принятие решений.

В большинстве случаев, системы  машинного зрения используют последовательное сочетание этих методов обработки  для выполнения полного инспектирования. Например, система, которая считывает  штрих-код может также проверить поверхность на наличие царапин или повреждения и измерить длину и ширину обрабатываемых компонентов.

Компоненты системы

Типовая система машинного  зрения состоит из одной или нескольких цифровых или аналоговых камер (черно-белые  или цветные) с подходящей оптикой  для получения изображений, подсветки  и объекта (рис. 4), оборудования ввода/вывода или каналы связи для доклада  о полученных результатах. Кроме  того, важна и программная составляющая систем машинного зрения, а именно программное обеспечение для  подготовки изображений к обработке (для аналоговых камер это оцифровщик изображений), специфичные приложения программного обеспечения для обработки  изображений и обнаружения соответствующих  свойств.

Матрица чувствительных элементов, входящих в состав видеокамеры, предназначена для получения цифрового изображения. В состав матрицы чувствительного элемента входит множество аналого-цифровых преобразователей, предназначенных для преобразования информации о световой интенсивности в цифровое значение.

Объектив позволяет камере фокусироваться на определенном расстоянии и получать четкое изображение объекта. В случае, когда объект находится вне фокусного расстояния, изображение получается нерезким (размытым, с нечеткими краями), что ухудшает возможность обработки видеоряда. В отличие от обычных цифровых фотоаппаратов с объективами, поддерживающими функции автофокусировки, в машинном зрении применяется оптика с фиксированным фокусным расстоянием или ручной настройкой фокуса. Существуют различные типы объективов для самых разных задач (стандартные, телескопические, с широким углом обзора, с увеличением и другие), и выбор правильного типа оптики - важный этап при проектировании системы машинного зрения.

Подсветка - еще один важный элемент в машинном зрении. Благодаря использованию различных типов освещения можно расширить круг задач, решаемых машинным зрением. Существует различные типы подсветок, но наиболее популярным является светодиодная - в связи с ее высокой яркостью. При этом современный уровень развития светодиодной техники обеспечивает большой срок службы устройства и малое энергопотребление.

Принципы функционирования систем машинного зрения

Изображение, полученное с  камеры, попадает в захватчик кадров или в память компьютера. Захватчик кадров - это устройство, которое преобразует выходные данные с камеры в цифровой формат (как правило, это двумерный массива чисел) и размещает изображения в памяти компьютера, так чтобы оно могло быть обработано с помощью программного обеспечения для машинного зрения.

Программное обеспечение, как  правило, совершает несколько шагов  для обработки изображений. Часто  изображение для начала обрабатывается с целью уменьшения шума или конвертации  множества оттенков серого в простое  сочетание черного и белого (бинаризации). После первоначальной обработки  программа будет считать, производить  измерения и/или определять объекты, размеры, дефекты и другие характеристики изображения. В качестве последнего шага, программа пропускает или забраковывает  деталь в соответствии с заданными критериям. Если деталь идет с браком, программное обеспечение подает сигнал механическому устройству для отклонения детали; другой вариант развития событий, система может остановить производственную линию и предупредить человека работника для решения этой проблемы, и что привело к неудаче. Хотя большинство систем машинного зрения полагаться на «черно-белые» камеры, использование цветных камер становится все более распространенным явлением. Кроме того, все чаще системы машинного зрения используют цифровые камеры прямого подключения, а не камеры с отдельным захватчиком кадров, что сокращает расходы и упрощает систему.

Применение машинного  зрения

Системы "машинного зрения" применяются в следующих областях промышленности:

•           Автомобилестроение.

•           Электроника

•           Медицина и фармацевтика

•           Машиностроение

•           Робототехнике.

•           Лабораторные испытания

За счет своей гибкости и универсальности система машинного  зрения позволит снизить нагрузку на человека практически во всех областях промышленности.

Электронная промышленность.

В настоящее время производится большое количество различных плат. Как правило, на них устанавливается  большое число монтажных элементов. Микросхемы устанавливает на плату  машина, но контроль правильности установки  производит человек. Но у человека наступает  утомление через нескольких часов. И как результат – брак. Если на данной операции заменить человека системой машинного зрения, то это повысит качество и скорость проверки плат.

Автомобилестроение.

Другая область, в которой  могут быть применены системы  машинного зрения – автомобилестроение. На каждом этапе сборки машины необходим  визуальный контроль. На кузове большое  количество сварных швов – их нужно  проверить. Кузов необходимо покрасить  – качество окраски так же контролируется. Конструктивно необходимо закрепить  большое количество деталей на кузове – нужно проверить все ли винты закручены правильно. Все эти операции производит человек и поэтому нельзя гарантировать 100% контроль. Система машинного зрения позволит резко ускорить процесс производства и довести надежность почти до 100 %.

Медицина и  фармацевтика.

Продукция, используемая в  медицинской и фармацевтической промышленности, должна строго соответствовать  стандартам и, поэтому необходим  контроль ее качества на этапе выпуска. При маркировки готовых таблеток иногда происходят сбои, а таблетки с неправильной маркеровкой не могут использоваться. Системы "машинного зрения" позволяют производить автоматический контроль маркировки и обеспечивать 100 % гарантию надежности.

Лабораторные  испытания.

Визуальный контроль характерен тем, что он не вносит возмущений в  контролируемый предмет. Например, если мы измеряем температуру жидкости с  помощью градусника, то мы понижаем температуру в области замера. Визуальный контроль лишен этих проблем  и поэтому очень важен в  научных исследованиях, а в некоторых  незаменим. Если нам необходимо измерить изменение поверхности вращающихся  лопастей вертолета, то это можно  сделать только при помощи системы  машинного зрения.

Машиностроение.

Получение изображения предмета с разных ракурсов позволяет получить полную информацию о предмете. Это  свойство систем машинного зрения позволяет  использовать их для контроля точности изготовления детали в машиностроительном производстве.

Робототехника.

Системы "машинного зрения" позволяют создавать мобильные  роботы, которые бы могли заменить человека при работе рядом с атомным  реактором, на пожаре и других ситуация, когда жизнь человека подвергается опасности.

Контроль с помощью  систем машинного зрения можно производить  на расстоянии и это позволяет  использовать их для контроля в агрессивных  средах.

Например, на теплостанции необходимо поддерживать постояную тепмпературу пара. Для этого температура в камере сгорания должна быть строго постоянной. С помощью систем машинного зрения можно определять температуру пламени по цвету с большой точностью, как это делает человек. И в соответствии с получаемыми данными либо увеличивать подачу топлива, либо уменьшать.

Основные понятия

Основы оптики

Способность человека и многих других групп животных визуально  ощущать окружающее пространство реализована при помощи глаза и пучка нервов оканчивающегося в мозге. Для описания способности греки использовали слово «optikos», которое может быть интерпретировано, как видение или визуальная способность.

Истоки и развитие наших  знаний об оптике очень интересны. Археологические  раскопки времен фараонов (2600-2400 г. До н.э.) показали, что эта культура обладала превосходными анатомическими знаниями. Известно, что когда мы смотрим  на статую, кажется, что она на вас  смотрит, даже когда вы двигаетесь. Глубокие исследования показали, что  изобретательная комбинация плоско-выпуклой линзы с соответственно выставленным зрачком ответственны за этот эффект.

Телецентричность

Телецентрические линзы  имеют уникальное свойство сохранять  постоянное увеличение в определенном диапазоне расстояний до объекта. Это  свойство позволяет системам технического зрения производить точные измерения трехмерных частей и компонентов различных высот. Телецентрические линзы пользуются преимуществом и находят широкое применение в оптической метрологии.

Когда вы используете обычные  линзы для измерения трехмерных объектов, в результате получаем изображение  искаженное дисторсией. Изменение увеличения с расстоянием в обычных изображающих системах настолько фундаментально, что люди обычно считают, что так  и должно быть. Кроме всего, наши глаза являются типичными традиционными  изображающими системами. Мы принимаем, что объект расположенный дальше кажется меньшим, чем тот же объект расположенный рядом. Изображение  шахматной доски на рисунке иллюстрирует этот эффект, называемый перспективой.

Построение изображений при помощи интегральных линз Френеля

Интегральная обработка  изображений – это трехмерная техника, позволяющая достичь полного  стереоскопического эффекта без  дополнительных оптических элементов. Для записи информации о трехмерном объекте микролинзовая решетка и камера высокого разрешения были использованы. Из-за различного положения каждой микролинзы по отношению к объекту, множественные перспективы объекта могут быть зарегистрированы на ПЗС-камеру. Записанное изображение, которое содержит элементарные изображения от каждой микролинзы, может быть передано электронным способом и восстановлено использую пространственный световой модулятор высокого разрешения и еще одну микролинзовую решетку.