Задачи машинного зрения и области его применения

· Востребовано машинное зрение и в области охранных систем (идентификация  личности, детекторы движения, распознавание  и отслеживание движущихся объектов, распознавание автомобильных номеров  и т.д.);

· Системы машинного зрения востребованы в области контроля качества и инспекции продуктов  питания (в настоящее время оценка качества бисквитов на кондитерской линии осуществляется со скоростью 60 пирожных в секунду), а также  в области визуального контроля и управления (учет, считывание штрих-кодов).

· Машинное зрение применяется  в системах распознавания рукописного  и печатного текста.

3. Техническая составляющая  машинного зрения

3.1 Методы обработки изображения

В системах машинного зрения, для решения перечисленных задач, используются различные технологии и методы. Ниже перечислены основные методы обработки изображения:

· Счетчик пикселей: подсчитывает количество светлых или темных пикселей и на основе результата делает необходимые  выводы об изображении.

· Выделение связанных  областей: Связная область изображения - это, с одной стороны, тип объекта, все еще очень близко связанный  с растровым изображением, и в  то же время - это уже некая самостоятельная  семантическая единица, позволяющая  вести дальнейший геометрический, логический, топологический и любой другой анализ изображения

· Бинаризация: преобразует  изображение в серых тонах  в бинарное (белые и черные пиксели).

· Гистограмма и гистограммная  обработка: Гистограмма характеризует  частоту встречаемости на изображении  пикселей одинаковой яркости.

· Сегментация: используется для поиска и/или подсчета деталей. Сегментацией изображения называется разбиение изображения на непохожие  по некоторому признаку области. Предполагается, что области соответствуют реальным объектам, или их частям, а границы  областей соответствуют границам объектов.

· Чтение штрих-кодов: декодирование 1D и 2D кодов, разработанных для считывая или сканирования машинами

· Оптическое распознавание  символов: автоматизированное чтение текста, например, серийных номеров

· Измерение: измерение размеров объектов в дюймах или миллиметрах

· Сопоставление шаблонов: поиск, подбор, и/или подсчет конкретных моделей

· Инвариантные алгоритмы  сопоставления точечных особенностей на изображениях: обнаружения и сопоставление  точечных особенностей на изображениях.

· Методы идентификация личности по радужной оболочке глаза

· Различные методы восстановления формы объекта по изображениям

В большинстве случаев, системы  машинного зрения используют последовательное сочетание этих методов обработки  для выполнения полного инспектирования. Например, система, которая считывает  штрих-код может также проверить поверхность на наличие царапин или повреждения и измерить длину и ширину обрабатываемых компонентов.

3.2 Компоненты системы

Типовая система машинного  зрения состоит из одной или нескольких цифровых или аналоговых камер (черно-белые  или цветные) с подходящей оптикой  для получения изображений, подсветки  и объекта (рис. 4), оборудования ввода/вывода или каналы связи для доклада  о полученных результатах. Кроме  того, важна и программная составляющая систем машинного зрения, а именно программное обеспечение для  подготовки изображений к обработке (для аналоговых камер это оцифровщик изображений), специфичные приложения программного обеспечения для обработки  изображений и обнаружения соответствующих  свойств.

Рис.4. Состав типовой системы  машинного зрения

Матрица чувствительных элементов, входящих в состав видеокамеры, предназначена  для получения цифрового изображения. В состав матрицы чувствительного  элемента входит множество аналого-цифровых преобразователей, предназначенных  для преобразования информации о  световой интенсивности в цифровое значение.

Объектив позволяет камере фокусироваться на определенном расстоянии и получать четкое изображение объекта. В случае, когда объект находится  вне фокусного расстояния, изображение  получается нерезким (размытым, с нечеткими  краями), что ухудшает возможность  обработки видеоряда. В отличие  от обычных цифровых фотоаппаратов  с объективами, поддерживающими  функции автофокусировки, в машинном зрении применяется оптика с фиксированным фокусным расстоянием или ручной настройкой фокуса. Существуют различные типы объективов для самых разных задач (стандартные, телескопические, с широким углом обзора, с увеличением и другие), и выбор правильного типа оптики - важный этап при проектировании системы машинного зрения.

Подсветка - еще один важный элемент в машинном зрении. Благодаря  использованию различных типов  освещения можно расширить круг задач, решаемых машинным зрением. Существует различные типы подсветок, но наиболее популярным является светодиодная - в связи с ее высокой яркостью. При этом современный уровень развития светодиодной техники обеспечивает большой срок службы устройства и малое энергопотребление.

3.3. Принципы функционирования  систем машинного зрения

Последовательность действий, выполняемых системой машинного  зрения, можно представить в следующем  виде:

Рис.5. Последовательность действий системы машинного зрения

Изображение, полученное с  камеры, попадает в захватчик кадров или в память компьютера. Захватчик кадров - это устройство, которое преобразует выходные данные с камеры в цифровой формат (как правило, это двумерный массива чисел) и размещает изображения в памяти компьютера, так чтобы оно могло быть обработано с помощью программного обеспечения для машинного зрения.

Программное обеспечение, как  правило, совершает несколько шагов  для обработки изображений. Часто  изображение для начала обрабатывается с целью уменьшения шума или конвертации  множества оттенков серого в простое  сочетание черного и белого (бинаризации). После первоначальной обработки  программа будет считать, производить  измерения и/или определять объекты, размеры, дефекты и другие характеристики изображения. В качестве последнего шага, программа пропускает или забраковывает  деталь в соответствии с заданными критериям. Если деталь идет с браком, программное обеспечение подает сигнал механическому устройству для отклонения детали; другой вариант развития событий, система может остановить производственную линию и предупредить человека работника для решения этой проблемы, и что привело к неудаче. Хотя большинство систем машинного зрения полагаться на «черно-белые» камеры, использование цветных камер становится все более распространенным явлением. Кроме того, все чаще системы машинного зрения используют цифровые камеры прямого подключения, а не камеры с отдельным захватчиком кадров, что сокращает расходы и упрощает систему.

4. Смежные области

Машинное зрение относится  к инженерным автоматизированным системам визуализации в промышленности и  на производстве, и в этом качестве машинное зрение, связано с самыми разными областями компьютерных наук: компьютерное зрение, оборудования для управления, базы данных, сетевые  системы и машинное обучение.

Не стоит путать машинное и компьютерное зрения. Компьютерное зрение является более общей областью исследований, тогда как машинное зрение является инженерной дисциплиной  связанной с производственными  задачами.

Рассмотрим подробнее  смежные науки и их взаимодействие с машинным зрением.

4.1. Компьютерное зрение

Компьютерное зрение представляет собой научную дисциплину, изучающую  теорию и базовые алгоритмы анализа  изображений и сцен.

Машинное зрение следует  рассматривать как гораздо более  комплексную и технологическую  область научных и инженерных знаний, охватывающую все проблемы разработки практических систем: выбор  схем освещения исследуемой сцены, выбор характеристик датчиков, их количества и геометрии расположения, вопросы калибровки и ориентирования, выбор или разработка оборудования для оцифровки и процессорной обработки, разработка собственно алгоритмов и их компьютерная реализация - то есть весь круг сопутствующих задач.

Кроме того, фигурирует такое  понятие как зрение роботов. Это  более узкая область технологий машинного зрения, а именно часть, которая обеспечивает функционирование систем машинного зрения в условиях жестких временных ограничений. Например, оборудуя роботов нового поколения мобильными камерами и  алгоритмами стереовидения, многие компании работают над созданием интеллектуальных роботов, способных не только свободно ориентироваться в квартире и узнавать своих хозяев, но и выполнять определенные задачи по дистанционно подаваемым командам.

4.2. Обработка и анализ  изображений

Обработка изображений - любая  форма обработки информации, для  которой входные данные представлены изображением, например, фотографиями или видеокадрами. Обработка изображений  может осуществляться как для  получения изображения на выходе, так и для получения другой информации (например, распознание  текста, подсчёт числа и типа клеток в поле микроскопа и т. д.). Кроме  статичных двухмерных изображений, обрабатывать требуется также изображения, изменяющиеся со временем, например видео.

 В последнее время  традиционный термин «обработка  изображений» чаще употребляется  не как обозначение научной  дисциплины, а как указатель на  предметную область. Наметилась  также тенденция использования  этого термина для обозначения  обработки нижнего уровня, когда  результатом обработки изображения  снова является изображение. В  то же время термин «понимание  изображений» употребляется для  обработки верхнего уровня.

Цифровая фотограмметрия, бурно развивающаяся в последние  годы дисциплина, пришла на смену аналитической  фотограмметрии. В то время как  классическая аналитическая фотограмметрия изучала в основном метрические  соотношения между точками снимков  и реальной сцены, современная цифровая фотограмметрия ставит самые сложные  задачи анализа и 3D'описания сцены  по видеоданным оптических сенсоров. Цифровая фотограмметрия концентрируется прежде всего не на вопросах «понимания» сцены или обнаружения объектов, а на вопросах высокоточного измерения различных ее элементов и реконструкции форм трехмерных поверхностей с использованием стерео и многокамерной съемки, а также специального структурированного подсвета.

4.3. Машинное обучение

Машинное обучение - обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться. Целью машинного  обучения является частичная или  полная автоматизация решения сложных  профессиональных задач в самых  разных областях человеческой деятельности. Машинное обучение имеет широкий  спектр приложений, среди которых  есть приложения распознавания изображений - область, которой занимается машинное зрение.

5. Наиболее интересные  примеры систем машинного зрения

5.1. Видеонаблюдение

Автоматические и автоматизированные системы видеонаблюдения являются одной из ключевых составляющих современных  комплексных систем безопасности. Задача видеонаблюдения подразумевает  визуальный контроль заданной области  пространства при помощи одной или  нескольких видеокамер, позволяющий  сохранять и просматривать цифровые видеоданные, а также постоянно  оценивать состояние контролируемой территории, выделяя так называемые охранные события.

Охранное видеонаблюдение  сегодня имеет два самых важных направления развития - полный переход  на цифровые системы видеонаблюдения  и развитие функций видеоаналитики. Цифровое (IP) видеонаблюдение предполагает отказ от аналоговых камер и средств передачи данных. Видеоаналитика представляет развитие функций систем видеонаблюдения, позволяя сократить объем регистрируемых данных.

Современная система видеонаблюдения  включает в себя значительное количество различных технологий компьютерного  зрения. Технология интеллектуального  видеонаблюдения должна включать следующие  основные элементы и программно-алгоритмические  модули:

• визуальные датчики различного типа для дистанционного видеонаблюдения

• средства распределенного  сбора информации, сжатия, обработки  и передачи цифровой видеоинформации  по локальным и глобальным сетям  в реальном времени

• автоматическое выделение  объектов интереса (люди, транспортные средства, другие объекты)

· автоматическое слежение за движущимися объектами в зоне наблюдения

· биометрическое распознавание  персонала, биометрический контроль доступа  в критические зоны объекта наблюдения

• автоматическую идентификацию  транспортных средств, грузов и оборудования на основе распознавания идентификационных  меток (регистрационных номеров, штриховых  кодов, других технологических маркировок)

• методы оценки сценариев  поведения наблюдаемых объектов и групп объектов

• формирование «тревожных»  сообщений оператору в случае реализации неблагоприятных или  нестандартных сценариев развития событий в зоне видеонаблюдения

· программно-аппаратные средства для реализации методов и алгоритмов сбора и обработки видеоинформации.

Рассмотрим ряд примеров создания систем видеонаблюдения и  их элементов.

5.1.1. Система обнаружения  и сопровождения движущихся объектов  по признаку их движения

Технология детектирования движения в поле зрения камеры, или  motion detection, стала одной из первых коммерческих технологий на потребительском рынке Web-камер [Морзеев, 2002]. Принцип работы технологии очень простой, поскольку предполагается, что камера неподвижна, а следовательно, неподвижен и фон. Движутся только объекты. Хотя существуют и такие технологии, которые позволяют детектировать движущиеся объекты на движущемся фоне.

Разработанная в ИИТ (Институт информационных технологий) система  предназначена для автоматического  выделения и сопровождения малоразмерных  объектов по признаку их движения на изображениях, получаемых с подвижной видеокамеры.

Система, реализованная на базе персонального компьютера, осуществляет ввод с видеокамеры, визуализацию и  обработку цифровых изображений  движущихся сцен в реальном времени. Система производит оценку и компенсацию  общего сдвига изображения сцены, происходящего  за счет собственного относительного движения приемника изображения, а  также выделение движущихся малоразмерных  объектов по признаку их движения и  одновременное сопровождение движения нескольких обнаруженных объектов. На рис.6 показаны: слева - кадр видеопоследовательности  с выделенными движущимися объектами; справа - стадии выделения движущихся объектов.