Реализация и исследование системы распознавания трехмерных объектов с использованием видео-датчиков, расположенных под углом

Рисунок 1.18 - Представление в форме октодерева квадратной области плоскости ху, содержащей одну цветную область на фоне другого цвета

 

Кодирование в форме октодерева позволяет существенно сэкономить требуемую память, если в области  пространства имеются большие одноцветные области, поскольку один узел может представлять большую часть пространства. Кроме того, данную схему представления можно использовать для хранения кодов цвета пикселей. Для области, содержащей 2n на 2n пикселей, представление в форме квадродерева содержит не более п уровней. Кроме того, каждый узел квадродерева имеет не больше четырех непосредственных потомков.

Схема кодирования в  форме октодерева делит область  трехмерного пространства (обычно куб) на октанты и записывает восемь элементов  данных в каждом узле дерева, как показано на рисунке 1.19. Отдельные подобласти после конечного этапа разбиения трехмерного пространства называются элементами объема или вокселями (voxels) по аналогии с пикселями прямоугольной области на экране дисплея. Воксель в представлении в форме октодерева хранит значения свойств для однородной подобласти пространства. Свойства объектов в трехмерной области пространства могут включать цвет, тип материала, плотность и другие физические характеристики. Например, в выбранной области пространства могут быть такие объекты, как скалы и деревья или ткани, кости и органы тела. Пустые области пространства представлены типом вокселей “void” (“пусто”). Как и для представления в форме квадродерева, неоднородный октант в области делится до тех пор, пока фрагменты не станут однородными. Для октодерева каждый узел может иметь от нуля до восьми непосредственных потомков.

 

Рисунок 1.19 - Куб, разделенный на нумерованные октанты, и соответствующий узел октодерева с восемью элементами данных

1.3 Обзор существующих признаков  объектов, используемых для описания  объектов в СТЗ

1.3.1 Общий обзор признаков  объектов, используемых в СТЗ  различных типов

 

Признаком изображения называется его простейшая отличительная характеристика или свойство. Некоторые признаки являются естественными в том смысле, что они устанавливаются визуальным анализом изображения, тогда как другие, так называемые искусственные признаки, получаются в результате его специальной обработки или измерений. К естественным признакам относятся светлота (яркость) и текстура различных областей изображения, форма контуров объектов. Гистограммы распределения яркости и спектры пространственных частот дают примеры искусственных признаков.

Некоторые исследователи пытались дать качественное определение текстуры. Пикетт дал такую формулировку: «текстура используется для описания двумерных массивов изменений яркости. Элементы текстуры и правила их пространственной организации или расположения можно произвольно менять, если только остаются неизменными характеристики повторяемости изменений яркости». Хоукинс дал более подробное описание текстуры: «По-видимому, текстура охватывает следующие свойства изображения: 1) в нем можно найти фрагмент, «рисунок» которого регулярно повторяется в пределах области, которая велика по сравнению с размером фрагмента; 2) этот «рисунок» образуется элементарными составными частями фрагмента, размещенными в некотором неслучайном порядке; 3) элементарные части - это примерно однородные единицы, имеющие приблизительно одинаковую форму во всей текстурной области». Хотя эти описания текстуры кажутся разумными, они не приводят непосредственно к простым количественным признакам текстуры в том смысле, в котором представление о резком перепаде яркости ведет к количественному его определению через параметры, характеризующие положение перепада в пространстве, крутизну и высоту.

Резкие изменения (разрывы) яркости, координат цвета или параметров, характеризующих текстуру, являются важными простейшими признаками, поскольку они часто определяют очертания изображенных объектов.

Основной способ контрастирования перепадов с последующим пороговым  ограничением, разнообразные формы  которого были рассмотрены выше, по своему характеру является эвристическим. Обычно получаемый при этом результат можно оценить лишь экспериментально, но нельзя предсказать заранее. Метод аппроксимации, хотя и сформулирован математически, имеет множество таких же недостатков. Кроме того, эти методы не справляются достаточно эффективно с шумом.[8]

1.3.2 Обзор признаков, применяемых для распознавания трехмерных объектов

Для распознавания трехмерных объектов используются такие признаки как: топологические, геометрические и текстурные. Эти  признаки являются основными и ни одна идентификация объектов не проводится без учитывания данных признаков.

Тополо́гия - раздел математики, изучающий в самом общем виде явление непрерывности, в частности свойства пространства, которые остаются неизменными при непрерывных деформациях, например, связность, ориентируемость. В отличие от геометрии, в топологии не рассматриваются метрические свойства объектов (например, расстояние между парой точек). К топологическим признакам при обработке изображений относятся:

1. число несвязных компонент (число отдельных объектов в составе образа);
2. число дыр (есть ли дыры внутри объекта);
3. число Эйлера (число объектов минус число дыр).

В задачах распознавания образов  для классификации и селекции выделенных областей часто используются интегральные геометрические признаки. Обычно эти признаки задаются эвристически и характеризуют форму образа. К ним относятся следующие основные эвристики:

1. площадь образа;
2. положение центра тяжести образа;
3. положение центра тяжести образа, рассматриваемого как бинарный;
4. периметр образа;
5. отношение квадрата периметра к площади образа;
6. формат;
7. компактность;
8. периметр и площадь описанного прямоугольника минимальной площади;
9. отношение площади описанного прямоугольника к площади образа;
10. отношение квадрата периметра описанного прямоугольника к его площади;
11. формат описанного прямоугольника;
12. относительные длина и ширина образа.

Сложно дать формальное определение  таких понятий, как текстура, типы текстур, сходство текстур и т.д., которым человек обучается, в  основном, по визуальным примерам. Человеческое зрение решает проблему соответствия текстур совершенно легко на подсознательном уровне, используя преимущественно "образное" полушарие головного мозга, или интуитивно. Примеры различных текстур изображены на рисунке 1.20.

 

 

 

Рисунок 1.20 - Примеры изображений с несколькими текстурными областями.

 

В качестве характеристик текстуры используются статистические, структурные  и спектральные характеристики. Статистические характеристики пространственных распределений  вычисляются как меры однородности изображения по одномерной гистограмме значений сигналов (характеристики 1-го порядка - среднее значение, дисперсия сигналов, второй момент) и по двумерным гистограммам значений сигналов (характеристики 2-го порядка - средняя мера однородности, корреляционная мера однородности, дисперсионная мера однородности, энтропия распределения значений, максимальная вероятность, контраст, обратный момент разности).[9]

 

2 Структура СТЗ

2.1 Описание требований к системе

Требования системы выдвигаются  из поставленных целей к дипломному проекту, а также вытекают из его  названия. Основные требования выдвигаемые к системе:

1. Обработка производится двух снимков – вертикального и под углом;
2. Необходима реализация первичной обработки поступленных снимков;
3. Необходима реализация подсистемы, вычисляющей признаки объектов, а также формирование базы эталонов с векторами этих признаков;
4. Реализация алгоритма вычисления оценок, применение его к векторами признаков объектов;
5. Вывод результата распознавания трехмерного объекта

2.2 Обобщенная структура СТЗ

Все существующие СТЗ похожи по своей структуре. Выделяются три основных блока представленных на рисунке 2.1.

 

Рисунок 2.1 - Обобщенная структура СТЗ, включающая переферийные устройства

 

В первом блоке рисунка 2.1 подразумевается система взаимодействия технических устройств и программной части СТЗ. Для существующих систем технического зрения важно поддерживать технические составляющие на высоком уровне и производить замену оборудования не по факту его износа, а при небольшом отставании в характеристиках от новейших производимых устройствах. В данный блок входят видеодатчики, сенсоры, а также системы освещения.

Во второй блок входят подсистемы программного обеспечения СТЗ:

1. Подсистема предварительной обработки
2. Подсистема выделения признаков;
3. Подсистема распознавания;
4. Подсистема формирования эталонов;
5. База эталонов.

В любых СТЗ производится первичная  обработка полученных данных, а именно избавление от шумов, нормализация, а также бинаризация, если поступившая информация является изображением. В данной подсистеме производится обработка по известным всем алгоритмам, разработанных зачастую на заре развития информационных систем.

Подсистема выделения признаков  выражается в сложности их компоновки. Формирование набора признаков является ответственным этапом, от результатов которого может зависеть успешность программного продукта в целом. Алгоритмы вычисления признаков зачастую известны, редко создаются новые, лишь дорабатываются и корректируются под определенную задачу. Важнейшая задача на данном этапе -  сформировать минимальный набор признаков, который мог бы в последствии быть достаточным для распознавания объектов.

Подсистема распознавания характеризуется  наличием одного или нескольких алгоритмов по которым идентифицируется объект. Входными данными алгоритму  является сформированный на предыдущем этапе набор признаков, выходными является идентифицированный объект. Примерами алгоритмов распознавания являются Байесовский алгоритм и алгоритм вычисления оценок.

На этапе формирования эталонов производится занесение информации об объектах-эталонах в базу данных. Основной частью для описания объектов в базе являются вычисленные признаки, точнее их значения.

В третий блок на рисунке 2.1 входит взаимодействие с техническими средствами, например роботами-манипуляторами. Результатом второго блока является идентифицированный объект, его координаты и месторасположение в пространстве. Техническим устройствам подается информация об объекте, а конкретно об его типе, угле поворота, возможно, его материале, фотографии и т.д.

2.3 Структурно-функциональная схема СТЗ для распознавания трехмерных объектов

Наиболее часто используемой моделью распознавания трехмерных объектов является структура, в которой в качестве исходной информации используется 2 снимка объекта с разных точек. Такая система (рисунок 2.2) используется в системе распознавания лиц VOCORD FaceControl 3D. Особенностью данной структуры является упрощение работы за счет уменьшения количества блоков. Снимки, поступающие на вход системе, обрабатываются одними алгоритмами, что сокращает время на создание систем, а также уменьшается количество ошибок.

 

Рисунок 2.2 – Структура СТЗ, используемая для распознавания трехмерных объектов, на основе снимков с двух камер

 

Для определения объемов, анализа размеров деталей, а также их захвата используется схема, применяемая на рисунке 2.3, в которой в качестве одного из блоков выступает 2D лазер. Данные лазером определяется расстояние до объекта, делается множество снимков, которые обрабатываются на следующем блоке. Минусом данной системы является разнородность поступаемых данных, что влияет на время создания системы, а также увеличивает время обработки поступающей информации.

 

Рисунок 2.3 – Структура СТЗ, используемая для распознавания трехмерных объектов, на основе снимков с камеры и 2D лазера

 

Для разрабатываемой системы  выбирается первая структура СТЗ, а именно распознавание ведется с помощью двух камер. Рассматриваемые снимки не идеального качества, что требует от последующих блоков лучшей работы, а именно наилучшей первичной обработки, а также выделения признаков объекта.

2.4 Структура базовых эталонов объектов

При идентификации трехмерных изображений  ведется сравнение с уже имеющимися объектами в базе данных. По набору признаков, расположению, координатам во всех созданных системах распознаются объекты.

В системе VOCORD FaceControl 3D эталоном объекта является построенная модель лица. По координатам, имеющимся в системе, в базе данных, строится модель лица человека и сравнивается с реальным изображением. После снимка лица человека с двух камер строится его модель (рисунок 2.4), а именно с небольшим шагом отмечаются точки, лежащие на поверхность лица, и они сравниваются с эталонами объектов.

Рисунок 2.4 – Построенная сетка лица человека.

 

Важной особенностью эталонов объектов при идентификации лиц является взаимное расположение определенных точек  на его лице, их удаленность друг от друга. Основные расстояния, необходимые для идентификации человека, показаны на рисунке 2.5.

 

Рисунок 2.5 – Необходимые размеры лица человека для идентификации личности

 

К основным размерам лица относятся:

1. Размер подбородка;
2. Высота и ширина носа;
3. Расстояние между центрами глаз;
4. Расстояние между скулами лица;
5. Расстояние от центра брови до центра глаза;
6. Расстояние между висками.

При формировании базовых эталонов формируется и другие более специфические  признаки, не раскрываемые фирмами-изготовителями.