Реализация и исследование системы распознавания трехмерных объектов с использованием видео-датчиков, расположенных под углом

Другой подход к формированию базовых  эталонов применяет компания Sick /IVP. Формирование эталонов происходит на основе трехмерной триангуляции. Важной особенностью в системах является применение 2D лазеров, поэтому в эталонах необходимо хранить общую структуру и профиль объекта. Структура эталона в данной системе является сложной. При формировании каждого снимка профиля объекта формируется набор признаков, что увеличивает затраты по потребляемой ЭВМ памяти. Основу набора признаков составляют ширина, высота объекта, а также количество точек контура(рисунок 2.6).

Рисунок 2.6 – Схема профиля объекта

 

Таким образом, в базе данных хранится вектор векторов признаков. Важным аспектом при распознавании является правильная подача объекта, чтобы сравнение производилось с первого вектора признаков. Очень важным является тот факт, что профили реальных объектов делаются ровно под таким же углом, что и профили объектов в базе данных.

3 Выбор и обоснование методов  и средств распознавания трехмерных  объектов

3.1 Формирование набора признаков

3.1.1 Нахождение центра объекта

 

Координаты центра площадного объекта  определяются по известным формулам

,

где s – площадь объекта;

– яркость элемента объекта;

i, j – текущие координаты элементов объекта;

m, n – максимальные значения координат (i, j) элементов объекта. Определение координат центра объекта можно осуществить, используя формулу вычисления моментов

где – порядок момента

Координаты центра определяются так[10]

;                                                                                   3.4

  

3.1.2 Вычисление длины, ширины  объекта

 

Длиной А объекта считается  максимальное расстояние двумя внешними параллельными касательными и не пересекающими сам объект, к точкам ОЗЛ.

Рисунок 3.1 – Схема определения длины и ширины объекта

 

D шириной B объекта считается минимальное расстояние между двумя внешними параллельными касательными ( и ), не пересекающими сам объект, к точкам ОЗЛ (рисунок 3.1). Для определения длины и ширины объекта строят n_z/2 пар      параллельных касательных к точкам ОЗЛ (n_z – количество точек объекта). Вычисляются евклидовые расстояния , между точками касания пар касательных. По результатам расчетов строят вариационный ряд V(a) расстояний между двумя парами касательных к ОЗЛ. По вариационному ряду V ( ) определяется длина А объекта как:

 

Определяется ширина В объекта как:

Существует возможность  построения гистограмм H ( ) и h ( ) вычисления по ним статистических характеристик распределения .Значения А и В определяются для всех объектов. Формируются вариационные ряды V(A), V(B) и гистограммы Н(А), Н(В) распределений значений ширины и длины объектов

 Определяется:

Максимальное значение А – ;

Максимальное значение В – ;

Минимальное значение A – ;

Минимальное значение В – ;

Сумма длин объектов – ;

Сумма ширин  объектов – ;

Средняя длина объекта – ;

Средняя ширина объекта – [10]

3.1.3 Вычисление признаков  формы

 

1. Прямоугольный коэффициент формы  – отношение ширины к длине  описанного вокруг проекции объекта прямоугольника (диапазон значений от 0 до 1). Данный признак позволяет вычислить пропорции, и представить их в виде коэффициента с диапазоном значений от 0 до 1:

,                                                                             3.8

где l_a ,l_b , – соответственно длины сторон описываемого вокруг объекта прямоугольника (рисунок 3.2).

Рисунок 3.2 - Схематическое представление объекта №1, вписанного в прямоугольник, a,b – стороны описанного прямоугольника

 

2. Диагональный коэффициент формы – отношение длины объекта (длина отрезка максимальной длины между двумя точками контура объекта) к длине диагонали описанного прямоугольника (диапазон значений от 0 до 1). Для объекта, изображенного на рисунке 3.3, диагональный коэффициент будет выглядеть следующим образом:

,                                                                                3.9

где – длина диагонали описанного прямоугольника, – длина объекта

Рисунок 3.3 - Схематическое представление объекта №2, вписанного в прямоугольник, c,d – диагонали описанного прямоугольника, e – длина отрезка максимальной длины между двумя точками контура объекта

 

3. Коэффициенты диагоналей объекта

Диагонали объекта – отрезки, лежащие на диагоналях описанного вокруг него прямоугольника и соединяющие 2 точки контура объекта. На рисунке 3.4 диагоналями объекта являются FG’ и F’G. Обозначим их длины и .

Коэффициент диагонали объекта – отношение длины диагонали объекта к длине объекта.

                      

4. Коэффициенты диагональных отрезков.

Вводятся понятия диагональных отрезков и коэффициентов диагональных отрезков. Диагональные отрезки описанного прямоугольника соединяют его вершины с серединой максимального отрезка объекта (рисунок 3.4 – HN, HM, HD, HE). Диагональные отрезки объекта лежат на диагональных отрезках описанного прямоугольника и соединяют середину максимального отрезка объекта с точкой пересечения ее контура (рисунок 3.4 – HG, HF, HF’, HG’). Для большинства объектов середина максимального отрезка совпадает с точкой пересечения диагоналей описанного вокруг него прямоугольника.

Коэффициенты диагональных отрезков – отношения длин соответствующих диагональных отрезков объекта, к диагональным отрезкам описанного вокруг него прямоугольника.

Рисунок 3.4 - Схематическое представление объекта №2, вписанного в прямоугольник.

 

Для объекта, изображенного на рисунок 3.4, диагональными отрезками будут: HG, HF, HF’, HG; для описанного прямоугольника: HN, HM, HD, HE. Их длины можно условно обозначить как с индексом соответствующего отрезка:

, , , .

где , , , - коэффициенты диагональных отрезков объекта.

3.1.4 Вычисление признаков отверстий

 

1 Коэффициент количества отверстий

где n – количество отверстий.

При n = 0, значение будет равно 1; при .

Данный набор признаков имеет  одну общую особенность – диапазон значений от 0 до 1, что в свою очередь позволяет применять различные алгоритмы распознавания без дополнительных приведений к общему виду.

Кроме того, все предложенные признаки используют простую математику вычислений, при этом довольно подробно описывая основные отличительные особенности объектов.

Предложенный метод может быть применен в СТЗ для идентификации  проекций трехмерных объектов на конвейере. [11]

3.2 Распознавание трехмерных объектов

3.2.1 Структурная схема алгоритма  распознавания трехмерного объекта

Для распознавания трехмерного  объекта была выбрана структура СТЗ, основанная на использовании двух снимков с камер, расположенных на расстоянии друг от друга. Сложность возникает с расположением объекта в поле зрения камер. Объект может лежать на разных гранях, а также может быть повернут под различными углами. На рисунке 3.5 отображена схема расположения камер и объекта в поле зрения камер.

Рисунок 3.5 - Схема макета СТЗ (1 – вид сбоку, 2 – вид сверху)

 

На данной схеме K1, K2 – видео датчики, изначальным условием является полное попадание объекта(G – на схеме) в поле зрения обеих камер. На рисунке также отображены возможные угла расположения объекта относительно камер в горизонтальной плоскости - α, а также угол наклона камеры K2 в вертикальной плоскости. Градус поворота объекта относительного центра рассматривается на рисунке 3.6.

Рисунок 3.6 - Поворот объекта в горизонтальной плоскости, угол φ, γ

 

Параллельно с вычислением угла α, рассчитывается угол φ – угол наклона объекта в горизонтальной плоскости относительного своего центра. Если в базе данных эталонов было принято, что проекция 1 является базовой (главной), то значения угла φ в данной плоскости будут следующими (рисунок 3.6):

1 – 0 градусов

2 – 90 градусов

3 – 180 градусов

4 – 270 градусов

Угол γ принимает те же значения что и угол φ, однако для этого объект вращается в другой плоскости относительно своего центра.

Общая схема структурная схема  состоит из 14 блоков (рисунок 3.7). На первом этапе вычисляются углы поворота объекта в поле зрения камеры, а также устанавливается заранее известный угол поворота камеры относительно объекта. На втором этапе с учетом вычисленных признаков и при использовании алгоритма вычисления оцеок происходит идентификация объекта.

 

Рисунок 3.7 – Схема алгоритма распознавания трехмерных объектов

 

Исходные данные, конкретно исходные изображения поступают с двух камер: K1 – камера, расположенная над объектом, K2 – камера, расположенная под углом к объекту. Все блоки, входящие в схему условно разделены по четырем подсистемам, а именно:

1. П1 – подсистема идентификации проекции объекта, полученной с камеры K1;
2. П2 – подсистема получения проекции объекта от камеры K2 и вычисления ее признаков;
3. П3 – подсистема формирования косоугольных проекций по октодревесной модели и найденным углам α, β, φ;
4. П4 – подсистема идентификации косоугольной проекции объекта.

Составными частями в схеме являются блоки, выполняющие различные функции:

1 – блок получения изображения проекции объекта с камеры;

2 – блок предварительной обработки  ;

3 – блок вычисления признаков  ;

4 – база эталонов (база признаков  объектов);

5 – блок фильтрации эталонов  по основным классифицирующим  признакам;

6 – блок алгоритма вычисления оценок ;

7 – блок идентификации проекции, полученной от камеры K1, определение подходящих эталонов по алгоритму вычисления оценок проекции объекта;

8 – блок определения по найденным  эталонам угла φ поворота объекта  в горизонтальной плоскости относительно  его центра;

9 – блок вычисления угла α  поворота объекта в горизонтальной  плоскости;

10 – база моделей октодеревьев;

11 – блок формирования и хранения косоугольных проекций эталонных объектов по моделям октодеревьев из базы моделей (11) и найденным углам α, β, φ;

12 – блок определения проекций подходящих эталонов по алгоритму вычисления оценок проекции объекта, полученной от камеры K2;

13 – блок распознавания объекта;

14 – блок вывода результатов  распознавания трехмерного объекта.

3.2.1 Вычисление оценок объектов по рассчитанным признакам

 

Под образом понимается структурированное  описание изучаемого объекта или  явления, представленное вектором признаков, каждый элемент которого представляет числовое значение одного из признаков, характеризующих соответствующий объект. Общая структура системы распознавания и этапы в процессе ее разработки показаны на рисунке 3.8.

 

Рисунок 3.8. - Структура системы распознавания

 

Суть задачи распознавания - установить, обладают ли изучаемые объекты фиксированным  конечным набором признаков, позволяющим отнести их к определенному классу.

Задачи распознавания имеют  следующие характерные черты.

1. Это информационные задачи, состоящие из двух этапов: а) приведение исходных данных к виду, удобному для распознавания; б) собственно распознавание (указание принадлежности объекта определенному классу).
2. В этих задачах можно вводить понятие аналогии или подобия объектов и формулировать понятие близости объектов в качестве основания для зачисления объектов в один и тот же класс или разные классы.
3. В этих задачах можно оперировать набором прецедентов-примеров, классификация которых известна и которые в виде формализованных описаний могут быть предъявлены алгоритму распознавания для настройки на задачу в процессе обучения.
4. Для этих задач трудно строить формальные теории и применять классические математические методы (часто недоступна информация для точной математической модели или выигрыш от использования модели и математических методов не соизмерим с затратами).
5. В этих задачах возможна "плохая" информация (информация с пропусками, разнородная, косвенная, нечеткая, неоднозначная, вероятностная).

Целесообразно выделить следующие  типы задач распознавания.

1. Задача распознавания - отнесение предъявленного объекта по его описанию к одному из заданных классов (обучение с учителем).
2. Задача автоматической классификации - разбиение множества объектов (ситуаций) по их описаниям на систему непересекающихся классов (таксономия, кластерный анализ, обучение без учителя).
3. Задача выбора информативного набора признаков при распознавании.
4. Задача приведения исходных данных к виду, удобному для распознавания.
5. Динамическое распознавание и динамическая классификация - задачи 1 и 2 для динамических объектов.
6. Задача прогнозирования - это задачи 5, в которых решение должно относиться к некоторому моменту в будущем.