Применение нейронной сети к идентификации пользователя

4.1.5.1 Обучение сети

Для автоматического  функционирования системы был выбран метод обучения сети без учителя. Обучение без учителя является намного более правдоподобной моделью обучения в биологической системе. Развитая Кохоненом и многими другими, она не нуждается в целевом векторе для выходов и, следовательно, не требует сравнения с предопределенными идеальными ответами. Обучающее множество состоит лишь из входных векторов. Обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, т. е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс обучения, следовательно, выделяет статистические свойства обучающего множества и группирует сходные векторы в классы. Предъявление на вход вектора из данного класса даст определенный выходной вектор, но до обучения невозможно предсказать, какой выход будет производиться данным классом входных векторов. Следовательно, выходы сети должны трансформироваться в некоторую понятную форму, обусловленную процессом обучения. Это не является серьезной проблемой. Обычно не сложно идентифицировать связь между входом и выходом, установленную сетью.

Большинство современных  алгоритмов обучения выросло из концепций Хэбба. Им предложена модель обучения без учителя, в которой синаптическая сила (вес) возрастает, если активированны оба нейрона, источник и приемник. Таким образом, часто используемые пути в сети усиливаются и феномен привычки и обучения через повторение получает объяснение.

Персептрон обучают, подавая  множество образов по одному на его вход и подстраивая веса до тех пор, пока для всех образов не будет достигнут требуемый выход. Допустим, что входные образы нанесены на демонстрационные карты. Каждая карта разбита на квадраты и от каждого квадрата на персептрон подается вход. Если в квадрате имеется линия, то от него подается единица, в противном случае - ноль. Множество квадратов на карте задает, таким образом, множество нулей и единиц, которое и подается на входы персептрона. Цель состоит в том, чтобы научить персептрон включать индикатор при подаче на него множества входов, задающих нечетное число, и не включать в случае четного.

Для обучения сети образ X подается на вход и вычисляется  выход У. Если У правилен, то ничего не меняется. Однако если выход неправилен, то веса, присоединенные к входам, усиливающим ошибочный результат, модифицируются, чтобы уменьшить ошибку.

Информативность различных  частей спектра неодинакова: в низкочастотной области содержится больше информации, чем в высокочастотной. Поэтому для предотвращения излишнего расходования входов нейросети необходимо уменьшить число элементов, получающих информацию с высокочастотной области, или, что тоже самое, сжать высокочастотную область спектра в пространстве частот.

Наиболее распространенный метод ( его простоте ) — логарифмическое сжатие

где    f — частота в спектре, Гц,

m — частота в новом сжатом частотном пространстве

 

Рисунок 4.8 - Нелинейное преобразование спектра в пространстве частот

Такое преобразование имеет  смысл только если число элементов  на входе нейросети NI меньше числа элементов спектра NS.

После нормирования и  сжатия спектр накладывается на вход нейросети. Вход нейросети — это линейно упорядоченный массив элементов, которым присваиваются уровни соответствующих частот в спектре. Эти элементы не выполняют никаких решающих функция, а только передают сигналы дальше в нейросеть. Выбор числа входов — сложная задача, потому что при малом размере входного вектора возможна потеря важной для распознавания информации, а при большом существенно повышается сложность вычислений ( при моделировании на PC, в реальных нейросетях это неверно, т.к. все элементы работают параллельно ).

При большой разрешающей  способности ( числе ) входов возможно выделение гармонической структуры речи и как следствие определение высоты голоса. При малой разрешающей способности ( числе ) входов возможно только определение формантной структуры.

 Как показало дальнейшее  исследование этой проблемы, для  распознавания уже достаточно только информации о формантной структуре. Фактически, человек одинаково распознает нормальную голосовую речь и шепот , хотя в последнем отсутствует голосовой источник. Голосовой источник дает дополнительную информацию в виде интонации (высоты тона на протяжении высказывания ), и эта информация очень важна на высших уровнях обработки речи. Но в первом приближении можно ограничиться только получением формантной структуры , и для этого с учетом сжатия неинформативной части спектра достаточное число входов выбрано в пределах 50~100.

Наложение спектра на каждый входной элемент происходит путем усреднения данных из некоторой окрестности, центром которой является проекция положения этого элемента в векторе входов на вектор спектра. Радиус окрестности выбирается таким, чтобы окрестности соседних элементов перекрывались. Этот прием часто используется при растяжении векторов , предотвращая выпадение данных.

4.1.5.2 Моделирование нейросети

В связи с разделением  системы анализа речи на несколько  уровней (ввода, уровень распознавания и синтеза слов, уровень смыслового контроля ), появилась возможность моделировать нейросеть отдельно для каждого уровня в соответствии с требованиями по обработке информации на нём . Но различия в моделях нейросетей я старался свести к минимуму, так как такие различия не являются биологически оправданными, кроме того, при аппаратной реализации системы гораздо проще работать с однотипными структурами .

4.1.5.2 Точность вычислений

Одним из принципов нейросетевой обработки информации является высокая надежность системы, т.н. стойкость к отказам в работе отдельных элементов и флуктуациям в уровнях сигналов. Поэтому логично предположить, что удачно смоделированная нейросеть будет некритична к точности вычислений. Исходя из этого, я старался искусственно ограничить точность всех вычислений. Этим объясняется и выбор типа float для представления всех данных в программе.

4.1.5.3 Уровень ввода

На этом уровне при  вводе происходит выделение из сигнала  знакомых системе образцов и представление их одним нейроном или нейронным ансамблем на следующих уровнях. Как при обучении, так и при распознавании входные вектора являются нечеткими, т. е. имеется небольшой разброс векторов , принадлежащих к одному классу . В связи с этим нейросеть , осуществляющая эту операцию, должна обладать определенной способностью к статистическому усреднению. Напротив, может оказаться, что группа векторов находится в непосредственной близости друг  к другу, но все они представляют разные классы. Тогда нейросеть должна определять тонкие различия между векторами.

Ещё одно требование к  нейросети низкого уровня обработки сигнала — обучение без учителя, т. е. способность самостоятельно разделять входные сигналы на классы .

Большое количество нейросетевых алгоритмов выполняют функцию разделения входного сигнала на классы.

Схематически сеть встречного направления изображена на рисунке 4.9:

Рисунок 4.9 - Сеть встречного распространения

Распространение сигнала  в такой сети происходит следующим  образом: входной вектор нормируется на 1.0 и подается на вход , который распределяет его дальше через матрицу весов W. Каждый нейрон в слое Кохонена вычисляет сумму на своем входе и в зависимости от состояния окружающих нейронов этого слоя становится активным или неактивным ( 1.0 и 0.0). Нейроны этого слоя функционируют по принципу конкуренции, т. е. в результате определенного количества итераций активным остается один нейрон или небольшая группа. Этот механизм называется латеральным. Так как отработка этого механизма требует значительных вычислительных ресурсов,  в моей модели он заменен нахождением нейрона с максимальной активностью и присвоением ему активности 1.0, а всем остальным нейронам 0.0. Таким образом , срабатывает нейрон , для которого вектор входа ближе всего к вектору весов связей.

Если сеть находится  в режиме обучения , то для выигравшего  нейрона происходит коррекция весов матрицы связи по формуле

w = w + α (x – w ),

где      w — новое значение веса ,

  w — старое значение ,

  α — скорость обучения,

  х - величина входа .

Геометрически это правило иллюстрирует рисунке 4.10:

Рисунок 4.10. Коррекция весов нейрона Кохонена

Так как входной вектор x нормирован, т. е. расположен на гиперсфере единичного радиуса в пространстве весов, то при коррекции весов по этому правилу происходит поворот вектора весов в сторону входного сигнала. Постепенное уменьшение скорости поворота. позволяет произвести статистическое усреднение входных векторов, на которые реагирует данный нейрон .

Проблема: выбор начальных значений весов. Так как в конце обучения вектора весов будут располагаться на единичной окружности, то в начале их также желательно отнормировать на 1.0. В моей модели вектора весов выбираются случайным образом на окружности единичного радиуса.

Проблема: если весовой вектор окажется далеко от области входных сигналов, он никогда не даст наилучшего соответствия, всегда будет иметь нулевой выход, следовательно, не будет корректироваться и окажется бесполезным. Оставшихся же нейронов может не хватить для разделения входного пространства сигналов на классы . Для решения этой проблемы предлагается много алгоритмов, в моей работе применяется правило « работать »: если какой либо нейрон долго не находится в активном состоянии , он повышает веса связей до тех пор, пока не станет активным и не начнет подвергаться обучению. Этот метод позволяет также решить проблему тонкой классификации: если образуется группа входных сигналов, расположенных близко друг к другу, с этой группой ассоциируется и большое число нейронов Кохонена, которые разбивают её на классы.

Правило «желания работать» записывается в следующей форме:

,

где     w — новое значение веса ,

w — старое значение,

b— скорость модификации,

a — активность нейрона.

Чем меньше активность нейрона , тем  больше увеличиваются веса связей.

4.2 Описание технического обеспечения

Исходя из требований в комплекс технических средств разрабатываемой подсистемы САПР были включены два компьютера, объединенные в локальную сеть.

Для поддержания работоспособности  подсистемы САПР  и хранения необходимой информации необходим компьютер на базе процессора Pentium 4 тактовой частотой 2,4 ГГц и частотой шины 533 МГц. На производительность сервера базы данных влияют два основных фактора – объем оперативной памяти и объем и скорость жесткого диска. Исходя из этого, объем оперативной памяти составил 1 Гбайт и выбран жесткий диск Seagate ATA/133 объемом 120 Гбайт и скоростью вращения 7200 об./мин. Для вывода текстовой и графической документации формата А4 используется лазерный принтер HP LaserJet 1200. Данный принтер обеспечивает более высокое качество печати, чем матричный и более экономичен, чем струйный принтер. Производительность выбранного принтера достигает 14 страниц в минуту (эталонных страниц). Достоинством данного принтера является возможность его подключения к USB порту.

Для решения задачи оптимального проектирования, так как оно требует значительных вычислительных затрат необходим компьютер на базе процессора Pentium 4 с тактовой частотой 3 ГГц и частотой шины 533 МГц и технологией hiper-threading. Оперативная память была выбрана в размере 512 Мбайт, так в процессе преобразований может потребоваться большой объем памяти для хранения промежуточных данных. Жесткий диск был взят объемом 80 Гбайт, так как это оптимальный размер современных винчестеров.

Оба рабочего места оборудованы  монитором Samsung Syncmaster 757MB с диагональю 17".

Персональные  компьютеры объединены в локальную  вычислительную сеть. Это необходимо для осуществления достаточно быстрого обмена данными между компьютерами и возможности использования единого устройства вывода на печать, что обеспечивает большую эффективность функционирования подсистемы САПР. В качестве среды передачи данных используется RJ-45 пятой категории, достоинством которого является низкая стоимость оборудования и высокая помехозащищенность сети. На каждом компьютере установлен сетевой адаптер, обеспечивающий скорость передачи данных 100 Мбит/с.

Для сохранения работоспособности компьютеров  во время перебоев с электропитанием рабочее место системного администратора оснащено источником бесперебойного питания UPS BACK 2000 AP PCM, обеспечивающие сохранение электрического питания на время, достаточное для перехода резервное питания.

4.3 Описание информационного обеспечения

Функционирование  любой подсистемы САПР невозможно без соответствующей информационной поддержки.

Информационные  потоки, используемые прикладными программами при работе, составляют основу информационного обеспечения. Для достижения оптимальности использования данного вида обеспечения наиболее приемлемой формой его реализации является набор интерактивных баз данных на основе реляционной модели данных, обеспечивающих контроль, хранение и управление информационными потоками.

При разработке информационного обеспечения необходимо учитывать следующие принципы:

• независимость данных;
• совместимость - при развитии программного и модернизации технического обеспечения компоненты информационного обеспечения должны сохранять работоспособность;
• не избыточность данных – информационное обеспечение должно представлять собой совокупность интегрированных данных, являющихся основной частью информационного потока;
• защита данных – учитывая реалии рыночной экономики, необходимо предусмотреть защиту данных от несанкционированного доступа;
• целостность данных – информационное обеспечение должно предотвращать нарушение структуры данных пользователем.