Разработка программного модуля для моделирования и исследования нейронных сетей по дисциплине «Системы искусственного интеллекта» для Б

АННОТАЦИЯ

на дипломный проект

«Разработка программного модуля для моделирования и исследования нейронных сетей по дисциплине «Системы искусственного интеллекта»

для Белорусско-Российского  университета»

^{тема  проекта}

Структура и  объем проекта

Дипломный проект состоит из 22 листов чертежей и 122 листов спецификаций и текстовой части проекта на 122 страницах. Пояснительная записка состоит из перечня условных обозначений, введения, общей характеристики работы, шести глав, заключения по проекту, библиографического списка и приложений.

 

Проект содержит 13 рисунков на 12 страницах, 65 таблиц на 57 страницах, 2 приложения на 18 страницах.

Библиографический список включает 9 наименований.

Содержание  проекта

Во введении обоснована актуальность темы, дана краткая характеристика исследуемых вопросов и предлагаемых подходов к их решению.

В первой главе производится подробный анализ требований к разрабатываемой системе, всех возможных вариантов использования системы.

Во второй главе представлено подробное описание структуры системы и порядка взаимодействия ее компонентов друг с другом и с внешней средой.

В третьей главе описаны  средства, с помощью которых создавалось система, интерфейс приложения, структура внутренних запросов.

В четвертой главе  дается экономическое обоснование целесообразности разработки данного проекта.

В пятой главе рассмотрены  вопросы, касающиеся охраны труда при  работе с системой, с учетом специфики работы за персональной электронно-вычислительной машиной.

В шестой главе подробно рассмотрен энергетический и экологический мониторинг, применяющийся в Республике Беларусь.

В заключении по проекту  дается общая оценка степени соответствия выполненной системы определенным требованиям.

 

 

 

 

Содержание

Перечень условных обозначений

Ниже представлена таблица-глоссарий разрабатываемого проекта.

Таблица 1 – Глоссарий проекта

Термин	Тип	Определение
Активационная функция	Technical	Функция, в соответствии с которой  происходит преобразование суммы входных сигналов нейрона в выходной сигнал
АСОИ	Technical	Автоматизированная система обработки информации
Искусственный нейрон	Technical	Объект, имитирующий в первом приближении  биологический нейрон.
Нейронная сеть	Technical	Совокупность слоев, в которых  каждый нейрон предыдущего слоя связан синаптической связью с каждым нейроном последующего слоя
Обучение нейронной сети	Business	Процесс изменения весов синапсов нейронов сети с целью получения минимальной ошибки в значениях выходных сигналов сети при подаче определенных входных сигналов относительно требуемых значений
Обучающая пара	Technical	Набор значений входных сигналов сети и набор требуемых значений выходных сигналов сети
Обучающий массив	Technical	Набор обучающих пар, в соответствии с которыми будет проводиться обучение нейронной сети
Опрос сети	Business	Подача определенных входных сигналов с целью получения значений выходных сигналов, рассчитанные нейронной сетью
Синапс	Technical	Объект, имитирующий в первом приближении  биологический синапс - часть нейрона, связывающая его с другим нейроном
Слой	Technical	Совокупность нейронов одного уровня, не связанных между собой
Вес синапса	Technical	Величина, на которую умножается значение сигнала, идущего по синапсу

 

 

Введение

В рамках дипломного проекта необходимо разработать программу, которая позволяла бы студенту изучать особенности построения и использования нейронных сетей.

Разрабатываемая программа  должна позволять студенту создавать  нейронную сеть и обучать ее для решения определенных задач. Программа должна предоставлять удобный интерфейс и давать студенту возможность сохранять модель созданной нейронной сети и загружать ее для дальнейших исследований. Также программа должна иметь локальную базу данных для хранения информации, необходимой для обучения сети.

Данный программный  продукт будет использоваться в  рамках лабораторной работы по изучению нейронных сетей и работать под управление операционной системы Windows 2000/XP.

Данная программа позволит ввести лабораторную работу по теме «Создание и исследование нейронных сетей» в обучающий процесс, так как автоматизирует процесс создания и обучения сети, позволяя студентам самим быстро создавать и обучать нейронные сети.

Наличие подключения к локальной сети и подключения к сети Интернет для данного программного продукта не являются обязательным, так как база данных локальна и хранится в одном каталоге с исполняемым файлом программы.

Для проектирования АСОИ использовалось CASE-средство Enterprise Architect 7.1.

 

 

1 Анализ технологии обработки информации в предметной области и определение требований к АСОИ

1.1 Сбор и анализ исходной  информации

В качестве научного предмета искусственные нейронные сети впервые  заявили о себе в 40-е годы. Стремясь воспроизвести функции человеческого мозга, исследователи создали простые аппаратные (а позже программные) модели биологического нейрона и системы его соединений. Когда нейрофизиологи достигли более глубокого понимания нервной системы человека, эти ранние попытки стали восприниматься как весьма грубые аппроксимации. Тем не менее, на этом пути были достигнуты впечатляющие результаты, стимулировавшие дальнейшие исследования, приведшие к созданию более изощренных сетей [1].

Искусственный нейрон имитирует  в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, и все произведения суммируются, определяя уровень активации нейрона. На рисунке 1 представлена модель, реализующая эту идею. Хотя сетевые парадигмы весьма разнообразны, в основе почти всех их лежит эта конфигурация. Здесь множество входных сигналов, обозначенных , поступает на искусственный нейрон. Эти входные сигналы, в совокупности обозначаемые вектором , соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждый сигнал умножается на соответствующий вес и поступает на суммирующий блок, обозначенный Σ. Каждый вес соответствует «силе» одной биологической синаптической связи (множество весов в совокупности обозначается вектором W) Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, создавая выход, который мы будем называть NET. В векторных обозначениях это может быть компактно записано следующим образом:

.  (1)

Рисунок 1 – Искусственный нейрон

 

Сигнал NET далее, как правило, преобразуется активационной функцией F и дает выходной нейронный сигнал OUT. Активационная функция может быть обычной линейной функцией:

,   (2)

где К – постоянная пороговой функции, OUT = 1, если NET > T,  OUT = 0 в остальных случаях, Т – некоторая постоянная пороговая величина, или же функцией, более точно моделирующей нелинейную передаточную характеристику биологического нейрона и представляющей нейронной сети большие возможности.

Рисунок 2 – Искусственный нейрон с активационной функцией

На рисунке 2 блок, обозначенный F, принимает сигнал NET и выдает сигнал OUT. Если блок F сужает диапазон изменения величины NET так, что при любых значениях NET значения OUT принадлежат некоторому конечному интервалу, то F называется «сжимающей» функцией. В качестве «сжимающей» функции часто используется логистическая или «сигмоидальная» (S-образная) функция, показанная на рисунке 3. Эта функция математически выражается:

.   (3)

По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины OUT к вызвавшему его небольшому приращению величины NET. Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным. Гроссберг (1973) обнаружил, что подобная нелинейная характеристика решает поставленную им дилемму шумового насыщения [1]. Каким образом одна и та же сеть может обрабатывать как слабые, так и сильные сигналы? Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей (случайными флуктуациями), которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода. Центральная область логистической функции, имеющая большой коэффициент усиления, решает проблему обработки слабых сигналов, в то время как области с падающим усилением на положительном и отрицательном концах подходят для больших возбуждений. Таким образом, нейрон функционирует с большим усилением в широком диапазоне уровня входного сигнала.

Рисунок 3 – Сигмоидальная логистическая функция

Другой широко используемой активационной функцией является гиперболический тангенс. По форме она сходна с логистической функцией и часто используется биологами в качестве математической модели активации нервной клетки. В качестве активационной функции искусственной нейронной сети она записывается следующим образом:

OUT = th(x).   (4)

Рисунок 4 – Функция гиперболического тангенса

Подобно логистической  функции гиперболический тангенс  является S-образной функцией, но он симметричен  относительно начала координат, и в точке NET = 0 значение выходного сигнала OUT равно нулю (см. рис. 4). В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что оказывается выгодным для ряда сетей [1].

Рассмотренная простая модель искусственного нейрона игнорирует многие свойства своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, она не учитывает воздействий функции частотной модуляции или синхронизирующей функции биологического нейрона, которые ряд исследователей считают решающими.

Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему. Только время  и исследования смогут ответить на вопрос, являются ли подобные совпадения случайными или следствием того, что в модели верно схвачены важнейшие черты биологического нейрона [1].

Рисунок 5 – Однослойная  нейронная сеть

Хотя один нейрон и  способен выполнять простейшие процедуры  распознавания, сила нейронных вычислений проистекает от соединений нейронов в сетях. Простейшая сеть состоит из группы нейронов, образующих слой, как показано в правой части рисунка 5. Отметим, что вершины-круги слева служат лишь для распределения входных сигналов. Они не выполняют каких- либо вычислений и поэтому не будут считаться слоем. По этой причине они обозначены кругами, чтобы отличать их от вычисляющих нейронов, обозначенных квадратами. Каждый элемент из множества входов Х отдельным весом соединен с каждым искусственным нейроном. А каждый нейрон выдает взвешенную сумму входов в сеть. В искусственных и биологических сетях многие соединения могут отсутствовать, все соединения показаны в целях общности. Могут иметь место также соединения между выходами и входами элементов в слое.

Удобно считать веса элементами матрицы W. Матрица имеет m строк и n столбцов, где m – число входов, а n – число нейронов. Например, – это вес, связывающий третий вход со вторым нейроном. Таким образом, вычисление выходного вектора N, компонентами которого являются выходы OUT нейронов, сводится к матричному умножению , где N и Х – векторы-строки.

Более крупные и сложные нейронные сети обладают, как правило, и большими вычислительными возможностями. Хотя созданы сети всех конфигураций, какие только можно себе представить, послойная организация нейронов копирует слоистые структуры определенных отделов мозга. Оказалось, что такие многослойные сети обладают большими возможностями, чем однослойные, и в последние годы были разработаны алгоритмы для их обучения.

Рисунок 6 – Двухслойная  нейронная сеть

Многослойные сети могут  образовываться каскадами слоев. Выход одного слоя является входом для последующего слоя. Подобная сеть показана на рисунке 6 и снова изображена со всеми соединениями.

Многослойные сети могут  привести к увеличению вычислительной мощности по сравнению с однослойной  сетью лишь в том случае, если активационная функция между слоями будет нелинейной. Вычисление выхода слоя заключается в умножении входного вектора на первую весовую матрицу с последующим умножением (если отсутствует нелинейная активационная функция) результирующего вектора на вторую весовую матрицу: [1].

Так как умножение  матриц ассоциативно, то .

Это показывает, что двухслойная  линейная сеть эквивалентна одному слою с весовой матрицей, равной произведению двух весовых матриц. Следовательно, любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью. Однослойные сети весьма ограниченны по своим вычислительным возможностям. Таким образом, для расширения возможностей многослойных сетей по сравнению с однослойной сетью необходима нелинейная активационная функция.

Большинство современных  алгоритмов обучения выросло из концепций  Хэбба. Им предложена модель обучения без учителя, в которой синаптическая  сила (вес) возрастает, если активированы оба нейрона, источник и приемник. Таким образом, часто используемые пути в сети усиливаются.

В искусственной нейронной сети, использующей обучение по Хэббу, наращивание весов определяется произведением уровней возбуждения передающего и принимающего нейронов. Это можно записать как

,                (5)

где – значение веса от нейрона i к нейрону j до подстройки, – значение веса от нейрона i к нейрону j после подстройки, α – коэффициент скорости обучения, – выход нейрона i и вход нейрона j, – выход нейрона j.

Сети, использующие обучение по Хэббу, конструктивно развивались, однако за последние 20 лет были развиты  более эффективные алгоритмы  обучения. В частности, были развиты алгоритмы обучения с учителем, приводящие к сетям с более широким диапазоном характеристик обучающих входных образов и большими скоростями обучения, чем использующие простое обучение по Хэббу.