Нейросетевые модели

Прогнозирование – это предсказание будущих событий. Целью прогнозирования  является уменьшение риска при принятии решений. В большинстве случаев  прогноз получается ошибочным, причем ошибка зависит от прогнозирующей системы  и методов прогнозирования. Для  уменьшения ошибки следует увеличивать  количество ресурсов предоставляемых  для прогноза. При некотором уровне ошибки возможно добиться минимального уровня ресурсов для прогноза. Основной проблемой прогнозирования является выявление неточности прогноза. Обычно, решение, принимаемое на основании  прогноза должно учитывать ошибку, о которой сообщает система прогнозирования. Таким образом, система прогнозирования  должна обеспечить определение прогноза и ошибки прогнозирования [10].

Наиболее распространенными задачами прогнозирования, на сегодняшний день являются задачи прогнозирования в экономике и на предприятиях, а в частности финансовое планирование, планирование технологического процесса, планирование фондового рынка и т.п.

Большинство задач прогнозирования  можно свести к предсказанию временного ряда. Предсказание временного ряда сводится к типовой задаче нейроанализа –  аппроксимации функции многих переменных по заданному набору примеров –  с помощью процедуры погружения ряда в многомерное пространство. Например, -мерное лаговое пространство ряда состоит из значений ряда в последовательные моменты времени :

.    (1.4)

Для динамических систем доказана следующая  теорема Такенса: Если временной  ряд порождается динамической системой, т.е. значения есть произвольная функция состояния такой системы, существует такая глубина погружения (примерно равная эффективному числу степеней свободы данной динамической системы), которая обеспечивает однозначное предсказание следующего значения временного ряда. Таким образом, выбрав достаточно большое , можно гарантировать однозначную зависимость будущего значения ряда от его предыдущих значений:

(1.5)

т.е. предсказание временного ряда сводится к задаче интерполяции функции многих переменных. Нейросеть далее можно  использовать для восстановления этой неизвестной функции по набору примеров, заданных историей данного временного ряда.

Напротив, для случайного ряда знание прошлого ничего не дает с точки  зрения предсказания будущего. Поэтому, согласно теории эффективного рынка, разброс  предсказываемых значений ряда на следующем  шаге при погружении в лаговое  пространство не изменится [11].

1.3.4 Достоинства и недостатки  прогнозирования с помощью нейронных  сетей

Прогнозирование на нейронных сетях  обладает рядом недостатков. Как  правило необходимо не менее 100 наблюдений для создания приемлемой модели. Это достаточно большое число данных и существует много случаев, когда такое количество исторических данных недоступно.

Однако, необходимо отметить, что возможно построение удовлетворительной модели на нейронных сетях даже в условиях нехватки данных. Модель может уточняться по мере того, как свежие данные становится доступными.

Другой недостаток нейронных моделей  – значительные затраты по времени  и другим ресурсам для построения удовлетворительной модели, известно, что обучение сети может занимать довольно много времени. Однако, несмотря на перечисленные недостатки, модель обладает рядом достоинств. Существует удобный способ модифицировать модель по мере того как появляются новые  наблюдения.

Способности нейронной сети к прогнозированию  напрямую следуют из ее способности  к обобщению и выделению скрытых  зависимостей между входными и выходными  данными. После обучения сеть способна предсказать будущее значение некой  последовательности на основе нескольких предыдущих значений и/или каких-то существующих в настоящий момент факторов. Следует отметить, что  прогнозирование возможно только тогда, когда предыдущие изменения действительно в какой-то степени предопределяют будущие. Например, прогнозирование котировок акций на основе котировок за прошлую неделю может оказаться успешным (а может и не оказаться), тогда как прогнозирование результатов завтрашней лотереи на основе данных за последние 50 лет почти наверняка не даст никаких результатов.

Для адекватного выбора подходящей нейросетевой модели, необходимо рассмотреть  классификацию существующих моделей  нейронных сетей

Можно провести следующую классификацию  нейронных сетей:

1.3.5 Выбор нейросетевой  модели

1.3.5.1 Классификация нейронных сетей по распространению сигнала.

1. Сети прямого распространения
• персептроны;
• сеть RBF;
• сеть встречного распространения;
• карта Кохонена.
2. Рекуррентные сети

Характерная особенность таких  сетей - наличие блоков динамической задержки и обратных связей, что  позволяет им обрабатывать динамические модели.

• сеть Хопфилда;
• сеть Хемминга;
• рекуррентные сети на основе многослойного персептрона.

Эти сети применяются в системах управления движущимися объектами.

1.3.5.2 Классификация по методу обучения.

1. Обучение с учителем

Обучение с учителем предполагает, что для каждого входного вектора  существует целевой вектор, представляющий собой требуемый выход. Вместе они  называются обучающей парой. Обычно сеть обучается на некотором числе  таких обучающих пар. Предъявляется  выходной вектор, вычисляется выход  сети и сравнивается с соответствующим  целевым вектором. Далее веса изменяются в соответствии с алгоритмом, стремящимся  минимизировать ошибку. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки и веса подстраиваются для каждого вектора до тех  пор, пока ошибка по всему обучающему массиву не достигнет приемлемого  уровня [12].

Примером является многослойный персептрон.

2. Обучение без учителя

При обучении без учителя раскрывается внутренняя структура данных или корреляции между образцами в наборе данных. Выходы нейронной сети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы. Это обучение называют также неуправляемым. В результате такого обучения объекты или примеры распределяются по категориям, сами категории и их количество могут быть заранее не известны. Обучение без учителя является намного более правдоподобной моделью обучения с точки зрения биологических корней искусственных нейронных сетей. Развитая Кохоненом и многими другими, она не нуждается в целевом векторе для выходов и, следовательно, не требует сравнения с предопределенными идеальными ответами. Обучающее множество состоит лишь из входных векторов. Обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, т. е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс обучения, следовательно, выделяет статистические свойства обучающего множества и группирует сходные векторы в классы.

Примером сетей такого типа может  служить самоорганизующаяся карта  Кохонена.

3. Обучение с подкреплением

Способ постановки эксперимента, в  ходе которого испытуемая система (агент) обучается, взаимодействуя с некоторой  средой. Откликом среды (а не специальной  системы управления подкреплением, как это происходит в обучении с учителем) на принятые решения являются сигналы подкрепления, поэтому такое обучение является частным случаем обучения с учителем, но учителем является среда или ее модель.

Примером является сеть Хопфилда.

В графическом виде классификация  нейронных сетей представлена на рисунке 1.8.

Рисунок 1.8 – Классификация нейронных  сетей

4.  Обучение радиально-базисной сети

Обучение радиально-базисных нейронных  сетей осуществляется при помощи комбинированных методов. На первом этапе проводится предварительная  кластеризация для определения  эталонных векторов с использованием алгоритмов обучения без учителя. На втором этапе происходит вычисление значений весов связей нейронов скрытого слоя с нейронами выходного слоя в общем случае с помощью алгоритмов обучения с учителем.

Радиально-базисные сети (RBF) – это сети прямого распространения, без обратных связей, с одним промежуточным слоем.

Сети, использующие радиальные базисные функции (RBF-сети), являются частным случаем двухслойной сети прямого распространения. Каждый элемент скрытого слоя использует в качестве активационной функции радиальную базисную функцию, обычно типа гауссовой. Радиальная базисная функция (функция ядра) центрируется в точке, которая определяется весовым вектором, связанным с нейроном. Как позиция, так и ширина функции ядра должны быть обучены по выборочным образцам. Обычно ядер гораздо меньше, чем обучающих примеров. Каждый выходной элемент вычисляет линейную комбинацию этих радиальных базисных функций.

Сеть типа радиальной базисной функции  имеет промежуточный слой из радиальных элементов, каждый из которых воспроизводит  гауссову поверхность отклика. Поскольку  эти функции нелинейны, для моделирования  произвольной функции нет необходимости  брать более одного промежуточного слоя [13].

Для моделирования любой функции  необходимо лишь взять достаточное  число радиальных элементов. Остается решить вопрос о том, как следует  скомбинировать выходы скрытых радиальных элементов, чтобы получить из них  выход сети.

Для этого достаточно взять их линейную комбинацию (т.е. взвешенную сумму гауссовых  функций). Сеть RBF имеет выходной слой, состоящий из элементов с линейными функциями активации. Обобщенная структура сети представлена на рисунке 1.9. Таким образом, выход RBF сети является линейной комбинацией некоторого набора базисных функций.

RBF-сети имеют как ряд достоинств (компактность, быстрая обучаемость), так и недостатков. Например, с «групповым» представлением пространства модели связано неумение сетей RBF экстраполировать свои выводы за область известных данных: при удалении от обучающего множества значение функции отклика быстро падает до нуля.

Применительно к аналитическим  моделям в целом, обучение – процесс  подбора параметров аналитической  модели, который осуществляется на экспериментальных данных. Обучение является итеративной процедурой, где  на каждом шаге модели предъявляется  объект данных из обучающей выборки  и в соответствии с правилом, называемым алгоритмом обучения, производится корректировка  свойств модели. Обучение продолжается до тех пор, пока модель не достигнет  состояния, позволяющего выполнять  требуемое преобразование.

 

 

 

 

 

Рисунок 1.9 – Обобщенная структура радиально-базисной сети

После того, как модель обучена  и протестирована, ее можно использовать для практического применения.

Обычно, обучение RBF-сети происходит в несколько этапов. Сначала определяются центры и отклонения для радиальных элементов, затем оптимизируются параметры линейного выходного слоя. (В случае применения гибридного алгоритма, обучение происходит по-другому).

Расположение центров должно соответствовать  кластерам, реально присутствующим в исходных данных. Рассмотрим два  наиболее часто используемых метода.

1. Выборка из выборки. В качестве центров радиальных элементов берутся несколько случайно выбранных точек обучающего множества. В силу случайности выбора они «представляют» распределение обучающих данных в статистическом смысле. Однако, если число радиальных элементов невелико, такое представление может быть неудовлетворительным.
2. Алгоритм -средних. Этот алгоритм стремится выбрать оптимальное множество точек, являющихся центроидами кластеров в обучающих данных. При радиальных элементах их центры располагаются таким образом, чтобы:

 – каждая обучающая точка  «относилась» к одному центру  кластера и лежала к нему  ближе, чем к любому другому  центру;

– каждый центр кластера был центроидом множества обучающих точек, относящихся  к этому кластеру.

После того, как определено расположение центров, нужно найти отклонения. Величина отклонения (ее также называют сглаживающим фактором) определяет, насколько «острой» будет гауссова функция. Если эти функции выбраны слишком острыми, сеть не будет интерполировать данные между известными точками и потеряет способность к обобщению. Если же гауссовы функции взяты чересчур широкими, сеть не будет воспринимать мелкие детали. На самом деле, сказанное - еще одна форма проявления дилеммы пере/недообучения.