Практическое применение нейросетевой технологии

Нет

Ожирение

Алкоголь

Курение

Гипертония

А также  возможным примером может быть например возраст больного

До 25 лет

25-39 лет

40-49 лет

50-59 лет

60 и старше

Опасность каждого фактора возрастает в  таблицах при движении слева направо.

В первом случае мы видим, что у больного может быть несколько факторов риска одновременно. В таком случае нам необходимо использовать такое кодирование, при котором отсутствует ситуация, когда разным комбинациям факторов соответствует одно и то же значение. Наиболее распространен способ кодирования, когда каждому фактору ставится в соответствие разряд двоичного числа. 1 в этом разряде говорит о наличии фактора, а 0 о его отсутствии. Параметру нет можно поставить в соответствии число 0. Таким образом для представления всех факторов достаточно 4-х разрядного двоичного числа. Таким образом число 10102 = 1010 означает наличие у больного гипертонии и употребления алкоголя, а числу 00002 соответствует отсутствие у больного факторов риска. Таким образом факторы риска будут представлены числами в диапазоне [0..15].

Во  втором случае мы также можем кодировать все значения двоичными весами, но это будет нецелесообразно, т.к. набор  возможных значений будет слишком  неравномерным. В этом случае более  правильным будет установка в  соответствие каждому значению своего веса, отличающегося на 1 от веса соседнего значения. Так число 3 будет соответствовать возрасту 50-59лет. Таким образом возраст будет закодирован числами в диапазоне [0..4].

В принципе аналогично можно поступать и  для неупорядоченных данных, поставив в соответствие каждому значению какое-либо число. Однако это вводит нежелательную упорядоченность, которая может исказить данные, и сильно затруднить процесс обучения. В качестве одного из способов решения этой проблемы можно предложить поставить в соответствие каждому значению одного из входов НС. В этом случае при наличии этого значения соответствующий ему вход устанавливается в 1 или в 0 при противном случае. К сожалению данный способ не является панацеей, ибо при большом количестве вариантов входного значения число входов НС разрастается до огромного количества. Это резко увеличит затраты времени на обучение. В качестве варианта обхода этой проблемы можно использовать несколько другое решение. В соответствие каждому значению входного параметра ставится бинарный вектор, каждый разряд которого соответствует отдельному входу НС. Например если число возможных значений параметра 128, то можно использовать 7 разрядный вектор. Тогда 1 значению будет соответствовать вектор 0000000 а 128 - вектор 1111111, а ,например, 26 значению – 0011011. Тогда число требуемых для кодирования параметров входов можно определить как

N=log2n (15)

Где

n- количество значений  параметра

N- количество входов

Преобразование  числовых входных данных

Для НС необходимо чтобы входные данные лежали в диапазоне [0..1], в то время как данные проблемной области могут лежать в любом диапазоне. Предположим что данные по одному из параметров лежат в диапазоне [Min..Max]. Тогда паиболее простым способом нормирования будет

 (16)

где x- исходное значение параметра

-значение, подаваемое на вход  НС

К сожалению  этот способ кодирования не лишен  недостатков. Так в случае если   то распределение данных на входе может принять вид

Т.е. распределение  входных параметров будет крайне неравномерным, что приведет к ухудшению  качества обучения. Поэтому в подобных ситуациях , а также в случае, когда  значение входа лежит в диапазоне  можно использовать нормировку с помощью функции вида

 (17)

 

 Глава 2. Практическое применение нейросетевой технологии

 

Применение нейросетевых технологий целесообразно при решении  задач, имеющих следующие признаки:

• отсутствие алгоритмов решения задач при наличии достаточно большого числа примеров;
• наличие большого объема входной информации, характеризующей исследуемую проблему;
• зашумленность, частичная противоречивость, неполнота или избыточность исходных данных.

Нейросетевые технологии нашли широкое применение в таких  направлениях, как распознавание  печатного текста, контроль качества продукции на производстве, идентификация событий в ускорителях частиц, разведка нефти, борьба с наркотиками, медицинские и военные приложения, управление и оптимизация, финансовый анализ, прогнозирование и др.

В сфере экономики  нейросетевые технологии могут использоваться для классификации и анализа временных рядов путем аппроксимации сложных нелинейных функций. Экспериментально установлено, что модели нейронных сетей обеспечивают большую точность при выявлении нелинейных закономерностей на фондовом рынке по сравнению с регрессионными моделями.

Рассмотрим решение  задачи прогнозирования цены закрытия на завтра по акциям некоторого предприятия X. Для моделирования воспользуемся данными наблюдений за месяц. В качестве исходных данных можно использовать индикаторы Dow Jones, NIKKEI, FTSE100, индексы и акции российских компаний, «сезонные» переменные и др.

Относительный показатель однодневной доходности предприятия  можно определить из соотношений:

     (8.20)

где ∆P_i – оценка операции «вчера купил, сегодня продал»;

-∆P_i – оценка операции «вчера продал, сегодня купил»;

Р_i – значение выбранного показателя доходности в i-й день;

P_i-1 – значение показателя в (i-1)-й день.

Итоговая доходность за установленный интервал времени (n дней) рассчитывается по формуле

     (8.21)

Результаты оценки доходности предприятия с использованием различных  моделей ИНС, а также доходов  «идеального» трейдера приведены ниже.

 

Индикаторы      Доходность

30 дней

Стандартная трехслойная  сеть …………………………………. 0,1919

Стандартная четырехслойная сеть …………………………….. -0,1182

Рекуррентная сеть с  обратной отрицательной связью

от скрытого слоя ………………………………………… 0,1378

Рекуррентная сеть с  отрицательной обратной связью ……….. 0,4545

Сеть Ворда: с тремя  скрытыми блоками,

с разными передаточными  функциями…………………. 0,2656

Трехслойная сеть с обходным соединением …………………. -0,1889

Четырехслойная сеть с обходными соединениями …………… 0,0003

Сеть с общей регрессией  ...……………………………………... 0,3835

Сеть метода группового учета аргументов ……………………  0,1065

Сеть Ворда: с тремя  скрытыми блоками, с разными 

передаточными функциями, с обходным соединением………. -0,1166

«Идеальный» трейдер  …………………………………………… 1,1448

 

«Идеальный трейдер» знает цену закрытия на следующий  день и поэтому получает максимально возможную прибыль. Трейдер пользуется значением нейросетевого индикатора следующим образом: на основе прогнозируемого в (i-1-й) день значения ∆P_i (величина относительно изменения цены закрытия по акциям рассматриваемого предприятия X на завтрашний i-й день) трейдер принимает решение о покупке (∆P_i >0) или продаже (∆P_i <0) акций.

Анализ результатов  моделирования показывает, что лучшую доходность обеспечила рекуррентная сеть с отрицательной обратной связью (45% за 30 дней). Динамика изменения однодневных показателей доходности, полученных с помощью этой ИНС, приведена на рис.8.5.

Нейросетевые технологии активно используются в маркетинге для моделирования поведения  клиентов и распределения долей  рынка. Нейросетевые технологии позволяют  отыскивать в маркетинговых базах  данных скрытые закономерности.

Моделирование поведения  клиентов позволяет определить характеристики людей, которые будут нужным образом реагировать на рекламу и совершать покупки определенного товара или услуги.

Сегментирование и моделирование  рынков на основе нейросетевых технологий дает возможность построения гибких классификационных систем, способных осуществлять сегментирование рынков с учетом многообразия факторов и особенностей каждого клиента.

Технологии ИНС имеют  хорошие перспективы при решении  задач имитации и предсказания поведенческих  характеристик менеджеров и задач прогнозирования рисков при выдаче кредитов. Не менее актуально применение ИНС при выборе клиентов для ипотечного кредитования, предсказания банкротства клиентов банка, определения мошеннических сделок при использовании кредитных карточек, составления рейтингов клиентов при займах с фиксированными платежами и т.п.

Следует помнить о  том, что применение нейросетевых технологий не всегда возможно и сопряжено с  определенными проблемами и недостатками.

1. Необходимо как минимум 50, а лучше 100 наблюдений для создания приемлемой модели. Это достаточно большое число данных, и они далеко не всегда доступны. Например, при производстве сезонного товара истории предыдущих сезонов недостаточно для прогноза на текущий сезон из-за изменения стиля продукта, политики продаж и т.д. Даже при прогнозировании спроса на достаточно стабильный продукт на основе информации о ежемесячных продажах трудно накопить исторические данные за период от 50 до 100 месяцев. Для сезонных товаров проблема еще более сложна, так как каждый сезон фактически представляет собой одно наблюдение. При дефиците информации модели ИНС строят в условиях неполных данных, а затем проводят их последовательное уточнение.
2. Построение нейронных сетей требует значительных затрат труда и времени для получения удовлетворительной модели. Необходимо учитывать, что излишне высокая точность, полученная на обучающей выборке, может обернуться неустойчивостью результатов на тестовой выборке – в этом случае происходит «переобучение» сети. Чем лучше система адаптирована к конкретным условиям, тем меньше она способна к обобщению и экстраполяции и тем скорее может оказаться неработоспособной при изменении этих условий. Расширение объема обучающей выборки позволяет добиться большей устойчивости, но за счет увеличения времени обучения.
3. При обучении нейронных сетей могут возникать «ловушки», связанные с попаданием в локальные минимумы. Детерминированный алгоритм обучения не в силах обнаружить глобальный экстремум или покинуть локальный минимум. Одним из приемов, который позволяет обходить ловушки, является расширение размерности пространства весов за счет увеличения числа нейронов скрытых слоев. Некоторые возможности для решения этой проблемы открывают стохастические методы обучения. При модификации весов сети только на основе информации о направлении вектора градиента целевой функции в пространстве весов можно достичь локального минимума, но невозможно выйти из него, поскольку в точке экстремума «движущая сила» (градиент) обращается в нуль и причина движения исчезает. Чтобы покинуть локальный экстремум и перейти к поиску глобального, нужно создать дополнительную силу, которая будет зависеть не от градиента целевой функции, а от каких-то других факторов. Один из простейших методов состоит в том, чтобы просто создать случайную силу и добавить ее к детерминистической.
4. Сигмоидальный характер передаточной функции нейрона является причиной того, что если в процессе обучения несколько весовых коэффициентов стали слишком большими, то нейрон попадает на горизонтальный участок функции в область насыщения. При этом изменения других весов, даже достаточно большие, практически не сказываются на величине выходного сигнала такого нейрона, а значит, и на величине целевой функции.
5. Неудачный выбор диапазона входных переменных – достаточно элементарная, но часто совершаемая ошибка. Если x_i – двоичная переменная со значениями 0 и 1, то примерно в половине случаев она будет иметь нулевое значение: x_i = 0. Поскольку x_i входит в выражение для модификации веса в виде сомножителя, то эффект будет тот же, что и при насыщении: модификация соответствующих весов будет блокирована. Правильный диапазон для входных переменных должен быть симметричным, например от +1 до -1.
6. Процесс решения задач нейронной сетью является «непрозрачным» для пользователя, что может вызывать с его стороны недоверие к прогнозирующим способностям сети.
7. Предсказывающая способность сети существенно снижается, если поступающие на вход факты (данные) имеют значительные отличия от примеров, на которых обучалась сеть. Этот недостаток ярко проявляется при решении задач экономического прогнозирования, в частности при определении тенденций котировок ценных бумаг и стоимости валют на фондовых и финансовых рынках.
8. Отсутствуют теоретически обоснованные правила конструирования и эффективного обучения нейронных сетей. Этот недостаток приводит, в частности, к потере нейронными сетями способности обобщать данные предметной области в состояниях переобучения (перетренировки).

 

 

Заключение

Нейросетевые технологии в отличие от экспертных систем предназначены  для воспроизведения неосознанных мыслительных усилий человека (например, человек плохо знает, как он распознает цвет предмета). Такого рода технологии используются для распознавания каких-либо событий или предметов. С их помощью можно воспроизвести многочисленные связи между множеством объектов. Принципиальное отличие искусственных нейросетей от обычных программных систем, например экспертных, состоит в том, что они не требуют программирования. Они сами настраиваются, т.е. обучаются тому, что требуется пользователю. Известны следующие сферы применения нейросетей: экономика и бизнес - предсказание поведения рынков, предсказание банкротств, оценка стоимости недвижимости, автоматическое рейтингование, оценка кредитоспособности, прогнозирование курса валют; медицина - обработка медицинских изображений, диагностика; автоматизация производства - оптимизация режимов производственного процесса, диагностика качества продукции, предупреждение аварийной ситуации; политические технологии - обобщение социологических опросов; безопасность и охранные системы - системы идентификации личности, распознавание автомобильных номеров и аэрокосмических снимков; геологоразведка - анализ сейсмических данных, оценка ресурсов месторождений.

В данной дипломной работе была рассмотрена тема потребительского кредитования в РФ с позиции проблем, возникающих у банков при освоении данного рынка, в основном касающиеся правовых аспектов и аспектов снижения риска. Также было продемонстрировано решение проблем в сегодняшней действительности при помощи инструментов Data Mining платформы Deductor. В рамках данной задачи был реализован сценарий, заключающий в себе консолидацию данных из сторонней системы, прогон данных через построенную модель, экспорт результатов оценки кредитоспособности на сторону.

Основные преимущества системы:

• Гибкая интеграция с любыми сторонними системами, т.е. получение информации для анализа и перенос результатов не вызывает проблем.
• Консолидация информации о заемщиках в специальном хранилище данных, т.е. обеспечение централизованного хранения данных, непротиворечивости, а также обеспечение всей необходимой поддержки процесса анализа данных, оптимизированного доступа, автоматического обновления данных, использование при работе терминов предметной обрасти, а не таблиц баз данных.
• Широкий спектр инструментов анализа, т.е. обеспечение возможности эксперту выбрать наиболее подходящий метод на каждом шаге обработки. Это позволит наиболее точно формализовать его знания в данной предметной области.
• Поддержка процесса тиражирования знаний, т.е. обеспечение возможности сотрудникам, не разбирающимся в методиках анализа и способах получения того или иного результата получать ответ на основе моделей, подготовленных экспертом. Так сотрудник, оформляющий кредиты, должен ввести данные по потребителю и система автоматически выдаст решение о выдачи кредита или об отказе.
• Поддержка групповой обработки информации, т.е. обеспечение возможности дать решение по списку потенциальных заемщиков. Из хранилища автоматически выбираются данные по лицам, заполнившим анкету вчера (или за какой угодно буферный период), эти данные прогоняются через построенную модель, а результат экспортируется в виде отчета (например, в виде excel файла), либо экспортируется в систему автоматического формирования договоров кредитования или писем с отказом в кредите. Это позволит сэкономить время и деньги.
• Поддержка актуальности построенной модели, т.е. обеспечение возможности эксперту оценить адекватность текущей модели и, в случае каких либо отклонений, перестроить ее, используя новые данные.