Информация и информационная культура

 

 

 

 

Рис. 6.17.

Data Mining - это процесс обнаружения  в сырых данных ранее неизвестных,  нетривиальных, практически полезных  и доступных интерпретации знаний, необходимых для принятия решений  в различных сферах человеческой  деятельности. Data Mining представляют  большую ценность для руководителей  и аналитиков в их повседневной  деятельности. Деловые люди осознали, что с помощью методов Data Mining они могут получить ощутимые  преимущества в конкурентной  борьбе.

В основу современной технологии Data Mining (Discovery-driven Data Mining) положена концепция  шаблонов (Patterns), отражающих фрагменты  многоаспектных взаимоотношений в  данных. Эти шаблоны представляют собой закономерности, свойственные выборкам данных, которые могут быть компактно выражены в понятной человеку форме. Поиск шаблонов производится методами, не ограниченными рамками  априорных предположений о структуре  выборки и виде распределений  значений анализируемых показателей. На рис. 6.17 показана схема преобразования данных с использованием технологии Data Mining.

 

 

 

 

Рис. 6.18.

Основой для всевозможных систем прогнозирования служит историческая информация, хранящаяся в БД в виде временных рядов. Если удается построить  шаблоны, адекватно отражающие динамику поведения целевых показателей, есть вероятность, что с их помощью  можно предсказать и поведение  системы в будущем. На рис. 6.18 показан  полный цикл применения технологии Data Mining.

 

Важное положение Data Mining - нетривиальность разыскиваемых  шаблонов. Это означает, что найденные  шаблоны должны отражать неочевидные, неожиданные (Unexpected) регулярности в  данных, составляющие так называемые скрытые знания (Hidden Knowledge). К деловым людям пришло понимание, что "сырые" данные (Raw Data) содержат глубинный пласт знаний, и при грамотной его раскопке могут быть обнаружены настоящие самородки, которые можно использовать в конкурентной борьбе.

 

Сфера применения Data Mining ничем  не ограничена - технологию можно применять  всюду, где имеются огромные количества каких-либо "сырых" данных!

В первую очередь методы Data Mining заинтересовали коммерческие предприятия, развертывающие проекты на основе информационных хранилищ данных (Data Warehousing). Опыт многих таких предприятий показывает, что  отдача от использования Data Mining может  достигать 1000%. Известны сообщения об экономическом эффекте, в 10-70 раз  превысившем первоначальные затраты  от 350 до 750 тыс. долларов. Есть сведения о проекте в 20 млн долларов, который окупился всего за 4 месяца. Другой пример - годовая экономия 700 тыс. долларов за счет внедрения Data Mining в одной из сетей универсамов в Великобритании.

 

Компания Microsoft официально объявила об усилении своей активности в области Data Mining. Специальная исследовательская  группа Microsoft, возглавляемая Усамой Файядом, и шесть приглашенных партнеров (компании Angoss, Datasage, Epiphany, SAS, Silicon Graphics, SPSS) готовят совместный проект по разработке стандарта обмена данными и средств для интеграции инструментов Data Mining с базами и хранилищами данных.

 

Data Mining является мультидисциплинарной  областью, возникшей и развивающейся  на базе достижений прикладной  статистики, распознавания образов,  методов искусственного интеллекта, теории баз данных и др. (рис. 6.19). Отсюда обилие методов и  алгоритмов, реализованных в различных  действующих системах Data Mining. [Дюк  В.А. www.inftech.webservis.ru/it/datamining/ar2.html]. Многие  из таких систем интегрируют  в себе сразу несколько подходов. Тем не менее, как правило,  в каждой системе имеется какая-то  ключевая компонента, на которую  делается главная ставка.

 

Можно назвать пять стандартных  типов закономерностей, выявляемых с помощью методов Data Mining: ассоциация, последовательность, классификация, кластеризация  и прогнозирование.

 

 

 

 

Рис. 6.19.  Области применения технологии Data Mining

Ассоциация имеет место  в том случае, если несколько событий  связаны друг с другом. Например, исследование, проведенное в компьютерном супермаркете, может показать, что 55% купивших компьютер берут также  и принтер или сканер, а при  наличии скидки за такой комплект принтер приобретают в 80% случаев. Располагая сведениями о подобной ассоциации, менеджерам легко оценить, насколько  действенна предоставляемая скидка.

 

Если существует цепочка  связанных во времени событий, то говорят о последовательности. Так, например, после покупки дома в 45% случаев в течение месяца приобретается  и новая кухонная плита, а в пределах двух недель 60% новоселов обзаводятся холодильником.

 

 

С помощью классификации  выявляются признаки, характеризующие  группу, к которой принадлежит  тот или иной объект. Это делается посредством анализа уже классифицированных объектов и формулирования некоторого набора правил.

 

Кластеризация отличается от классификации тем, что сами группы заранее не заданы. С помощью кластеризации  средства Data Mining самостоятельно выделяют различные однородные группы данных.

 

Статистические пакеты

 

Последние версии почти всех известных статистических пакетов  включают наряду с традиционными  статистическими методами также  элементы Data Mining. Но основное внимание в них уделяется все же классическим методикам - корреляционному, регрессионному, факторному анализу и другим.

 

Недостатком систем этого  класса считают требование к специальной  подготовке пользователя. Также отмечают, что мощные современные статистические пакеты являются слишком "тяжеловесными" для массового применения в финансах и бизнесе.

 

Есть еще более серьезный  принципиальный недостаток статистических пакетов, ограничивающий их применение в Data Mining. Большинство методов, входящих в состав пакетов, опираются на статистическую парадигму, в которой главными фигурантами  служат усредненные характеристики выборки. А эти характеристики при  исследовании реальных сложных жизненных  феноменов часто являются фиктивными величинами. Это чрезвычайно важное обстоятельство следует обязательно  учитывать при анализе многомерных  данных.

 

В качестве примеров наиболее мощных и распространенных статистических пакетов можно назвать SAS (компания SAS Institute), SPSS (компания SPSS), STATGRAPHICS (компания Manugistics), STATISTICA для WINDOWS, STADIA и другие. Эти пакеты с успехом могут  применять небольшие и средние  предприятия, а большие многопрофильные  компании могут интегрировать их в общую корпоративную сеть.

 

Нейронные сети и экспертные системы

 

Это большой класс систем, архитектура которых имеет аналогию с построением нервной ткани  из нейронов. В одной из наиболее распространенных архитектур - многослойном персептроне с обратным распространением ошибки - имитируется работа нейронов в составе иерархической сети, где каждый нейрон более высокого уровня соединен своими входами с  выходами нейронов нижележащего слоя.

 

На нейроны самого нижнего  слоя подаются значения входных параметров, на основе которых нужно принимать  какие-то решения, прогнозировать развитие ситуации и т. д. Эти значения рассматриваются  как сигналы, передающиеся в следующий  слой, ослабляясь или усиливаясь в  зависимости от числовых значений (весов), приписываемых межнейронным связям. В результате на выходе нейрона самого верхнего слоя вырабатывается некоторое  значение, которое рассматривается  как ответ - реакция всей сети на введенные значения входных параметров.

 

Для того чтобы сеть можно  было применять в дальнейшем, ее прежде надо "натренировать" на полученных ранее данных, для которых известны и значения входных параметров, и  правильные ответы на них (рис. 6.20). Тренировка состоит в подборе весов межнейронных связей, обеспечивающих наибольшую близость ответов сети к известным правильным ответам.

 

 

 

 

Рис. 6.20.  Схема самообучающейся  информационной системы

Основным недостатком  нейросетевой парадигмы является необходимость  иметь очень большой объем  обучающей выборки, хотя современные  хранилища знаний относительно легко  позволяют делать это. Другой существенный недостаток заключается в том, что  даже натренированная нейронная  сеть представляет собой черный ящик, "глотающий" начальные условия  и выдающий прогноз. Знания, зафиксированные  как веса нескольких сотен межнейронных связей, совершенно не поддаются анализу  и интерпретации человеком (известные  попытки дать интерпретацию структуре  настроенной нейросети выглядят пока неубедительно).

 

Примеры используемых нейросетевых систем - BrainMaker (CSS), NeuroShell (Ward Systems Group), OWL (HyperLogic).

 

В отличие от нейронных  сетей, где прогноз формируется  без участия человека, экспертные системы включают одного или нескольких специалистов высокого класса в качестве элемента (рис. 6.21).

 

 

 

 

увеличить изображение

Рис. 6.21.  Схема экспертной информационной подсистемы

Экспертная система имеет  разветвленную сеть, позволяющую  делать запросы и глубокий поиск  в базах данных и хранилищах знаний. Если нейронные сети работают на принципе передачи информации от одних слоев нейронов к другим, причем изменения информации, происходящие во время передачи, обусловлены заранее не оговоренными эвристическими правилами, то в экспертных системах существует жесткий логический каркас - создатель заключения, который автоматически проводит линию рассуждения по заложенным в алгоритм правилам и использует параметры, вовлеченные в решение.

 

Ответ может быть известен заранее по результатам отзывов  специалистов-экспертов; этот ответ  сопоставляется с ответом системы, параметры изменяются, и проводится второй "прогон". В результате выдается экспертное заключение с вероятностной  оценкой его надежности. Интерфейс  допускает работу сразу нескольких пользователей.

 

Экспертные системы широко применяются в бизнесе, часто  работают независимо и не включаются в корпоративные информационные сети. Как правило, они являются узко специализированными: транспортные, медицинские, банковские, торговые, юридические и т. д.

 

 

 

 

Рис. 6.22.  Общая структура  интеллектуальной ИС

Нейронные сети, аналитические  и экспертные системы образуют обширный класс интеллектуальных систем. Структура  такой информационной системы показана на рис. 6.22.

 

Информационные системы  поддержки деятельности руководителя

 

Системы поддержки выполнения решений (Executive Support Systems - ESS) появились  в середине 1980-х годов в крупных  корпорациях. ESS помогает принимать  неструктурированные решения на стратегическом уровне управления компании и проводить системный анализ информации из внешней среды лучше, чем любые прикладные и специализированные ИС (рис. 6.23).

 

Система поставляет совокупность текущей информации - как правило, внешней: курсы акций, спрос и  предложения по отрасли, политические новости, экономические обзоры, прогнозы динамики цен и выбора оптимальной  структуры инвестиционного портфеля (основанные на различных эмпирических моделях динамики рынка), данные аналитического учета по предприятию из внутренних модулей MIS и DSS.

 

 

 

 

Рис. 6.23.  Процессы стратегического  управления, поддерживаемые ESS

Она фильтрует, упорядочивает  данные и выявляет критические параметры  по заданным статистическим критериям, сокращая время и усилия для подготовки информации, необходимой для руководителя. В системах ESS используют самое "продвинутое" графическое программное обеспечение, которое может поставлять нужную графическую, аудио- и видеоинформацию  немедленно в офис руководителя или  зал заседаний.

 

Системы ESS часто используют несложный статистический аппарат, но максимально учитывают сложившуюся  специфику области бизнеса (профессиональный язык, системы различных индексов и пр.). На рынке имеется достаточно много программных модулей для  встраивания в ESS. Как правило, они  относительно дешевы (обычно $ 1000-2000). В  настоящее время модули ESS в виде специализированных подсистем являются обязательной частью многих ERP-систем.

 

В отличие от других подсистем  ИС (TPS, MIS, DSS), ESS не предназначены для  решения какого-то определенного  круга проблем. Вместо этого системы  этого типа обеспечивают обобщенную неформализованную информацию и  её оперативную передачу для оценки ситуаций с динамично изменяющимся набором проблем. Системы ESS используют более простой алгоритм оценивания, чем DSS, ее аналитические возможности  позволяют строить относительно простые модели, которые можно  сразу применять для предварительной  оценки ситуации (рис. 6.24).

 

 

 

 

Рис. 6.24.  Принципиальная схема  исполнительной информационной системы

Изменилось, к примеру, налоговое  законодательство или ставки таможенных пошлин - руководитель компании может  быстро "проиграть" ситуацию, с  тем, чтобы оценить, во что это  выльется для его бизнеса, и принять  некоторые превентивные меры. Подсистема ESS помогает найти ответы на общие  вопросы:

 

Какие изменения мы должны произвести в своем бизнесе, чтобы  получить (вернуть) конкурентное преимущество?

Какие новые приобретения, в том числе и в области  ИТ, защитят нас от циклических колебаний в экономике?

Что предпринимают наши конкуренты, чтобы обогнать нас, что должны сделать  мы, чтобы обогнать их?

Какие подразделения корпорации нужно закрыть и какие акции продать в первую очередь, чтобы уменьшить влияние общего спада в отрасли на наш бизнес?

ESS формирует пакеты информации  по заданным темам и представляет  комфортный доступ для высших  руководителей компаний и корпораций  без посредников. Интерфейс ESS чрезвычайно дружелюбен, используется  наглядная графика, аудио- и  видеосредства, мобильная связь,  современные методы хранения  и представления данных, а также  проведения видеоконференций в  распределенных компаниях.