Статистические пакеты

Статистические пакеты

Последние версии почти всех известных статистических пакетов включают наряду с традиционными статистическими методами также элементы Data Mining. Но основное внимание в них уделяется все же классическим методикам - корреляционному, регрессионному, факторному анализу и другим.

Недостатком систем этого класса считают требование к специальной подготовке пользователя. Также отмечают, что мощные современные статистические пакеты являются слишком "тяжеловесными" для массового применения в финансах и бизнесе.

Есть еще более серьезный принципиальный недостаток статистических пакетов, ограничивающий их применение в Data Mining. Большинство методов, входящих в состав пакетов, опираются на статистическую парадигму, в которой главными фигурантами служат усредненные характеристики выборки. А эти характеристики при исследовании реальных сложных жизненных феноменов часто являются фиктивными величинами. Это чрезвычайно важное обстоятельство следует обязательно учитывать при анализе многомерных данных.

В качестве примеров наиболее мощных и распространенных статистических пакетов можно назвать SAS (компания SAS Institute), SPSS (компания SPSS), STATGRAPHICS (компания Manugistics), STATISTICA для WINDOWS, STADIA и другие. Эти пакеты с успехом могут применять небольшие и средние предприятия, а большие многопрофильные компании могут интегрировать их в общую корпоративную сеть.

Нейронные сети и экспертные системы

Это большой класс систем, архитектура которых имеет аналогию с построением нервной ткани из нейронов. В одной из наиболее распространенных архитектур - многослойном персептроне с обратным распространением ошибки - имитируется работа нейронов в составе иерархической сети, где каждый нейрон более высокого уровня соединен своими входами с выходами нейронов нижележащего слоя.

На нейроны самого нижнего слоя подаются значения входных параметров, на основе которых нужно принимать какие-то решения, прогнозировать развитие ситуации и т. д. Эти значения рассматриваются как сигналы, передающиеся в следующий слой, ослабляясь или усиливаясь в зависимости от числовых значений (весов), приписываемых межнейронным связям. В результате на выходе нейрона самого верхнего слоя вырабатывается некоторое значение, которое рассматривается как ответ - реакция всей сети на введенные значения входных параметров.

Для того чтобы сеть можно было применять в дальнейшем, ее прежде надо "натренировать" на полученных ранее данных, для которых известны и значения входных параметров, и правильные ответы на них (рис. 6.20). Тренировка состоит в подборе весов межнейронных связей, обеспечивающих наибольшую близость ответов сети к известным правильным ответам.

 
Рис. 6.20.  Схема самообучающейся информационной системы

Основным недостатком нейросетевой парадигмы является необходимость иметь очень большой объем обучающей выборки, хотя современные хранилища знаний относительно легко позволяют делать это. Другой существенный недостаток заключается в том, что даже натренированная нейронная сеть представляет собой черный ящик, "глотающий" начальные условия и выдающий прогноз. Знания, зафиксированные как веса нескольких сотен межнейронных связей, совершенно не поддаются анализу и интерпретации человеком (известные попытки дать интерпретацию структуре настроенной нейросети выглядят пока неубедительно).

Примеры используемых нейросетевых систем - BrainMaker (CSS), NeuroShell (Ward Systems Group), OWL (HyperLogic).

В отличие от нейронных сетей, где прогноз формируется без участия человека, экспертные системы включают одного или нескольких специалистов высокого класса в качестве элемента (рис. 6.21).

Рис. 6.21.  Схема экспертной информационной подсистемы

Экспертная система имеет разветвленную сеть, позволяющую делать запросы и глубокий поиск в базах данных и хранилищах знаний. Если нейронные сети работают на принципе передачи информации от одних слоев нейронов к другим, причем изменения информации, происходящие во время передачи, обусловлены заранее не оговоренными эвристическими правилами, то в экспертных системах существует жесткий логический каркас - создатель заключения, который автоматически проводит линию рассуждения по заложенным в алгоритм правилам и использует параметры, вовлеченные в решение.

Ответ может быть известен заранее по результатам отзывов специалистов-экспертов; этот ответ сопоставляется с ответом системы, параметры изменяются, и проводится второй "прогон". В результате выдается экспертное заключение с вероятностной оценкой его надежности. Интерфейс допускает работу сразу нескольких пользователей.

Экспертные системы широко применяются в бизнесе, часто работают независимо и не включаются в корпоративные информационные сети. Как правило, они являются узко специализированными: транспортные, медицинские, банковские, торговые, юридические и т. д.

 
Рис. 6.22.  Общая структура интеллектуальной ИС

Нейронные сети, аналитические и экспертные системы образуют обширный класс интеллектуальных систем. Структура такой информационной системы показана на рис. 6.22.

Информационные системы поддержки деятельности руководителя

Системы поддержки выполнения решений (Executive Support Systems - ESS) появились в середине 1980-х годов в крупных корпорациях. ESS помогает принимать неструктурированные решения на стратегическом уровне управления компании и проводить системный анализ информации из внешней среды лучше, чем любые прикладные и специализированные ИС (рис. 6.23).

Система поставляет совокупность текущей информации - как правило, внешней: курсы акций, спрос и предложения по отрасли, политические новости, экономические обзоры, прогнозы динамики цен и выбора оптимальной структуры инвестиционного портфеля (основанные на различных эмпирических моделях динамики рынка), данные аналитического учета по предприятию из внутренних модулей MIS и DSS.

Рис. 6.23.  Процессы стратегического управления, поддерживаемые ESS

Она фильтрует, упорядочивает данные и выявляет критические параметры по заданным статистическим критериям, сокращая время и усилия для подготовки информации, необходимой для руководителя. В системах ESS используют самое "продвинутое" графическое программное обеспечение, которое может поставлять нужную графическую, аудио- и видеоинформацию немедленно в офис руководителя или зал заседаний.Системы ESS часто используют несложный статистический аппарат, но максимально учитывают сложившуюся специфику области бизнеса (профессиональный язык, системы различных индексов и пр.). На рынке имеется достаточно много программных модулей для встраивания в ESS. Как правило, они относительно дешевы (обычно $ 1000-2000). В настоящее время модули ESS в виде специализированных подсистем являются обязательной частью многих ERP-систем.

В отличие от других подсистем ИС (TPS, MIS, DSS), ESS не предназначены для решения какого-то определенного круга проблем. Вместо этого системы этого типа обеспечивают обобщенную неформализованную информацию и её оперативную передачу для оценки ситуаций с динамично изменяющимся набором проблем. Системы ESS используют более простой алгоритм оценивания, чем DSS, ее аналитические возможности позволяют строить относительно простые модели, которые можно сразу применять для предварительной оценки ситуации (рис. 6.24).

 
Рис. 6.24.  Принципиальная схема исполнительной информационной системы

Изменилось, к примеру, налоговое законодательство или ставки таможенных пошлин - руководитель компании может быстро "проиграть" ситуацию, с тем, чтобы оценить, во что это выльется для его бизнеса, и принять некоторые превентивные меры. Подсистема ESS помогает найти ответы на общие вопросы:

• Какие изменения мы должны произвести в своем бизнесе, чтобы получить (вернуть) конкурентное преимущество?
• Какие новые приобретения, в том числе и в области ИТ, защитят нас от циклических колебаний в экономике?
• Что предпринимают наши конкуренты, чтобы обогнать нас, что должны сделать мы, чтобы обогнать их?
• Какие подразделения корпорации нужно закрыть и какие акции продать в первую очередь, чтобы уменьшить влияние общего спада в отрасли на наш бизнес?

ESS формирует пакеты информации  по заданным темам и представляет комфортный доступ для высших руководителей компаний и корпораций без посредников. Интерфейс ESS чрезвычайно дружелюбен, используется наглядная графика, аудио- и видеосредства, мобильная связь, современные методы хранения и представления данных, а также проведения видеоконференций в распределенных компаниях.

В настоящее время с развитием технологий Internet/Intranet круг пользователей ESS значительно расширился - он, подобно MIS, охватывает практически все уровни управления, кроме, пожалуй, эксплуатационного. Информационные базы ESS содержат большие объемы наглядной и "исторической" информации, которая может быть очень полезна на уровнях выполнения проектов.

Современные ESS широко используют технологии географических информационных систем (Geographical Information System - GIS). GIS до последнего времени не получали достойного применения из-за высокой стоимости и необходимости дописывать необходимые программные модули и интерфейсы. Многопрофильные и многонациональные корпорации последней четверти конца ХХ века, связанные с нефтяным, геологоразведочным, авиатранспортным, рыболовным, туристическим бизнесом, сделали GIS необходимым приложением к информационной системе общего пользования.

Примером долгоживущей системы на рынке программных продуктов, реализующих ESS, может быть пакет Comshare's Commander Decision, выполненный по технологии "клиент-сервер". Пакет CDD работает с информацией любого вида, включая запросы, вычисления, несложный статистический анализ данных, работу с таблицами, гипертекстом. Этот универсальный инструмент может использоваться для разработки традиционных ESS-приложений для систем поддержки принятия решений на различных уровнях управления и исполнения. CDD обеспечивает выборочный контроль, распознавание информации по шаблонам, демонстрацию диаграмм по лучшим и худшим показателям, указывает на необходимость обновить информацию по текущим выборкам данных.

В отличие от экспертных систем и компактных приложений анализа данных, исполнительные информационные системы делаются обычно "под заказ", и в виде исполнительных модулей входят в корпоративную информационную систему.

Задача руководителя - определить, какого типа данные и какой объем информации необходимы ему для плодотворной повседневной деятельности. Только он досконально знает структуру своего бизнеса и стратегию его развития. Никто другой не знает этого лучше!