Назначение, содержание и особенности применения OLAP – систем в информационном менеджменте

 

 

 

 

 

 

 

 

2 ОСОБЕННОСТИ АРХИТЕКТУРЫ. КЛАССИФИКАЦИЯ OLAP-СИСТЕМ

 

На архитектуру конкретных OLAP-систем оказывают влияние несколько  факторов. Среди них — взаимодействие с источниками данных, особенности организации хранения данных в самой OLAP-системе и подход к обработке данных в ней.

2.1 Источники данных

 

OLAP-системы редко используются  как средство непосредственного  хранения и модификации данных (за исключением некоторых простых  и маломасштабных систем бюджетирования, учета и анализа продаж и  т. п.), так как большинство данных, используемых в OLAP для анализа,  генерируются в других информационных  системах (ERP, CRM, HRM и т. д.).

При этом с одной стороны, специфичные для OLAP-систем требования к данным обычно подразумевают хранение данных в специальных оптимизированных под типовые задачи OLAP структурах, с другой стороны, непосредственное извлечение данных из существующих систем в процессе анализа привело бы к существенному падению их производительности.

Следовательно, важным требованием  является обеспечение максимально гибкой связки импорта-экспорта между существующими системами, выступающими в качестве источника данных и OLAP-системой, а также OLAP-системой и внешними приложениями анализа данных и отчетности.

При этом такая связка должна удовлетворять  очевидным требованиям поддержки  импорта-экспорта из нескольких источников данных, осуществления процедур очистки  и трансформации данных, унификации используемых классификаторов и  справочников. Кроме того, к этим требованиям добавляется необходимость учёта различных циклов обновления данных в существующих информационных системах и унификации требуемого уровня детализации данных. Сложность и многогранность этой проблемы привела к появлению концепции хранилищ данных, и, в узком смысле, к выделению отдельного класса утилит конвертации и преобразования данных — ETL.

2.2 Модели хранения активных данных

 

OLAP предполагает многомерное иерархическое  представление данных, и, в каком-то  смысле, противопоставляется базирующимся  на РСУБД системам.

Это, однако, не значит, что все OLAP-системы  используют многомерную модель для  хранения активных, "рабочих" данных системы. Так как модель хранения активных данных оказывает влияние  на все диктуемые FASMI-тестом требования, её важность подчёркивается тем, что  именно по этому признаку традиционно  выделяют подтипы OLAP — многомерный (MOLAP), реляционный (ROLAP) и гибридный (HOLAP).

Вместе с тем, некоторые эксперты, во главе с вышеупомянутым Найджелом Пендсом, указывают, что классификация, базирующаяся на одном критерии недостаточно полна. Тем более, что подавляющее большинство существующих OLAP-систем будут относиться к гибридному типу.

2.3 Хранение активных данных в многомерной БД

 

В этом случае данные OLAP хранятся в  многомерных СУБД, использующих оптимизированные для такого типа данных конструкции. Обычно многомерные СУБД поддерживают и все типовые для OLAP операции, включая агрегацию по требуемым уровням иерархии и так далее.

Этот тип хранения данных в каком-то смысле можно назвать классическим для OLAP. Для него, впрочем, в полной мере необходимы все шаги по предварительной  подготовке данных. Обычно данные многомерной  СУБД хранятся на диске, однако, в некоторых  случаях, для ускорения обработки  данных такие системы позволяют  хранить данные в оперативной памяти. Для тех же целей иногда применяется и хранение в БД заранее рассчитанных агрегатных значений и прочих расчётных величин.

Многомерные СУБД, полностью поддерживающие многопользовательский доступ с конкурирующими транзакциями чтения и записи достаточно редки, обычным режимом для таких СУБД является однопользовательский с доступом на запись при многопользовательском на чтение, либо многопользовательский только на чтение.

Среди условных недостатков, характерных  для некоторых реализаций многомерных  СУБД и базирующихся на них OLAP-систем можно отметить их подверженность непредсказуемому с пользовательской точки зрения росту объёмов занимаемого БД места. Этот эффект вызван желанием максимально  уменьшить время реакции системы, диктующим хранить заранее рассчитанные значения агрегатных показателей и  иных величин в БД, что вызывает нелинейный рост объёма хранящейся в  БД информации с добавлением в  неё новых значений данных или  измерений.

Степень проявления этой проблемы, а  также связанных с ней проблем  эффективного хранения разреженных  кубов данных, определяется качеством  применяемых подходов и алгоритмов конкретных реализаций OLAP-систем.

2.4 Хранение активных данных в реляционной БД

 

Данные OLAP могут храниться в традиционной РСУБД. В большинстве случаев этот подход используется при попытке «безболезненной» интеграции OLAP с существующими учётными системами, либо базирующимися на РСУБД хранилищами данных. Вместе с тем, этот подход требует от РСУБД для обеспечения эффективного выполнения требований FASMI-теста (в частности, обеспечения минимального времени реакции системы) некоторых дополнительных возможностей.

Обычно данные OLAP хранятся в ненормализованном виде, а часть заранее рассчитанных агрегатов и значений хранится в специальных таблицах. При хранении же в нормализованном виде эффективность РСУБД в качестве метода хранения активных данных снижается.

Проблема выбора эффективных подходов и алгоритмов хранения рассчитанных данных также актуальна для OLAP-систем, базирующихся на РСУБД, поэтому производители таких систем обычно акцентируют внимание на достоинствах применяемых подходов.

В целом считается, что базирующиеся на РСУБД OLAP-системы медленнее, систем, базирующихся на многомерных СУБД, в том числе за счет менее эффективных для задач OLAP структур хранения данных, однако на практике это зависит от особенностей конкретной системы.

Среди достоинств хранения данных в  РСУБД обычно называют большую масштабируемость таких систем.

 

2.5 Хранение активных данных в «плоских» файлах

 

Этот подход предполагает хранение порций данных в обычных файлах. Обычно он используется как дополнение к одному из двух основных подходов, с целью ускорения работы за счет кэширования актуальных данных на диске или в оперативной памяти клиентского ПК.

2.6 Гибридный подход к хранению данных

 

Большинство производителей OLAP-систем, продвигающих свои комплексные решения, часто включающие помимо собственно OLAP-системы СУБД, инструменты ETL и отчетности, в настоящее время используют гибридный подход к организации хранения активных данных системы, распределяя их тем или иным образом между РСУБД и специализированным хранилищем, а также между дисковыми структурами и кэшированием в оперативной памяти.

Так как эффективность такого решения  зависит от конкретных подходов и  алгоритмов, применяемых производителем для определения того, какие данные и где хранить, то делать выводы о изначально большей эффективности таких решений как класса без оценки конкретных особенностей рассматриваемой системы.^[1,2]

 

 

ЗАКЛЮЧЕНИЕ

 

По Кодду, многомерное концептуальное представление  — это множественная перспектива, состоящая из нескольких независимых  измерений, вдоль которых могут  быть проанализированы определенные совокупности данных. 

Актуальность OLAP-технологий обусловлена их практической значимостью для анализа больших  объемов данных. В связи с этим имеется проблема выбора оптимальных  схем хранения и обработки OLAP данных. 

 

 

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

 

1. Codd E.F., Codd S.B., Salley C.T. "Providing OLAP (On-line Analytical Processing) to User-Analysts: An IT Mandate". Codd & Date, Inc, 1993. Retrieved on 2008-12-11.
2. Nigel Pendse. "What is OLAP? An analysis of what the often misused OLAP term is supposed to mean. Retrieved on 2008-12-11.
3. Nigel Pendse. "OLAP architectures". Retrieved on 2008-12-15.