OLAP-технологии и хранилища данных

OLAP-технологии позволяют менеджерам и аналитикам проанализировать накопленные данные за счет быстрого, согласованного доступа к широкому спектру представлений информации. Первоначальные данные преобразуются так, чтобы наглядно отразить структуру деятельности организации.

При этом пользователю предоставляется ряд различных аналитических и навигационных функций:

• расчеты и вычисления по нескольким измерениям (иерархиям, членам);
• трендовый анализ;
• выборка подсистем данных для экранного просмотра;
• углубление в данные для более детализированного просмотра информации;
• переход к детальным данным, которые лежат в основе анализа;
• поворот таблицы отображаемых данных.

Для многомерного анализа данных могут быть использованы различные средства. Их можно условно разделить на клиентские и серверные OLAP-средства (другими словами, OLAP на клиенте и на сервере).

Клиентские OLAP-средства представляют собой приложения, которые осуществляют вычисление агрегатных данных (сумм, средних значений, максимальных или минимальных значений) и их отображение, сами же агрегатные данные содержатся в кэш-памяти внутри адресного пространства такого OLAP-средства.

Если исходные данные находятся в настольной системе управления БД, вычисление агрегатных данных производится самим OLAP-средством. Если же источником исходных данных является серверная СУБД, многие из клиентских OLAP-средств посылают на сервер запросы и получают агрегатные данные, вычисленные на сервере.

Обычно функциональность OLAP реализуется в средствах статистической обработки данных и в некоторых электронных таблицах, например, можно использовать средства многомерного анализа Microsoft Excel.

Клиентские OLAP-средства, как правило, применяются при малом числе измерений и разнообразии значений этих параметров, так как агрегатные данные, полученные в результате, должны умещаться в адресном пространстве подобного средства, а их количество экспоненциально растет при увеличении числа измерений. В связи с этим даже самые простые клиентские OLAP-средства позволяют провести предварительный подсчет объема требуемой оперативной памяти для того, чтобы создать в ней многомерный куб.

Большинство клиентских OLAP-средств позволяют сохранить содержимое кэша с агрегатными данными в виде файла для того, чтобы не производить их вычисление повторно. Эта возможность часто используется для передачи агрегатных данных другим организациям или для их публикации. Примером таких агрегатных данных может служить статистика заболеваемости в разных субъектах страны или в различных возрастных группах. Эта информация является открытой и публикуется министерствами здравоохранения разных стран и Всемирной организацией здравоохранения. При этом исходные данные, то есть сведения о конкретных случаях заболеваний, являются конфиденциальными данными медицинских учреждений, которые не должны быть опубликованы.

Идея сохранения агрегатных данных в файле в дальнейшем развивалась в серверных OLAP-средствах, где сохранение и изменение агрегатных данных и поддержка содержащего их хранилища осуществляются отдельным процессом или приложением, называемым OLAP-сервером. Клиентские приложения могут запрашивать подобное многомерное хранилище и получать различные данные. Некоторые клиентские приложения могут также создавать такие хранилища или обновлять их по мере изменения исходных данных.

Преимущества серверных OLAP-средств по сравнению с клиентскими OLAP-средствами состоят в следующем: при применении серверных средств вычисление и хранение агрегатных данных происходят на сервере, а клиентское приложение получает только результаты запросов к ним. Это позволяет снизить сетевой трафик, время выполнения запросов и требования к ресурсам, которые потребляются клиентским приложением. Средства анализа и обработки данных масштаба предприятия чаще всего базируются как раз на серверных OLAP-средствах. Так как многие ведущие производители серверных СУБД производят те или иные серверные OLAP-средства, то их выбор достаточно широк и почти всегда можно приобрести OLAP-сервер того же производителя, что и у сервера баз данных.

Многие клиентские OLAP-средства (например, Microsoft Excel 2000, Seagate Analysis и др.) позволяют обращаться к серверным OLAP-хранилищам, выступая в этом случае в роли клиентских приложений, которые выполняют подобные запросы. Помимо этого имеется достаточно продуктов, представляющих собой клиентские приложения к OLAP-средствам различных производителей.

 

2. OLAP-куб

Как уже было сказано, OLAP-технология базируется на принципе многомерного представления данных. Каждое числовое значение, содержащееся в хранилище данных, имеет множество атрибутов, таких как количество, регион, дата продаж и т.д. Такие значения представляются в виде многомерных структур данных, так называемых «многомерных кубов». Это и лежит в основе инструментария OLAP, который позволяет аналитику получить более разнообразные количественные характеристики данных, имеющихся в его распоряжении, и подвергнуть их статистической обработке.

Рассмотрим OLAP-куб более подробно. OLAP-кубом называется многомерный массив данных, обычно разреженный и долговременно хранимый. Он может быть реализован на базе универсальных реляционных систем управления базами данных или специальным программным обеспечением (OLAP).

Таким образом, OLAP-структура, в которой содержатся подлежащие обработке данные, называется OLAP-кубом. Он создается соединением таблиц данных с помощью использования специальных схем – «звезда» и «снежинка». Как говорилось ранее, при использовании схемы звезды в ее центре размещается таблица фактов, т.е. запросов, являющихся ключевыми для формулирования. Таблицы измерений присоединяются к таблице фактов. Они показывают, каким образом можно анализировать обработанные данные, причем количество возможных способов обработки или агрегирований находится в зависимости от количества способов, которыми можно иерархически отобразить первоначальные данные. Например, при анализе клиентской базы, можно сгруппировать всех клиентов по странам, регионам и городам. Таким образом, получится трехуровневая иерархия с определенным количеством членов. Другим примером может служить объединение клиентов по продукции. Пусть существует 250 продуктов и 20 их категорий, а также три группы продукции и три структурных подразделения – тогда общее количество измерений будет равняться 16560. При добавлении в схему других различных возможных измерений количество итоговых вариантов будет увеличиваться, и в результате они могут исчисляться миллионами.

Итак, OLAP-куб включает базовые данные и информацию об измерениях, а также содержит всю информацию, необходимую для ответов на любые запросы относительно исходных данных.

В OLAP-кубах содержатся различные бизнес-показатели, которые нужны для принятия управленческих решений или их анализа. К таким показателям могут относиться рентабельность, прибыль, активы, собственные и заемные средства и пр. Они хранятся в разрезах, отражающих основные бизнес-категории деятельности организации: товары, магазины,  клиенты т. д.

В OLAP-кубах информация структурируется довольно детально. Это дает возможность проводить оперативный анализ данных, а также составлять отчеты в разных разрезах и с разной глубиной детализации. Аналитики и менеджеры могут создавать подобные отчеты в интерактивном режиме для того, чтобы быстро и своевременно получить ответы на текущие вопросы и, впоследствии, принять по ним правильное управленческое решение. Для использования таких технологий не требуется помощи программистов.

Структура OLAP-кубов состоит в следующем. Осями многомерной системы координат являются основные атрибуты анализируемого процесса. В качестве одного из измерений используется время. На пересечениях осей - измерений  находятся данные, количественно характеризующие процесс - меры. Пользователь, который анализирует информацию, может сделать «разрез» куба по разным направлениям, получать сводную или детальную информацию и осуществлять прочие действия с кубом в процессе анализа.

В качестве мер в кубе, показанном на рисунке, использованы суммы продаж, а в качестве измерений – товар, магазин и время. При этом товары группируются по категориям, магазины - по странам, а данные о времени - по месяцам.

 

2.3 Типы OLAP

Исходные и агрегатные данные могут храниться в реляционных или в многомерных структурах. В связи с этим в настоящее время применяются три способа хранения данных. В зависимости от способа реализации OLAP делится на физический и виртуальный (реляционный). Физический OLAP, в свою очередь, подразделяется на многомерный и гибридный.

Многомерный OLAP (Multidimensional OLAP) или MOLAP – это OLAP, в котором исходные и агрегатные данные хранятся в многомерных структурах, т. е. в многомерной базе данных. Такое хранение данных позволяет манипулировать ими как многомерным массивом. Благодаря этому скорость вычисления агрегатных значений показателей одинакова для любого из измерений. Но при этом многомерная БД оказывается избыточной, так как многомерные данные полностью содержат исходные реляционные данные. MOLAP является классической формой OLAP, поэтому довольно часто её называют просто OLAP. Она использует суммирующую базу данных, специальный вариант процессора пространственных баз данных и создаёт требуемую пространственную схему данных, сохраняя и базовые данные и агрегатные. В MOLAP на стадии предварительной загрузки данных в OLAP из источников выполняющая предварительный расчёт агрегатных значений, которые затем сохраняются в многомерную БД, которая обеспечивает быстрое извлечение и экономичное хранение. Примером таких продуктов могут служить Microsoft Analysis Services, Oracle OLAP Option, Essbase, SAS OLAP Server, TM1, PowerPlay.

Гибридный OLAP (Hybrid OLAP) или HOLAP – это OLAP, где исходные данные остаются в той же реляционной базе данных, где они находились изначально, а агрегатные данные хранятся в многомерной БД, т. е. Hybrid OLAP является комбинацией, в которой сами данные хранятся в реляционной БД, а агрегаты — в многомерной БД.

Рассмотрим реляционный OLAP (Relational OLAP) или ROLAP. В нем исходные данные остаются в той же реляционной базе данных, где они находились изначально. Агрегатные данные помещают в служебные таблицы, специально созданные для их хранения в той же БД. Relational OLAP работает непосредственно с реляционным хранилищем, факты и таблицы с измерениями хранятся в реляционных таблицах, и для хранения агрегатных данных создаются дополнительные реляционные таблицы. В ROLAP-реализациях все данные хранятся и обрабатываются в реляционных СУБД, а агрегатные данные могут вообще не существовать или создаваться по первому запросу в СУБД или кэше аналитического программного обеспечения. Примеры таких продуктов — SAP BW, Microstrategy Intelligence Server, Mondrian.

Особым случаем реляционного OLAP является ROLAP реального времени (англ. Real-time ROLAP) или R-ROLAP. В отличие от ROLAP в R-ROLAP агрегатные данные рассчитываются в момент запроса, и для их хранения не создаются дополнительные реляционные таблицы. При этом многомерный запрос к OLAP-системе преобразуется автоматически в SQL-запрос к реляционным данным. Архитектура Real-time ROLAP позволяет проводить многомерный анализ OLTP-данных в режиме реального времени.

У каждого типа хранения есть определенные преимущества, хотя у разных производителей есть разногласия в их оценке. MOLAP лучше всего подходит для небольших наборов данных, он быстро рассчитывает агрегаты и возвращает ответы, но при этом генерируются огромные объёмы данных. ROLAP является более масштабируемым решением, которое использует наименьшее возможное пространство. При этом скорость обработки довольно сильно снижается. HOLAP находится между этими двумя подходами, он хорошо масштабируется и довольно быстро обрабатывается.

 

4. Применение OLAP-технологий как инструмента бизнес-аналитики

Наибольшее применение OLAP находит в продуктах для финансового планирования, решениях класса Business Intelligence.

Business intelligence (BI) переводится как бизнес-анализ или бизнес-аналитика. Чаще всего под понятием «бизнес-аналитика» подразумевают специальное программное обеспечение, которое создано для помощи управленцу в анализе информации о внутренней и внешней среде его компании. В широком смысле BI — это инструменты, которые использует аналитик для преобразования, хранения, анализа, моделирования, доставки и трассировки информации в ходе работы над задачами, которые связаны с принятием управленческих решений на основе фактических данных. В более узком смысле бизнес-аналитика — это совокупность инструментов и методов для построения информативных отчётов о текущей ситуации. В таком случае целью бизнес-аналитики является предоставление нужной информации менеджеру в нужное время. Технологии Business intelligence позволяют анализировать большие объёмы информации, обращая внимание пользователей на ключевые факторы эффективности, моделируя исход различных вариантов действий и отслеживая результаты принятия тех или иных управленческих решений.

Одним из инструментов BI является как раз OLAP-технологии. Они находят применение для решения следующих задач:

1. Анализ данных.

Это задача, для которой изначально использовались и до сих пор используются и пользуются большой популярностью OLAP-средства. Многомерная модель данных, возможности для анализа значительных объёмов данных и быстрые ответы на запросы делают OLAP-системы незаменимыми для анализа продаж, различных маркетинговых мероприятий и других задач с большим объёмом исходных данных.

Примеры продуктов: Microsoft Excel Pivot Tables, Microsoft Analysis Services, SAP BW, Oracle Essbase, Oracle OLAP, Cognos PowerPlay, MicroStrategy, Business Objects.

2. Финансовое планирование.

Многомерная модель позволяет одновременно вводить данные и легко их анализировать. Поэтому ряд современных продуктов класса Corporate Performance Management используют именно OLAP-модели. Важной задачей при этом является многомерный обратный расчёт, который позволяет рассчитать требуемые изменения детальных ячеек при изменении агрегата. В случае планирования OLAP-средства используют инструмент для анализа «что-если» , т.е. для проигрывания различных вариантов событий.

Примеры продуктов: Microsoft PerformancePint, Oracle EPB, Oracle OFA, Oracle Hyperion Planning, SAP SEM, Cognos Enterprise Planning, Geac.

3. Финансовая консолидация.

OLAP технологии позволяют  ускорить расчёт консолидированных  отчётов и повысить прозрачность  всего процесса, принимая во внимание  доли владения, различные валюты  и внутренние обороты согласно международным стандартам учёта консолидации данных. Это является актуальной задачей в условиях ужесточающихся требований проверяющих органов и выходом компаний на IPO.

Примеры продуктов: Oracle FCH, Oracle Hyperion FM, Cognos Controller.

 

Заключение

В ходе исследования OLAP-технологий и хранилищ данных были рассмотрены следующие основные положения:

• Для хранения больших объемов информации, необходимой для принятия управленческих решений, создают хранилища данных, которые специально разработаны и предназначены для бизнес-анализа и подготовки отчётов;
• В зависимости от архитектуры хранилища данных делятся на нормализованные ХД и хранилища с измерениями;
• OLAP - это технология обработки данных, которая заключается в подготовке агрегированной информации на основе больших массивов данных, которые структурированы по многомерному принципу;
• Могут быть использованы различные средства. Средства  для многомерного анализа данных можно условно разделить на клиентские и серверные OLAP-средства;
• В основе инструментария OLAP лежит OLAP-куб, который создается соединением таблиц данных с помощью использования специальных схем – «звезда» и «снежинка»;
• В зависимости от способа реализации OLAP делится на физический и реляционный. Физический OLAP подразделяется на многомерный и гибридный.