Использование MS SQL Server Analysis Services 2008 для построения хранилищ данных

Использование MS SQL Server Analysis Services 2008
для построения хранилищ данных

2-е издание, исправленное

Полубояров В.В.

Национальный Открытый Университет “ИНТУИТ”
2016

2

Использование MS SQL Server Analysis Services 2008 для построения хранилищ данных/ В.В.
Полубояров - М.: Национальный Открытый Университет “ИНТУИТ”, 2016

Использование MS SQL Server 2008 Analysis Services для построения хранилищ данных.
Курс состоит из лекционной части, содержащей теоретические сведения о многомерном анализе
данных и специфики построения OLAP-решений с использованием технологий Microsoft, а также
цикла лабораторных работ, в ходе которых производится развертывание инфраструктуры MS MS
SQL Server 2008 Analysis Services, проектирование, создание и администрирование OLAP-куба.

(c) ООО “ИНТУИТ.РУ”, 2010-2016
(c) Полубояров В.В., 2010-2016

3

Введение в основы OLAP

В данной лекции рассмотрены понятия и основные составляющие технологии OLAP,
описывается архитектура OLAP-систем, рассказывается о преимуществах и
недостатках клиентских и серверных OLAP-средств, а также представлены основные
способы реализации многомерных моделей.

Хранилища данных

Понятие и архитектура системы поддержки принятия решений

К настоящему времени во многих организациях накоплены значительные объемы
данных, на основе которых имеется возможность решения разнообразных
аналитических и управленческих задач. Проблемы хранения и обработки
аналитической информации становятся все более актуальными и привлекают внимание
специалистов и фирм, работающих в области информационных технологий, что
привело к формированию полноценного рынка технологий бизнес-анализа.

В идеале работа аналитиков и руководителей различных уровней должна быть
организована так, чтобы они могли иметь доступ ко всей интересующей их
информации и пользоваться удобными и простыми средствами представления и
работы с этой информацией. Именно на достижение этих целей и направлены
информационные технологии, объединяющиеся под общим названием хранилищ
данных и бизнес-анализа.

В соответствии с определением Gartner, бизнес-анализ (BI, Business Intelligence) - это
категория приложений и технологий для сбора, хранения, анализа и публикации
данных, позволяющая корпоративным пользователям принимать лучшие решения. В
русскоязычной терминологии подобные системы называются также системами
поддержки принятия решений (СППР).

Рис. 1.1.  Архитектура СППР

4

Сбор и хранение информации, а также решение задач информационно-поискового
запроса эффективно реализуются средствами систем управления базами данных
(СУБД). В OLTP (Online Transaction Processing)-подсистемах реализуется
транзакционная обработка данных. Непосредственно OLTP-системы не подходят для
полноценного анализа информации в силу противоречивости требований,
предъявляемых к OLTP-системам и СППР.

Для предоставления необходимой для принятия решений информации обычно
приходится собирать данные из нескольких транзакционных баз данных различной
структуры и содержания. Основная проблема при этом состоит в несогласованности и
противоречивости этих баз-источников, отсутствии единого логического взгляда на
корпоративные данные.

Поэтому для объединения в одной системе OLTP и СППР для реализации подсистемы
хранения используются концепция хранилищ данных (ХД). В основе концепции ХД
лежит идея разделения данных, используемых для оперативной обработки и для
решения задач анализа, что позволяет оптимизировать структуры хранения. ХД
позволяет интегрировать ранее разъединенные детализированные данные,
содержащиеся в исторических архивах, накапливаемых в традиционных OLTP-
системах, поступающих из внешних источников, в единую базу данных, осуществляя
их предварительное согласование и, возможно, агрегацию.

Подсистема анализа может быть построена на основе:

1. подсистемы информационно-поискового анализа на базе реляционных СУБД и

статических запросов с использованием языка SQL;

2. подсистемы оперативного анализа. Для реализации таких подсистем применяется

технология оперативной аналитической обработки данных OLAP, использующая
концепцию многомерного представления данных;

3. подсистемы интеллектуального анализа, реализующие методы и алгоритмы Data

Mining.

Понятие хранилища данных

Технология ХД предназначена для хранения и анализа больших объемов данных с
целью дальнейшего обнаружения в них скрытых закономерностей и, наряду с
технологией Data Mining, входит в понятие “предсказательная аналитика”. Data Mining,
в свою очередь, изучает процесс нахождения новых, действительных и потенциально
полезных знаний в базах данных.

ХД - предметно-ориентированный, интегрированный, редко меняющийся,
поддерживающий хронологию набор данных, организованный для целей поддержки
принятия решений. Предметная ориентация означает, что ХД интегрируют
информацию, отражающую различные точки зрения на предметную область.
Интеграция предполагает, что данные, хранящиеся в ХД, приводятся к единому
формату. Поддержка хронологии означает, что все данные в ХД соответствуют
последовательным интервалам времени.

5

Кроме возможности работать с единым источником информации, руководители и
аналитики должны иметь удобные средства визуализации данных, агрегирования,
поиска тенденций, прогнозирования. Несмотря на многообразие аналитической
деятельности можно выделить типовые технологии анализа данных, каждой из
которых соответствует определенный набор инструментальных средств. Вместе с
хранилищем данных эти средства обеспечивают полное решение для автоматизации
аналитической деятельности и создания корпоративной информационно-
аналитической системы.

Физические и виртуальные хранилища данных

При загрузке данных из OLTP-системы в ХД происходит дублирование данных.
Однако в ходе этой загрузки данные фильтруются, поскольку не все из них имеют
значение для проведения процедур анализа. В ХД хранится обобщенная информация,
которая в OLTP-системе отсутствует.

Рис. 1.2.  Структура СППР с физическим ХД

Избыточность информации можно свести к нулю, используя виртуальное ХД. В такой
системе данные из OLTP-системы не копируются в единое хранилище. Они
извлекаются, преобразуются и интегрируются непосредственно при выполнении
аналитических запросов в режиме реального времени. Фактически такие запросы
напрямую передаются к OLTP-системе.

Достоинства виртуального ХД:

минимизация объема хранимых данных;
работа с текущими, актуальными данными.

6

Недостатки виртуального ХД:

более высокое, по сравнению с физическим ХД время обработки запросов;
необходимость постоянной доступности всех OLTP-источников;
снижение быстродействия OLTP-систем;
OLTP-системы не ориентированы на хранение данных за длительный период
времени, по мере необходимости данные выгружаются в архивные, поэтому не
всегда имеется физическая возможность получения полного набора данных в ХД.

Проблематика построения хранилищ данных

Основная проблематика при создании ХД заключается в следующем:

1. интеграция разнородных данных. Данные в ХД поступают из разнородных OLTP-

систем, которые физически могут быть расположены на различных узлах сети.
При проектировании и разработке ХД необходимо решать задачу интеграции
различных программных платформ хранения;

2. эффективное хранение и обработка больших объемов данных. Построение ХД

предполагает накопление данных за значительные периоды времени, что ведет к
постоянному росту объемов дисковой памяти, а также росту объема оперативной
памяти, требующейся для обработки этих данных. При возрастании объемов
данных этот рост нелинеен;

3. организация многоуровневых справочников метаданных. Конечным

пользователям СППР необходимы метаданные, описывающие структуру
хранящихся в ХД данных, а также инструменты их визуализации;

4. обеспечение информационной безопасности ХД. Сводная информация о

деятельности компании, как правило, относится к коммерческой тайне и подлежит
защите; кроме того, в ХД могут содержаться персональные данные клиентов и
сотрудников, которые также необходимо защищать. Для выполнения этой
функции должна быть разработана политика безопасности ХД и связанной с ним
инфраструктуры, а также реализованы предусмотренные в политике
организационные и программно-технические мероприятия по защите информации.

Витрины данных

Сокращение затрат на проектирование и разработку ХД может быть достигнуто путем
создания витрин данных (ВД). ВД - это упрощенный вариант ХД, содержащий только
тематически объединенные данные (рисунок 1.3).

7

Рис. 1.3.  Структура СППР с самостоятельными ВД

ВД содержит данные, ориентированные на конкретного пользователя, существенно
меньше по объему, и для ее реализации требуется меньше затрат. ВД могут строиться
как самостоятельно, так и вместе с ХД. ВД внедряются гораздо быстрее и быстрее
виден эффект от их использования. Недостатками ВД является многократное хранение
одних и тех же данных в различных ВД и отсутствие консолидированности на уровне
предметной области.

Обычно информация попадает в ВД из ХД, в этом случае ВД называются зависимыми.
Возможна также ситуация, когда источником информации для пополнения ВД служат
непосредственно OLTP-системы. Такие ВД, получившие название независимых, как
правило, рассматриваются как временное решение, позволяющее достаточно быстро и
с небольшими затратами решить наиболее важные задачи, оценить преимущества
нового подхода, сформулировать некоторые рекомендации для более масштабного
проекта разработки общего ХД.

Возможно также совмещение ХД и ВД в рамках одной СППР. ХД в этом случае
представляет собой единый источник данных для всей предметной области, а ВД
являются подмножествами данных из хранилища, организованными для представления
информации по тематическим разделам данной области. В том случае, если
пользователю, для которого создавалась ВД, содержащихся в ней данных
недостаточно, то он может обратиться к ХД (рисунок 1.4).

8

Рис. 1.4.  Структура СППР с ХД и ВД

Достоинствами такого решения являются простота создания и наполнения ВД,
поскольку наполнение происходит из единого стандартизированного источника
очищенных данных - из ХД, простота расширения за счет добавления новых ВД, а
также снижение нагрузки на основное ХД.

Недостатки заключаются в избыточности, так как данные хранятся и в ХД, и в ВД, а
также дополнительные затраты на разработку СППР с ХД и ВД.

Понятие и модель данных OLAP

Понятие OLAP

OLAP (Online Analytical Processing) - технология оперативной аналитической
обработки данных, использующая методы и средства для сбора, хранения и анализа
многомерных данных в целях поддержки процессов принятия решений.

Основное назначение OLAP-систем - поддержка аналитической деятельности,
произвольных запросов пользователей - аналитиков. Цель OLAP-анализа - проверка
возникающих гипотез.

Категории данных в ХД

Все данные в ХД делятся на три категории (рисунок 1.5):

9

Рис. 1.5.  Архитектура ХД

1. детальные данные - данные, переносимые непосредственно из OLTP-подсистем.

Соответствуют элементарным событиям, фиксируемым в OLTP-системах.
Подразделяются на:

измерения - наборы данных, необходимые для описания событий (товар,
продавец, покупатель, магазин, … );
факты - данные, отражающие сущность события (количество проданного
товара, сумма продаж, …);

2. агрегированные (обобщенные) данные - данные, получаемые на основании

детальных путем суммирования по определенным измерениям;

3. метаданные - данные о данных, содержащихся в ХД. Могут описывать:

объекты предметной области, информация о которых содержится в ХД;
категории пользователей, использующих данные в ХД;
места и способы хранения данных;
действия, выполняемые над данными;
время выполнения различных действий над данными;
причины выполнения различных действий над данными.

Информационные потоки в ХД

Данные в ХД образуют следующие информационные потоки (рисунок 1.5):

входной поток - образуется данными, копируемыми из OLTP-систем в ХД; данные
при этом часто очищаются и обогащаются путем добавления новых атрибутов;
поток обобщения - образуется агрегированием детальных данных и их
сохранением в ХД;
архивный поток - образуется перемещением детальных данных, количество
обращений к которым снизилось;
поток метаданных - образуется потоком информации о данных в репозиторий
данных;

10