Традиционный OLAP
Что мы вообще знаем об OLAP? В первую очередь онлайн-аналитическая обработка — это технология работы с многомерными данными, используемая чаще всего при подготовке различных отчетов, анализе и прогнозировании.
Основным элементом системы является куб, спроектированный таким образом, чтобы предоставить пользователю возможность просмотра данных с разных точек зрения. Данные в кубе организованы по схеме «звезда» или «снежинка». В центре снежинки находится таблица фактов, содержащая агрегаты. Таблица фактов связана с рядом таблиц измерений, содержащих информацию о показателях.
OLAP-сервер. В традиционной трехуровневой архитектуре хранилища данных он занимает средний уровень между сервером базы данных и клиентским инструментом OLAP. Помимо агрегирования и предварительного вычисления данных из реляционной базы данных, он предоставляет расширенные возможности расчета и обратной записи, дополнительные функции, расширяющие базовые возможности языков запросов, и другие возможности.
Говоря о типах OLAP, в настоящее время есть три основных типа:
| ROLAP | Реляционный OLAP (Relational OLAP) хранит все данные, включая агрегаты, в реляционных базах данных, а не в кубах, и не использует предварительные вычисления. ROLAP работает с инструментами SQL, которые работают как операции OLAP и отправляют запросы непосредственно в реляционную базу данных.
|
| MOLAP | Многомерная онлайн-аналитическая обработка (Multidimensional online analytical processing) — традиционная и наиболее популярная модель OLAP. Все данные, включая агрегаты, хранятся в многомерных кубах данных. Данные в кубах предварительно вычисляются, что обеспечивает быстрое выполнение запросов.
|
| HOLAP | И последнее, но не менее важное: гибридный OLAP (Hybrid OLAP) сочетает в себе функции двух предыдущих подходов, чтобы обеспечить быструю обработку запросов в сочетании с высокой масштабируемостью. В этой модели данных OLAP реляционная база данных и многомерные кубы разделяют данные.
|
Как мы пришли к In-memory OLAP?
Углубляясь в технологию in-memory, давайте вернемся к самым истокам и узнаем, что было отправной точкой.
После выпуска первого продукта OLAP в 1992 году эта технология становилась все более популярной. И это не удивительно. В отличие от стандартной реляционной базы данных, OLAP позволяет хранить предварительно агрегированные результаты, обеспечивая высокую скорость и удобный интерфейс.
Однако в 2000-х ситуация изменилась. Реляционные базы данных догнали технологию OLAP, обеспечив такую же производительность, как кубы OLAP. Кроме того, значительно увеличился объем данных, также как и задержка вычислений OLAP.
Таким образом, выбор пользователя склоняется к реляционным базам данных, поскольку функции планирования легче разрабатывать при подключении к RDBMS, поскольку кубы OLAP не предназначены для транзакционных или частых обновлений данных.
Однако в 2010-х такие системы, как MOLAP, все еще существуют, и тому есть две причины:
- Обеспечивают хорошую производительность по сложным KPI;
- Выполняют запросы высокой сложности.
Но разве это предел? Можно ли совместить преимущества реляционных баз данных и OLAP? Используя in-memory OLAP становится возможным получить еще больше.
2010-е принесли нам глоток свежего воздуха — технологию in-memory OLAP, которая не только обеспечивает нам идеальную производительность, но и обеспечивает быстрые вычисления в реальном времени. И эта технология только набирает обороты.
Что такое In-memory analytics?
Давайте теперь подробно разберем, о чем идет речь. Буквальный перевод на русский язык – аналитика в оперативной памяти. In-memory OLAP — это подход, при котором аналитические данные загружаются в память для оперативных расчетов и запросов. Таким образом, обработка запросов становится быстрее, чем в таких системах, как ROLAP, MOLAP и HOLAP.
Все данные находятся в оперативной памяти, поэтому системе не нужно обращаться к базе данных или физическому файлу, что может дополнительно повлечь за собой множество сетевых операций и поддержание операций на диске.
Расширение и внедрение 64-разрядных архитектур аналитики в оперативной памяти позволяет обрабатывать больше памяти и файлы большего размера, чем 32-разрядные, и, таким образом, в целом снижает стоимость памяти.
Высокая скорость выполнения запросов становится возможной вне зависимости от сложности KPI.
Почему In-memory OLAP становится настолько популярным?
Какие преимущества делают in-memory OLAP столь многообещающим? Вот причины, по которым пользователи выбирают in-memory вместо традиционного OLAP:
- Быстрота: в отличие от традиционного OLAP, который требует времени для бизнес-отчетов и производительности анализа, время работы in-memory BI гораздо короче. Как только в памяти все работает, время, необходимое для анализа, значительно сокращается. Все необходимые данные загружаются в память, поэтому нет необходимости подключаться к внешним источникам данных.
- Обработка нескольких операций с высокой производительностью: 64-битная архитектура позволяет выполнять больше операций одновременно, независимо от их сложности.
- Неограниченные предварительные вычисления: in-memory OLAP помогает выполнять предварительные вычисления на лету независимо от их количества.
- Доступность: оперативная память дешевле основного традиционного программного обеспечения OLAP, что делает ее более доступной для каждой компании.
Помимо всех этих преимуществ, следует учитывать, что эта технология свежая, перспективная и быстро развивающаяся. По данным маркетинговой исследовательской компании LP Information, в течение следующих пяти лет популярность in-memory OLAP-баз данных будет только расти.
Где можно найти In-memory OLAP?
Как вы, возможно, знаете, среди разработчиков традиционных OLAP, крупнейшими поставщиками этой технологии являются IBM, SAP и Microsoft. Но как насчет рынка in-memory OLAP?
Несмотря на то, что технология in-memory БД является довольно современной, все больше и больше поставщиков готовы предоставить свои соответствующие решения. Однако на сегодняшний день есть три решения, которые выделяются:
| IBM Cognos TM1
|
Быстрый in-memory куб, обеспечивающий составление бюджета, планирование и прогнозирование в режиме реального времени. Это программное обеспечение для корпоративного планирования предоставляет комплексную динамичную среду для разработки своевременных, надежных и персонализированных прогнозов и бюджетов.
|
| Palo OLAP Server
|
OLAP-система с открытым исходным кодом от немецкой компании Jedox AG. Кратко о Palo:
§ программа с открытым исходным кодом; § система бизнес-анализа; § система поддержки принятия решений; § многомерная база данных; § работа в реальном режиме времени.
|
| QlikView by QlikTech
|
Единая платформа бизнес-аналитики нового поколения, основанная на передовой технологии ассоциативной модели данных, загружаемой в оперативную память. Это позволяет анализировать данные без предварительного построения многомерных кубов OLAP — ресурсоемкий и дорогостоящий шаг, обязательный для традиционных BI-систем.
|
Кроме того, механизм in-memory аналитики (аналитики в памяти) также обеспечивает быстрый доступ к объектам и данным модели через клиентские приложения для создания отчетов, такие как Аналитика.OLAP.
Все основные компоненты Аналитика.OLAP, работающие с многомерными моделями, полностью поддерживают табличные модели с технологией баз данных в памяти. Без сомнения, встроенная поддержка табличных и многомерных моделей позволит нашим клиентам принимать быстрые, качественные и менее рискованные бизнес-решения.