Одним из основных направлений развития для систем бизнес-аналитики сегодня становится интеграция функций искусственного интеллекта. Отраслевые специалисты видят широкие потенциальные возможности для использования в системах бизнес-аналитики алгоритмов машинного обучения и ИИ, особенно в таких сферах как ритейл, финансовый и банковский сектор, телекоммуникации, страхование и здравоохранение, когда возникает необходимость анализа исторических ретроспективных данных за несколько лет или десятилетий.
В этой статье мы хотели бы поделиться своим видением дальнейшего развития нашего решения Аналитика.OLAP с использованием искусственного интеллекта.
В настоящее время Аналитика.OLAP представляет собой инновационную технологию и инструменты обработки и бизнес-анализа данных с богатыми возможностями, которые необходимы для принятия быстрых и обоснованных управленческих решений. В основе технологии:
- хранилище и витрины данных,
- OLAP кубы, разработанные под типовые задачи анализа финансово-хозяйственной деятельности, свойственные каждой организации,
- данные OLTP-систем (ERP и т.п.), в которых обрабатываются бизнес-транзакции и связанные с ними первичные документы (платежные и кассовые, накладные и акты и т.п.), финансовые и хозяйственные операции.
Бизнес-конфигурации могут быть дополнены данными CRM, CPM(BPM) и иных систем, которые участвуют автоматизации сквозных бизнес-процессов организации и предоставляют критичную информацию для анализа и принятия управленческих решений.
Продукт имеет успешную коммерческую реализацию с 2014 года как на российском, так и на зарубежных рынках.
Следует отметить, что используемые нами технологии OLAP, реализованные в ClickHouse и Mondrian, применяют отдельные элементы искусственного интеллекта для задач анализа на уровне программных платформ. Однако мы планируем развить наше решение в полноценную платформу для обслуживания и управления данными с использованием ИИ.
Вот основной функционал, на котором мы планируем сконцентрироваться:
- Интеграция с высокопроизводительными OLAP движками (Pentaho Mondrian, ClickHouse и другие), которые отлично “подходят” для машинного обучения;
- Использование очень быстрых источников данных:
- ClickHouse – колончатая база данных, оперирует стандартными SQL-запросами;
- Pentaho Mondrian – ROLAP, MDX-запросы к многомерным кубам и прочие;
- Работа с огромными массивами исторических ретроспективных данных:
- поддержка алгоритмов машинного обучения;
- язык запросов MDX, ориентированный на доступ к многомерным структурам данных, имеет множество статистических функций, функций для работы измерением времени, вычислений рангов, детализации данных и т.п. для построения прогнозов с использованием искусственного интеллекта;
- профессиональные интеллектуальные генераторы отчетов на базе технологии OLAP-кубов;
- поиск закономерностей в изменении данных и прогнозирование (множественные календари, параллельные периоды, расходящиеся горизонты, накопительные итоги, сценарии), возможность использовать технологии Data Mining.
- Предметно-ориентированные хранилище и витрины данных (Data Marts):
- иерархически организованные данные (операции Drill Down/Up и пр.) в бизнес-терминах;
- готовые витрины данных (продажи, закупки, запасы, финансы, задолженность, персонал и т.п.) для интеграции данных OLTP-систем (ERP, HCM, EAM, CRM и т.п.);
- поддержка индикаторов производительности (KPI).
- Встроенные визуальные дизайнеры интерактивных аналитических отчетов, с наглядной визуализацией результатов в сводных таблицах и диаграммах:
- инструменты, ориентированные на бизнес-пользователей;
- динамические модели построения интерактивных аналитических отчетов;
- встроенные алгоритмы парсинга и динамической генерации MDX-запросов;
- шаблоны отчетов, реализующие встроенные методики экономического анализа: ABC анализ (принцип Парето), XYZ анализ (коэффициент вариации), интегрированный ABC/XYZ анализ, сравнение и анализ отклонений, объективный рейтинговый анализ, перекрестный анализ, всевозможные выборки;
- шаблоны отчетов, реализующие встроенные методики анализа типа “Что-если” и прогнозного анализа.
- Операции над временной осью:
- работа с измерением времени;
- множественные календари;
- расходящиеся горизонты (временная ось за горизонт на далекие будущие периоды);
- вычисляемые временные члены и агрегаты;
- периоды: параллельные, открывающие, закрывающие;
- сравнение по периодам, расчет тенденций.
- Многомерные вычисления:
- вычисляемые динамические выражения и члены;
- агрегатные и статистические функции, логические функции и сложные сценарии, функция IIF;
- форматированием результата (тепловые карты).
- Предварительные вычисления и вычисления реального времени:
- предварительный расчет агрегатов для срезов данных кубов, это обеспечивает скорость обработки типовых запросов тысяч пользователей (расчеты доступны для всех, а не производятся для каждого пользователя при обработке запроса);
- мониторинг длительных запросов пользователей позволяет выявлять срезы данных, для которых необходимо организовать предварительные вычисления.
- Скорость анализа при росте данных в геометрической прогрессии:
- методы предварительного процессинга (расчета) куба, которые стабилизируют время отклика на запрос пользователя к многомерным данным в режиме интерактивного анализа на уровне секунд.
- Снижение затрат на хранение данных и автоматизацию операций:
- промышленные стандарты и возможность создание компонуемых архитектур данных и аналитики с перспективой на десятилетия;
- открытие нового направления бизнеса больше не потребует пересмотра архитектуры решений для бизнес-аналитики, расширения команды ИТ-специалистов (инженеров данных);
- планирование облачных экосистем данных и аналитики.
Кроме того, в проекте запланировано реализовать интеллектуальный механизм обработки запросов к данным на языке MDX:
- Любой MDX запрос, в том числе разработанный пользователем вручную, будет поддерживать команды детализации данных (в сводной таблице Excel может быть только автоматически сгенерированный запрос);
- Автоматическое обнаружение и идентификация срезов детальных данных отдельно для каждого из элементов, выбранных пользователем (Excel раскроет все узлы) и генерация под них соответствующих MDX запросов;
- Возможность эмуляции ролей пользователей для доступа к данным куба без необходимости их администрировать на OLAP-сервере. Даже самый продвинутый пользователь не получит доступ к “чужим” данным. Что крайне важно для облачных сервисов бизнес-аналитики, обслуживающих тысячи пользователей (Multi-Tenancy);
- Продвинутые объектные модели описания методик экономического анализа без ограничений по количеству индикаторов (показателей), с динамическим форматированием результата (включая, тепловые карты), интерактивными фильтрами и автоматическая генерация по ним высокоэффективных MDX запросов.
Шаблоны аналитических отчетов предоставляют расширенные возможности интеллектуального анализа непосредственно в динамической сводной таблице OLAP Browser и реализуют:
- Многофакторные модели с динамической классификацией клиентов, товарной номенклатуры и пр. и с учетом изменений во времени; Подходят для любых областей и сфер деятельности;
- Нормативные модели для сценарного (прогноз-план-факт и т.п.) анализа; Возможность оперировать нормативными значениями (индексами), изменяющимися во времени, в различных разрезах (например, для оптимизации затрат и повышения эффективности деятельности организации); Экспертный анализ (возможность получать и интегрировать экспертные оценки);
- Кластерный анализ (сегментация по группам клиентов, товарной номенклатуры и пр.);
- Анализ влияния связи факторов (например, анализ дисперсии цены и объема (Price Volume Mix);
Прогнозирование на основе фактов: «Наивная» модель прогнозирования (“завтра будет как сегодня”, но с учетом каких-то индексов; Экспоненциальные (Exponential Moving Average, EMA) и Простые (Simple Moving Average, SMA) скользящие средние во временном окне;
Сервис мониторинга регламентов на базе ИИ
Планы развития нашей технологии Аналитика.OLAP предполагают построение сервиса мониторинга регламентов рабочих процессов обработки документов на базе Искусственного интеллекта.
Идея
Создание сервиса, позволяющего осуществлять мониторинг регламентов рабочих процессов обработки первичных хозяйственных и финансовых документов и на основе анализа с помощью искусственного интеллекта генерировать «умные рекомендации» для пользователя Системы.
Область применения
Сервис должен уметь:
- проводить анализ исполнения регламентных сроков обработки документов (поведенческий анализ) и на основе ИИ формировать образ пользователя (клиента, контрагента) Системы;
- выдавать напоминания и подсказки пользователю Системы (в том числе по срокам рабочих процессов);
- анализировать рабочую нагрузку по категориям пользователей Системы и уровень исполнительской дисциплины.
Методы машинного обучения применяются для Бизнес-конфигураций.
Новизна идеи
Разноаспектный и глубокий анализ регламентов исполнения обязательств, упорядочивание рабочих процессов.
Перспектива
Внедрение данного сервиса в оперативный документооборот финансовой и хозяйственной деятельности коммерческой организации окажет существенное влияние на формирование политики по работе с клиентами, товарными группами и т.п.
При реализации сервиса будут затронуты типовые задачи машинного обучения, связанные с прогнозированием, классификацией и обнаружением аномалий.
Кроме того, на основе реализации, описанной выше идеи, можно будет разрабатывать и внедрять в бизнес-процессы организации другие связанные сервисы.
Конкурентоспособность
Работа с регламентами и по регламентам – один из ключевых сервисов в бизнес-процессах любой организации, как коммерческой, так и бюджетной. Сервис будет давать “умные рекомендации” пользователям Системы при принятии решений или, наоборот, определять шаблоны поведения.
Кроме того, сервис может быть адаптирован к любым сферам деятельности, где важна работа по регламентам. Например, Системе управления активами (EAM), где отслеживаются регламентные процессы по техническому обслуживанию оборудования.
Небольшой итог
Согласно опросу, проведенному медиа-ресурсом MIT Technology Review, через три года искусственный интеллект охватит не менее трети основных бизнес-процессов, в том числе и в области бизнес-аналитики. Так оценивают его перспективы 30% опрошенных компаний и 41% финансовых организаций.
Опираясь на собственный многолетний опыт и глубокую экспертизу в области обработки и анализа данных, мы считаем, что в эпоху Big Data именно использование искусственного интеллекта станет следующим логическим шагом в развитии систем бизнес-анализа.
Дополненная аналитика является по сути одним из инструментов повышения грамотности и уровня культуры работы с данными. С помощью встроенных инструментов машинного обучения, обработки запросов на понятном пользователю языке в бизнес-терминах все больше людей начинают ожидать от BI-систем не готовых отчетов-полотен и сложностей при их разработке, а интерактивности и демократичности.
Некоторые эксперты уже придерживаются мнения, что классический BI – это или «посмертный анализ», или попытка разглядеть закономерности в огромном наборе данных, что невероятно сложно без применения технологий искусственного интеллекта и машинного обучения. Основная цель – смотреть вперед, и тут без применения методов моделирования или прогнозирования никак не обойтись.
Свежие комментарии