Pentaho BI


Своевременные и качественные управленческие решения


Прогнозная аналитика и моделирование поведения пользователей

Pentaho BI

Главная / 5 шагов погружения в DWBI


перевод статьи Vincent Rainardi


5 Stages DWBI

Во время работы в MS BI я заметил, что внедрение инструментов DWBI (Data Warehouse and Business Intelligence) в бизнес можно поделить на несколько этапов. Рассмотрим их подробно, возможно эта информация окажется кому-либо полезна.


Этап 1. Составление отчетов (Стоимость: £25 тыс./год. Длительность: 2-3 года)

В большинстве компаний BI-подразделение начиналось с одного сотрудника IT-отдела, занимающегося составлением отчетов. IT-отделу ставилась задача – подготовить сводный бизнес-отчет для какого-либо собрания на основе информации из базы данных. Отчет формировался с помощью встроенных средств отчетности – SSRS, Jasper или Crystal. Тогда никто ничего не слышал о Business Intelligence. Руководству требовался просто «Отчет», не BI и даже не Management Information.

Компания, состоящая из 100 сотрудников и имеющая годовой оборот в размере 5 млн. фунтов стерлингов, обходилась IT-отделом, в котором было всего 5 человек. Они в основном занимались технической поддержкой – Exchange и Email, администрированием файлового и SQL-серверов, локальной сети. Подготовка отчета для них была всего лишь одной из множества задач.

Однако руководству требовались все новые и новые отчеты. Нагрузка на сотрудника, занимавшегося их составлением, быстро росла. Пропорционально увеличивалась его производительность за счет освоения встроенных инструментов для визуализации данных. Так, например, если для подготовки первого отчета потребовалось 3 недели, то пятый был сформирован за 3 дня. При этом не существовало инструкций и строгих правил оформления отчетов. На бизнес-собраниях просто требовалась информация в удобном для восприятия виде.

Сколько это стоит? Расходы на этом этапе составляют около 20-25 тыс. фунтов стерлингов в год. Они распределены следующим образом:


Этап 2. Увеличение количества отчетов (Стоимость: £150 тыс./год. Длительность: 1-2 года)

С развитием компании IT-отделу требуется все больше, точнее и оперативнее предоставлять информацию о проведенных операциях. Это становится «узким горлышком», если вовремя не был внедрен удобный инструмент для составления отчетов. Некоторые решения дают возможность отслеживать информацию только на уровне транзакций или на уровне работы с одним клиентом, что приводит к большим ошибкам в реальных IT-отчетах.

Если бизнес-приложение не позволяет наглядно предоставлять данные о развитии компании в какой-то промежуток времени, нагрузка на IT-отдел будет расти. Это связано с непрерывным увеличением числа требуемых отчетов. Бизнес-отчеты теперь требуются не только отделу продаж, но и отделу менеджмента, и бухгалтерии, и вообще всем подразделениям компании.

Составление отчетов стало важной частью работы, которой занимается не один человек, в свободное от других задач время, а 2 или 3 специалиста в течение всего рабочего процесса. С ростом организации увеличивается штат сотрудников IT-отдела – от 5 до 15 человек. Годовой доход компании составляет £30 млн., из которых на IT-расходы идет около £0,5 млн. В работе используется несколько бизнес-приложений, обслуживание которых, как правило, отдается на аутсорсинг.

Сотрудник, занимающийся составлением отчетов, теперь называется MI-разработчиком. В своей работе он использует SSRS и SharePoint. Некоторые из отчетов требуется подготавливать регулярно. Устаревшие отчеты архивируются. Информация, предоставляемая MI-разработчиком руководству на основе данных 4-5 бизнес-приложений, очень важна для мониторинга развития компании. На разработку одного отчета уходит от 2 дней до 2 недель, в зависимости от приоритизации и размера очереди. Глава IT-отдела может запросить сведения о том, как был использован любой из отчетов, чтобы убедиться в целесообразности его заказа.

Сколько это стоит? Management Information обходится около £150 тыс. Расходы распределены так:

Сколько времени занимает этот этап? Компании проходят этот этап очень быстро – обычно за 1-2 года, после чего сталкиваются с ситуацией, когда отчетов требуется слишком много, и IT-отдел перестает контролировать ситуацию. В этот момент происходит переход к следующему этапу.


Этап 3. Слишком много отчетов – переход к Self Service BI (Стоимость: £50 тыс. единоразово + £150 тыс./год. Длительность: 1 год)

Когда составлением отчетов заняты 3 и более сотрудников, а число отчетов приближается к сотне, главе IT-отдела становится все более интересна идея так называемого Self Service BI (дословно – «система BI самообслуживания»). Она заключается в создании хранилища данных на основе OLAP-кубов. В отличие от традиционных аналитических платформ BI, разобраться в которых могли лишь профессионалы, сервисы Self-Service Analytics разработаны для широкого круга пользователей и доступны для вызова прямо из Excel.

Традиционные инструменты бизнес-аналитики BI достаточно дорогие, чаще всего это становится основной причиной, по которой компании не спешат в них инвестировать. Ниже указаны цены для самого популярного BI-ПО, такого как BO, Cognos, MicroStrategy, QlikView.


QlikView

Итого: 150 + 50 + 10 + 10 + 10 + 20 = £250 тыс. единовременно. Плюс 20% (£50 тыс.) – ежегодные расходы на поддержку.


BO

Итого: 140 + 1200 + 50 = £190 тыс. единовременно и £40 тыс. – ежегодно.

Расходы на Cognos и MicroStrategy будут примерно одинаковы – около £200-250 тыс. единовременно плюс £40-50 тыс. – ежегодно. Можно увидеть, что финансовой выгоды по сравнению с предыдущим этапом практически нет – вместо разработчиков отчетов компании потребуется нанять одного или нескольких администраторов QlikView/BO/Cognos или вложиться в обучение персонала.

Внедрение Self Service BI требует намного меньше средств, чем внедрение существующих BI-решений. Дело в том, что Microsoft Analysis Services (SSAS) распространяется бесплатно в составе служб анализа SQL Server, SharePoint обычно уже куплен и активно используется, а Excel – установлен на всех рабочих станциях. Получается, что дополнительных затрат на внедрение нового ПО нет. Требуется только новый сервер для хранилища данных (£20 тыс.). Даже если два сервера – £40 тыс. Еще около £10 тыс. пойдет на обучение персонала инструментам SSAS, SSIS, моделирования.

С точки зрения HR, обучение сотрудников позволяет убить двух зайцев: не только оптимизировать бизнес-отчетность компании, но и повысить лояльность персонала – ведь организация позволяет ему развиваться. Причем в совершенно новой, но перспективной сфере DW OLAP. Многомерное моделирование, ETL, Data Quality, метаданные, разработка OLAP-кубов – это то, что сотрудники узнают в течение обучения, которое займет около 6 месяцев. Презентация Self Service BI обычно имеет большой успех. Руководство компании очень восхищает, когда прямо на ее глазах данные из OLAP-кубов превращаются в наглядные временные диаграммы и схемы.

Теперь, когда вся бизнес-информация хранится в кубах данных, часть отчетов пользователи могут генерировать самостоятельно. Вместо 3 недель ожидания – мгновенный результат. Это очень радует, особенно в первое время. Руководителю IT-отдела результат внедрения Self Service BI понравится тем, что количество заказанных отчетов сократится примерно на треть. Часть компаний со временем перейдет на другое ПО (RED или Kalido + Composite), позволяющее еще эффективнее и быстрее работать с хранилищем данных, но большинство останутся на MS BI.

Сколько стоит и какое время занимает? На внедрение Self Service BI потребуется £50 тыс. Ежегодные расходы (£150 тыс.) не изменились, т.к. структура и функции IT-отдела остались теми же. Этот этап обычно проходится очень быстро – за 1 год, за это время формируется исходное хранилище данных и разрабатываются кубы. После окончательного запуска системы SSBI IT-отделу придется оперативно обрабатывать большое количество запросов на добавление данных в хранилища и кубы. Это будет на 4 этапе.


Этап 4. Развитие хранилищ данных и OLAP-кубов (Стоимость: £200 тыс./год. Длительность: 2-3 года)

В IT-отдел поступает много обращений на добавление различных атрибутов в кубы и хранилища. Вот типичные примеры запросов: «Добавьте этого продавца, пожалуйста. О, и еще данные об этом поставщике. А имена менеджеров добавите, просто очень нужно? У нас есть новый прайс-лист на следующий квартал, который нужно включить в хранилище данных. Поддерживают ли кубы иерархические структуры?»

Проблема заключается в том, что BI-подразделение не имеет практического опыта. Разработчики только вчера узнали, что такое размерная (dimensional) модель, таблица фактов и гранулярность. Они слабо представляют себе процесс моделирования данных. На освоение всего этого уходит большое количество времени – до нескольких недель. Примеры из литературы не всегда подходят к практическим задачам. Еще требуется контроль ETL-составляющей проекта, а сотрудники не умеют даже реализовывать SCD Type 2. SSIS SCD2 позволило частично решить задачу, но добавились новые проблемы.

В конце концов, руководитель IT-отдела начинает осознавать потребность в архитекторе данных, который умеет проектировать и реализовывать хранилища и кубы, владеет ETL. В отделе появляется новый сотрудник с зарплатой, скажем, £50 тыс. в год. Он знает всё о моделировании данных ETL и SSAS. Затем нанимается ETL-разработчик, который в основном занимается перемещением и оптимизацией данных. Один из разработчиков отчетов со временем тоже становится ETL-разработчиком. В составе BI-подразделения теперь 5 человек: 2 разработчика отчетов, 2 ETL-разработчика и 1 архитектор данных.

Постепенно это подразделение оптимизирует и настраивает хранилища данных под нужды компании. У руководителя теперь всегда под рукой большое количество информации, доступной в любое время, а не через 3 недели после запроса, как это было раньше.

Сколько стоит и какое время занимает? Поразительно, но затраты на BI только увеличились. Во-первых, в отделе работает 5 человек вместо 3. Их зарплата: 4 x 28 + 1 x 50 = £162 тыс. в год. Периодически требуется докупать дополнительные мощности, менять сервера и т.д. На это уходит £40 тыс. в год. Общие расходы – около £200 тыс./год. На этом этапе компания проводит 2-3 года, после чего переходит на следующий – зависимость от BI. Ведь благодаря понятным и оперативным данным, поступающим из хранилищ через OLAP-кубы и отчеты, бизнес очень интенсивно развивается. Со временем отказаться от таких удобных инструментов становится практически невозможно.


Этап 5. Пользователи зависимы от BI (Стоимость: £50 тыс. единоразово + $10 тыс. в год. Длительность: 3-4 года)

Один за одним все отделы бизнеса начинают пользоваться хранилищами данных и кубами. Отдел продаж, отдел производства, финансовый отдел, отдел маркетинга и даже отдел кадров – не представляют свою работу без BI. Страховые компании используют бизнес-аналитику при оценке рисков, возмещении страховых убытков, перестраховании, ведении бухгалтерии. Информация, получаемая из хранилищ данных, влияет на принятие многих решений: премирование сотрудников, ценовую политику компании, CRM и маркетинговую стратегию, и многое другое. В хранилища добавляется все больше и больше данных, бизнесу требуется все больше отчетов.

На этом этапе широко используются дополнительные инструменты BI: новые виды визуализации данных, решения для хранилищ, например Data Quality Services и ETL. IT-отдел разными способами оптимизирует свою работу, используя методологии IT Governance, системы контроля версиями, системы отслеживания ошибок и различные репозитории. Внедряется специализированное ПО – Red Gate, SQL Sentry, JIRA, TFS, позволяющее решать различные прикладные задачи.

Для визуализации данных может применяться Cube Player, Power BI, Strategy Companion, Panorama, XLCubed, Pyramid, Vergence Vivid, Bonavista Dimensions и Tableau. Чаще всего компании не в полной мере имеют представление о рынке решений бизнес-аналитики, ограничивая себя лишь несколькими платформами. Из них они пытаются выбрать наиболее подходящую. В этой статье мы не будем подробно останавливаться на особенностях различных клиентов. Возможно, они будут описаны позже.

Помимо инструментов аналитики, компании все чаще интересуются новыми инструментами отчетности, более продвинутыми и функциональными, нежели SQL Server Reporting Services. Если позволяет бюджет, вероятнее всего, их будет привлекать QlikView и Spotfire. При ограниченных средствах – Jasper и Pentaho. Все эти решения (QlikView, Spotfire, Hana, TM1, PowerPivot) объединяет то, что они хранят свои данные с использованием технологии «In-Memory OLAP», а не на диске.

Сколько стоит и какое время занимает? Это зависит от используемых решений и отрасли, к которой относится компания. В розничной торговле, телекоме, транспорте, сфере услуг ЖКХ – около 2-3 лет. Банки, управляющие и страховые компании, организации в сфере здравоохранения могут находиться на этом этапе от 3 до 5 лет. Оценим затраты при использовании одного из типовых решений – Tableau. Внедрение Tableau на DW + SSAS обойдется не очень дорого: £50 тыс. единоразово + $10 тыс. в год. Стоимость складывается из стоимости лицензий и затрат на обучение сотрудников. Вот цены на лицензии Tableau:

При условии, что в компании будет 3 разработчика и 15 создателей отчетов, затраты составят: 3 х $2 тыс. = $6 тыс. единовременно и 3 х $200 + (15+3) х $500 = $9600/год. На обучение сотрудников придется потратить £40 тыс.


Что будет дальше?

Что ждет компанию после пятого этапа? BI надежен, хорошо отлажен и изучен до мелочей. Все можно контролировать. Усовершенствовать дальше, в общем-то, нечего. Можно обратиться к совершенно другим технологиям. Например, к Cognos или Business Objects, отказавшись от стека Microsoft BI в пользу стеков Cognos или BO. А SQL Server – полностью заменить решением Oracle. Еще один вариант – остаться на Microsoft BI, но обратить внимание на следующие технологии:


Мы надеемся, что этот материал был полезен всем: IT-менеджерам – для углубления знаний о DWBI, разработчикам – для понимания перспектив их дальнейшего развития. Если к статье есть какие-то замечания или вопросы, будем рады вашим комментариям.


22.04.2018 г.