Корпоративное хранилище данных

Это централизованная система, где собираются данные из разных источников: например из CRM, с сайта, из мобильного приложения и ERP для предоставления единой, согласованной и структурированной базы данных для анализа и принятия решений

Сочетание единого хранилища данных с современной бизнес-аналитикой дает огромные возможности для управления бизнесом:

Сбор информации для получения более полной картины бизнеса для принятия эффективных решений.

Возможность быстро получать отчетность в необходимой детализации.

Наши услуги:

Анализ и оптимизация процессов – аудит текущих процессов, выявление узких мест и рекомендации по автоматизации
Аудит существующей ИТ-инфраструктуры для сбора требований к КХД
Сбор и обсуждение методик, в существующих управленческих отчетах
Систематизация бизнес-требований к составу атрибутов данных хранилища данных
Проектирование логической модели хранилища данных
Разработка структуры физической модели хранилища данных
Загрузка данных из любых источников: онлайн получение по API, запрос REST из 1С, загрузка из файла
Разработка хранилища данных на базе современных СУБД
Создание документации по хранилищу данных
Формирование витрин данных и BI отчетности

Базовые функции КХД

Сбор информации для получения более полной картины бизнеса. Использование
данных для оптимизации бизнес-процессов
Инструменты многоканальной интеграции с разными типами источников
Возможности подключения, обучения ML моделей на корпоративных данных
Масштабируемость, многопоточность
Разделение хранимой информации на периоды или "срезы" по определенным данным для более быстрого и удобного представления
Инструменты для генерации отчетов и анализа данных. Помощь и улучшение качества в принятии решений
Прогнозирование

Особенности нашего подхода к разработке КХД

Широкий спектр источников данных для работы с корпоративным хранилищем (получение данных по REST API, из источника, находящегося в другом сервисе, из БД, из загружаемого файла, из очередей MQ, Kafka)
Мы применяем Apache NiFi для эффективной интеграции и преобразования данных при построении КХД.
Развертывание приложений проходит в k8s.
Используем универсальные справочники для ускорения и простоты работы системы
Используем Apache Airflow для планирования, запуска и мониторинга процессов
Обработка данных и запись из/в объектного хранилища (S3-хранилище)
Используем свой DWH JDBC драйвер для удобства в работе.
Поддержка длинных/cirillic названий столбцов/таблиц для работы с КХД в полноценных терминах предметной области компании
Визуализации данных и создание дашбордов происходит с помощью Apache Superset. Но наш продукт может подключиться и к вашей BI-системе.
Современная многослойная архитектура: КХД состоит из нескольких уровней, каждый из которых служит определённой цели. Существуют слои:
- Стейджинг (stage layer) — сбор и предварительное хранение сырых данных.
- Детальный слой (detail layer) — переработанная и обогащенная информация, пригодная для дальнейшего анализа.
- Отчетный слой (report layer) — формирование готовых отчетов и визуализаций
Используем якорную модель данных
- Удобная для изменений архитектура
- Поддерживает отслеживание исторических данных
- Упрощенный аудит
- Стабильная структура
- Простота внедрения

Преимущества

Удобная для изменений архитектура
Поддерживает отслеживание исторических данных
Упрощает аудит
Стабильная структура
Простота внедрения

Особенности

Гибкость
Неизменяемость
Темпоральность
Масштабируемость
Совместимость с SQL

Партицирование

(разделение таблиц на разделы)

По диапазону
По списку
По хешу
Комбинированное

Дает: ускорение запросов, балансировка нагрузки, управление, резервное копирование

Ключевым элементов архитектуры является сервис исполнения ETL процессов.

ETL процессы содержат в себе набор групп преобразований, выполняющихся в определенном порядке, настраиваемом при разработке процесса трансформации.

Каждая группа преобразований отвечает за отдельные тракты передачи/преобразования данных.

Сервис имеет возможность интеграции с системами авторизации.

UI процессов и оркестрации

Внедрение КХД подойдет для:

Финансовое управление - Обработка финансовой отчетности, бюджетирование, финансовое моделирование, анализ доходов и расходов.
Банковская сфера - Управление рисками, оценка кредитных заявок, борьба с мошенничеством, сегментация клиентов, оптимизация банковских продуктов.
HR - Анализ эффективности сотрудников, выявление кадровых потребностей, расчет KPI, развитие компетенций персонала
Логистика и снабжение - Оптимизация цепочки поставок, контроль запасов, минимизация издержек, улучшение взаимодействия поставщиков и потребителей
Маркетинг и продажи - Исследование рынка, анализ поведения покупателей, создание таргетированных предложений, повышение уровня удовлетворенности клиентов.
ERP-системы - Интеграция корпоративной ERP-системы с различными источниками данных, формирование консолидированной отчетности предприятия.
Управленческий учет - Предоставление руководству точной аналитики для принятия стратегических решений, своевременное получение отчетов о состоянии ключевых показателей.
IT - Контроль инфраструктуры ИТ-ресурсов, мониторинг производительности приложений, устранение узких мест, предотвращение сбоев
Производство - Улучшение качества продукции, снижение брака, оптимизация производственных процессов, увеличение общей операционной эффективности производства.

Реализованные проекты

Проект по реализации сбора, хранения и обработки данных с преобразованием. Формирование отчета из разных источников данных (1С-УХ, excel, базы данных и других сервисов).

Быстрая и качественная обработка данных с выводом на витрину
В разы сокращение построение отчета

Проблема: Текущие реализации драйверов БД не позволяют делать логические запросы к БД, находящимся в НФ старше 3-ей.

Решение: разработка и внедрение jdbc-драйвера, который, в отличие от стандартного postgres-драйвера, позволяет получать логический доступ к данным в 6 НФ на staging и детальном слое, в том числе, писать к ним стандартные SQL-запросы в нотации SQL-92.

Постоянные поддержка и развитие

Цель развития Системы являются повышение эффективности деятельности холдинга за счет автоматизации процессов работы с данными, оперативного получения отчетов о деятельности компании и дальнейшего использования полученной информации в текущей деятельности.

Для это было реализовано:

построение единого хранилища НСИ с распространением изменений;
повышение согласованности данных;
повышение качества данных и скорости реакции на инциденты;
унификация и упрощение процесса распространения изменений между отдельными средами.