Альфа-Банк внедрил Lakehouse-платформу Data Sapience

Альфа-Банк перевел работу с данными на отечественные решения Data Ocean Nova и Data Ocean SDI от вендора Data Sapience. Внедрение позволило банку консолидировать информацию из разрозненных систем в едином слое, обеспечив бизнес-подразделения инструментами для real-time аналитики и проверки гипотез без нагрузки на учетные системы.

Альфа-Банк завершил интеграцию технологического стека для реализации стратегии работы с данными. Ключевыми элементами обновления стали Lakehouse-платформа Data Ocean Nova и low-code инструмент для потоковой обработки Data Ocean SDI. Переход на новую архитектуру позволил банку унифицировать форматы хранения и создать операционный слой данных (ODS), который обновляется в режиме реального времени. Теперь аналитики могут строить онлайн-отчетность и обучать модели, используя актуальную информацию напрямую из первоисточников.

Архитектура и требования к нагрузке

При выборе решения банк ориентировался на возможность независимого масштабирования вычислительных мощностей и хранилища. Система должна была нативно работать в среде Kubernetes и поддерживать MPP-движок (Massively Parallel Processing) для быстрой обработки сложных SQL-запросов. Новая платформа объединила в себе функции классического хранилища (DWH) и «озера данных» (Data Lake), что позволило снизить затраты на интеграционные задачи и обеспечить двойное гео-резервирование.

За два года промышленной эксплуатации проект достиг следующих показателей:

• К платформе подключено 50 баз данных, передающих 500 Гб инкремента в сутки;
• Система онлайн-репликации обслуживает 1000 объектов;
• Пиковая нагрузка по обработке изменений из Kafka достигает 240 тысяч событий в секунду;
• Суммарный объем ежесуточно обрабатываемых данных составляет 2 Тб.

Перспективы развития

В планах финансовой организации — масштабное расширение инфраструктуры на базе технологий Data Sapience. К середине 2026 года банк намерен подключить к платформе еще около 600 источников данных в онлайн-режиме. Кроме того, проект предусматривает полную миграцию существующих Hadoop-кластеров на Data Ocean Nova и перенос пользовательских «песочниц» для аналитических исследований.