Data-платформа нового поколения

Тезисы

Бизнес X5 Group — это почти 400 тыс.сотрудников, 27 тысяч магазинов и 71 распределительный центр в 8 федеральных округах. Управлять таким большим бизнесом без инструментов, основанных на данных — невозможно. Поэтому мы всегда не жалели сил и средств на развитие нашей дата-платформы.

После того, как экспансия в цифровой сегмент рынка продовольствия стала для X5 Group стратегическим приоритетом, ожидания бизнеса от дата-платформы выросли как в количественном, так и в качественном измерении. Нужно больше данных, их обработка должна занимать меньше времени, запросы выполняться быстрее и для большего количества пользователей. А кроме этого, традиционных BI-отчетов с актуальностью данных Т-1 или классических ML-моделей теперь недостаточно. Требуется NRT-аналитика с рекомендательными движками на LLM-моделях.

В докладе я расскажу, за счет каких решений нам удалось вывести data-платформу на качественно новый уровень. Вы узнаете о том:

1. Как мы реализовали принцип Data Mesh, разделив ответственность за данные, но сохранив общий технологический и инфраструктурный ландшафт; как мы определили data hub и data contract.
2. Что такое принцип composable применительно к архитектуре data-платформы; как мы сделали доступым выбор вычислительных движков (trino, spark) для команд, работающих с платформой.
3. За счет каких инфраструктурных решений наша data-платформа выдерживает нагрузку от тысяч пользователей, выполняющих сотни тысяч запросов, сохраняя при этом способность к быстрому масштабированию и оптимальному управлению ТСО.

Аудитория

Devops-engineer, team-lead, ML-engineer, engineers.

Уровень сложности

Middle.