Дата-платформа нового поколения на основе принципов Data Mesh и Lakehouse. Highload. Composable. All-in-One

Data Science/ML/AI

Тезисы

  • Расскажем, как организуем управление потоками в DataHub’ах в контуре платформе Data Lakehouse на основе принципов Data Mesh.
  • Composable — расскажем, как организуем на нашей платформе возможность выбрать вычислительный движок либо Trino, Spark и другие.
  • Highload — расскажем о том, как запустить тысячи пользователей для работы с Петабайтами данных так, чтобы всем хватало вычислительных ресурсов.

Аудитория

Devops-engineer, team-lead, ML-engineer, engineers.


Уровень сложности

Middle.

X5 Tech
Павел Денисенко
18 лет опыта в области инженерии данных. Строил дата-платформы в МегаФоне, Т-Банке, М.Видео и X5 Group.

Другие спикеры секции Data Science/ML/AI

Еще на тему Data Science/ML/AI