Мы в Т-Банке запустили внутреннюю продакшн-платформу для синтеза визуального контента. В докладе расскажу, как поднимали «супертяжелые» ML-модели в Kubernetes: как справлялись с огромными образами и весами, строили архитектуру вокруг особенностей инференса и выжимали максимум подручными средствами.
Будет полезно тем, кто планирует завести огромные ML-модели в проде.
Backend-developer, data-scientist, ML-engineer, everyone.
Any level.
Бекендер (python/go), часто разрабатывал около-AI сервисы. Сейчас руководит разработкой платформы синтеза визуального контента. Играет в волейбол на песочке.
