Куда катится железо для нейронок?

Data Science/ML/AI

Тезисы

Модели растут, требования к вычислениям — тоже. Пора разобраться, куда движется рынок AI-железа и что нас ждет дальше.

  • GPU vs ASIC: сравним плюсы и минусы NVIDIA и специализированных чипов вроде TPU и Trainium.
  • Почему GPU так популярны и в чём их ограничения.
  • Где ASIC выигрывают, и смогут ли они всерьёз конкурировать с NVIDIA.
  • Как может развиваться рынок: удержит ли NVIDIA лидерство или будет смещение в сторону специализированных решений.
  • Что помогает снижать нагрузку на железо: разреженные модели, квантование и алгоритмическую оптимизацию.

Если работаете с ML/AI — будет интересно.


Аудитория

Data-scientist, ML-engineer, engineers.


Уровень сложности

Middle.

Сбер
Валентин Мамедов

Пришёл в AI из мира backend-разработки, а начал свою карьеру с вёрстки сайта по продаже бетона в Иркутске.

Сейчас — технический руководитель команды претрейнов GigaChat в SberDevices, где занимается разным: от ускорения кода и инфраструктуры до менеджерства.

Закончил мехмат НГУ, магистратуру ФПМИ МФТИ, сейчас аспирант второго курса в НГУ.

Другие спикеры секции Data Science/ML/AI

Еще на тему Data Science/ML/AI