Большие языковые модели часто воспринимаются как чёрный ящик с магическими способностями, но на самом деле их поведение можно объяснить с точки зрения науки о данных, архитектур моделей, методов обучения и математики.
В своём докладе я расскажу, как работают языковые модели, опираясь на механику их функционирования и актуальные исследования. Например, обсудим, чем полезны метод Chain-Of-Thought и архитектура Mixture of Experts (MoE), а также почему для языковой модели так сложно посчитать количество букв в слове. В общем, погрузимся в «секреты волшебства» LLM.
Data-scientist, ML-engineer, engineers, managers, backend, frontend.
Any level.
Окончил механико-математический факультет МГУ. Исследователь ИИ в лаборатории FusionBrain Института AIRI. Изучает интерпретируемость и геометрические свойства признаковых пространств в языковых моделях. Один из ключевых участников разработки мультимодальной модели OmniFusion.
