Задумывались ли вы, что браузер способен обработать видео в реальном времени, при этом еще и выполняя нейронную сеть?
Разберём, какие API доступны фронтендеру для работы с медиаданными и видеопотоками, как можно их преобразовывать и делать это эффективнее. Посмотрим, как можно запустить нейронную сеть в браузере и обмениваться с ней данными.
Изучим несколько пайплайнов обработки от более простых, использующих относительно популярные инструменты (Canvas 2D, WebWorker, WASM), до более продвинутых и эффективных со специфичными API (WebGL, WebGPU, OffscreenCanvas, Insertable Streams).
В качестве примера возьмём задачу по замене фона в сервисе для видеосвязи Контур.Толк. Расскажу, что и почему используем, с какими проблемами мы столкнулись при разработке и внедрении.
Основной упор в докладе будет на работу с медиа, но опишу и пару способов работы с нейронными сетями (tensorflow lite, onnxruntime) в браузере.
Frontend-developer, ML-engineer.
Advanced.
Фронтенд-разработчик с опытом более 10 лет. Специализируется на средствах корпоративной коммуникации. Работал над проектами для автоматизации отчётности, организации командировок, корпоративной социальной сетью, ВКС. В основном использует Angular.
