Ускоряем синтез: от TensorRT до CUDA C++

Выступление будет посвящено оптимизации одного из компонентов сервиса SberDevices, который превращает текст в человеческую речь. Артём подробно рассмотрит способы оптимизации ML inference, начиная от применения высокоуровневой библиотеки TensorRT, заканчивая самостоятельной оптимизацией на CUDA C++. Доклад будет интересен как тем, кто сталкивается с машинным обучением в продакшене, так и тем, кто хочет получить максимум от используемого железа.