Nvidia открыла исходники Audio2Face для автоматической лицевой анимации

Разработчики смогут дорабатывать технологию под свои задачи.

Компания Nvidia выложила в открытый доступ исходники технологии Audio2Face. Это система на базе искусственного интеллекта, генерирующая лицевые анимации на основе озвучки.

Audio2Face работает за счет анализа так называемых акустических характеристик речи. На их основе нейросеть формирует данные для анимации, преобразуя голос в движения губ и выражения лица аватара.

Помимо исходных моделей и SDK, Nvidia выпустила фреймворк для дообучения модели. Благодаря этому разработчики игр смогут в более широких пределах дорабатывать Audio2Face под свои нужды.

Технология может использоваться как для генерации лицевых анимаций по заранее записанным репликам, так и в прямом эфире — анимируя аватара в реальном времени. Такая возможность может использоваться, например, для создания интерактивных помощников.

Нынешнюю версию Audio2Face уже используют разработчики нескольких игр. Например, система создавала лицевые анимации в Chernobylite 2 и F1 25.