TrueSync: нейросеть, подстраивающая мимику героев фильмов под любую озвучку

Предполагается, что нейросеть может передать все особенности актерской игры.

Британская компания Flawless создала технологию TrueSync, предназначенную для адаптации мимики персонажей фильмов или сериалов под любую озвучку. Технология работает на базе нейронной сети, воссоздающей мимику персонажа на основе новой звуковой дорожки.

В основе TrueSync лежат примерно те же технологии, что применяются для создания дипфейк-роликов. По сути, нейросеть сперва обучается на оригинальной сцене, а затем генерирует мимику персонажа в этой сцене так, словно актер говорит на другом языке.

При этом лицо актера почти полностью заменяется изображением, созданным нейросетью. Создатели TrueSync уверены, что в этом нет ничего страшного: нейросеть якобы умеет учитывать и передавать все нюансы актерской игры.

Разработчики технологии считают, что TrueSync позволит повысить качество локализованных версий фильмов и сериалов: после обработки нейросетью движения губ актеров и их мимика будут полностью соответствовать не оригинальной, а дублированной озвучке.

В Flawless называют TrueSync первой системой такого рода. Технология поддерживает несколько языков: в демо-роликах показаны отрывки фильмов с немецкой, японской, испанской озвучкой. О применение TrueSync в реальных проектах пока не сообщалось.