Все новости
Это интересно
Сейчас читают
Фильмы
Аватар Evernews Evernews

TrueSync: нейросеть, подстраивающая мимику героев фильмов под любую озвучку

2
0
Поделиться
Телеграфировать

Предполагается, что нейросеть может передать все особенности актерской игры.

TrueSync: нейросеть, подстраивающая мимику героев фильмов под любую озвучку

Британская компания Flawless создала технологию TrueSync, предназначенную для адаптации мимики персонажей фильмов или сериалов под любую озвучку. Технология работает на базе нейронной сети, воссоздающей мимику персонажа на основе новой звуковой дорожки.

В основе TrueSync лежат примерно те же технологии, что применяются для создания дипфейк-роликов. По сути, нейросеть сперва обучается на оригинальной сцене, а затем генерирует мимику персонажа в этой сцене так, словно актер говорит на другом языке.

При этом лицо актера почти полностью заменяется изображением, созданным нейросетью. Создатели TrueSync уверены, что в этом нет ничего страшного: нейросеть якобы умеет учитывать и передавать все нюансы актерской игры.

Разработчики технологии считают, что TrueSync позволит повысить качество локализованных версий фильмов и сериалов: после обработки нейросетью движения губ актеров и их мимика будут полностью соответствовать не оригинальной, а дублированной озвучке.

В Flawless называют TrueSync первой системой такого рода. Технология поддерживает несколько языков: в демо-роликах показаны отрывки фильмов с немецкой, японской, испанской озвучкой. О применение TrueSync в реальных проектах пока не сообщалось.

Читать далее
Как вам S.T.A.L.K.E.R. 2?
Отличная игра
5547 голосов, 31.4%
Хорошо, но могло быть лучше
2307 голосов, 13.0%
Самая обычная игра
1128 голосов, 6.4%
Ужасно, пожалел о покупке/скачивании
1533 голоса, 8.7%
Не играл и не собираюсь
7170 голосов, 40.5%
Теги: Фильмы, Технологии
Аватар Evernews
Evernews
8074 подписчика