Для The Witcher 3 вышел генератор озвучки на базе ИИ: вот как он говорит

Кажется, хуже всего генератор справляется с голосом Геральта.

Дэн Рута, аспирант Университета Суррея, выпустил для The Witcher 3 генератор озвучки, работающий на базе искусственного интеллекта. Это развитие проекта xVA-Synth, первоначально созданного для озвучивания игр Bethesda.

В основе WVASynth — так называется версия xVA-Synth для The Witcher 3 — лежит нейронная сеть и несколько моделей, обученных на голосах игровых персонажей. Сейчас доступны голоса Геральта, Йеннифер, Цири и Весемира, заканчивается работа над моделью Трисс Меригольд.

Приложение позволяет достаточно тонко настраивать генерируемый звук. Его можно ускорить или замедлить, повысить или понизить тон произнесения отдельных букв, скорректировать время проговаривания этих букв.

Рекомендуется генерировать реплики от 1 до 10 секунд: на более длинных отрывках нейросеть выдает менее качественный результат. Мы попробовали сгенерировать несколько реплик голосами Геральта, Цири и Йеннифер.

Сперва послушаем Геральта и Йеннифер. Фразы взяты из диалога в The Witcher 3.

Послушать оригинальную озвучку фраз можно вот в этом ролике: они звучат в самом начале видео.

Фраза Цири тоже взята из игры: ведьмачка произносит ее в самом конце The Witcher 3, встретившись с Геральтом на виноградниках.

В геймплейном ролике эта же фраза звучит в районе отметки 01:10.

Судя по нашим экспериментам, хуже всего нейросеть справляется с голосом Геральта: в нем можно услышать искусственные металлические нотки. Голоса Цири и Йеннифер уже больше похожи на свои игровые версии.

По словам Дэна, благодаря тонкой настройке можно значительно повысить качество генерируемой озвучки. Мы немного поэкспериментировали с настройкам, но так и не смогли заметно улучшить голос Геральта.

В качестве еще одного эксперимента мы попросили нейросеть озвучить фразу Геральта, звучащую в фанатском задании для The Witcher 3. Это задание озвучивалось с помощью другого генератора, имитирующего голос Геральта.

Оригинальная версия фразы звучит начиная с отметки 0:18. Кажется, генератор CyberVoice от российской команды справился с имитированием голоса Геральта заметно лучше.

Загрузить WVASynth можно на NexusMods. Все модели обучены только на английской озвучке: если попытаться озвучить русский текст, то Геральт и остальные герои заговорят с очаровательным акцентом.