Для озвучки модов к играм Bethesda создали специальную нейросеть

Масштабных модов, озвученных с помощью ИИ, пока нет — только забавные.

Аспирант Университета Суррея Дэн Рута создал нейронную сеть, способную озвучивать модификации для игр Bethesda Softworks. xVA-Synth — так называется проект Дэна — включает в себя 34 модели, обученных на 53 наборах данных.

В качестве наборов данных Рута использовал реплики персонажей из шести игр Bethesda: трех частей Fallout, начиная с Fallout 3, и трех частей The Elder Scrolls, начиная с The Elder Scrolls 3 Morrowind. Для обучения нейронной сети применялась только английская озвучка.

Работа над нейронной сетью, рассказывает Рута, заняла больше двух лет: первые эксперименты стартовали еще в 2018 году. Вот так выглядит озвучка, сгенерированная xVA-Synth версии 0.1.

На тот момент качество звука оставляло желать лучшего, модели требовались очень большие наборы данных, а управлять генератором было непросто. Повысить качество генератора удалось после перехода на модель FastPitch.

Актуальная версия нейросети генерирует достаточно правдоподобно звучащую озвучку. Чтобы моддерам было проще работать, Рута выложил отдельные приложения для генерации озвучки с голосами из Skyrim, Morrowind, Oblivion и трех частей Fallout.

Предполагается, что xVA-Synth значительно упростит разработку сюжетных модификаций: сейчас моддерам приходится либо озвучивать их самостоятельно, либо искать актеров, либо обходиться субтитрами. Пока, впрочем, xVA-Synth используют для шуточных модов.

Самый известный из них — мод, где обитатели Скайрима хвалят главного героя, разгуливающего без одежды. Все хвалебные реплики были сгенерированы с помощью xVA-Synth и звучат довольно естественно.

В принципе, ничто не мешает использовать голоса из игр Bethesda для озвучки других проектов или переобучить модели на других наборах данных.