Язык тела: как ИИ помог сделать диалоги в Final Fantasy VII реалистичнее

Искусственный интеллект не только выбирает ракурс камеры, но и определяет эмоции.

В оригинальной Final Fantasy VII персонажи состояли всего из нескольких полигонов и не были озвучены — игроки читали только субтитры, лицевых анимаций у героев не было. При создании ремейка разработчики записали озвучку и главных героев, и второстепенных персонажей, которых можно повстречать в Мидгаре.

Для создания анимаций основных персонажей в сюжетных катсценах разработчики одновременно записывали и движения актеров, и их мимику. В сценах, где появляются обычные жители Мидгара, применялась более сложная комбинация систем.

Для ремейка Final Fantasy VII мы делали захват мимики одновременно с захватом движений. В прошлом, когда мы работали над фильмом «Дети пришествия», мы не использовали захват мимических движений, аниматоры все делали с нуля.

На этот раз у них были данные мимических движений, полученные методом захвата актерской игры. Используя естественные выражения лица актеров, мы смогли добиться более реалистичных движений и в то же время сохранили атмосферу «Детей пришествия».

Акира Ивасава, режиссер записи анимаций

Здесь использовалась технология на базе искусственного интеллекта, автоматически анализировавшая реплики персонажей и подстраивавшая под них лицевую анимацию, синхронизируя движения губ со словами, которые проговаривает герой.

Помимо адаптации анимаций к звуковой дорожке система умела автоматически подстраиваться под разные языки озвучки. Для этого она ориентировалась на заранее собранные данные обо всех актерах, участвовавших в озвучивании игры.

Для повышения качестве автоматически сгененированных анимаций разработчики обучили искусственный интеллект определять настроение персонажа, проговаривающего реплику, и общий эмоциональный фон диалога.

Когда персонаж говорит, его брови двигаются, задействуется язык тела. Словесный ИИ располагает большим ассортиментом определений, но в роликах мы отслеживали следующую информацию, относящуюся к разговору: кто в нем участвует, в каких декорациях происходит беседа.

Рю Хара, ведущий программист анимаций

Ориентируясь на данные о настроении персонажей, искусственный интеллект самостоятельно управляет камерой: меняет ее расположение, наводя на нужного участника диалога, или переключает ракурсы в определенные моменты диалогов.

Для достоверной генерации лицевых анимаций с поправкой на настроение персонажа была создана еще одна система. Все эмоции, которые испытывает персонаж, укладываются в так называемую «Модель переключения эмоций».

Всего есть шесть базовых эмоций: злость, отвращение, страх, счастье, печаль и удивление. Каждому персонажу требовались анимации, отражающие эти эмоции.

Мы также создали скользящую шкалу автоматической адаптации эмоций, которая называется «Модель переключения эмоций». В ней две оси. Горизонтальная отражает счастье и горе. Вертикальная – удивление и усталость.

Акира Ивасава, режиссер записи анимаций

Эту модель разработчики отдельно настраивали под каждого персонажа ремейка в зависимости от голоса актера, который его озвучивал. Когда надо было проиграть озвучку определенной эмоции, она просто автоматически выбиралась из звукового архива, а затем — тоже автоматически — создавалась лицевая анимация.

Такой набор систем на базе искусственного интеллекта, объясняют разработчики, позволяет минимизировать ручной труд и ускорить развитие игры. При желании персонажей можно заставить проговорить одну и ту же фразу с любым выражением лица; нужно лишь один раз подготовить исходные данные.

Правда, озвучку героев по-прежнему приходится писать с живыми актерами, заранее решая, что и как они будут говорить. Здесь до автоматизации еще далеко.