Почти как живые: как нейросети выводят игровые анимации на новый уровень

Использование таких технологий может заметно повысить реалистичность героев игр.

Технологическое подразделение Ubisoft уже несколько лет работает над системами процедурной анимации. Впервые их начали применять в For Honor, на конференции SIGGRAPH компания показала новую разработку под названием Learned Motion Matching.

Это улучшенная версия Motion Matching — простого, но мощного способа создания анимаций игровых персонажей. Суть Motion Matching в том, чтобы записывать только базовые анимации: переходы между ними генерируются автоматически.

У Motion Matching есть несколько недостатков. Во-первых, для работы системе нужно довольно много исходных данных — то есть анимаций, записанных актерами-людьми. Во-вторых, она потребляет ощутимый объем памяти, причем этот объем увеличивается по мере роста числа и сложности анимаций.

Решить эти проблемы в Ubisoft попытались с помощью искусственного интеллекта — именно отсюда у новой технологии взялась приставка Learned. Компания использует машинное обучение, чтобы снизить потребление памяти: в ней должны храниться не сами анимации, а нейросеть, которая их генерирует в реальном времени.

На самом деле нейронных сетей не одна, а три . Первая, Decompressor, принимает на входе набор векторов, описывающих необходимую анимацию, и генерирует позу, соответствующую заданным параметрам.

Сперва в Ubisoft использовали только одну нейросеть. Выяснилось, что генерация при помощи Decompressor работает неплохо, но по сравнению с нормальной анимацией есть заметные глитчи. Как оказалось, в некоторых случаях данных для генерации недостаточно.

В ролике ниже серая фигура отыгрывает нормальную анимацию, красная — анимацию, созданную Decompressor. Нужно обратить внимание на движения рук модели.

Для улучшения качества анимаций нужно было использовать дополнительные данные. Это привело бы не к уменьшению, а к увеличению объема используемой памяти, поэтому вместо баз данных было решено создать еще две нейросети.

Эти сети назвали Stepper и Projector. Первая умеет прогнозировать вектор анимации, который понадобится в ближайшее время — раньше для этого требовался запрос к базе данных, — а вторая заменяет собой всю базу Motion Matching.

Реализовав все три нейросети, исследователи провели сравнительное тестирование обычного Motion Matching и Learned Motion Matching. Выяснилось, что если нейросети обучены достаточно хорошо, то различия в качестве анимаций будут минимальны.

Вот один из примеров процедурных анимаций, сгенерированных при помощи набора из трех нейросетей.

На тестовых анимациях замена реальных баз данных на нейросети позволили сократить размер памяти примерно в 10 раз. Для сравнения: использование только нейросети Decompressor снижало использование памяти вдвое.

Чтобы проверить, как будет расти нагрузка на память, разработчики добавили подопытной модели 47 новых суставов и пополнили набор данных примерно 30 новыми типами перемещения.

Персонаж научился не только ходить, но и бегать, уныло бегать, красться, ходить и бегать пригнувшись, маршировать, боксировать. В теории примерно такой набор анимаций может быть у героя какой-нибудь игры.

Со старой системой такой набор анимаций требовал 590 мегабайт памяти. Новая система уменьшила его примерно в 34 раза, до 17 мегабайт — этот объем занимали нейронные сети, в реальном времени генерирующие все нужные данные.

Затем разработчики выяснили, что веса нейронных сетей неплохо жмутся без заметной потери качества анимаций. Это позволило уменьшить размер еще вдвое, до 8.5 мегабайт. Общая экономия памяти достигла 70 раз.

В Ubisoft надеются, что использование технологий, похожих на Learned Motion Matching, позволит в корне изменить принципы работы с анимациями. Дизайнеры и художники смогут создавать персонажей, реалистично движущихся и достоверно реагирующих на очень разные ситуации — и все это без заметного ущерба для производительности.