Веб-камеры, трассировка и искусственный интеллект: как Nvidia хочет вернуть к жизни машинимы

Бета-тест сервиса стартует в октябре, пока принимаются заявки.

Несколько лет назад были очень популярны ролики-машинимы: взяв модели из игры или воспользовавшись встроенным редактором, фанаты создавали видео со знакомыми героями в главных ролях. Сейчас про машинимы почти не вспоминают, но Nvidia хочет это изменить.

Во время презентации игровых видеокарт Ampere компания анонсировала Nvidia Omniverse Machinima — «революцию в создании нарративов с помощью игр». По сути, это набор приложений и сервисов для создания продвинуты машиним, автоматизирующий многие аспекты работы.

Основное приложение это Omniverse Machinima App, специальный редактор, позволяющий фанатам самостоятельно создавать нужные сцены. Он построен поверх платформы Omniverse, используемой Nvidia для совместной разработки интерактивных проектов.

Omniverse Machinima позволяет импортировать в редактор ассеты из Unreal Engine, Rhino, Photoshop, Maya, 3ds Max и некоторых игр. Полный список поддерживаемых игр, приложений и форматов гораздо обширнее, Nvidia его пока не раскрывает.

Редактор мощный. С его помощью создатели роликов могут настраивать все аспекты сцен: корректировать материалы, настраивать поведение камеры, создавать локации, проектировать различные спецэффекты.

Спецэффекты вроде дыма и огня реализованы с помощью PhysX и Flow, собственных разработок Nvidia. В комплекте идет набор реалистичных материалов.

Также редактор позволяет управлять поведением персонажей, появляющихся в ролике: для этого реализован базовый искусственный интеллект. За реалистичность взаимодействия персонажей друг с другом и с другими объектами отвечает встроенный физический движок.

Кроме того, Omniverse Machinima снабжен графическим движком, поддерживающим физически корректный рендеринг. Отрисовка финального изображения происходит при помощи трассировки пути, более продвинутой версии трассировки лучей.

Еще есть ряд инструментов, упрощающих создание контента. Благодаря Omniverse Machinima фанатам не нужно самостоятельно анимировать персонажей: система может создавать как лицевые анимации, так и анимации движений.

В первом случае достаточно записать фразу, которую говорит герой. На основе звуковой дорожки технология Audio2Face сгенерирует правдоподобно выглядящую лицевую анимацию, которую можно будет сразу же применить к персонажу.

С движениями все немного сложнее. Искусственный интеллект, встроенный в Omniverse Machinima может генерировать анимации, распознавая движения в видеоролике. Например, можно подключить веб-камеру, походить перед ней и применить получившуюся анимацию движения к персонажу.

Благодаря использованию платформы Omniverse над одним роликом могут работать сразу несколько фанатов. К сожалению, опробовать Omniverse Machinima пока нельзя: Nvidia принимает заявки от заинтересовавшихся фанатов, бета-тест стартует в октябре 2020 года.