Это не настоящий Геральт: первое демо ИИ-генератора игр от Tencent

Нейросеть прилежно воссоздает артефакты отражений в экранном пространстве.

Исследователи из китайского холдинга Tencent продемонстрировали Hunyuan GameCraft — нейросеть, способную создавать виртуальные миры. Hunyuan GameCraft — это мировая модель, обученная на кадрах реальных игр.

В демонстрационном ролике Hunyuan GameCraft пытается воссоздавать локации из The Witcher 3, Assassin's Creed, Minecraft и других популярных игр. Мир генерируется в ответ на команды игрока, при поворотах камеры более-менее сохраняется консистентность.

Чтобы добиться этого, создатели Hunyuan GameCraft обучили модель генерировать кадры в трех режимах — в зависимости от исходных данных и продолжительности существующего фрагмента, который надо продолжить.

Примечательно, что модель воссоздает не только сцены в духе игр, но и присущие этим играм артефакты. Например, во время морских сцен в духе The Witcher 3 можно заметить артефакты, характерные для создания отражений в экранных пространствах.

У Hunyuan GameCraft нет публичной демки — даже ускоритель Nvidia H100 выдает порядка 6 кадров в секунду на дистиллированной версии модели.