Посмотрите, как ИИ имитирует геймплей Cyberpunk 2077 и Forza

Прорыва в области мировых моделей пока нет: проблем еще много.

Кстати, на сайте читать удобнее

Исследователи из Alibaba Group, Университета Гонконга, Vector Institute и Университета Ватерлоо показали The Matrix — нейросеть, названную в честь фильма Вачовски. The Matrix это мировая модель, обученная на кадрах из ААА-игр и способная воссоздавать их геймплей в ответ на действия пользователя.

В качестве примера исследователи «поиграли» в аналоги Cyberpunk 2077 и Forza. Модель перегенерирует изображения, ориентируясь на команды «игрока», выдавая картинку в разрешении вплоть до 720p.

В демо-роликах хорошо заметно, что разработчикам The Matrix не удалось полностью решить проблему, существующие в других мировых моделях. Сам мир иногда выглядит очень странно, взаимодействие объекта (например, машины) с ним может быть еще страннее.

Кроме того, есть проблемы с консистентностью некоторых второстепенных объектов вроде деревьев. Если их будет много и они появятся на переднем кадре, то картинка будет выглядеть очень странно.

К сожалению, разработчики The Matrix пока не выложили ни код модели, ни демонстрационную версию. Сейчас доступны только видеоролики с короткими демонстрациями, их можно посмотреть здесь.