Doom запустили на нейросети — она стала движком игры

Без глитчей не обошлось, зато камера вертится нормально.

Группа исследователей из Google Research запустила первую часть Doom на нейросети — во всяком случае, в определенном смысле. Исследователи представили модель GameNGen, выступающую в роли игрового движка, запускающего Doom.

GameNGen не просто отрисовывает кадры, визуально напоминающие Doom. Нейросеть воспроизводит игровое пространство с присущими Doom правилами (например, что дверь должна открываться по пробелу) и позволяет его исследовать.

В результате нейросетевой Doom выглядит примерно так же, как традиционный. Думгай отстреливает зомби, собирает патроны и ресурсы, открывает двери и пытается отыскать ключи для запертых локаций. Вот как это выглядит.

Есть и глитчи: например, на стенах и других поверхностях иногда появляются артефакты, интерфейс может подглючивать, а бочки и другие объекты не всегда адекватно реагируют на попадания.

Исследователи обучали GameNGen в два подхода. Сперва записывались геймплейные ролики реального Doom: в игру играла отдельная нейросеть, параллельно обучавшаяся «правилам» Doom. На основе ее данных обучалась генеративная модель.

В основе генеративной модели лежит Stable Diffusion 1.4. Примечательно, что для повышения качества генерации кадров исследователи искусственно повреждали кадры во время обучения модели — этот трюк авторы GameNGen называют «решающим» для сохранения консистентности картинки.