Мир Minecraft оживили нейросетью во время игры: видео

Осталось что-то придумать с интерфейсом.

Кстати, на сайте читать удобнее

Нейросети уже сейчас можно использовать для преобразования игрового геймплея в реальном времени — правда, с нюансами. Это продемонстрировал реддитор Alchemist1123, экспериментировавший с Minecraft.

Энтузиаст попытался оживить картину игры, чей мир состоит из кубов-вокселей. Для оживления использовалась нейросеть Stable Diffusion, получавшая изображения напрямую из Minecraft.

По словам реддитора, ему удалось получить от Stable Diffusion 14 кадров в секунду. При этом нейросеть работала на GeForce RTX 3080 Ti, топовая современная видеокарта вроде RTX 4090 справилась бы с обсчетом еще быстрее.

Впрочем, о практическом применении связки игра/нейросеть речь пока не идет. Во-первых, изображения рендерились в низком разрешении — это было сделано для ускорения обсчета.

Во-вторых, в динамике хорошо видно, что у Stable Diffusion есть проблемы с консистентностью: соседние кадры могут заметно отличаться друг от друга. Правда, благодаря нейросетям, генерирующим видео, мы знаем, что эта проблема решаема.

Наконец, остаются проблемы с интерфейсом: Stable Diffusion перерисовывает и его, делая совершенно нечитаемым. Эту проблему относительно легко решить — достаточно интегрировать нейросеть в игровой код и отдавать ей кадр до отрисовки интерфейса.