Пейзажи Minecraft попробовали оживить с помощью ИИ: вот что вышло

В нескольких случаях получилось довольно крипово.

Кстати, на сайте читать удобнее

Современные нейросети умеют «переосмысливать» исходное изображение, рисуя что-то похожее, но в другом стиле. Ютубер ThoseSixFaces воспользовался такой способностью нейросети Stable Diffusion, чтобы оживить кадры из Minecraft.

Специальный скрипт, созданный ютубером, делал скриншот игры и скармливал кадр из Minecraft нейронной сети. На GeForce RTX 3080 генерация одного кадра занимает 3-4 секунды, так что рисованная версия Minecraft немного отставала от того, что происходило в игре.

Нейросеть рисовала, ориентируясь не только на кадры из Minecraft, но и на простую текстовую подсказку. К примеру, ютубер заранее сообщал ИИ, что будет строить дом (или собирать сцену в космосе), а затем приступал к работе.

Проект, получивший название DiffusionCraft, способен работать на локальном сервере, так что технически ИИ может перерисовывать творения нескольких игроков, работающих одновременно. Скриншоты делаются не только через равные интервалы времени, но и когда меняется состояние блока.

Выкладывать скрипты DiffusionCraft в открытый доступ ютубер пока не стал.