«Очень странные дела» превратили в аниме с помощью ИИ: видео

К сожалению, в низком разрешении — зато хватило одной видеокарты.

Трансформируя фрагменты фильмов в ролики в аниме-стилистике, энтузиасты активно экспериментируют с запросами к нейросетям, иногда подбирая их для отдельных сцен. Реддитор inferno46n2 решил посмотреть, что будет, если этого не делать.

Эксперимент проводился на фрагменте четвертого сезона «Очень странных дел». Фрагмент сериала обрабатывала нейросеть Stable Diffusion с несколькими управляющими сетями, работавшая всего с двумя промптами.

Позитивный промпт: 1990s \(style\), retro artstyle, 90s vibes, 1990s \(style\), 90s anime.

Негативный промпт: (artist name, signature, watermark:1.4), (worst quality, poor details:1.4),disfigured, mangled, bad hands.

Чтобы повысить скорость обработки, изображения генерировались в низком разрешении, видеокарта GeForce RTX 4090 справилась со всеми вычислениями за 10 минут. Результат оказался достаточно приличным, вот что вышло.

По словам энтузиаста, вывод нейросети опубликован «как есть», вообще без правок и какой-либо обработки. Важно понимать, что часть артефактов в ролике это следствие использования низкого разрешения: например, если бы разрешение было выше, то лица выглядели бы гораздо лучше.

В отдельном ролике можно взглянуть только на сгенерированные кадры, без сравнения со сценами из оригинального сериала.

Скорее всего, уже в ближайшие годы нейросети смогут без особых проблем менять стилистику видеороликов если не в реальном времени, то хотя бы за вменяемое время. Но сперва, скорее всего, понадобится сменить еще пару поколений видеокарт.