Часть «Гарри Поттера» переделали в аниме с помощью ИИ: вот что вышло

По сравнению с предыдущими экспериментами получилось довольно прилично.

Реддитор Inner-Reflections переделал фрагмент фильма «Гарри Поттер и философский камень» в аниме-стилистике, используя комбинацию из нескольких нейросетей. Получившийся ролик содержит явные глитчи, но их гораздо меньше, чем могло быть еще несколько месяцев назад.

В качестве исходника выступила сцена из оригинального фильма. За генерацию изображений отвечала нейросеть Stable Diffusion с моделью helloflatcolorful2d_V12; кроме того, использовалось множество вариантов надстройки ControlNet для управления генерацией.

В частности, применялись Temporalnet, Lineart, Openpose, IP2P, Softedge и Reference. По словам реддитора, иногда он использовал не одну надстройку над Stable Diffusion, а сразу несколько.

Из рассказа Inner-Reflections следует, что о полностью автоматической конвертации ролика из одного стиля в другой речь пока не идет — во всяком случае, если хочется добиться относительно приличного качества видео.

Как объясняет реддитор, ему пришлось не только подбирать комбинации надстроек над Stable Diffusion, но и писать разные промпты для некоторых кадров. Особенно сложно было с кадрами, где есть большие пустые пространства.