Нейросеть для ускорения создания аниме: первый взгляд на ToonCrafter

Промежуточные кадры не понадобятся: только начальный и конечный.

Кстати, на сайте читать удобнее

Группа китайских исследователей из Китайского университета Гонконга, Городского университета Гонконга и Tencent AI Lab рассказали о создании нейросети ToonCrafter. Модель может пригодиться студиям, создающим ролики в стиле аниме.

ToonCrafter представляет собой продвинутую технологию интерполяции. Получив начальный и конечный кадры, нейросеть сгенерирует фрагмент анимации с реалистичным переходом из первого кадра во второй.

В основе ToonCrafter лежит модель DynamiCrafter, заточенная под генерацию видеороликов — ее дополнительно обучили на датасете из аниме. Промпты ToonCrafter не требуются, за консистентность сгенерированных роликов отвечает декодер, ориентирующийся на предоставленные кадры.

Сгенерировать таким образом длинную сцену не получится, но с короткими анимациями ToonCrafter справляется лучше конкурентов — во всяком случае, на примерах, подобранных создателями нейросети.

Помимо генерации цветных анимаций у ToonCrafter есть еще несколько интересных возможностей. Во-первых, нейросеть умеет генерировать черно-белые анимации на основе скетчей; во-вторых, ToonCrafter способная окрашивать анимированные скетчи на основе одного предоставленного референса.

Примечательно, что в этом режиме ToonCrafter можно давать больше одного цветного референса — это позволяет точнее контролировать окраску сцены.

У модели, отмечают авторы, есть ограничения. Во-первых, ToonCrafter не всегда понимает и учитывает контекст всех элементов изображения — например, может принять фрагмент кабины за кусок ткани. Во-вторых, модель может глючить, когда в кадре должен появиться новый объект или пропасть старый.

Поэкспериментировать с демо-версией ToonCrafter можно на HuggingFace.