- Промокоды Honkai Star Rail
- Все сундуки Золотого мига в Honkai Star Rail
- Похвала высокой морали в Honkai Star Rail
- Все сундуки в Лофу Сяньчжоу из Honkai Star Rail
- Первооткрыватель в Honkai Star Rail
- Билд Сюэи в Хонкай Стар Рейл
- Билд Аргенти в Хонкай Стар Рейл
- Все сундуки Сада безмятежности в Honkai Star Rail
- Часовщик грезных механизмов
- Первооткрыватель мертвых вод
Нейросеть для ускорения создания аниме: первый взгляд на ToonCrafter
Промежуточные кадры не понадобятся: только начальный и конечный.
![Нейросеть для ускорения создания аниме: первый взгляд на ToonCrafter](http://img2.wtftime.ru/store/2024/06/01/GSJA4DFi.jpg)
Группа китайских исследователей из Китайского университета Гонконга, Городского университета Гонконга и Tencent AI Lab рассказали о создании нейросети ToonCrafter. Модель может пригодиться студиям, создающим ролики в стиле аниме.
ToonCrafter представляет собой продвинутую технологию интерполяции. Получив начальный и конечный кадры, нейросеть сгенерирует фрагмент анимации с реалистичным переходом из первого кадра во второй.
В основе ToonCrafter лежит модель DynamiCrafter, заточенная под генерацию видеороликов — ее дополнительно обучили на датасете из аниме. Промпты ToonCrafter не требуются, за консистентность сгенерированных роликов отвечает декодер, ориентирующийся на предоставленные кадры.
Сгенерировать таким образом длинную сцену не получится, но с короткими анимациями ToonCrafter справляется лучше конкурентов — во всяком случае, на примерах, подобранных создателями нейросети.
![](http://img2.wtftime.ru/store/2024/06/01/o0m5I6ny_amp_wide.jpg)
![](http://img2.wtftime.ru/store/2024/06/01/617QcH4n_ap.jpg)
![](http://img2.wtftime.ru/store/2024/06/01/eJUySW7J_ap.jpg)
Помимо генерации цветных анимаций у ToonCrafter есть еще несколько интересных возможностей. Во-первых, нейросеть умеет генерировать черно-белые анимации на основе скетчей; во-вторых, ToonCrafter способная окрашивать анимированные скетчи на основе одного предоставленного референса.
Примечательно, что в этом режиме ToonCrafter можно давать больше одного цветного референса — это позволяет точнее контролировать окраску сцены.
У модели, отмечают авторы, есть ограничения. Во-первых, ToonCrafter не всегда понимает и учитывает контекст всех элементов изображения — например, может принять фрагмент кабины за кусок ткани. Во-вторых, модель может глючить, когда в кадре должен появиться новый объект или пропасть старый.
Поэкспериментировать с демо-версией ToonCrafter можно на HuggingFace.