Авторы Stable Diffusion выпустили Stable Animation — инструмент для создания видеороликов

Он может работать как с текстовым описанием, так и с референсами.

Кстати, на сайте читать удобнее

Компания Stability AI, занимающаяся развитием нейросети-генератора Stable Diffusion, выпустила Stable Animation SDK. Это инструмент, позволяющий генерировать видеоролики.

Stable Animation может работать в трех режимах:

• На основе описания нужной анимации.
• На основе описания и референсного изображения.
• На основе описания и референсного видео.

Изображения генерируются с помощью нейросетей, созданных Stability AI: Stable Diffusion 2.0 и Stable Diffusion XL.

Обратите внимание: Stable Animation работает не на PC пользователя. Вся генерация происходит на серверах Stability AI, компания предоставляет только API для обращения к бэкенду.

Доступ к Stable Animation платный. Например, одна операция с изображением размером 1024x1024 обойдется в $0.0023, полный прайс можно посмотреть здесь. По оценке разработчиков, создание 8-секундного ролика в разрешении 512x512 обойдется примерно в 37 центов.