Авторы Stable Diffusion выпустили генератор коротких роликов

Примеры выглядят довольно неплохо.

Стартап Stability AI, занимающийся развитием нейросети-генератора изображений Stable Diffusion, объявил о выпуске первой версии Stable Video Diffusion. Это модель, предназначенная для генерации коротких роликов по текстовому описанию.

В зависимости от частоты кадров ролик, созданный Stable Video Diffusion, может длиться от одной до нескольких секунд. На генерацию продолжительных видео модель пока не рассчитана.

Веса модели и исходники опубликованы в открытом доступе. При желании Stable Video Diffusion можно дообучить либо на отдельном изображении, либо на целом датасете.

По оценке разработчиков, по качеству генерации Stable Video Diffusion сопоставима с решениями Runway и Pika Labs или превосходит их. В то же время в Stability AI не рекомендуют использовать нейросеть для коммерческих целей.

Нынешняя версия Stable Video Diffusion это исследовательский проект, в компании пока не готовы сказать, когда у нее появится релизная версия.