Создатели Stable Diffusion выпустили второе поколение генератора видео

По сравнению с первым поколением качество заметно выросло.

Компания Runway, разработавшая основу нейросети Stable Diffusion, показала вторую версию искусственного интеллекта, генерирующего видео по описанию. Первая версия ИИ, Gen-1, была продемонстрирована в начале февраля.

За полтора месяца разработчикам удалось достичь серьезного прогресса. Gen-2 (второе поколение ИИ назвали незатейливо) может генерировать более качественные видео, содержащие меньше визуальных глитчей.

На вход нейросети можно подать как текстовое описание, так и изображение, на основе которого нужно генерировать видео. Кроме того, нейросеть может стилизовать уже готовые ролики, ориентируясь на предложенный кадр.

Технология все еще нуждается в доработке. В сгенерированных видео сохраняется характерная рябь (впрочем, раньше было хуже), генерация идет в довольно низком разрешении, а артефакты могут быть довольно впечатляющими.

Примечательно, что Gen-2 показали на следующий день после выпуска китайской нейросети Modelscope, тоже генерирующей видео по описанию. Качество генерации Modelscope явно выше Gen-1 от Runway, но находится примерно на одном уровне с Gen-2.