С помощью Sora от OpenAI сняли клип — оказалось, генератор работает не так хорошо, как можно подумать

Приходится генерировать очень много фрагментов, чтобы собрать что-то приличное.

Кстати, на сайте читать удобнее

Ролики с демонстрацией возможностей нейросети-генератора видео Sora от OpenAI выглядят очень правдоподобно: кажется, что ИИ без особых проблем воссоздает самые реальные и нереальные ситуации. На самом деле Sora работает не так хорошо, как может показаться.

OpenAI предоставила доступ к нейросети нескольким режиссерам и другим представителям творческой индустрии. В начале мая вышел клип Washed Out, созданный с помощью Sora режиссером Полом Трилло; он рассказал, с какими трудностями столкнулся при работе над роликом.

• С учетом всех экспериментов работа над клипом заняла около шести недель.
• Для клипа пришлось сгенерировать около 700 роликов, в финальную версию попали кадры из 55-56 роликов.
• Генерация ролика занимает от 15 минут до часа в зависимости от запрошенного разрешения, продолжительности видео и других параметров.
• В ответ на простые запросы Sora генерирует ролики, напоминающие трехмерные анимации девяностых годов. Более сложные промпты исправляют ситуацию.
• В сгенерированных видео все-таки встречаются визуальные глитчи.
• Sora хорошо справляется с сюрреалистичными пейзажами.
• В роликах, созданных Sora, могут быть проблемы с консистентностью персонажей: они не всегда выглядят одинаково.
• Видимо, нейросеть не умеет генерировать диалоги.

Хотя работать с Sora было нелегко, в целом Пол остался доволен этим опытом. С помощью нейросети, объясняет режиссер, можно достаточно дешево создать кадры, которые не удастся снять на реальную камеру.

Кроме того, Sora позволяет быстро и дешево (по меркам обычного съемочного процесса) экспериментировать и обкатывать интересные идеи.

До конца 2024 года OpenAI планирует открыть доступ к Sora для всех желающих.