Посмотрите, как один ИИ оживляет арты, созданные другим

Если не всматриваться в детали, то результат выглядит довольно неплохо.

Когда в конце марта компания Runway, создавшая основу для нейросети Stable Diffusion, выпустила ИИ-генератор роликов Gen-2, он работал не очень хорошо: зачастую результаты были довольно криповыми. С тех пор многое изменилось.

За несколько месяцев инженерам Runway удалось существенно повысить качество работы Gen-2. Энтузиасты проверяют нейросеть, предлагая ей сгенерировать ролики по мотивам артов, созданных Midjourney, и зачастую результаты выглядят довольно неплохо.

По всей видимости, разработчикам Gen-2 более-менее удалось разобраться с двумя основными проблемами: плывущими фонами и неконсистентными лицами персонажей роликов, странно смотревшимися в динамике.

Если присмотреться, то все еще можно заметить, что что-то не так. Например, у сгенерированных роликов плывут мелкие фрагменты, а некоторые объекты могут менять форму.

С другой стороны, Gen-2 научилась неплохо справляться со сложными объектами вроде воды с отражениями или волос. Раньше сцены с ними выглядели совсем неприглядно, сейчас волосы и отражения выглядят более-менее правдоподобно.

Такими темпами, надеются энтузиасты, уже через пару лет можно будет генерировать ролики, по качеству превосходящие выдачу современных нейросетей вроде Midjourney или Stable Diffusion. А там и до генерации фильмов рукой подать.

Правда, одновременно встанет вопрос определения аутентичности видео: если генераторы видео достигнут фотореалистичного уровня графики, сложно будет отличить реальный ролик от сгенерированного. Пока с определением работ, сгенерированных ИИ, все не очень хорошо.

Интересный момент: уже сейчас благодаря комбинированию нейросетей и ручного труда можно создать полуавтоматический генератор мультфильмов в духе «Южного Парка». ИИ пока не научился анимировать персонажей, но все остальное ему уже под силу.