Вышел первый ИИ, создающий не очень глючные видео по описанию

Для запуска модели потребуется топовая видеокарта.

Китайские исследователи опубликовали нейросеть Modelscope, способную относительно приемлемо генерировать видеоролики по текстовому описанию. Эксперименты в этой области проводятся давно, но прежде исследователям не удавалось избежать несогласованности между кадрами, созданными ИИ.

Модель использует больше полутора миллиардов параметров, из-за этого ей требуется достаточно большой объем памяти для генерации видео. Запускать генерацию рекомендуется на видеокарте хотя бы с 16 гигабайтами памяти, есть энтузиасты, которым удалось обойтись 12 гигабайтами.

У китайской разработки с согласованностью все гораздо лучше. В большинстве демо-роликов почти не глючат ни фоны, ни персонажи, активно двигающиеся на переднем плане. Правда, сами персонажи могут выглядеть странновато.

Впрочем, отмечают энтузиасты, своеобразный вид персонажей роликов это не так уж страшно. Первые арты, создававшиеся нейросетями вроде DALL-E или Midjourney, тоже выглядели не очень хорошо, но сейчас качество генерации удалось существенно улучшить.

Гораздо важнее, что создателям китайской модели удалось обеспечить согласованность вида, форм и размеров персонажей роликов. Вероятно, в новых версиях нейросети удастся повысить и качество генерации в целом.

На надпись Shutterstock, появляющуюся во многих видео, можно не обращать внимание: модель обучали на роликах фотобанка, в которых есть соответствующая надпись.

Загрузить модель можно здесь, попытаться поэкспериментировать с ней в онлайн-режиме можно тут.