Енот-гитарист и собака-улыбака: Nvidia показала генератор видео по описанию

Нейросеть разобралась с буквами, но к консистентности пока есть вопросы.

Исследователи из Nvidia Research, университетов Чикаго и Мэриленда опубликовали научную работу, посвященную PYoCO. Это генеративная нейросеть, специализирующаяся на создании видео по коротким описаниям.

Сейчас существует несколько таких технологий, но создатели PYoCO утверждают, что им удалось заметно повысить качество изображения. Нейросеть, пишут ученые, «задает новый уровень» для генераторов видео и значительно обходит конкурентов.

Впрочем, о реализме речь пока не идет. Авторам PYoCO удалось избавить от совсем странных глитчей, но в большинстве случаев ролики, созданные нейросетью, страдают от проблем с консистентностью изображения.

Судя по опубликованным демо-роликам, сильнее всего проблемы проявляются с шерстью: она очень заметно «плывет», постоянно меняя форму и текстуру. Многие существа, генерируемые ИИ, выглядят не особо естественно, но есть и исключения.

Исходники PYoCO не выложены в открытом доступе, но на сайте Nvidia Research опубликовано достаточно много примеров работы нейросети.