Создана нейросеть, генерирующая видео по описанию и «оживляющая» картины

Качество роликов пока довольно своеобразное.

Исследователи Meta(*) AI показали нейронную сеть, способную генерировать видео по описанию. Прежде нейронным сетям удавалось генерировать только статические изображения.

Для обучения нейросети исследователи использовали фотографии с описаниями (с их помощью ИИ понимал, «как выглядит мир и как его часто описывают»), а также ролики без описаний — чтобы понять, «как движется мир».

Вот так нейросеть Make-A-Video представляет себе собаку в костюме супергероя с красным плащом, летящую по небу.

Как и нейросети, генерирующие изображения по описанию, Make-A-Video умеет менять стилистику своих работ и генерировать ролики на основе дополнительных данных. К примеру, нейросеть может «оживить» картину.

Наконец, нейросеть может обрабатывать предложенные ей ролики. Видео с кроликами, поедающими травку, сгенерировано на основе другого ролика.

Пока Make-A-Video не выложена в открытый доступ. Разработчик принимают заявки от желающих поэкспериментировать с нейросетью, но не говорят, когда может быть предоставлен доступ.

* Компания Meta признана в России экстремистской организацией.