Создана нейросеть, генерирующая видео по описанию и «оживляющая» картины
Качество роликов пока довольно своеобразное.
Кстати, на сайте читать удобнее
Исследователи Meta(*) AI показали нейронную сеть, способную генерировать видео по описанию. Прежде нейронным сетям удавалось генерировать только статические изображения.
Для обучения нейросети исследователи использовали фотографии с описаниями (с их помощью ИИ понимал, «как выглядит мир и как его часто описывают»), а также ролики без описаний — чтобы понять, «как движется мир».
Вот так нейросеть Make-A-Video представляет себе собаку в костюме супергероя с красным плащом, летящую по небу.
Как и нейросети, генерирующие изображения по описанию, Make-A-Video умеет менять стилистику своих работ и генерировать ролики на основе дополнительных данных. К примеру, нейросеть может «оживить» картину.
Наконец, нейросеть может обрабатывать предложенные ей ролики. Видео с кроликами, поедающими травку, сгенерировано на основе другого ролика.
Пока Make-A-Video не выложена в открытый доступ. Разработчик принимают заявки от желающих поэкспериментировать с нейросетью, но не говорят, когда может быть предоставлен доступ.
* Компания Meta признана в России экстремистской организацией.