Tencent показал генератор видео Voyager, работающий по одному кадру

За один проход генерируется пара секунд видео, но их можно склеивать.

Китайский холдинг Tencent выпустил мировую модель HunyuanWorld-Voyager, способную по одному изображению создавать трехмерный мир. Полноценно полетать по миру нельзя, но можно задать траекторию движения камеры.

Voyager генерирует наборы из 49 кадров, на выходе получается примерно две секунды видео. Эти клипы можно объединять, получая более длинные сцены; в Tencent говорят, что при желании можно получить ролики длиной в несколько минут.

Одновременно с видео модель генерирует карты глубины объектов в кадре. Это позволяет реконструировать объекты в виде облаков точек и использовать их для полноценной трехмерной визуализации.

«Под капотом» у модели находится world cache, база данных облаков точек, извлеченных из уже сгенерированных кадров. Для обучения модели исследователи использовали более 100 тысяч видеороликов, включая сцены, созданные с помощью движка Unreal Engine.

При генерации информация из world cache используется как контрольная: модель проецирует накопленные точки в 2D, сверяет перспективу и корректирует несоответствия. Такой подход помогает сохранять иллюзию движения в пространстве и делает выдачу Voyager стабильнее, чем у конкурентов.

Впрочем, HunyuanWorld-Voyager не удалось целиком избавить от проблемы накопления ошибок, характерной для моделей на архитектуре трансформера. Со временем целостность сцены все-таки нарушится.

Запустить модель локально не получится. Для генерации роликов в разрешении 540p требуется минимум 60 ГБ видеопамяти, а для стабильных результатов разработчики рекомендуют использовать 80 ГБ памяти.

Примечательно, что HunyuanWorld-Voyager запрещено использовать в странах Европейского союза, Великобритании и Южной Корее. На Россию ограничения не распространяются.