Nvidia показала генерацию трехмерных сцен по одной картинке

Результат оказался лучше, чем у технологий конкурентов.

Корпорация Nvidia продемонстрировала технологию GeNVS, способную по одному исходному кадру генерировать трехмерные сцены. В основе технологии лежит генеративная нейросеть, принцип работы которой близок к нейросетям-генераторам вроде Stable Diffusion.

Разработка Nvidia может создавать сцены со сложными объектами: например, автомобилем или пожарным гидрантом. Можно предположить, что важную роль в работе системы играет симметричность объектов.

По оценке исследователей Nvidia, сейчас GeNVS генерирует более качественные сцены, чем конкурирующие разработки. В демо-роликах работы GeNVS и в самом деле очень близки к референсным изображениям.

С помощью GeNVS можно виртуально прогуляться по пространству, сгенерированному на основе одного кадра. Обратите внимание на конец демонстрации: исследователи несколько раз поворачивают виртуальную камеру, демонстрируя фрагменты локации, отсутствующие на исходном кадре.

Nvidia планирует выложить исходники GeNVS в открытый доступ. Код должен появиться здесь, пока он не опубликован.