Представлена CAT3D, технология быстрой реконструкции 2D в 3D

Разумеется, у нее под капотом есть нейросети.

Группа исследователей из Google Research и Google DeepMind показала технологию CAT3D. Она предназначена для быстрой реконструкции трехмерных пространств на основе наборов изображений — весь процесс занимает около минуты.

Для построения трехмерной сцены CAT3D достаточно нескольких фотографий или артов, показывающих объект или сцену с разных ракурсов. Интересный момент: сцену не нужно демонстрировать со всех сторон.

CAT3D умеет правдоподобно восстанавливать фрагменты изображений, не попавшие в кадр — например, задние части объектов. Судя по демо-ролику, технология справится и с елочкой, и со скелетом, и с крокодилом.

В основе CAT3D лежит нейросеть Latent Diffusion, прошедшая специальную тренировку. Благодаря обучению модель может создавать изображения, описывающие сцену и сохраняющие консистентность.

На основе созданных изображений запускается дополнительное обучение системы нейронного рендеринга, выдающей трехмерную версию сцены. По оценке авторов проекта, CAT3D справляется с воссозданием трехмерных сцен заметно лучше конкурентов.

Посмотреть несколько демонстраций работы технологии можно здесь.