Nvidia выпустила генератор 3D-сцен на базе плоских изображений

Поэкспериментировать с технологией могут все желающие.

Исследовательское подразделение Nvidia выпустило инструмент Instant NeRF, генерирующий трехмерные сцены на основе плоских изображений. Важный момент: для генерации нужно не одно изображение, а набор кадров.

Нейросеть, лежащая в основе Instant NeRF, анализирует кадры, описывающие сцену, и генерирует ее трехмерное представление. Прежде, отмечают исследователи, для выполнения таких задач требовалась большая вычислительная мощность, теперь хватит видеокарты GeForce RTX.

По сцене, сгенерированной Instant NeRF, можно виртуально полетать. Детализация сцены зависит не только от количества кадров, но и от того, как долго обучается нейронная сеть.

Интересный момент: нейросеть не умеет распознавать зеркала. С точки зрения Instant NeRF зеркало это проход в комнату, отражающую ту, где находится наблюдатель, то есть по отражению тоже можно полетать.

Поэкспериментировать с Instant NeRF могут все желающие: проект выложен на GitHub. А вот здесь можно посмотреть на трехмерные сцены, созданные с помощью технологии.