Nvidia показала нейросеть, создающую реалистичные 3D-модели на базе сгенерированных изображений

Правда, их пока не получится тут же использовать в своем проекте.

Современные нейронные сети могут генерировать очень реалистичные двухмерные изображения: при желании их даже можно использовать для создания игрового контента. С генерацией трехмерных моделей все сложнее, но работа в этом направлении тоже ведется.

Группа исследователей Nvidia и Стэнфордского университета показала нейросеть EG3D, способную генерировать реалистичные трехмерные модели. Исходники, необходимые для самостоятельного тестирования нейросети, выложены в открытом доступе.

EG3D работает в два прохода. Сперва нейросеть генерирует серию двухмерных изображений, используя генеративно-состязательные сети, а затем на их основе создает трехмерную модель.

По оценке исследователей, 3G3D создает более качественные модели, чем нейросети-конкуренты. Но о том, чтобы использовать такие модели в играх или кино, речь пока не идет.

Судя по кадрам, показанным исследователями, модели состоят из достаточно большого количества полигонов, а их оптимизация и доработка займет массу времени — проще сделать модель с нуля.

Для генерации моделей Nvidia рекомендует использовать от 1 до 8 высокопроизводительных видеокарт. Исследователи проводили эксперименты на GeForce RTX 3090, а также ускорителях A100 и V100, но можно взять и менее быстрые устройства.