Nvidia показала ИИ, создающий 3D-модель по набору фотографий

Похожая технология есть и для генерации целых сцен.

Кстати, на сайте читать удобнее

Компания Nvidia показала технологию MoMa, упрощающую создание трехмерных моделей реальных объектов. Обычно для этого используется сканер, MoMa позволяет обойтись обычным фотоаппаратом.

В основе технологии лежит нейронная сеть, анализирующая серию фотографий объекта. Искусственный интеллект умеет распознавать форму объекта и генерировать сложные модели — в том числе с прорезями и мелкими деталями.

Для демонстрации возможностей MoMa в Nvidia создали модели нескольких музыкальных инструментов, от барабана до тромбона. Чтобы сгенерировать модели, потребовалось больше сотни фотографий.

Помимо модели нейросеть генерирует материалы объекта — чтобы пластик выглядел как пластик, а металл как металл — и воссоздает освещение, при котором делались фотографии. При желании и материалы, и освещение можно редактировать.

Модели, созданные таким образом, можно импортировать во все популярные редакторы. Но генерация занимает довольно много времени: один GPU Nvidia, снабженный тензорными ядрами, потратил на создание модели час.