Nvidia показала генерацию качественных моделей и текстур по фото и описанию

Конечно, дело не обошлось без специальной нейронной сети.

Исследователи из Nvidia Research и Университета Торонто показали технологию генерации высококачественных текстурированных моделей на базе обычных фотографий. В основе технологии лежит генеративная модель GET3D.

Нейросеть, созданная Nvidia, может создавать модели со сложной топологией и большим количеством деталей. Текстуры, уверяют в компании, тоже получаются достаточно качественными.

GET3D обучается на двухмерных изображениях и может работать с очень разными классами объектов. Например, нейросеть справляется с генерацией моделей и текстур мебели, людей, животных, домов, транспортных средств.

По словам представителей компании, GET3D генерирует модели и текстуры куда более высокого качества, чем предыдущие разработки в этой области. К примеру, при генерации животных нейросеть не забывает об ушках и хвостах, а у моделей девушек есть туфли на высоком каблуке.

Примечательно, что нейросети можно давать дополнительные текстовые указания. К примеру, можно сообщить, что она генерирует не просто дом, а заброшенное здание. Попросить сгенерировать свинью-тигра тоже можно, результат будет довольно своеобразным.