Nvidia научилась быстро генерировать трехмерную сцену по нескольким фотографиям

Получился, шутят в компании, трехмерный Polaroid.

На конференции GTC корпорация Nvidia рассказала о технологии Instant NeRF, позволяющей генерировать трехмерную сцену на базе фотографий. В основе Instant NeRF лежит нейросеть, обучаемая на этих фотографиях.

Единственный важный момент — изображения должны быть сняты под разными углами. Анализируя кадры и ракурсы, с которых они сделаны, ИИ определяет, где находятся источники света и как в сцене расположены объекты.

Для работы Instant NeRF требуется несколько десятков кадров. Желательно, чтобы во время съемок люди и объекты в кадре были максимально статичны — иначе трехмерная сцена будет размытой.

Сама по себе технология генерации трехмерной сцены по фотографиям не нова, но Nvidia удалось значительно ускорить процесс. Instant NeRF создает сцену за несколько десятков миллисекунд — это до тысячи раз быстрее, чем у других решений.

Возможно, шутят в Nvidia, технология станет этаким трехмерным аналогом фотоаппарата Polaroid, моментально выдающего двухмерные фото. Впрочем, пока компания не выложила Instant NeRF в открытый доступ.