«Игры, неотличимые от реальности»: Intel показала технологию реконструкции трехмерного пространства

Качество работы технологии заметно выше, чем у аналогичных разработок.

На конференции по компьютерному зрению European Conference on Computer Vision сотрудники исследовательского подразделения Intel рассказали о технологии Free View Synthesis. Это метод реконструкции трехмерного пространства по фотографиям или видео.

Для работы Free View Synthesis достаточно нескольких кадров, показывающих сцену с разных углов. На их базе технология генерирует трехмерное пространство, по которому можно свободно перемещать виртуальную камеру.

В основе технологии лежит рекуррентная сеть. Она генерирует трехмерное пространство, опираясь на ряд вспомогательных данных, извлеченных из исходных кадров: прокси-карту глубины и созданную на ее базе грубую версию сцены с прокси-геометрией.

За генерацию графики отвечает нейронная сеть, обучающаяся на тех же исходных данных, из которых генерируется базовое пространство. Исследователи подчеркивают, что технологии не нужна адаптация или тонкая настройка под конкретную сцену.

По словам Владлена Колтуна, одного из создателей Free View Synthesis, технология может найти применение в игровой индустрии. В теории, с ее помощью можно создавать «игры, неотличимые от реальности». До практического применения еще далеко.

Например, объясняет исследователь, нынешняя версия технологии позволяет работать только со статическими сценами: единственный подвижный объект это сама камера. В будущем, допускает Владлен, технология научится работать и с динамическими сценами.

Однако в обозримом будущем фотореалистичные игры, созданные на базе аналогичных технологий, вряд ли появятся. Нынешняя версия технологии не оптимизирована даже для работы в реальном времени — это, подчеркивает Владлен, решаемый вопрос, но в ближайшие пару лет фотореалистичную графику, созданную ИИ, ждать не стоит.