Nvidia показала заполнение локации с помощью GPT-4

Вся генерация происходила внутри Omniverse.

Корпорация Nvidia продемонстрировала, как нейросеть GPT-4 может использоваться для заполнения локаций — например, игровых. Исследователи Nvidia встроили GPT-4 в Omniverse, платформу компании для совместного создания контента.

Нейросеть работала вместе с Omniverse DeepSearch, библиотекой на базе ИИ, способной отыскивать ассеты в обширных библиотеках ресурсов. Пользователю нужно было лишь обозначить фрагмент локации и задать текстовое описание.

Запрос на естественном языке обрабатывался GPT-4 и Omniverse DeepSearch: две нейросети находили подходящие объекты в библиотеках ассетов, а затем расставляли их по обозначенному фрагменту локации.

Как отмечают в Nvidia, нейросети ставили объекты логично. Например, журнальный столик оказывался между диванами, а кровать снабжалась тумбочкой.

Если вариант локации, предложенной ИИ, не нравился пользователю, он мог попросить нейросеть переставить мебель. Двигать объекты вручную тоже можно.

В Nvidia полагают, что со временем инструменты на базе ИИ позволят разработчикам создавать диалоги, выставлять освещение и управлять анимациями персонажей.