Minecraft стала базой для научной работы — для игры сделали автономного агента

Специально обученный агент может выполнять довольно сложные задачи.

Группа исследователей из университетов Китая и США рассказала о создании автономного агента OmniJARVIS на базе модели Vision-Language-Action, способного выполнять сложные последовательности действий в виртуальном пространстве. В качестве такого пространства исследователи выбрали Minecraft.

Vision-Language-Action — мультимодальная большая языковая модель, задача которой заключается в выполнении сложных поручений пользователя. К примеру, модель можно попросить раздобыть каменную кирку, не указывая, что для этого нужно сделать.

Чтобы познакомить модель с миром Minecraft, исследователи использовали геймплейные ролики. Проанализировав их, модель выучила основные геймплейные механики — они были разбиты на множество действий.

Выполнение запросов игрока происходит в два приема. Сперва языковая модель анализирует запрос и определяет, какие действия нужно предпринять для его выполнения. Например, в случае с каменной киркой модель сообразит, что ей нужно дополнительное дерево для создания верстака.

Проанализировав запрос и выбрав первое необходимое действие, модель спустит соответствующие указания детокенайзеру. Его задача — отыскать нужное действие среди заранее изученных и выполнить его.

Когда действие будет выполнено, модель еще раз проанализирует свое состояние и состояние мира, оценив, приблизилась ли она к цели — выполнению первичного задания пользователя. В случае необходимости модель определит следующий шаг и займется его выполнением.

У OmniJARVIS, пишут исследователи, есть и другие способности: например, он может выступать в роли справочника, отвечая на вопросы игрока. К сожалению, опробовать OmniJARVIS пока нельзя — исходники не выложены в открытый доступ.