ИИ научили играть в Genshin Impact — заодно он освоил и другие игры

Но данных для Black Myth Wukong оказалось недостаточно.

Группа китайских исследователей рассказала о необычном применении для довольно старой (зато быстрой) модели Qwen 2 от Alibaba. Исследователям удалось научить модель играть в Genshin Impact, причем заодно нейросеть освоила и некоторые другие игры.

Модель, получившая название Lumine, обучалась на специально собранном датасете. Для наполнения датасета игроки проходили задания и решали головоломки, затем с помощью GPT-4.1 данные были дополнительно размечены и снабжены текстовыми описаниями.

Кроме того, в геймплейных роликах из датасета были выделены моменты, когда игрок начинал делать нечто совершенно новое. Эти моменты были снабжены короткими цепочками рассуждений, чтобы модель лучше понимала контекст.

Обученная на таком датасете модель была специальным образом оптимизирована для работы в более-менее реальном времени. После всех оптимизаций модель обрабатывала данные за последние 4 секунды (это 20 кадров) и выдавала команду (или серию команд) примерно за 200 миллисекунд.

Хотя по бенчмаркам Qwen 2 существенно уступает современным моделям, после дообучения и оптимизации она смогла отлично играть в Genshin Impact — во всяком случае, пока модели попадался контент, похожий (но не идентичный) тому, что был в датасете.

Например, в демо-ролике нейросеть играет в Genshin Impact два часа подряд, проходя задания, прокликивая диалоги и сражаясь с разнообразными противниками.

Интересный момент: нейросеть научилась играть не только в Genshin Impact. Та же модель хорошо показала себя в Honkai: Star Rail и Wuthering Waves, пройдя первую главу (5 часов) в первом случае и 100 минут заданий во втором случае без дополнительного обучения.

Впрочем, создать комбайн по прохождению любых игр исследователям не удалось. В Black Myth Wukong модель могла «базово» перемещаться по миру и сражаться, но до результатов в других играх нейросети было далеко.