ИИ взял дробовик и иногда защищал Датча: нейросеть сыграла в Red Dead Redemption 2

С дробовиком все неплохо, но у Датча проблемы.

GPT-4, последняя версия большой языковой модели от OpenAI, снабжена модулем компьютерного зрения, способным распознавать изображения. Исследователи из Сингапура и Китая попробовали использовать его для игры в Red Dead Redemption 2.

В ходе эксперимента перед ИИ ставилось 7 задач. Нейросети требовалось выполнять их, взаимодействуя с игрой и получая обратную связь в виде обычных геймплейных кадров, распознававшихся GPT-4V.

В основном опыты проводились на первых сюжетных миссиях игры. Искусственный интеллект должен был добираться до сарая, обыскивать дом, брать дробовик, покупать припасы и так далее. После нескольких попыток выполнить задание исследователи подсчитывали, какое число попыток было успешным.

Оказалось, лучше всего нейросеть может вооружаться дробовиком и добираться до сарая. Со следованием за лошадью у искусственного интеллекта тоже все неплохо.

Хуже всего ИИ дались задачи по покупке припасов, обыскиванию дома и защите Датча. Все задания выполнялись нейросетью примерно в 40% случаев.

Исследователи полагают, что результативность можно нарастить, повысив качество работы GTP-4V. Компьютерное зрение, объясняют ученые, работает не очень хорошо и не распознает вещи вроде значков на мини-карте, а также плоховато справляется с препятствиями.