GPT-4 сыграла в Doom, получилось не очень хорошо

Во всяком случае, нейросеть научилась вести огонь.

Сотрудник исследовательского подразделения Microsoft Адриан де Винтер опубликовал научную работу, посвященную GPT-4 и Doom. Адриан решил выяснить, может ли большая языковая модель играть в Doom; оказалось, это возможно.

Примечательно, что GPT-4 не проходила дополнительное обучение механикам Doom. На входе у нейросети были только скриншоты, распознававшиеся GPT-4 самостоятельно, и несколько промптов.

В результате распознавания изображения модель получала текстовое описание того, что происходит перед игроком. Затем GPT-4 анализировала его и принимала решения о том, что нужно сделать дальше; решения транслировались в команды, передававшиеся в Doom.

Нейросеть оказалась способна перемещаться по игровому миру, взаимодействовать с дверями и вести огонь из оружия. Правда, возникло и несколько проблем.

Во-первых, GPT-4 не запоминала контекст: например, если противник выходил за пределы экрана, то модель тут же забывала о его существовании. Адриан попытался решить проблему с помощью промптов, но не преуспел.

Во-вторых, модель не очень хорошо ориентировалась в игровом мире и могла застревать. Скорее всего, причина та же, что и у игнорирования врагов за кадром: трудности с пониманием своего положения относительно объектов.

Наконец, исследователю было нелегко отлаживать проект. Когда GPT-4 просили объяснить, почему было принято то или иное решение, объяснения часто содержали неверную информацию; кроме того, модель регулярно галлюцинировала.

Впрочем, отмечает де Винтер, интересно другое: ему без особых проблем удалось заставить модель вести огонь из оружия (пусть и виртуального), причем довольно точно. Это, считает исследователь, поднимает вопросы о потенциально опасного использования подобных моделей.