EA SEED создали ИИ, самостоятельно научившийся играть в Battlefield 1

Уже несколько лет в Electronic Arts действует подразделение SEED, занимающееся исследованием новых технологий и их возможного применения в играх. На конференции GDC команда SEED показала самообучающийся ИИ, научившийся играть в Battlefield 1.

Обычно искусственный интеллект создают и настраивают специально под конкретную игру. Команда SEED, вдохновившаяся опытом DeepMind, решила попытаться создать ИИ, способный самостоятельно изучать правила игры и подстраиваться под меняющиеся условия и окружение.

Технический директор EA SEED Магнус Нордин вспоминает, что эксперименты по созданию самообучающегося ИИ начались сразу после создания подразделения SEED. Сначала команда Магнуса создала для тестирования ИИ простой шутер-прототип; затем, добившись приемлемых результатов, разработчики объединились со студией DICE и подключили самообучающийся ИИ к Battlefield 1.

Созданный SEED искусственный интеллект использует модель имитационного обучения. Сначала программа наблюдала за поведением реальных игроков (базовое обучение заняло около 30 минут), а затем начала исследовать игру самостоятельно. Обучение занимает довольно много времени: показанные в ролике бойцы, управляемые самообучающимся ИИ, в общей сложности тренировались около 300 дней.

Агент достаточно хорошо разбирается в основах игрового процесса Battlefield и научился менять поведение в зависимости от определенных условий - например, при низком уровне боеприпасов или здоровья.

Магнус Нордин, технический директор EA SEED

За это время они играли как друг с другом, так и с обычными ботами, причем обучение искусственного интеллекта параллельно шло на нескольких компьютерах. Входная информация у ИИ почти такая же, как у обычных игроков: искусственный интеллект видит ту же самую картинку и мини-карту.

Во время тестов разработчики устроили несколько матчей самообучающегося ИИ с обычными игроками. Бой шел только с использованием пистолетов, живые игроки выиграли, но не с разгромным счетом.

Но при всем при том после игровых тестов некоторые участники попросили нас четко пометить агентов, чтобы их можно было отличить - для меня это хороший показатель того, насколько хорошо играют агенты и как они похожи в этом на людей.

Магнус Нордин, технический директор EA SEED

В демонстрационном ролике самообучающегося ИИ хорошо видно, что в некоторых ситуация управляемые компьютером персонажи ведут себя странно: толпой бегут в одно и то же место или бегают кругами. Магнус считает, что такие ситуации вызваны недостатком планирования: ИИ не очень хорошо умеет строить планы на будущее.

Сейчас, поясняет Магнус, если самообучающийся ИИ увидит противника, то он будет стараться его устранить, но искусственный интеллект теряется, когда вокруг все спокойно. В идеале ИИ должен отправляться исследовать карту или устроить засаду, пока до этого далеко.

В будущем, считает Нордин, самообучающийся искусственный интеллект на базе нейронных сетей наверняка найдет свое применение в играх. NPС, управляемые таким ИИ, смогут приспосабливаться к окружающей среде, приобретать ценный опыт и лучше взаимодействовать с игроком.

Самообучающиеся агенты - хорошая замена старомодным ботам, машинное обучение можно использовать в разных областях: процедурная генерация контента, анимация, генерация голоса, распознавание речи и тому подобное.

Магнус Нордин, технический директор EA SEED

Прямо сейчас наработки EA SEED скромнее: созданный подразделением Магнуса искусственный интеллект помогает студии DICE искать баги в их проектах. Тоже неплохо.