Аватар Evernews Evernews 10369

ИИ научился играть в Minecraft по геймплейным роликам и смог создать алмазную кирку

0
0
Поделиться
Телеграфировать

Чтобы добиться таких результатов, модель пришлось дообучать.

ИИ научился играть в Minecraft по геймплейным роликам и смог создать алмазную кирку

Исследователи из OpenAI опубликовали научную работу, посвященную Minecraft. Искусственный интеллект, созданный OpenAI, сумел освоиться в игре, ничего не зная о сути ее механик.

Как и в некоторых других экспериментах OpenAI, для обучения нейронной сети использовались видеоролики, выложенные игроками в Minecraft в открытый доступ. Нейросеть не знала, что происходит в видео, но ее снабдили данными о том, какие клавиши нажимают игроки.

  • Для обучения ИИ было собрано 70 тысяч часов геймплея в Minecraft.
  • Подрядчики отсмотрели 2 тысячи часов видео, снабдив ролики пометками о том, какие клавиши нажимаются в какой момент.
  • На основе этих данных была обучена специальная нейросеть. Она проанализировала остальные видео и разметила их таким же образом.
  • Затем эти данные использовали для обучения «основного» ИИ.
  • Искусственный интеллект играл в обычную версию Minecraft: анализировал ту же картинку, что видел бы игрок, и управлял персонажем с помощью обычных команд.
  • Без тонкой настройки модели ИИ мог крафтить верстаки, охотиться, плавать, употреблять пищу и строить столбы из блоков так же, как это делают некоторые игроки.

Для улучшения модели подрядчики сгенерировали дополнительные данные: ИИ дообучили на роликах, в которых игроки за 10 минут строили дом в новом мире.

После дообучения нейросеть стала гораздо увереннее использовать базовые навыки, а также научилась обыскивать сундуки и стала строить рудиментарные укрытия.

  • Затем исследователи перешли к обучению с подкреплением, награждая ИИ за действия, ведущие к конечной цели: созданию алмазной кирки.
  • Чтобы изготовить такую кирку, надо выполнить довольно сложную последовательность действий, добыв разнообразные ресурсы и скрафтив несколько предметов.
  • Оказалось, что если использовать обучение с подкреплением на стандартной модели, то ИИ даже после нескольких миллионов итераций не понимает, чего от него хотят.
  • С другой стороны, модель, дообученная с помощью дополнительных роликов, постепенно получала все больше наград и в итоге смогла выполнить задачу, скрафтив алмазную кирку.

Для этого искусственному интеллекту пришлось предпринять больше 24 тысяч действий, самостоятельно играя в Minecraft на протяжении более 20 минут. Попутно ИИ показал «уровень успеха на уровне игрока-человека» в добыче всех необходимых предметов.

Как полагают в OpenAI, прежде никому не удавалось создать искусственный интеллект, способный играть в Minecraft на таком уровне, не обладая знаниями о сути игры. Исходники своей модели исследователи выложили в открытый доступ.

Теги: Minecraft, Игры, Технологии
Аватар Evernews
Evernews
7990 подписчиков
Игроки сравнили миры Euro Truck Simulator 2 и ATS: фото