ИИ научился играть в Minecraft по геймплейным роликам и смог создать алмазную кирку

Чтобы добиться таких результатов, модель пришлось дообучать.

Исследователи из OpenAI опубликовали научную работу, посвященную Minecraft. Искусственный интеллект, созданный OpenAI, сумел освоиться в игре, ничего не зная о сути ее механик.

Как и в некоторых других экспериментах OpenAI, для обучения нейронной сети использовались видеоролики, выложенные игроками в Minecraft в открытый доступ. Нейросеть не знала, что происходит в видео, но ее снабдили данными о том, какие клавиши нажимают игроки.

• Для обучения ИИ было собрано 70 тысяч часов геймплея в Minecraft.
• Подрядчики отсмотрели 2 тысячи часов видео, снабдив ролики пометками о том, какие клавиши нажимаются в какой момент.
• На основе этих данных была обучена специальная нейросеть. Она проанализировала остальные видео и разметила их таким же образом.
• Затем эти данные использовали для обучения «основного» ИИ.

• Искусственный интеллект играл в обычную версию Minecraft: анализировал ту же картинку, что видел бы игрок, и управлял персонажем с помощью обычных команд.
• Без тонкой настройки модели ИИ мог крафтить верстаки, охотиться, плавать, употреблять пищу и строить столбы из блоков так же, как это делают некоторые игроки.

Для улучшения модели подрядчики сгенерировали дополнительные данные: ИИ дообучили на роликах, в которых игроки за 10 минут строили дом в новом мире.

После дообучения нейросеть стала гораздо увереннее использовать базовые навыки, а также научилась обыскивать сундуки и стала строить рудиментарные укрытия.

• Затем исследователи перешли к обучению с подкреплением, награждая ИИ за действия, ведущие к конечной цели: созданию алмазной кирки.
• Чтобы изготовить такую кирку, надо выполнить довольно сложную последовательность действий, добыв разнообразные ресурсы и скрафтив несколько предметов.

• Оказалось, что если использовать обучение с подкреплением на стандартной модели, то ИИ даже после нескольких миллионов итераций не понимает, чего от него хотят.
• С другой стороны, модель, дообученная с помощью дополнительных роликов, постепенно получала все больше наград и в итоге смогла выполнить задачу, скрафтив алмазную кирку.

Для этого искусственному интеллекту пришлось предпринять больше 24 тысяч действий, самостоятельно играя в Minecraft на протяжении более 20 минут. Попутно ИИ показал «уровень успеха на уровне игрока-человека» в добыче всех необходимых предметов.

Как полагают в OpenAI, прежде никому не удавалось создать искусственный интеллект, способный играть в Minecraft на таком уровне, не обладая знаниями о сути игры. Исходники своей модели исследователи выложили в открытый доступ.