ИИ научился играть в Minecraft по геймплейным роликам и смог создать алмазную кирку
Чтобы добиться таких результатов, модель пришлось дообучать.
Кстати, на сайте читать удобнее
Исследователи из OpenAI опубликовали научную работу, посвященную Minecraft. Искусственный интеллект, созданный OpenAI, сумел освоиться в игре, ничего не зная о сути ее механик.
Как и в некоторых других экспериментах OpenAI, для обучения нейронной сети использовались видеоролики, выложенные игроками в Minecraft в открытый доступ. Нейросеть не знала, что происходит в видео, но ее снабдили данными о том, какие клавиши нажимают игроки.
- Для обучения ИИ было собрано 70 тысяч часов геймплея в Minecraft.
- Подрядчики отсмотрели 2 тысячи часов видео, снабдив ролики пометками о том, какие клавиши нажимаются в какой момент.
- На основе этих данных была обучена специальная нейросеть. Она проанализировала остальные видео и разметила их таким же образом.
- Затем эти данные использовали для обучения «основного» ИИ.
- Искусственный интеллект играл в обычную версию Minecraft: анализировал ту же картинку, что видел бы игрок, и управлял персонажем с помощью обычных команд.
- Без тонкой настройки модели ИИ мог крафтить верстаки, охотиться, плавать, употреблять пищу и строить столбы из блоков так же, как это делают некоторые игроки.
Для улучшения модели подрядчики сгенерировали дополнительные данные: ИИ дообучили на роликах, в которых игроки за 10 минут строили дом в новом мире.
После дообучения нейросеть стала гораздо увереннее использовать базовые навыки, а также научилась обыскивать сундуки и стала строить рудиментарные укрытия.
- Затем исследователи перешли к обучению с подкреплением, награждая ИИ за действия, ведущие к конечной цели: созданию алмазной кирки.
- Чтобы изготовить такую кирку, надо выполнить довольно сложную последовательность действий, добыв разнообразные ресурсы и скрафтив несколько предметов.
- Оказалось, что если использовать обучение с подкреплением на стандартной модели, то ИИ даже после нескольких миллионов итераций не понимает, чего от него хотят.
- С другой стороны, модель, дообученная с помощью дополнительных роликов, постепенно получала все больше наград и в итоге смогла выполнить задачу, скрафтив алмазную кирку.
Для этого искусственному интеллекту пришлось предпринять больше 24 тысяч действий, самостоятельно играя в Minecraft на протяжении более 20 минут. Попутно ИИ показал «уровень успеха на уровне игрока-человека» в добыче всех необходимых предметов.
Как полагают в OpenAI, прежде никому не удавалось создать искусственный интеллект, способный играть в Minecraft на таком уровне, не обладая знаниями о сути игры. Исходники своей модели исследователи выложили в открытый доступ.