В Minecraft собрали маленькую языковую модель — и она реально большая

Заодно CraftGPT снабдили огромным экраном.

Ютубер sammyuri сумел создать в Minecraft языковую модель с 5 миллионами параметров. Модель работает прямо в игре, для ее создания не использовались датапаки и командные блоки.

Хотя энтузиаст называет свой проект маленькой языковой моделью, в игровом смысле она просто гигантская. Модель занимает объем 1020 на 260 на 1656 блоков и выглядит чрезвычайно впечатляюще.

CraftGPT — так энтузиаст назвал свой проект — обучалась с помощью Python на датасете TinyChat. Модель состоит из шести слоев и обладает словарным запасом в 1920 токенов, она может работать с контекстом в 64 токена (это очень мало).

Поэкспериментировать с языковой моделью, работающей в Minecraft, могут все желающие: мир выложен в открытый доступ. Исходники CraftGPT опубликованы на GitHub, для работы рекомендуется 64 гигабайта памяти или больше.