Xbox 360 стала ИИ-устройством: на консоли запустили большую языковую модель

Работает не очень шустро — но все-таки работает.

Разработчик Эндрю Дэвид вдохновился примером команды EXO Labs, запустившей модель stories на ПК 25-летней давности, и превратил Xbox 360 в ИИ-устройство. Предварительно консоль пришлось взломать: Xbox 360 не разрешает запуск пользовательских приложений.

На Xbox 360 была запущена кастомная версия llama2.c, дополнительно доработанная для поддержки архитектуры PowerPC, используемой старой консолью. Кроме того, была проведена оптимизация для снижения потребления памяти.

Работая на трехъядерном чипе PowerPC, модель выдает несколько токенов в секунду. Эндрю не стал создавать полноценный текстовый интерфейс: промпт заранее зашит в код, модель сразу начинает генерировать текст.

Как пишет Эндрю, в рамках эксперимента ему пришлось написать перестановку байтов для конфигурации и весов модели и тщательно структурировать саму модель: ее размер не должен был превышать 60 мегабайт.

Дэвид отмечает, что добиться успеха удалось благодаря его специфическому опыту: в свое время Эндрю разрабатывал под Xbox 360. На момент выпуска консоль была крайне технологичной — например, использовала общую память для CPU и GPU, — и разработчикам было непривычно иметь дело с такой системой.