На PlayStation 5 научились запускать нейросети
Разумеется, для таких экспериментов понадобится взломанная консоль.
На взломанных консолях PlayStation 5 появилась возможность запускать ИИ-модели. Благодаря порту llama.cpp консоль смогла работать с моделями, влезающими в 11.4 гигабайта памяти — больше выделить не удалось.
В ходе одного из экспериментов на консоли запустили сильно квантованную версию модели Qwen3.8-27B-UD-IQ2_XXS. Полноценная модель с 16-битной точностью требует около 54 гигабайт памяти, на PlayStation 5 запускали версию с 2 битами на параметр — она заняла меньше 7 гигабайт.
При окне контекста в 64 тысячи токенов было занято около 91% доступной памяти. Чип PlayStation 5 смог выдавать 20.9 токена в секунду, при этом CPU был загружен только на 2%.
Примечательно, что консоль не особо нагревалась: энергопотребление под нагрузкой оказалось на уровне 86 Вт, чип разогрелся до 54 градусов.
Более компактные модели работали на взломанной консоли заметно быстрее. Например, Gemma 4 E4B на PlayStation 5 разогналась до 61 токена в секунду, а Llama 3.2 3B выдавала 124 токена в секунду.
К сожалению, из-за относительно небольшого объема памяти на PlayStation 5 можно запускать только урезанные модели. Впрочем, можно попытаться соорудить вычислительный кластер из нескольких консолей.
