Большую языковую модель запустили на ПК 25-летней давности

Формально ее можно назвать не очень-то большой моделью.

Кстати, на сайте читать удобнее

Принято считать, что современные большие языковые модели — например, GPT от OpenAI — требуют для работы чрезвычайно мощное железо, но это не совсем так. Современную модель можно запустить и на очень старой системе.

Это продемонстрировала команда EXO Labs, запустившая модель stories на ПК 25-летней давности. В качестве хоста использовалась система с Windows 98, процессором Intel Pentium II и 128 мегабайтами памяти.

Чтобы нейросеть работала на такой системе, ей пришлось немного помочь. В частности, использовался легкий кастомный движок для инференса, написанный на чистом языке C. С компиляцией кода для старой системы возникли проблемы, но в итоге их удалось решить.

Большая языковая модель работала только на процессоре, GPU не использовался. Модель с 15 миллионами параметров выдавала на Pentium II 1 токен в секунду, модель с 260 тысячами параметров генерировала уже 39 токенов в секунду.

Энтузиасты полагают, что относительно современная модель Llama 3.2 1B* выдавала бы на такой системе порядка 0.0093 токена в секунду, то есть одного слова в ответ пришлось бы ждать порядка трех минут. Современные системы справляются с обсчетом нейросетей гораздо быстрее.

Исходники адаптированного движка для инференса, предназначенного для запуска моделей Llama на старом железе и Windows 98, выложены в открытый доступ.