Работающая на процессорах нейросеть Microsoft смогла обойти традиционных конкурентов схожих размеров

При работе модель тратила всего 400 мегабайт памяти.

Исследовательское подразделение корпорации Microsoft выпустило экспериментальную нейросеть BitNet b1.58 2B. Авторы называют свою разработку первой однобитной языковой моделью с открытыми исходниками; модель адаптирована для работы на обычных процессорах.

Обычно нейросети работают либо на GPU, либо на специальных ускорителях. Модель BitNet b1.58 2B, функционируя на процессорах, потребляет меньше памяти, чем конкуренты, и обходит их в некоторых бенчмарках.

Для работы BitNet b1.58 2B нужно всего 400 мегабайт памяти (LLama 3.2 с 1 миллиардом параметров нужно 2 гигабайта), при этом модель работает быстрее протестированных конкурентов. Кроме того, BitNet b1.58 2B оказалась гораздо энергоэффективнее соперников.

Модель была натренирована на 4 триллионах токенов контента, она получила 2 миллиарда параметров. Исследователи выложили в открытый доступ веса основной модели, а также связанные с ней исходники.

Важный момент: BitNet b1.58 2B работает на основе фреймворка BitNet, созданного Microsoft. Сейчас фреймворк не умеет работать с NPU и GPU, добавить их поддержку планируется в обозримом будущем.

В Microsoft называют BitNet b1.58 2B доказательством того, что однобитные модели могут на равных конкурировать с традиционными нейросетями, превосходя их в некоторых областях. Компания планирует продолжить исследования в этом направлении.