Нейросеть «запекли» в чип без внешней памяти — инференс в 48 раз быстрее Nvidia B200

Кое-какие возможности для кастомизации все-таки остались.

Стартап Taalas предложил новый подход к ускорению инференса нейросетей. Компания показала ускоритель Taalas HC1, чип которого представляет собой «запеченную» нейросеть вместе с весами.

Ускоритель не нуждается в десятках гигабайт внешней памяти и может очень быстро обрабатывать запросы. Тестовая версия HC1, использующая модель Llama 3.1 8B, выдает 16960 токенов в секунду — в 10 раз больше, чем система на базе Cerabras, и в 48 раз больше, чем Nvidia B200.

Есть ограничение: конкретный чип может работать только с конкретной нейросетью, HC1 не может запустить другую версию Llama или какой-то иной модели. Для этого придется проектировать отдельный чип.

Для тюнинга модели инженеры Taalas оставили возможность менять размер контекстного окна. Кроме того, поддерживаются LoRA-адаптеры, позволяющие тонко настраивать выдачу нейросети.

По оценке компании, производство ее ускорителя обходится примерно в 20 раз дешевле производства «современных аналогов», а энергопотребление во время инференса примерно в 10 раз меньше.

В конце 2026 года Taalas намерена выпустить ускоритель на втором поколении своего чипа. На этот раз в чипе «запекут» фронтир-модель, компания не говорит, о какой именно нейросети идет речь.