AMD показала Threadripper Halo с 576 ГБ памяти — это конкурент Nvidia DGX Station

Продажи Threadripper Halo планируется запустить не раньше 2027 года.

На конференции IFA компания AMD анонсировала рабочую станцию Threadripper Halo, рассчитанную на локальный запуск крупных ИИ-моделей. В рабочую станцию можно установить до 4 ускорителей Instinct MI350P с суммарным объемом памяти 576 гигабайт.

Каждый Instinct MI350P оснащен 144 ГБ HBM3e с пропускной способностью 4 ТБ/с и обеспечивает до 4.6 петафлопс производительности при работе с числами формата FP4. В конфигурацию с 4 ускорителями влезут модели с более чем 1 триллионом параметров.

Также Threadripper Halo получила 96-ядерный процессор Threadripper PRO 9995WX и до 2 терабайт оперативной памяти DDR5. При частичном переносе данных в оперативную память Threadripper Halo сможет работать и с еще более крупными открытыми моделями.

В частности, AMD утверждает, что рабочая станция может запустить модель Kimi K3 от Moonshot.AI с 2.8 триллиона параметров. Скорость инференса, видимо, будет достаточной для локального использования.

Основным конкурентом Threadripper Halo станет рабочая станция Nvidia DGX Station. Правда, AMD отмечает, что ее решение предлагает до 3.4 раза больше памяти и более чем вдвое превосходит DGX Station по пропускной способности памяти.

Продажи Threadripper Halo стартуют в 2027 году, цена рабочей станции не объявлена.