Авторы самого большого процессора в мире показали быстрый чип для работы с ИИ

Вы не ошибетесь, если предположите, что он тоже очень большой.

Компания Cerebras Systems, известная как производитель процессоров рекордных размеров, анонсировала новый чип: Wafer Scale Engine 3. Он предназначен для вычислений, связанных с искусственным интеллектом.

Процессор WSE-3 производится по 5-нм техпроцессу TSMC и несет на борту 4 триллиона транзисторов. Вычислениями занимаются 900 тысяч ядер, выдающих производительность в 125 петафлопс при вычислениях, связанных с ИИ.

Помимо 900 тысяч ядер процессор получит 44 гигабайта встроенной памяти с пропускной способностью 21 петабайт в секунду. WSE-3 будут использовать в суперкомпьютере CS-3, способном быстро обучать большие языковые модели.

По оценке компании, четыре системы CS-3 могут обучить модель Llama с 70 миллиардами параметров за один день. Примечательно, что энергопотребление суперкомпьютера осталось таким же, как у его предыдущего поколения.

В Cerebras Systems отмечают, что их разработка заметно эффективнее мини-суперкомпьютера DGX H100 от компании Nvidia. В частности, при обучении языковых моделей CS-3 примерно в 8 раз быстрее DGX H100. Кроме того, для обучения языковых моделей на CS-3 нужно писать гораздо меньше кода, чем в случае решений Nvidia.

Информации о стоимости CS-3 пока нет. Известно, что на базе CS-3 планируется построить кластер Condor Galaxy 3, состоящий из 64 таких систем.