Анонсирован «самый быстрый ИИ-чип в истории» — но с нюансом

Высокую производительность удастся увидеть только на определенном классе задач.

Кстати, на сайте читать удобнее

Компания Etched анонсировала Sohu — «самый быстрый ИИ-чип в истории». Согласно тестам, проведенным Etched, ускоритель на базе Sohu примерно в 20 раз быстрее ускорителя Nvidia H100.

По оценке компании, в сравнении с новейшим ускорителем B200 от Nvidia Sohu более чем в 10 раз быстрее и в то же время дешевле. Например, один сервер с 8 ускорителями Sohu может обрабатывать больше 500 тысяч токенов в секунду при работе с моделью Llama 70B.

Есть нюанс: Sohu заточен только под определенный класс задач. Чип умеет очень быстро выполнять вычисления, необходимые современным моделям-трансформерам: эту архитектуру используют GPT, Llama, Claude и все остальные современные большие языковые модели.

Как объясняют в Etched, специализированный ASIC-чип понадобился, потому что обычные GPU, используемые в ускорителях, не слишком эффективны: для обучения нейросетей требуется масса ресурсов и времени.

Примечательно, что похожий подход использовался для ускорения майнинга криптовалют. Например, биткоин сперва майнили на процессорах, потом перешли на видеокарты, сейчас используются специализированные ASIC-майнеры.

Sohu поддерживает все современные модели-трансформеры: от генератора музыки Suno до генератора изображений Stable Diffusion. В Etched уверены, что путем проектирования специализированных чипов пойдут и другие компании — в стартапе просто успели раньше.

О том, когда Sohu поступит в продажу, не сообщается. Сперва ускорители будут доступны в облаке Sohu Developer Cloud.