Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

Анонсирован «самый быстрый ИИ-чип в истории» — но с нюансом

0
0
Поделиться
Телеграфировать

Высокую производительность удастся увидеть только на определенном классе задач.

Анонсирован «самый быстрый ИИ-чип в истории» — но с нюансом

Компания Etched анонсировала Sohu — «самый быстрый ИИ-чип в истории». Согласно тестам, проведенным Etched, ускоритель на базе Sohu примерно в 20 раз быстрее ускорителя Nvidia H100.

По оценке компании, в сравнении с новейшим ускорителем B200 от Nvidia Sohu более чем в 10 раз быстрее и в то же время дешевле. Например, один сервер с 8 ускорителями Sohu может обрабатывать больше 500 тысяч токенов в секунду при работе с моделью Llama 70B.

Есть нюанс: Sohu заточен только под определенный класс задач. Чип умеет очень быстро выполнять вычисления, необходимые современным моделям-трансформерам: эту архитектуру используют GPT, Llama, Claude и все остальные современные большие языковые модели.

Как объясняют в Etched, специализированный ASIC-чип понадобился, потому что обычные GPU, используемые в ускорителях, не слишком эффективны: для обучения нейросетей требуется масса ресурсов и времени.

Примечательно, что похожий подход использовался для ускорения майнинга криптовалют. Например, биткоин сперва майнили на процессорах, потом перешли на видеокарты, сейчас используются специализированные ASIC-майнеры.

Sohu поддерживает все современные модели-трансформеры: от генератора музыки Suno до генератора изображений Stable Diffusion. В Etched уверены, что путем проектирования специализированных чипов пойдут и другие компании — в стартапе просто успели раньше.

О том, когда Sohu поступит в продажу, не сообщается. Сперва ускорители будут доступны в облаке Sohu Developer Cloud.

Читать далее
Показали The Witcher 4 — что думаете?
Жду, выглядит интересно
8245 голосов, 59.7%
Трейлер не очень, подожду геймплей
1195 голосов, 8.7%
Цири — ведьмачка? Да ну, это шутка
1849 голосов, 13.4%
Больше не доверяю CD Projekt, пусть сначала выйдет
2511 голосов, 18.2%
Теги: Технологии
Аватар Evernews
Evernews
8078 подписчиков