Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

Анонсирован «самый быстрый ИИ-чип в истории» — но с нюансом

0
0
Поделиться
Телеграфировать

Высокую производительность удастся увидеть только на определенном классе задач.

Анонсирован «самый быстрый ИИ-чип в истории» — но с нюансом

Компания Etched анонсировала Sohu — «самый быстрый ИИ-чип в истории». Согласно тестам, проведенным Etched, ускоритель на базе Sohu примерно в 20 раз быстрее ускорителя Nvidia H100.

По оценке компании, в сравнении с новейшим ускорителем B200 от Nvidia Sohu более чем в 10 раз быстрее и в то же время дешевле. Например, один сервер с 8 ускорителями Sohu может обрабатывать больше 500 тысяч токенов в секунду при работе с моделью Llama 70B.

Есть нюанс: Sohu заточен только под определенный класс задач. Чип умеет очень быстро выполнять вычисления, необходимые современным моделям-трансформерам: эту архитектуру используют GPT, Llama, Claude и все остальные современные большие языковые модели.

Как объясняют в Etched, специализированный ASIC-чип понадобился, потому что обычные GPU, используемые в ускорителях, не слишком эффективны: для обучения нейросетей требуется масса ресурсов и времени.

Примечательно, что похожий подход использовался для ускорения майнинга криптовалют. Например, биткоин сперва майнили на процессорах, потом перешли на видеокарты, сейчас используются специализированные ASIC-майнеры.

Sohu поддерживает все современные модели-трансформеры: от генератора музыки Suno до генератора изображений Stable Diffusion. В Etched уверены, что путем проектирования специализированных чипов пойдут и другие компании — в стартапе просто успели раньше.

О том, когда Sohu поступит в продажу, не сообщается. Сперва ускорители будут доступны в облаке Sohu Developer Cloud.

Читать далее
Какую из этих игр вы будете проходить в первую очередь?
Civilization VII
325 голосов, 13.2%
Kingdom Come Deliverance II
1403 голоса, 56.8%
Assassins Creed Shadows
436 голосов, 17.7%
Monster Hunter Wilds
100 голосов, 4.1%
Avowed
114 голосов, 4.6%
Like a Dragon: Pirate Yakuza in Hawaii
91 голос, 3.7%
Теги: Технологии
Аватар Evernews
Evernews
8067 подписчиков