Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

Анонсирован «самый быстрый ИИ-чип в истории» — но с нюансом

0
0
Поделиться
Телеграфировать

Высокую производительность удастся увидеть только на определенном классе задач.

Анонсирован «самый быстрый ИИ-чип в истории» — но с нюансом

Компания Etched анонсировала Sohu — «самый быстрый ИИ-чип в истории». Согласно тестам, проведенным Etched, ускоритель на базе Sohu примерно в 20 раз быстрее ускорителя Nvidia H100.

По оценке компании, в сравнении с новейшим ускорителем B200 от Nvidia Sohu более чем в 10 раз быстрее и в то же время дешевле. Например, один сервер с 8 ускорителями Sohu может обрабатывать больше 500 тысяч токенов в секунду при работе с моделью Llama 70B.

Есть нюанс: Sohu заточен только под определенный класс задач. Чип умеет очень быстро выполнять вычисления, необходимые современным моделям-трансформерам: эту архитектуру используют GPT, Llama, Claude и все остальные современные большие языковые модели.

Как объясняют в Etched, специализированный ASIC-чип понадобился, потому что обычные GPU, используемые в ускорителях, не слишком эффективны: для обучения нейросетей требуется масса ресурсов и времени.

Примечательно, что похожий подход использовался для ускорения майнинга криптовалют. Например, биткоин сперва майнили на процессорах, потом перешли на видеокарты, сейчас используются специализированные ASIC-майнеры.

Sohu поддерживает все современные модели-трансформеры: от генератора музыки Suno до генератора изображений Stable Diffusion. В Etched уверены, что путем проектирования специализированных чипов пойдут и другие компании — в стартапе просто успели раньше.

О том, когда Sohu поступит в продажу, не сообщается. Сперва ускорители будут доступны в облаке Sohu Developer Cloud.

Читать далее
Как вам Assassins Creed Shadows?
Отличная игра
1129 голосов, 27.6%
Неплохая игра, могло быть лучше
318 голосов, 7.8%
Обычная игра
185 голосов, 4.5%
Ужасно, пожалел о покупке/скачивании
263 голоса, 6.4%
Не играл и не собираюсь
2194 голоса, 53.7%
Теги: Технологии
Аватар Evernews
Evernews
8074 подписчика