Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

Анонсирован «самый быстрый ИИ-чип в истории» — но с нюансом

0
0
Поделиться
Телеграфировать

Высокую производительность удастся увидеть только на определенном классе задач.

Анонсирован «самый быстрый ИИ-чип в истории» — но с нюансом

Компания Etched анонсировала Sohu — «самый быстрый ИИ-чип в истории». Согласно тестам, проведенным Etched, ускоритель на базе Sohu примерно в 20 раз быстрее ускорителя Nvidia H100.

По оценке компании, в сравнении с новейшим ускорителем B200 от Nvidia Sohu более чем в 10 раз быстрее и в то же время дешевле. Например, один сервер с 8 ускорителями Sohu может обрабатывать больше 500 тысяч токенов в секунду при работе с моделью Llama 70B.

Есть нюанс: Sohu заточен только под определенный класс задач. Чип умеет очень быстро выполнять вычисления, необходимые современным моделям-трансформерам: эту архитектуру используют GPT, Llama, Claude и все остальные современные большие языковые модели.

Как объясняют в Etched, специализированный ASIC-чип понадобился, потому что обычные GPU, используемые в ускорителях, не слишком эффективны: для обучения нейросетей требуется масса ресурсов и времени.

Примечательно, что похожий подход использовался для ускорения майнинга криптовалют. Например, биткоин сперва майнили на процессорах, потом перешли на видеокарты, сейчас используются специализированные ASIC-майнеры.

Sohu поддерживает все современные модели-трансформеры: от генератора музыки Suno до генератора изображений Stable Diffusion. В Etched уверены, что путем проектирования специализированных чипов пойдут и другие компании — в стартапе просто успели раньше.

О том, когда Sohu поступит в продажу, не сообщается. Сперва ускорители будут доступны в облаке Sohu Developer Cloud.

Читать далее
Как вам Assassins Creed Shadows?
Отличная игра
356 голосов, 25.6%
Неплохая игра, могло быть лучше
141 голос, 10.2%
Обычная игра
76 голосов, 5.5%
Ужасно, пожалел о покупке/скачивании
98 голосов, 7.1%
Не играл и не собираюсь
718 голосов, 51.7%
Теги: Технологии
Аватар Evernews
Evernews
8072 подписчика