Старый ускоритель за $100 оказался быстрее игровых видеокарт при работе с ИИ

С учетом всего дополнительного оборудования цена будет вдвое выше.

Старый серверный ИИ-ускоритель Nvidia Tesla V100 показал себя быстрее более современных игровых видеокарт в при работе с нейросетями. Tesla V100 сумела обойти GeForce RTX 3060 и Radeon RX 7800 XT.

Когда-то ускоритель Tesla V100 стоил больше $10000, но сейчас модель с 16 гигабайтами памяти можно найти примерно за $100. Правда, ее невозможно подключить к обычному ПК — для этого надо использовать специальный адаптер и самодельную систему охлаждения.

Ютубер Hardware Haven решил проблему с охлаждением при помощи специального воздуховода, напечатанного на 3D-принтере, и приделанного к нему вентилятора Noctua. После всех доработок стоимость системы оказалась на уровне $235.

Даже с учетом адаптера и других доработок Tesla V100 оказался выгоднее GeForce RTX 3060 и Radeon RX 7800 XT в ИИ-задачах. Например, в тесте модели gpt-oss-20b ускоритель выдал 130 токенов в секунду, а Radeon RX 7800 XT — только 90 токенов.

Кроме того, ускоритель протестировали при ограничении энергопотребления до уровня 100 Вт (обычно он потреблял 293 Вт). Производительность уменьшилась, но Tesla V100 все равно оказался быстрее конкурентов.

У Tesla V100 есть и вторая модель — с 32 гигабайтами памяти. За такой ускоритель на вторичном рынке просят уже до $500, его тесты в сравнении с игровыми видеокартами пока не проводились.