Как запустить DeepSeek R1 на обычной видеокарте — объясняет AMD

Для этого потребуется квантизованная модель — обычная не влезет в память.

Компания AMD выпустила руководство по запуску популярной модели DeepSeek R1 на обычных видеокартах и процессорах. Стандартной версии DeepSeek R1 требуется 700 гигабайт памяти, но это можно обойти с помощью квантизации модели.

Во время квантизации размер модели существенно уменьшается, но ее способности снижаются гораздо слабее. Квантизованные версии DeepSeek R1 могут работать на процессорах Ryzen и видеокартах Radeon последнего поколения.

Для работы с моделью AMD советует использовать приложение LM Studio, берущее на себя почти всю техническую часть. Компания рекомендует устанавливать LM Studio версии 0.3.8 или выше, также понадобится драйвер Adrenalin версии 25.1.1 или выше.

При выборе версии модели нужно обращать внимание на ее размеры и на объем памяти имеющегося устройства. Например, на Radeon RX 7600 удастся запустить только версию DeepSeek R1 с 8 миллиардами параметров, а Radeon RX 7900 XTX потянет и версию с 32 миллиардами параметров.

Владельцы процессоров Ryzen AI и больших объемов памяти могут запустить даже версию DeepSeek R1 с 70 миллиардами параметров, но для этого понадобится от 64 до 128 гигабайт памяти.

Интересный момент: согласно тестам, проведенным самой AMD, в некоторых случаях Radeon RX 7900 XTX работает с DeepSeek R1 даже быстрее, чем GeForce RTX 4090.

Правда, разрыв уменьшается по мере роста сложности модели, и при работе с моделью, обладающей 32 миллиардами параметров, GeForce RTX 4090 все-таки вырывается вперед.