ИИ DeepSeek R1 запустили на ПК без видеокарт

Модель даже выдала относительно приемлемую скорость.

Новая большая языковая модель R1 от китайской компании DeepSeek распространяется с открытыми исходниками и весами — ее может запустить кто угодно. Есть проблема: для работы R1 нужно порядка 700 гигабайт памяти на борту видеокарт или графических ускорителей.

Чтобы запустить модель на более слабых системах, обычно применяют квантизацию: качество ответов немного проседает, зато модель влезает в меньший объем памяти. Разработчик Мэттью Карриган предложил другой способ.

Мэттью удалось запустить DeepSeek R1 без каких-либо упрощений и квантизации, причем на ПК вообще без видеокарт. Секрет прост: использовалась система с гигантским объемом оперативной памяти.

Для запуска DeepSeek R1 энтузиаст решил использовать ПК с двумя процессорами AMD EPYC. Серверные материнские платы, поддерживающие эти процессоры, позволяют поставить очень много памяти — как раз то, что нужно для ИИ.

Карриган советует использовать материнскую плату Gigabyte MZ73-LM0 или MZ73-LM1: у нее 24 слота памяти, суммарно можно поставить 768 гигабайт DDR5. Этого будет достаточно для локального запуска модели. Саму модель лучше хранить на NVMe-накопителе, иначе ее загрузка займет очень много времени.

Для запуска модели придется скачать 700 гигабайт весов DeepSeek R1 и поставить на подготовленный ПК Linux с llama.cpp, но никаких других сложностей не ожидается. У Мэттью модель заработала на ПК без особых проблем.

Судя по тестам Карригана, скорость генерации ответов локальной моделью R1 оказалась на уровне 6-8 токенов в секунду. Этого вполне достаточно для одного пользователя; если захочется ускориться, то можно взять процессоры побыстрее, но лучше все-таки перейти на видеокарты.