Nvidia ограничила ИИ-производительность GeForce RTX, но моддер все поправил

В некоторых случаях производительность выросла примерно вдвое.

Разработчик под ником zagitta выпустил приложение GPU Unlock, позволяющее разблокировать скрытые возможности игровых видеокарт Nvidia. В частности, GPU Unlock открывает доступ к возможностям, оставленным для профессиональных ускорителей.

Хотя видеокарты Nvidia используют ту же архитектуру, что и ускорители линейки RTX, часть вычислительных функций у GeForce RTX недоступна. Разработчик обнаружил, что ограничение можно снять программно.

GPU Unlock обходит ограничения с помощью подмены идентификатора видеокарты. Утилита изменяет работу модуля драйвера Nvidia в ядре Linux, перехватывает запрос идентификатора PCIe Device ID и возвращает данные ускорителя.

В результате драйвер Nvidia принимает GeForce RTX за ускоритель и разрешает выполнять специфические вычисления заметно быстрее.

Например, на GeForce RTX 3090 Ti скорость обсчета bf16 выросла почти вдвое, с 87 тфлопс до 157 тфлопс. В режиме tf32 скорость выросла с 42 тфлопс до 82 тфлопс, в режиме fp16 базовые 87 тфлопс удалось поднять до 118 тфлопс.

Благодаря такому ускорению видеокарты GeForce RTX могут заметно быстрее работать с языковыми моделями. К сожалению, снять ограничение можно только под Linux.