СМИ: OpenAI подыскивает замену ускорителям Nvidia для инференса

Компания якобы не слишком довольна их производительностью.

С 2025 года OpenAI изучает возможность частичного отказа от ускорителей Nvidia для инференса, пишет Reuters со ссылкой на восемь источников. По данным издания, OpenAI недовольна производительностью инференса.

Утверждается, что у компании есть вопросы к скорости обработки некоторых типов запросов: например, связанных с генерацией кода или взаимодействием ИИ с другими системами. Теперь OpenAI якобы подыскивает замену ускорителям Nvidia.

По словам источников, OpenAI хочет найти ускорители, которые в перспективе могли бы обеспечить около 10% ее вычислительных мощностей для инференса. Конкретные цифры не называются.

Источники Reuters утверждают, что в поисках альтернатив OpenAI вела переговоры со стартапами Cerebras и Groq, которые разрабатывают ускорители с большим объемом встроенной памяти. Такие чипы могут обеспечивать более высокую скорость инференса за счет снижения задержек при доступе к памяти.

Если верить источникам, переговоры с Groq были свернуты. В начале 2026 года стало известно о соглашении OpenAI и Cerebras, но речь идет о вычислительных мощностях до 750 МВт — по меркам OpenAI это мало.