Дженсен Хуанг: OpenAI готовит кластер из 400 тысяч ускорителей Nvidia для обучения своих моделей

Это в 4 раза больше, чем использовалось для обучения GPT-6.

OpenAI намерена использовать 400 тысяч ускорителей Nvidia для обучения новых моделей, утверждает глава Nvidia Дженсен Хуанг. Это значительно больше кластера компании, использовавшегося при обучении GPT-6.

По данным самой OpenAI, обучение GPT-6 велось на 100 тысячах ускорителей Nvidia. Хуанг не уточнил, какую именно модель или модели планируется обучать на кластере в 4 раза больше.

Предполагается, что в основном для обучения GPT-6 использовали дата-центр OpenAI Stargate в Техасе. Бюджет на обучение оценивается в $500–1000 миллионов, при использовании сторонних облачных сервисов бюджет был бы гораздо выше.

Как отмечает WCCFTech, использование сразу 400 тысяч ускорителей может потребовать свыше 1 гигаватта электроэнергии. Места тоже потребуется много: если ускорители размещены в стойках NV L72, то для такого числа устройств потребуется 5556 стоек.

Сама OpenAI пока не объявляла о начале эксплуатации 400-тысячного кластера ускорителей.