Топовая модель OpenAI оказалась гораздо дороже, чем предполагалось

Модель может тратить на решение одной задачи порядка $30000.

В декабре 2024 года стартап OpenAI показал большую языковую модель o3, способную проходить бенчмарк ARC-AGI на уровне людей или даже лучше. Предполагалось, что модель o3-high тратит на решение одной задачи бенчмарка около $3000; согласно новой оценке, это не так.

Несколько месяцев спустя создатели бенчмарка провели переоценку вычислительных мощностей, затраченных o3-high на решение задач, и обнаружили, что ошиблись почти на порядок: модель тратила на задачу порядка $30000, а не $3000.

При решении одной задачи бенчмарка ARC-AGI модель o3-high генерировала 1024 варианта, а затем выбирала лучший. Решение задачи требовало генерации порядка 43 миллиона слов, это примерный объем «Британской энциклопедии».

Создатели бенчмарка подсчитали, что при решении задач o3-high использовала в 172 раза больше компьюта, чем o3-low. При этом даже o3-low показывала результаты лучше, чем все остальные нейросети.

Другой интересный момент: модель o3-mini тратит на вычисления гораздо меньше, чем o1-high, однако демонстрирует чуть лучшие результаты.

В ближайшие месяцы OpenAI выпустит GPT-5, полноценную модель нового поколения. Компания пока не сообщала, во сколько может обойтись использование такой модели.