Все новости
Это интересно
Сейчас читают
OpenAI
Аватар Evernews Evernews

Модель OpenAI o3 оказалась не так хороша в бенчмарках, как говорила компания

0
0
Поделиться
Телеграфировать

Результаты совпали по нижней границе — возможно, в OpenAI говорили о верхней границе.

Модель OpenAI o3 оказалась не так хороша в бенчмарках, как говорила компания

Новые модели, выпущенные OpenAI в апреле, были протестированы командой Epoch AI, создавшей бенчмарк FrontierMath. Этот бенчмарк использовался для тестов моделей и самой OpenAI, но результаты оказались разными.

Результаты прогонов моделей o3 и o4-mini от Epoch AI совпали с цифрами, показанными OpenAI, только по нижней границе. Повторить все результаты, показанные OpenAI, не удалось.

Публично доступная версия модели o3 смогла набрать в бенчмарке около 10%. Во время презентации представители OpenAI говорили о результатах на уровне 25%.

Перед релизом новых моделей сотрудники OpenAI говорили о выпуске оптимизированной версии o3, отличающейся от той, что тестировалась ранее. Представители компании не рассказывали, как эта оптимизация может повлиять на прохождение бенчмарков.

В обозримом будущем OpenAI намерена выпустить еще одну версию модели o3, o3-pro. Возможно, эта модель сумеет показать результаты, соответствующие предыдущим заявлениям компании.

Читать далее
Как вам S.T.A.L.K.E.R. 2?
Отличная игра
5477 голосов, 31.5%
Хорошо, но могло быть лучше
2274 голоса, 13.1%
Самая обычная игра
1110 голосов, 6.4%
Ужасно, пожалел о покупке/скачивании
1494 голоса, 8.6%
Не играл и не собираюсь
7034 голоса, 40.5%
Теги: OpenAI, Технологии
Аватар Evernews
Evernews
8074 подписчика