СМИ: новая модель OpenAI лучше GPT-4, но превосходство не такое сильное, как у GPT-4 над GPT-3

Источники считают, что релиз модели состоится в начале 2025 года.

Редакция The Information опубликовала большой материал, посвященный обучению новой большой языковой модели OpenAI. Источники издания подтверждают информацию The Verge: наращивание размеров нейросетей улучшает их качество не так хорошо, как хотелось бы.

Обучение Orion, новой модели OpenAI, стартовало в начале 2024 года. По словам источников, в районе мая, когда обучение было завершено примерно на 20%, качество Orion было сравнимо с качеством GPT-4.

Однако затем, утверждают источники, прирост качества замедлился. В результате Orion стала «умнее» GPT-4, но скачок в качестве был не таким сильным, как при переходе от GPT-3 к GPT-4.

Есть вероятность, что проблема заключается в недостатке данных для обучения новой модели. Эту проблему пытаются решить, обучая Orion не только на реальных, но и на сгенерированных данных, прошедших верификацию.

Возможно, пишет издание, в итоге новая модель OpenAI не выйдет под названием GPT-5. Информации о том, как могут назвать релизную версию Orion, у The Information нет.

Предполагается, что следующая флагманская модель OpenAI будет запущена в начале 2025 года. Ходили слухи, что модель выпустят в конце 2024 года, но компания их опровергла.