СМИ: у OpenAI возникли проблемы с обучением GPT-5 — слишком мало данных

Один из вариантов — создавать новые данные самостоятельно.

Стартап OpenAI пока не закончил обучение большой языковой модели GPT-5, утверждают источники The Wall Street Journal. По данным издания, работа над моделью, известной под кодовым именем Project Orion, ведется уже полтора года.

Утверждается, что релиз модели планировался еще на середину 2024 года, но был отложен из-за проблем с обучением GPT-5. Одна их основных проблем может быть связана с недостатком данных.

Как объясняют источники издания, общедоступных данных, выложенных в интернете, недостаточно, чтобы сделать GPT-5 заметно умнее предыдущих моделей. Об исчерпании данных рассказывал и со-основатель OpenAI Илья Суцкевер.

OpenAI якобы пытается решать проблему недостатка данных двумя путями. Во-первых, пишет издание, компания генерирует синтетические данные: этим занимается модель o1, также созданная OpenAI. Предполагается, что в таких данных будет не слишком много ошибок.

Во-вторых, стартап якобы нанимает людей, создающих контент для обучения нейросети: например, программирующих или решающих математические задачи. Не вполне ясно, датасет какого объема можно создать таким образом.

О том, когда может состояться релиз GPT-5, не сообщается. В начале 2025 года OpenAI выпустит модель o3, но она, видимо, не имеет ничего общего с GPT-5.