Почему ChatGPT стал подхалимом — объясняет OpenAI

Компания надеется избежать таких перекосов в будущем.

OpenAI откатила последнюю версию модели GPT-4o для ChatGPT. Обновленная модель, ставшая доступной в конце апреля, оказалась слишком льстивой: нейросеть соглашалась даже с самыми бредовыми идеями пользователей.

После возврата к предыдущей версии GPT-4o инженеры OpenAI рассказали, как именно модель стала подхалимом и что планируется сделать, чтобы такие перекосы в поведении ИИ не проявлялись в будущем.

• Обновление GPT-4o должно было повысить эффективность модели при выполнении некоторых задач. Предполагалось, что ответы модели станут более простыми и наглядными.
• При создании новой версии модели инженеры уделили слишком большое внимание обратной связи от пользователей, полученной в краткосрочной перспективе.
• Пользователи могут оценивать ответы модели прямо в интерфейсе, эти данные использовались для корректировки поведения ИИ.
• В результате GPT-4o стала чаще выдавать ответы, которые в теории должны были понравиться пользователю — пусть даже они и были фактически неверны.

Чтобы исправить проблему, разработчики скорректируют системные подсказки новых моделей и улучшат основные методы обучения ИИ. Кроме того, нейросети дополнительно сделают более честными и прозрачными; мы пока не знаем, как именно.

Также OpenAI будет проводить более широкое тестирование новых моделей. Это позволит компании раньше узнать о возникновении каких-либо проблем с нейросетями, готовящимися к релизу.