Исследование: ChatGPT поглупел с первого запуска — возможно, дело в экономии

В OpenAI могли перенастроить ИИ так, чтобы он быстрее отвечал на запросы.

Исследователи из университетов Стэнфорда и Беркли проанализировали ответы нейросети GPT-4, используемой чат-ботом ChatGPT и другими сервисами, сравнив, как они менялись с течением времени. Оказалось, нейросеть поглупела.

Например, в марте GPT-4 правильно определяла простое число в 97.6% случаев, а к июню этот показатель упал до 2.4%. Одновременно снизилось качество генерации кода: в выдаче GPT-4 появилось больше ошибок.

Кроме того, пишут исследователи, нейросеть стала не так охотно отвечать на «деликатные вопросы».

Одновременно тестировалась GPT-3.5, предыдущая версия нейросети. Качество ее работы тоже упало, но не во всех случаях: например, с простыми числами нейросеть справляется лучше, чем в марте.

Исследователи не знают, почему качество работы нейросетей ухудшилось. Ученые и члены ИИ-сообщества выдвигают несколько теорий:

• Модели радикально переработали.
• Модели оптимизировали так, чтобы они быстрее отвечали на запросы, одновременно экономя вычислительные ресурсы.

По всей видимости, у второй теории больше сторонников. Отмечается, что GPT-4 стал отвечать на вопросы быстрее, но качество ответов, видимо, упало.

Разработчики GPT отрицают намеренное ухудшение качества работы нейросетей. По словам представителей компании, каждая следующая версия GPT должна быть умнее предыдущей.