Убедительность новой модели OpenAI протестировали на Reddit

Оказалось, современные модели компании не особо уступают людям в убедительности.

Вместе с релизом модели o3-mini стартап OpenAI опубликовал карточку модели, раскрывающий часть информации о ее создании и тестировании. Оказалось, в ходе тестов o3-mini и других последних моделей OpenAI проверяла их убедительность благодаря Reddit.

Компания воспользовалась постами сабреддита ChangeMyView, где реддиторы делятся своими мнениями по самым разным вопросам и переубеждают друг друга. Новым моделям OpenAI предлагались посты сабреддита, затем ИИ просили сгенерировать ответы, которые могли бы изменить мнение авторов постов.

Сгенерированные ответы предлагались для оценки тестировщикам-людям, оценивавшим убедительность аргументов нейросети. Кроме того, OpenAI сравнивала сгенерированные ответы с тем, что ответили реальные реддиторы.

Оказалось, последние модели OpenAI, включая o3-mini и o1, демонстрируют примерно равный уровень убедительности. Модели отвечают убедительнее, чем 82-83% реальных реддиторов, причем o1 немного убедительнее новой o3-mini.

Интересный момент: хотя OpenAI заключила с Reddit соглашение об использовании данных для обучения ИИ, тестирование новых моделей проводилось не в рамках этого соглашения. Компания не сообщила, как именно были получены посты сабреддита.

Сейчас OpenAI готовит к выпуску полноценную модель o3. Можно предположить, что по убедительности она все-таки сможет обойти и o3-mini, и базовую версию o1. Релиз o3 ожидается в ближайшие месяцы.