GPT-4.5 проходит тест Тьюринга в 73% случаев — исследование

Модель действует особенно успешно, если ее просят выдавать себя за реального человека.

Некоторые современные нейросети могут проходить стандартный тест Тьюринга в более чем 50% случаев, следует из исследования ученых Калифорнийского университета в Сан-Диего. Лучше всего себя показывает GPT-4.5 от OpenAI.

В двойном рандомизированном исследовании приняли участие модели ELIZA, GPT-4o, LLaMa-3.1-405B и GPT-4.5. За исключением чат-бота ELIZA модели запускались в двух вариантах: с детальным промптом, предлагавшим им выдавать себя за реального человека, и без него.

Модели, запускавшиеся без длинного промпта Persona, получали простые инструкции: им сообщали, что они проходят тест Тьюринга, и предлагали убедить собеседника, что он говорит с человеком.

Оказалось, что модели с промптом проходят тест Тьюринга заметно лучше, чем без него. Собеседники-люди посчитали GPT-4.5 человеком в 73% случаев, модель LLaMa-3.1 с тем же промптом признали человеком в 56% случаев. У ELIZA показатель «побед» равен всего 23%, у GPT-4o он на уровне 21%.

Исследователи называют свой эксперимент первым эмпирическим доказательством того, что нейросети могут проходить стандартный тест Тьюринга. Сам Тьюринг полагал, что прохождение теста может говорить о способности компьютера мыслить; в случае с современными нейросетями о мышлении речь не идет.