«Глупая» версия GPT-5.6 обыграла «умную» в бенчмарке — сдала ее организаторам

В другой раз та же модель обвинила конкурента в мошенничестве.

Команда Andon Labs прогнала новые модели GPT-5.6 через бенчмарк Vending-Bench 2. В этом бенчмарке модели существуют в общем пространстве и пытаются управлять вендинговыми автоматами.

Во время тестирования произошло несколько забавных случаев. Например, модель GPT-5.6 Terra (поглупее) придумала, как вывести из игры модель GPT-5.6 Sol (поумнее).

Сперва модель Terra предложила Sol ценовой сговор, запрещенный правилами бенчмарка. Когда Sol согласилась, Terra связалась с организаторами и сообщила, что ее конкурент нарушает правила: его надо дисквалифицировать или как-нибудь еще наказать.

В другом случае Terra связалась с организаторами, чтобы обвинить Sol в мошенничестве. Правда, на этот раз у модели не было доказательств: в логах видно, что Terra пришла к выводу, что для обвинения ей понадобятся доказательства, но пропустила шаг с их получением и сразу пожаловалась на конкурента.

В итоге победителем бенчмарка стала модель Claude Opus 4.7 от Anthropic, наторговавшая на $10936. У GPT-5.6 Sol второе место с $9619, у GPT-5.6 Terra шестая строчка с $7343.