ChatGPT сыргал в шахматы с консолью 48-летней давности и проиграл

Теперь понятно, почему во время тестов некоторые модели хотят жульничать.

Разработчик Citrix Роберт Карузо устроил небольшой шахматный турнир между ChatGPT и шахматным алгоритмом на Atari 2600. Эта игровая консоль была выпущена в 1977 году, около 48 лет назад.

В ходе эксперимента шахматный алгоритм ретро-консоли смог наголову разбить современную большую языковую модель. Как пишет Роберт, у ChatGPT возникла масса проблем с игрой в шахматы:

• Модель путала фигуры друг с другом.
• Забывала расположение фигур.
• Пропускал размены пешек.

Сама нейросеть жаловалась на трудности с распознаванием нестандартно выглядящих фигур, но после переключения на традиционную версию ничего не поменялось. В целом, пишет Карузо, ChatGPT играл в шахматы так, что над моделью посмеялись бы в шахматном клубе для третьеклассников.

Примечательно, что из-за ограничений консоли шахматный алгоритм Atari 2600 мог просчитывать матч максимум на пару ходов вперед — чип устройства выдавал всего 1.19 МГц. Этого оказалось достаточно для победы над ИИ.

Карузо не уточнил, какая именно модель OpenAI играла в шахматы; вероятно, это была GPT-4o. Возможно, o1 или o3 справились бы лучше: во время похожего матча одна из нейросетей пыталась жульничать.