Нейросеть Claude 3.5 Sonnet научилась использовать ПК так, как это делают люди

ИИ двигает курсор, жмет на кнопки и так далее.

Компания Anthropic объявила о выпуске нескольких новых больших языковых моделей. Обновленная версия Claude 3.5 Sonnet научилась взаимодействовать с ПК примерно так же, как это делают люди.

Нейросеть может работать с ПК, перемещая курсор, имитируя нажатие клавиш и так далее. Модель была дополнительно обучена так, чтобы «видеть» происходящее на экране ПК и взаимодействовать с этой информацией.

Claude 3.5 Sonnet анализирует не видеопоток, а отдельные скриншоты. По словам разработчиков, нейросеть может работать с любым сайтом или приложением; в Anthropic не уточнили, сумеет ли Claude 3.5 Sonnet разгадать капчу и доказать, что она не робот.

Сейчас возможность использовать ПК находится в статусе беты. Ранний доступ к ней получили несколько крупных компаний; если верить Anthropic, нейросеть успешно выполняет задачи, состоящие из десятков или даже сотен шагов.

В компании отмечают, что взаимодействие Claude 3.5 Sonnet с ПК пока нельзя назвать идеальным. Это экспериментальная функция, которая может глючить, но со временем технология будет дорабатываться.