Теперь OpenAI можно запретить сбор информации на сайтах

Уже сохраненные данные, видимо, никуда не пропадут.

Стартап OpenAI дал возможность владельцам сайтов блокировать доступ к контенту со стороны бота GPTBot. С помощью этого бота OpenAI собирает информацию для обучения своих нейросетей.

Для запрета доступа рекомендуется использовать файл robots.txt. Блокировать доступ можно по параметру User-agent бота: у кроулера OpenAI используется User-agent GPTBot.

Кроме того, владельцы сайтов могут запретить боту собирать данные только в конкретных разделах их ресурсов, разрешив использовать некоторые другие разделы.

Также стартап раскрыл адреса подсетей, использующихся ботом GPTBot. При желании владельцы сайтов могут просто забанить эти подсети, не внося изменения в robots.txt.

Важный момент: блокировка GPTBot не означает, что OpenAI удалит всю информацию, ранее собранную на сайте. Уже полученные данные все еще могут использоваться для обучения нейросетей компании.