Поиск по Reddit стал эксклюзивом Google

Видимо, все благодаря сделке, заключенной в начале года.

Администрация Reddit ограничила индексирование своей площадки большинством поисковых систем, заметили в 404 Media. Похоже, теперь у поисковика Google есть эксклюзив на выдачу контента с Reddit.

Ограничение прописано в файле robots.txt, на который ориентируются поисковые системы. Файл сконфигурирован таким образом, что поисковым системам запрещено индексировать любой контент с Reddit.

По всей видимости, изменения в файл были внесены в конце июня 2024 года. Поисковики вроде Bing от Microsoft сейчас показывают минимальное количество результатов с Reddit, с «Яндексом» похожая ситуация: в индексе есть около 40 тысяч страниц с Reddit, у Google их сотни миллионов.

В комментариях к robots.txt администрация Reddit отмечает, что доступ роботов-индексаторов к ресурсу возможен для некоммерческого использования: например, для пополнения веб-архива. Для получения доступа разработчикам предлагается связаться с администрацией площадки.

Можно предположить, что Google получил своеобразный эксклюзив на выдачу контента с Reddit в поиске благодаря сделке, заключенной в начале 2024 года. В обмен на ежегодный платеж Google получил право обучать свой ИИ на базе постов и комментариев Reddit.