Может Google не виноват?

Тут мне высказали одну идею на тему качества поисковых ответов Google,
на который я постоянно возникаю. Кто сказал, что это не Microsoft со
своим GitHub-ом блокирует/мешает индексировать его Google-у? Хотя тут у
меня всё же сомнения, ведь я продолжаю видеть и свежие проекты (ну не
буквально в Google, а в Brave Search) и их issues и pull requests. Но
кто там знает что и как блокируется?

На eprint.iacr.org, он пишет, что Google явно заблокирован в robots.txt.
Проверить не могу, ибо попытка скачать robots меня посылает на
https://iacr.org/you_have_been_blocked.txt
Но точно подтверждаю, что iacr.org конченые уроды. Когда-то было без
проблем, тогда же и все их документы были проиндексированы и были в
выдаче. Потом у них вроде был DigitalOcean, теперь Cloudflare и фиг я
даже единичный файл могу скачать. Иногда разрешают. И перестали они
выдавать данные из-за запрета через robots.txt. Тут всё точно логично.

А теперь: а сколько сайтов, и даже best practices, вообще из-за AI-ботов
решают блокировать всех роботов? Точно, судя по блогам -- уйма. Даже я
(e8a35456be0dd05cb906a735dac06738560bc84c) заблокировал несколько ботов
на уровне web-сервера и User-Agent.

И ведь, действительно, плохое качество поиска примерно (полностью?)
совпадает со временем, когда начали безумствовать AI-роботы.

Может быть, всё дело то в конечных сайтах, которые с лёгкой руки просто
запрещают их индексировать? Я же не раз поражался как самые банальные
простые сайты визитки, на которые имеются ссылки с других ресурсов, не
попадают в выдачу никоим образом.

А я про robots.txt вообще забыл и не думал, так как никогда их не
прописывал.