Подстановка мусора на www-сайтах, недоступность ресурсов

https://www.opennet.ru/opennews/art.shtml?num=62925
На прошлой неделе заметил, что пара блогов перестала обновляться.
Увидел, что они начали отдавать непонятную тарабарщину со случайными
значениями в заголовках. Не псевдослучайный шум, а наборы бессвязных
слов. А также видел обсуждения/предложения в других блогах о том, чтобы
подсовывать паукам зацикленные перенаправления или, вот, мусор. Плюс вот
новость о том, что всякие свободные проекты на серверах своих инфраструктур
вводят всякие ограничения и проверки, блокирующие целые сети, если есть
подозрения на то, что это пауки от ИИ. В рассылке Debian видел жалобы на
невозможность открыть какие-то ранее доступные их ресурсы. GNOME, судя
по новости, так вообще у себя решили заставлять пользователя (а точнее
его обозревателя) скачивать программу для вычисления proof-of-work.

Ну и вот пара блогов решила, что я тоже робот, хотя я не понимаю на
каком основании. Качается Atom-лента вызовом cURL, с честным
User-Agent-ом, говорящим что это feeder-качалка. Может быть, там
поменялась ссылка на блог, которая должна находится в robots.txt? Но я
же хочу штатно зайти на сайт обычным обозревателем, чтобы увидеть эту
новую ссылку, но уже главная выдаёт бредятину. Вынужден удалить эти
блоги и забыть о них.

Мой новый VPS провайдер работает сильно иначе чем предыдущий. Скорость
скачивания через него, как отмечал ранее, десятки килобайт в секунду.
Если это BitTorrent UDP трафик, то может превышать мегабайт. Плюс то ли
он весь Cloudflare блокирует, то ли Cloudflare блокирует его сеть, то ли
это блокировка ИИ-like адресов с их стороны и мой переезд на VPS совпал
со всеми этими пертурбациями. То ли он блокирует некоторые BitTorrent
сайты, находящиеся за Cloudflare, которые вроде бы у нас типа запрещены.
Но я уже и прежде писал, что всё что размещается за ними, почти
наверняка не будет доступно (9ec8af5c6c0a3d586e33640842652801f20d6f53,
5b16fb4fccf7e8062956aa169aec927ae4349a6d,
3377284e1f2e5c1db69e100ec32f8f5a92a08cb4,
6bbbada632a3727fa74995fa8e1700d389688ac9).

В комментариях на OpenNet понравилось: сайты, чтобы их не парсили
автоматизированно, добавляют уродскую разметку. Затем добавляют CAPTCHA,
которую распознают. Затем помещают за Cloudflare. Теперь вот уже
применяют PoW. Смотрят напротив GeoIP базы данных. DNSBL. Абсолютно
точно внедрят обязательную авторизацию через ЕСИА. Что дальше?
Использовать квалифицированную ЭЦП? Ввести OTP из SMS, двухфакторно же.
Или, как мне уже один VPS писал, с web-камерой связаться с ними для
идентификации. А ещё "Beat the DarkSouls boss on 512x512 window on WASM".
Хотя ведь уже была новость о том, что CAPTCHA придумали со встроенной
мини-игрой. И я наслышан про сложность Dark Souls-like игр.

комментарий 0:

From: kmeaw
Date: 2025-03-24 11:27:33Z

Напомнило, как я участвовал в организации CTF.

В моей задаче был веб-сервис, который запускает виртуальные машины, и мне не
хотелось, чтобы участники быстро потратили все ресурсы случайным запуском
какого-нибудь автоматического сканера уязвимостей. Поэтому я добавил Doom-капчу
- нужно было пройти любую (на выбор участника) карту на любом уровне сложности.

После выбора карты из списка в браузере запускался doom.exe -record .. -warp ..
в js-dosbox, а по завершению процесса демка отправлялась на сервер, где
валидировалась в prboom с отключенным звуком и рендером. А чтобы не засылали
чужие демки на проверку, я взял набор карт, примерно повторяющий стандартные,
но перерисованные разными людьми по памяти.

А первая уязвимость в задаче была вызвана функцией разбора query-параметров в
стандартной библиотеке Go - перед сервисом стоял nginx, который фильтровал
"опасные" значения, но их можно было донести до сервиса, если вместо
разделителя '&' использовать ';'.

комментарий 1:

From: Sergey Matveev
Date: 2025-03-25 04:51:18Z

*** kmeaw@kmeaw.com [2025-03-24 11:28]:
>Напомнило, как я участвовал в организации CTF. [...]

Я далёк от темы CTF-ов, но подготовка к ним звучит интереснее тем то,
что я про них слышал :-). Что-то в этом есть: вспомнить былые времена,
поиграв в Doom. Или познакомив молодёжь, с ним не знакомых.