Metalink

https://ru.wikipedia.org/wiki/Metalink
https://dpb587.me/post/2017/10/09/documenting-blobs-with-metalink-files/
https://www.opennet.ru/opennews/art.shtml?num=55873
Сегодня попробовал использовать GNU Wget2 для зеркалирования сайта. На
глаз работает существенно быстрее первой версии, как минимум из-за
видимого pipeline, keepalive и распараллеленных обработчиков. Однозначно
именно вторую версию буду использовать для зеркалирования, а может быть
и вообще всего остального.

В Wget2 появилась поддержка Metalink. В curl я видел её тоже. А в Aria2
это я воочию видел как работает даже через HTTP заголовки. Но пристально
в Metalink я не вглядывался, до сегодняшнего дня. А штука мне
понравилась: список файлов, с хэшами, описаниями, возможно подписями,
разными URL-ами, возможно даже ссылками на torrent файлы. Metalink много
кто использует: http://www.metalinker.org/implementation.html
И вот думаю что и для своих проектов заиспользовать и подкладывать в
директории для скачивания. Как это засунуть в HTTP заголовки через
lighttpd пока не представляю.

А у меня как-раз и контрольные суммы и подписи везде нужны. Тут
унифицированный контейнер для этого. Более того, например в NNCP проекте
есть одно зеркало, и поэтому все URL-ы для скачивания было бы неплохо
указывать на два этих разных домена. aria2, wget2, curl натравить на
.meta4 файл и будет и скачивание с разных источников и проверка
целостности. А Wget2 ещё и подписи PGP умеет проверять (но сам я это не
проверял ещё, тем более для Metalink скачанных вещей).