[О блоге] [наверх] [пред] [2019-10-19 13:21:09+03:00] [738fc2e95a295879f990c1a307c792d8e91b9018]

Мысли о переходе на Zstandard всё не покидают голову

http://www.opennet.ru/opennews/art.shtml?num=51687
С момента выхода этой новости я не раз смотрел и думал оставлять ли мне
xz. На Arch пофиг, но я не пробовал --ultra -22 опции в zst, которые ещё
лучше сжимают. Время сжатия уже сравнимо или иногда больше чем xz -9.
Время разжатия, как минимум, на порядок меньше. Но вот уровень сжатия...
некоторые dataset-ы у меня буквально на доли процента отличаются между
zst -22 и xz -9, а некоторые на 10%. В целом я полностью поддерживаю
переход пакетов на zst с таким уровнем сжатия, ибо действительно самое
точное слово это "comparable compression level" -- уровень всё-равно
выше чем в bzip2, не говоря о gunzip. Что же касается моих задач... я
готов бы был мириться с бОльшим временем сжатия, но при таком же (или
лучшем) уровне компрессии, ради вообще использования единственного
компрессора с дикой скоростью разжатия, но xz всё же сильнее жмёт. В
распараллеленном режиме xz жмёт хуже, а вот zstd точно так же и займёт
все ядра.

Вот в итоге всё мечусь в мыслях.... пожертвовать ли немного меньшим
уровнем компрессии, но получить более быстрое сжатие (из-за
распараллеливания), гораздо более быстрое разжатие, полное использование
только одного компрессора. Ведь большие dataset-ы он жмёт чуть-чуть
похуже всего лишь. А маленькие (типа десятков килобайт) хуже, но
абсолютные потери по месту для небольшого количества файлов не велики.
А то это попахивает от меня какой-то жадностью: ведь куда более
правильный, по заверению автора, lzip всё-равно жмёт аналогично похуже,
но всё-равно и zstd -22 и lzip и xz жмут гораздо лучше bzip2, не говоря
уже о gzip, который в разы переплюнуть легко могут.

    [оставить комментарий]