[О блоге] [наверх] [пред] [2019-01-03 00:16:53+03:00] [ac4f39d3d92ce51278c5baf50b560608ddb6163f]
Темы: [tip]

zstd очень впечатляет!

Вижу что zstd компрессор включён в состав FreeBSD и решил вот
попробовать им пожать zfs send выхлоп на полтора гигабайта.
Обычно я все send-ы по конвейеру сжимаю и отправляю на шифрование.

Раньше использовал xz -0: 4.2 MB/sec, степень сжатия 0.534
zstd (без опций, один поток): 47.5 MB/sec, степень 0.536
В 10 раз быстрее, практически так же сжимая!

Для сравнения взял gzip -1: 21.5 MB/sec, степень 0.572. Сжал хуже и в
два раза медленнее (но в 5 раз быстрее xz).

Попробовал мой любимый LZ4 (который везде на ZFS включаю): 78.2 MB/sec,
степень 0.609. На 40% быстрее Zstandard, проигрывая в сжатии под 10%. Но
lz4 не входит в поставку.

Опять же, для сравнения сделал xz -9: 2.1 MB/sec, но степень 0.419.

И ещё для сравнения zstd -6 (против -3 по-умолчанию): 21.8 MB/sec (почти
как gzip -1), степень 0.523. zstd -1: 62.6 MB/sec, степень 0.553.
Видимо, всё это уже не имеет смысла играться для моих задач.

zstd -19: 4.3 MB/sec, степень 0.499. В два раза быстрее xz -9, но жмёт
всё же хуже.

В общем делаю для себя выводы: xz -0 -- отказать, ибо это практически
так же медленно как и -9, а памяти на всех моих системах предостаточно
чтобы тогда уж использовать -9. Для задач "по-быстрому пожать" надо
выкинуть. gzip на FreeBSD теперь тоже для этих задач уж не буду
использовать, так как он *всем* хуже. lz4 не стоит, так как из коробки
не идёт. zstd для быстрого сжатия прям действительно очень и очень
хорош! Видимо, пойду переделывать скрипты бэкапа под него. Для
неспешного но компактного хранения я конечно оставляю xz.

    [оставить комментарий]