[О блоге]
[наверх]
[пред]
[2020-03-22 21:29:40+03:00]
[728931945644b1536632bd7bf3717f3a68b40038]
Зарелизил sgodup 0.2.0
С момента релиза первой версии aa85cb4318d211ca16c9f273acdbefb1344f9f86:
* поменьше ест и выделяет памяти во время работы (ведь хранение данных о
полумиллиона файлов, например, требует осязаемых объёмов)
* можно указать минимальный размер файлов для рассмотрения
* появился двухпроходный режим: вместо того, чтобы менять ссылки на
файлы прямо во время работы, можно в stdout посылать
netstring-сериализованные "задачи" для дедупликации. А отдельным
аргументом заставлять их читать из stdin и заниматься уже только
перелинковкой. Это позволяет полностью разделить процесс где есть
только чтение и процесс где только запись
* можно натравливать -basedir и -dupdir на одну и ту же директорию.
Раньше тоже можно было, но при этом чуть ли не гарантированно получить
что foo ссылается на bar, который ссылается на baz, который на foo
* убрал разделение на две очереди для больших и маленьких файлов. В коде
оно не шибко много чего проще и короче делает и просто файлы будут
закрываться не так рано как могли бы -- не велика проблема
[оставить комментарий]