[О блоге]
[наверх]
[пред]
[2020-03-20 14:17:45+03:00]
[aa85cb4318d211ca16c9f273acdbefb1344f9f86]
Написал утилиту для дедупликации файлов sgodup
https://git.stargrave.org/cgit.cgi/sgodup.git/tree/README
Есть у меня задачи где имеются несколько директорий, между которыми есть
множество одинаковых файлов, возможно с отличающимися именами. Посмотрел
я на множество предлагаемых для этой задачи утилит, но что-то никто не
понравился: то сравнивается содержимое файлов полностью, то MD5
используется, то низкая производительность или недостаточная гибкость,
не позволяющая делать symlink-и или направлять их только из одной
директории в другую.
Решил написать своё. Очень хорошая производительность (я даже не знаю
можно ли быстрее -- всё-равно упираюсь в ФС), старается не делать ничего
лишнего, красивенький real-time прогресс. Можно и для symlink-ов
использовать, можно и hardlink-и, можно и в пределах одной директории
дедуплицировать данные.
[оставить комментарий]