Дедупликация файлов внутри нескольких.смола.архивы gz

Я не думаю, что вы можете делать то, что вы пытаетесь сделать это "легко"

Если .файлы tgz достаточно похожи, вы можете использовать xdelta и создать резервную копию первого файла полностью, а затем xdelta с разницей между первым и вторым файлом.

альтернативным частичным решением было бы использование rzip (или lrzip ??) который предназначен для сжатия очень больших файлов - хотя он и не идеален, он, вероятно, будет значительно меньше, чем то, что вы используете в момент, за счет процессора и памяти.

Я использую squashfs для аналогичных целей:

mksquashfs dir1 dir2 dir3 backup_file.fs -keep-as-directory

Я опаздываю на вечеринку, но требования, похоже, сводятся к следующему:

1. дедупликация содержимого файла архива
2. должна быть возможность восстановления исходных файлов gzip

сначала это кажется невозможным. Дедупликация обычно зависит от возможности работы с несжатыми файлами. Но потом я понял, что если вы можете положиться на gunzip / gzip, создающий точно такой же файл (лучше протестировать его), то вы можете использовать zbackup, который на самом деле предназначен для дедупликации tarballs. So:

1. gunzip архивы вам
2. gzip tarballs еще раз, чтобы убедиться, что они точно совпадают (должно быть, если реализация gzip одинакова, но уровень сжатия может варьироваться, например, так что вам может понадобиться, чтобы узнать, что)
3. кормить tarballs zbackup