Поиск отсутствующих файлов из нескольких резервных копий независимо от расположения папки [закрыто]

У меня есть 6 резервных копий моего ПК, тратящих много места на внешнем жестком диске, потому что все они являются полными резервными копиями (не инкрементными) моего ПК, а это означает, что большинство содержимого дублируется через резервные копии.

моя идея состоит в том, чтобы обрезать эти резервные копии, сохраняя только файлы, отсутствующие в исходном источнике резервного копирования,независимо от папку.

как резервные копии "монтируемые единицы" таким образом, я могу использовать общие утилиты файлов / папок, чтобы найти дубликаты и отсутствующие файлы между двумя сравниваемыми наборами, я пробовал некоторые инструменты, такие как Windiff и Comparator pro, но оба этих инструмента будут отображаться как отсутствующие файлы, которые перемещаются в другие папки, при сравнении с текущим набором файлов.

Что мне нужно, так это инструмент, который будет перечислять отсутствующие файлы из источника резервного копирования, которые присутствуют в резервной копии, где бы они ни находились, даже если они были перемещены в другое место.

6
задан Kenster
01.12.2022 10:13 Количество просмотров материала 2912
Распечатать страницу

4 ответа

я тоже искал пространство эффективных резервных копий и вот некоторые приложения, которые я нашел:

Dupemerge это программа командной строки, которая будет дедупликации каталогов с помощью жестких ссылок. Эта программа будет смотреть на каталог или каталоги вы указываете его, и если есть дубликаты файлов, он будет трудно связать их. При регулярном резервном копировании можно запланировать его выполнение после резервного копирования и освободить место.

CloneSpy - это программа с графическим интерфейсом, который отобразятся списки дубликатов файлов. Вы можете вручную выполнять дедупликацию некоторые файлы или автоматически dudupe файлы для вас. Жесткая связь должна быть включена в настройках, эта программа началась как программа для удаления дубликатов файлов, и с тех пор они добавили возможность жесткой связи. Si если вы хотите, чтобы файл был жестко связан, вы должны включить это. Я не знаю, CloneSpy знает NTFS жесткие ссылки ограничения, но Dupemerge делает.

есть некоторые расширения Проводника Windows чтобы также создавать жесткие ссылки и визуально видеть, какие файлы жестко связаны из Проводника Windows,Hard Link Shell Extension поместит красную стрелку" ярлык " поверх файлов, которые были жестко связаны. Кроме того, на локальных дисках в свойствах файла будет отображаться, какие файлы жестко связаны друг с другом. Приятно видеть, какие файлы являются дубликатами, а какие уникальными. Также если есть возможность редактирования файлов, это будет действовать как предупреждение, чтобы напомнить вам, что если вы редактируете файл с красной стрелкой, что вы на самом деле редактируете все жесткие связанные файлы одновременно. Веб-сайт http://schinagl.priv.at/nt/hardlinkshellext/hardlinkshellext.html имеет тонну информации о жестких ссылках, соединениях, символических ссылках.

используя жесткие ссылки, как это хорошо, потому что каждая резервная копия папки выглядит как полный архив, но файлы в резервной копии и через резервные копии только через пространство, как правило. Обычно потому что NTFS имеет ограничение в 1023 жестких ссылки на один файл, и dupemerge будет только жесткая ссылка 1022 файлов в один файл, так что если у вас есть более 1022 копий, вторая копия данных должны быть сохранены для еще 1022 жестких ссылок на ссылку.

есть некоторые программы, предназначенные для эффективного резервного копирования пространства, duplicati (порт Windows программы Linux duplicity backup). Эта программа GUI, насколько я понимаю, будет дедуплицировать, потому что она хэширует данные. Это напоминает я использую rsync для резервного копирования. Текущая версия duplicati значительно улучшена, и я бы рекомендовал ее. Он может управлять вашими резервными копиями, устанавливая, сколько резервных копий хранить, сколько места использовать, максимальный возраст резервных копий и так далее. Я использую эту программу для долгосрочного резервного копирования.

Hardlink резервное копирование (ранее RsyncBackup) (программа GUI) дедуплексы по жестким ссылкам. (Я не использовал эту программу, так как она была переименована.) Потому что я собирался использовать свою программу в рекламе среда я не тестировал программу намного больше. Однако это, казалось, работало хорошо.

Rdiff-Backup (программа командной строки) также дедуплексы по жестким ссылкам. То, что меня не волновало, было то, что он поместил каталог со всей историей ревизий в каталог резервного копирования. Если бы это было необходимо, я бы хотел, чтобы они скрыли его и сделали каталог точек. Эта программа похожа на программу резервного копирования rsync.

просто, чтобы предупредить вас, с Windows это не всегда ясно, сколько места жесткие связанные файлы используют. Я считаю, что общая статистика диска правильна и показывает фактическое используемое пространство. Однако, если вы сделали недвижимость за архивные папки, он будет выглядеть не освобожденного пространства на жестких связей. В конце концов, вы сможете хранить то, что выглядит более чем на 100% емкости диска. Это происходит потому, что Explorer подсчитывает пространство, которое занимает каждая запись файла, но не проверяет, указывают ли две записи файлов на одну и ту же часть данных на диске.

-- Added--

если вы хотите хранить файлы не в исходной резервной копии, независимо от их местоположения. (например,FolderA и File1 на Backup1 и Backup2 File1 находится в FolderB. Потому что File1 не был изменен, но перемещен вы хотите удалить программу File1.) Тогда программа, которую я бы предложил,CloneSpy. Для этого изначально и была разработана программа. CloneSpy имеет много вариантов. Я использовал его для аналогичной задачи, когда я хотел бы сравнить FolderA to FolderB,FolderC & FolderD. Тогда сравните FolderA & FolderB to FolderC & FolderD. Наконец сравните FolderA,FolderB & FolderC to FolderD. Таким образом, среди всех папок существуют только уникальные файлы.

--добавлено 2--

на самом деле более простой способ сделать выше, чтобы иметь все каталоги в одну группу и сказать ему, чтобы удалить новые файлы. Что бы оставить старую копию набор для обмана. Таким образом можно определить, когда была создана версия файла. Это также дедупликация файлов в каталогах, а также по каталогам, в результате только одну копию уникального файла.

1
отвечен Scott McClenning 2022-12-02 18:01

Это то, что я хотел бы сделать:

  1. для каждого файла в резервных копиях вычислите хэш-код по содержимому файла (может быть md5sum) и перенаправьте результаты и полное имя в текстовый файл (file1).
  2. сортировка текстового файла по хэш-коду и пути.
  3. Сортировать текстовый файл по хэш-коду с опцией-u и перенаправить результат в другой текстовый файл (file2)
  4. Теперь file2 имеет все уникальные файлы (если резервные копии имеют несколько версий файла, все версии будут консервированный.) Вы можете присоединиться к file1 и file2, чтобы найти избыточные файлы в file1.
0
отвечен Codism 2022-12-02 20:18

все закончилось с помощью Duplicate Finder, инструмента Ashisoft.

плюсы: он делает то, что я искал.

плюсы:

- Дорогой, ИМО, 29USD

- Во время покупки, сайт электронной коммерции "упал" в мою корзину на другие инструменты, которые я не просил, рискуя ценой до 50USD, пришлось удалить вручную из корзины.

- цена конвертировалась в евро, потом снова в доллары!Вы можете в это поверить?

очень несправедливо, просто купил его, потому что на спешке, я считаю, что есть тонны исходных кодов там так просто скопировать этот код и переставляя его просят так много денег, просто отстой!

0
отвечен Riccardo 2022-12-02 22:35

старый поток, но может помочь другим:AllDup, поиск дубликатов файлов, теперь имеет возможность отображать только не дублирующиеся файлы, т. е. те, которые уникальны среди папок, включенных в сравнение. Интерфейс был довольно неуклюжим в последний раз, когда я проверял,но он действительно сделал это.

0
отвечен GabrielB 2022-12-03 00:52

Постоянная ссылка на данную страницу: [ Скопировать ссылку | Сгенерировать QR-код ]

Ваш ответ

Опубликуйте как Гость или авторизуйтесь

Имя
Вверх