Самый быстрый способ обработки и передачи около 600 ГБ данных между двумя внешними жесткими дисками

sudo fdisk -l :

передаст мне этот следующий выход.

Disk /dev/sdc: 4000.8 GB, 4000787029504 bytes
256 heads, 63 sectors/track, 484501 cylinders, total 7814037167 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 33553920 bytes
Disk identifier: 0x1ca6469a

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1  4294967295  2147483647+  ee  GPT
Partition 1 does not start on physical sector boundary.

WARNING: GPT (GUID Partition Table) detected on '/dev/sdd'! The util fdisk doesn't support GPT. Use GNU Parted.

Note: sector size is 4096 (not 512)

Disk /dev/sdd: 3000.6 GB, 3000592977920 bytes
255 heads, 63 sectors/track, 45600 cylinders, total 732566645 sectors
Units = sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1       51205      204820   ee  GPT
/dev/sdd2           51206   732533871  2929930664    7  HPFS/NTFS/exFAT

Я хочу, чтобы передавать данные от устройства смонтирована на /dev/sdd2 на /dev/sdc2 и данных составляет около 400 - 600ГБ. Каков наилучший способ обработки и передачи этого файла.

мой целевой диск не пуст, и мне нужно перемещать этот объем данных каждые три дня.

  1. архивирование и распаковка занимает слишком много времени
  2. Я еще не пробовал rsync, хотел бы ваш отзывы
  3. Я использую 2 порта USB 3.0 для жестких дисков. Должен Ли Я не подключите их к концентратору, чтобы сделать его быстрее?

есть ли другой эффективный способ передачи этих файлов?

20
задан deeplearning
06.04.2023 23:54 Количество просмотров материала 3476
Распечатать страницу

2 ответа

лучшим способом будет прямая копия-если на целевом диске уже нет данных, которые соответствуют исходному диску с одинаковым именем файла, размером и датой последнего режима, вы будете тратить ресурсы. Это еще вернее использовать сжатие / распаковку, если вы не делаете их сжатые данные-и исходные данные сжимаются (и предполагая, что чтение быстрее, чем запись)

вы не хотите использовать концентратор, как это будет совместно использовать жесткий диск пропускная способность.

вы можете быть в состоянии настроить вещи вокруг краев, изменив размер блока файловой системы - больше более расточительно, но немного быстрее. (Не массово, хотя)

кроме того, различные файловые системы могут дать вам лучшую производительность в зависимости от размера файла.

вашим узким местом, скорее всего, будет скорость и задержка диска, а не что-либо еще. Не так много вы можете сделать, чтобы исправить это, сохранить, возможно, выдерживая целевой диск пуст - в качестве начального - outermost треки-намного быстрее, чем конец-innermost треков. (Я предполагаю, что ваша ссылка на sdc2 должна была быть sdc1. Если это не так, следует рассмотреть расположение sdc относительно размещения данных как можно ближе к началу диска.

0
отвечен davidgo 2023-04-08 07:42

Если у вас есть два эквивалентных USB-концентратора, подключите диски к разным концентраторам, отключите другие USB-устройства и сделайте прямую копию. Это обеспечит максимальный параллелизм.

Если у вас есть только один центр, это может быть быстрее для передачи на промежуточный внутренний диск, а затем скопировать на другой внешний диск, как внешний диск будет узким местом.

в случае, если у вас есть папки с большим количеством небольших файлов, сжатие их в одном zip-архиве увеличит скорость передачи резко.

когда диски имеют тот же размер то дисков копировать раздел должен быть быстрый способ, если диск полон, но медленнее, если диск далеко не полный.

Если целевой диск пуст, увеличение размера кластера разделов с 4 до 16 предотвратит много накладных операций ввода-вывода, но будет стоить дополнительное пространство.

0
отвечен harrymc 2023-04-08 09:59

Постоянная ссылка на данную страницу: [ Скопировать ссылку | Сгенерировать QR-код ]

Ваш ответ

Опубликуйте как Гость или авторизуйтесь

Имя
Вверх