Каков самый безопасный и наименее дорогостоящий способ хранения 10 терабайт данных?

Я член продюсерской компании и мы готовимся к нашему первому полнометражному фильму. Мы обсуждали методы хранения данных, чтобы сохранить весь наш исходный контент в безопасности (как можно дольше). Хотя мы понимаем, что данные никогда не 100% безопасны, мы хотели бы найти самое безопасное решение для нас.

мы считать:

  • 16 ТБ NAS для локального хранения

  • 4-5 жестких дисков 2TB (дешевых, но не избыточных), копировать оригинальные кадры чтобы диски затем запечатать в статический свободный мешок

  • запись данных на Blu-Ray диски (отнимает много времени и дорого: 200 дисков == $5000)

  • накопитель на магнитной ленте(ы)?

Я знаю меньше всего о ленточных накопителях, за исключением того, что они более надежны, чем диски. Любой опыт/знания с этим количеством данных чрезвычайно ценится.

4
задан Josh T
08.01.2023 21:12 Количество просмотров материала 2572
Распечатать страницу

12 ответов

Это предполагает, что вы собираетесь для архива, а не регулярного резервного копирования или живых данных.

пойдите для набора жестких дисков SATA (1 или 2 TB), плюс несколько экстр. Скопируйте данные на диски. Используйте QuickPar (или архиватор, который поддерживает Тома четности) для создания дополнительных файлов четности. Распределите файлы четности между жесткими дисками.

информация о четности позволит вам восстановить файлы, если у вас осталось достаточно файлов четности. Так если один диск умирает но другое диски с информацией о четности все еще работают, вы можете использовать файлы четности для восстановления оригинала.

для больше дублирования, сделайте его все дважды и магазин на отдельно положениях.

Если вы действительно параноик, то храните PCI и PCI курьерские к регулятору SATA на каждом месте слишком!

изменить: Черт возьми, если паранойя - это то, о чем идет речь, идите на всю свинью и храните ПК с gigabit ethernet на каждом сайте, способном читать диски!

14
отвечен ligos 2023-01-10 05:00

в LTO4 диски можно впихнуть в 800 ГБ в ленте. Недостатком является стоимость самих дисков. Если вы отказались от $ 5K для дисков Blu-Ray, вам не понравится стоимость LTO4. С другой стороны, сами cartages очень дешево на Гб, поэтому вы можете сохранить много копий. Эти ленты имеют хороший срок хранения,но при замене накопителя необходимо запланировать их перенос на новый носитель. Из того, как вы описываете, как вы собираетесь использовать это хранилище, я не думаю, лента подойдет. Нет, если это не будет резервная копия решения вместо архивное решение. Разные проблемы.

возможно, вы захотите рассмотреть какой - то поставщик облачных резервных копий для этого, если ваша ежедневная чистая смена достаточно мала. Конечно, это зависит от того, насколько крепким является ваше интернет-соединение, и восстановление из него может быть одинаково болезненным. Эти услуги довольно новые, поэтому неизвестно, как они справляются с проблемой банкротства ваши данные; что произойдет, если они выйдут из бизнеса?

локальное дисковое хранилище, безусловно, путь. Корпус диска С легко переставляются диски, вероятно, ваш лучший ставку, учитывая ограничения расходов. Если вы можете жить с этими данными в автономном режиме, а затем пойти на это. Диски дешевы, а корпуса дисков дешевле ленточных накопителей. Меньше двигающих частей.


Я предполагаю, что вам это нужно для архива, а не для активного использования в роли видео. Если оно, это другая проблема хранения.

9
отвечен SysAdmin1138 2023-01-10 07:17

в вашем исследовании NAS, вы смотрели на DroboPro или DroboElite самоуправляемые устройства хранения данных?

рассмотрим, что стоимость будет, если вы потеряли некоторые / все ваши кадры и бюджет соответственно;)

3
отвечен Josh Newman 2023-01-10 09:34

вы рассматривали сервисы? Я не уверен, как цена весит, но вы можете рассмотреть хостинг, который продает массовое хранение. Может быть AWS?

2
отвечен nicorellius 2023-01-10 11:51

восемь-десять жестких дисков емкостью 2 ТБ; сделайте два набора. Магазин, как уже упоминалось, sepatately ...

Я бы держался подальше от ленты, поскольку она гораздо более чувствительна к условиям, в которых она хранится, чем диски; кроме того, через пять лет шансы хороши, вы все равно сможете подключить диск SATA к чему-то, но вы не сможете получить доступ к ленточному накопителю, который может читать ваши ленты.

быстрее будет лучшим с точки зрения долгосрочной стабильности, но, как вы упоминаете, расходы а логистика делает их несколько непрактичными.

2
отвечен Adrien 2023-01-10 14:08

Я бы рекомендовал иметь какой-то NAS/RAID для живых файлов, с которыми вы часто работаете. Если вы собираетесь использовать накопители большой емкости, вы, возможно, захотите, чтобы пойти с рейд-6 или аналогичные, которые как в RAID-5 + горячий резерв позволяет не двух дисков, прежде чем ваш RAID деградировал, но в отличие от горячего резерва конфигурации Вашей 2-ой дополнительный диск также будет паритет на нее так, чтобы рейд не нуждается в восстановлении паритета на запасные на провал. С дисков становится больше, есть большая вероятность сбоя диска во время перестроения, поэтому иметь как можно больше живого четности хорошо.

в дополнение к этому, я бы рекомендовал использовать жесткие диски, такие как ленточные накопители. В эти дни можно даже купить случаи жесткого диска (кроме эти), которые позволяют архивировать диски для архивирования. Вы можете сбросить файлы в RAID, а затем сделать дополнительные архивные копии на диски, которые будут храниться.

некоторые видео-дома продукции любят Пикселей Корпуса использовать подобные установки.

кроме того, я настоятельно рекомендую хранить файлы в нескольких местах (не под одной крышей). Кроме того, обязательно следуйте мантре "если она не написана по крайней мере в двух местах, вы ее еще не сохранили". Кроме того, RAID делает не рассчитывать в качестве резервного и само по себе.

2
отвечен James Snyder 2023-01-10 16:25

Я собираюсь предположить, что это в основном для автономного хранилища резервных копий: легко создается и восстанавливается, но не сильно используется в повседневных операциях.

2TB диски можно было около $ 140 в эти дни. Итак, за 10 ТБ, 5 дисков, 700$. Рис. около $ 400 для сборки полу-маломощного сервера, работающего под управлением Debian, Ubuntu или другого Linux. Если вы получаете систему с несколькими Nic, вы можете Бонд сетевые интерфейсы вместе (потенциально, я считаю вам нужен управляемый коммутатор, поддерживающий транкинг) увеличьте доступную пропускную способность сервера и защитите от сбоев NIC. Затем вы можете предоставить хранилище через samba, NFS или другой метод рабочим станциям, которые должны его использовать. Для этого большого объема данных вам, вероятно, понадобится какая-то избыточность, так что когда (не если) один из этих дисков укусит его, вы не останетесь без своих данных. RAID5 не очень хорошая идея здесь, по нескольким причинам, но RAID10 соответствует законопроекту. Поскольку сервер работает под управлением Linux, вы можете использовать mdadm для управления массивом RAID. Для этого вам потребуется удвоить количество физических устройств, так что у вас будет до 10 дисков. Общая стоимость этого сервера хранения: ~ $ 1800 плюс капитал пота в его создании и администрировании.

Если вы действительно любовь ваши данные, (если это действительно важные производственные данные, вы должны!), можно создать дубликат сервера и создать резервную копию. Это можно сделать с помощью rsync crontab, который может быть ужасно медленным, a netcat / tar pipe решение, которое было бы быстрее, чтобы быть уверенным, или настроить raid-устройства в качестве базы drbd устройства. С хранения дублируется автоматически в обоих машин, вы (по сути) гарантированно иметь резервные копии данных. Вы можете получить еще больше фантазии и создать пульс отказоустойчивая система для обеспечения доступности тома данных.

2
отвечен Jeff Shattock 2023-01-10 18:42

Buffalo TeraStation III 8 ТБ сеть хранения прилагается- £ 1,085.56

Амазонки.ко.Великобритания ссылке

Я получил версию terastation 1tb, которую я обновил до 4 ТБ, она работает безупречно в RAID5 для меня. Вы можете посмотреть на покупку меньшей версии и обновление ее самостоятельно, чтобы сэкономить деньги - или купить несколько terastations и т. д..

2
отвечен falter 2023-01-10 20:59

Я мало знаю о ленточных накопителях и семантике хранения данных на ленте, поэтому я не могу вам помочь. Учитывая непомерно высокую стоимость использования bluray в качестве массового резервного копирования, я бы придерживался NAS или отдельных дисков.

одна вещь, чтобы быть осторожным с NAS / Raid является то, что, в то время как они могут хранить значительное количество информации в одном виртуальном диске...вы должны держать все диски вместе, и RAID, как правило, не является отличным долгосрочным решением для "резервного копирования". Вы бежите возможность потери более одного диска, потеря самого устройства NAS (и редко есть гарантии, что заменяющее устройство сможет считывать данные с дисков, даже если это" идентичное " устройство.)

учитывая, насколько радикально дешевые жесткие диски в эти дни, и их общую стабильность, я бы выбрал отдельные диски. Вы можете легко захватить 10 2 ТБ дисков за небольшую стоимость (возможно, $1200 - $1500) и создать два набора резервных копий. Вы получаете как в автономном режиме и резервное копирование данных без рисков, связанных с RAID или устройством NAS. Отдельные диски также предлагают больший диапазон совместимости, так как SATA вряд ли пойдет куда-нибудь в ближайшее время.

1
отвечен jrista 2023-01-10 23:16

Если вы действительно хотите, чтобы убедиться, что вы не потеряете его, то вы хотите, по крайней мере, два варианта архива. Возможно, кассеты и жесткие диски. Создание только одной копии без какой-либо избыточности-это еще один способ бросить кости данных.

1
отвечен irrational John 2023-01-11 01:33

в зависимости от потребностей хранения, Если вы ищете резервное копирование отдельных рабочих станций, посмотрите на док-станцию внешнего хранения Thermaltake BlacX для съемных дисков SATA. Они поддерживают как внешние подключения USB, так и SATA. Просто поместите диск в док-станцию, скопировать данные и у вас есть резервная копия.

У меня доки дома и на работе. Я создаю резервные копии на каждом месте и привезти их в другое место для хранения. У меня также есть скретч-диск для перемещения в процессе работа между локациями.

доки об 60.00 $каждый, и вы можете получить 1,5 ТБ за $100.

1
отвечен 2023-01-11 03:50

Джош, ты не ясно дал понять, рабочие это данные или архивные. Если данные ценны, нет никакой реальной разницы между резервным копированием и архивированием, только там, где вы храните, т. е. в вашей рабочей системе или архивной системе. Опять же, если данные ценны, ваша рабочая система и архивная система будут идентичны, если вы хотите защитить данные и соблюдать правила резервного копирования.

Archive больше относится к типу носителя, чем то, что хранится на нем. Архив подразумевает, что данные никогда не изменятся, т. е. записанные один раз и прочитанные много раз, обычно называемые червями. Червь диски, как правило, ленты, но такие вещи, как RDX Quikstor и RDX Quikstation (8 bay RDX станции) есть червь вариант для конкретных дисков, так что они не могут быть более написаны. Я подозреваю, что RDX Quikstation может подойти для вашего архивирования.

помните, что архивная система является частью плана резервного копирования. Вы никогда не должны рассматривать иметь только одну копию любых данных.

некоторые правила из резервных являются:

правило 3-2-1.

три (3) копии ваших данных. Один (1) источник и две (2) резервные копии на двух различных носителях, один (1) из которых поддерживается за пределами площадки.

примеры: Локальное резервное копирование сервера на локальный NAS и резервное копирование за пределами сайта на ленту или RDX. Резервное копирование локального сервера на локальный NAS и резервное копирование внешнего NAS. Резервное копирование локального сервера на локальный NAS и репликация в реальном времени на удаленный NAS. Ваша локальная резервная копия должна быть диск.

СМИ:

ваш выездной резервного копирования зависит от времени. Резервное копирование на портативный носитель автоматически приводит к задержкам по времени. то есть в понедельник ночью резервное копирование будет удалено во вторник вечером. Если у вас будет катастрофа до закрытия рабочего вторника, вы потеряете два дня. Сколько вы можете позволить себе потерять, полностью зависит от вашего бизнеса и частоты изменения данных.

носители:

полностью соблюдать правила для СМИ хранение. Некоторые ленты требуют, чтобы вы хранили их вертикально между узкими диапазонами температуры и влажности, далеко от источников магнитных полей. Падение ленты снизит ее надежность. Отправка кассет домой с офисной девушкой в сумочке рядом с ее мобильным телефоном-это катастрофа, ожидающая своего часа. Ленты также требуют до двух часов работы в среде резервного копирования перед вставкой в накопитель, выравнивают температуру и влажность между лентой и накопителем. Лентам также нужно быть отброшены и заменены в требуемые интервалы времени/записи.

лично я по этим причинам не люблю кассеты. Стоимость не мала, и ни стоимость того, кто-то управлять им. Инвестировать в кассету, но не следовать правилам бессмысленно. Вы можете сделать это по дешевке, но надежность падает.

устранить отдельные точки отказа:

не распределять данные резервного копирования по нескольким носителям. Е. Г. полное резервное копирование на одну ленту и разница по 6 другие ленты увеличился риск потери данных в 7 раз. Если у меня есть резервная копия мне нравится, чтобы содержать все файлы, необходимые для восстановления данных. Лучше иметь 7 полных резервных копий.

таким образом, рейд считается несколько СМИ. Везде, где вы используете RAID, удостоверьтесь, что у него есть автоматическая отработка отказа горячей замены. Иметь как минимум один запасной диск в отсек, как выделенный горячий резерв подкачки, и система автоматически переключится из убитых дисков с горячей запасные своп. Если у вас есть терабайты данных, рассмотреть наличие двух или более горячих запасных частей в вашем рейде.

Наблюдать Удаленные Расстояния:

ваше выездное расстояние важно. Существует мало смысла в том, выездное резервное копирование, если он защищает только от потери данных в некоторых случаях. Любой, кто прошел через землетрясение, наводнение, Торнадо, Ураган и т. д., скажет вам это. Недавние землетрясения в нашем городе видели много крупных компаний flounder без выездных резервных копий (ленты по-прежнему рядом с серверами) или нечитаемых резервных копий. Как правило, 60 миль / 90 км-хорошее расстояние.

Я не знаю ваш бюджет, поэтому давать советы сложно. Бюджет влияет на выбор резервного копирования и хранилища. Я работал на кинопродюсера, предоставляющего IT поддержку, так что у меня есть некоторое понимание движущихся частей вашей индустрии. Есть много вопросов без ответа:

какие сервера у вас есть, если есть? Сколько у вас сотрудников? Это твой единственный полнометражный фильм? Какой размер самый большой файл или файл установить? Сколько времени между этим фильмом и рядом? Е. Г. если вы полный рабочий день производит у вас есть денежный поток для покрытия ежемесячных расходов, таких как удаленное резервное копирование через волокна. Какой денежный поток будет генерировать фильм? Какие у вас есть требования для продвижения вперед? Эти и другие вопросы задают ваши требования, методологию и бюджет.

например: Если бы вы производили 3 художественных фильма в год и рекламные ролики каждый месяц, используя десяток сотрудников, вы могли бы позволить себе иметь: Серверы с RAID, резервное копирование на RAID NAS на месте. Выделенный fibre link (не так дорого) с 100 Мбит несогласованных (не регулируется провайдером) ссылка реплицируется в центр обработки данных 60m/90k прочь. Важные архивные данные должны быть записаны на ленту или RDX и сохранены в центре обработки данных или ленточном хранилище. Бюджет-это ваш единственный определяющий фактор в отношении степени избыточности и резервного копирования, которые вы можете себе позволить.

или если низкий бюджет, и доход от продаж и будущее неизвестно, то вы может быть, учитывая, лента, RDX или USB-накопителей (не рекомендуется) хранить дома.

текущие и будущие требования, денежный поток и бюджет, взвешенные против потери данных являются определяющими факторами. Я предлагаю вам нанять опытного специалиста по резервному копированию и / или бизнес-аналитика для работы с хранилищем и процессом резервного копирования.

1
отвечен Samuel 2023-01-11 06:07

Постоянная ссылка на данную страницу: [ Скопировать ссылку | Сгенерировать QR-код ]

Ваш ответ

Опубликуйте как Гость или авторизуйтесь

Имя
Вверх