короткий ответ:

невозможно гарантировать длительный период времени из-за энтропии (также называемой смертью!). Цифровые данные распадаются и умирают, как и любая другая вещь во Вселенной. Но его можно замедлить.

в настоящее время никакой fail-proof и научно доказанный путь гарантировать Леты 30+ холодных архивохранилищ данных. Некоторые проекты нацелены на это, например проект Розетта диски долго теперь музей, хотя они все еще очень дорогие и с низкой плотностью данных (около 50 МБ).

в то же время, вы можете использовать научно доказанные жизнерадостные оптически средства массовой информации для холодильных установок как тип ХТЛ дисков Блу-рай как Панасоник, или архивная ранг ДВД+Р как архивное золото дословного, и держите их в воздухонепроницаемых коробках в мягком пятне (избегите высокой температуры) и из света.

и быть избыточным: сделайте несколько копий ваших данных (не менее 4) и вычислите хэши, чтобы регулярно проверять это все в порядке, и каждые несколько лет нужно переписывать данные на новые диски. Кроме того, используйте много коды исправления ошибок, они позволят вам восстановить поврежденные данные!

ответ

почему данные повреждены со временем? ответ кроется в одном слове: энтропия. Это одна из основных и неизбежных сил Вселенной, которая заставляет системы становиться все менее упорядоченными во времени. сведения коррупция именно так: беспорядок в разрядах. Другими словами, Вселенная ненавидит ваши данные.

борьба с энтропией точно так же, как борьба со смертью: вы вряд ли добьетесь успеха, когда-либо. Но, вы можете найти способы замедлить смерть, так же, как вы можете замедлить энтропию. Вы также можете обмануть энтропию, исправив повреждения (другими словами: вы не можете остановить повреждения, но вы можете восстановить их после того, как они произойдут, если вы заранее приняли меры!). Как и все о жизни и смерти, нет волшебной пули, ни одного решения для всех, и лучшие решения требуют, чтобы вы непосредственно участвовать в цифровое курирование ваши данные. И даже если вы делаете все правильно, вы не гарантируете безопасность ваших данных, вы только максимизируете свои шансы.

теперь хорошие новости: теперь есть довольно эффективные способы сохранить ваши данные, если вы комбината хорошее качество носители информации, и хорошее стратегии архивирования / курирования вы должны дизайн для отказа.

каковы хорошие стратегии курации? Давайте проясним одну вещь: большая часть информации, которую вы найдете будет о резервных копиях, а не об архивных. Проблема в том, что большинство людей будут передавать свои знания о стратегиях резервного копирования в архив, и, таким образом, сейчас часто слышно много мифов. Действительно, хранение данных в течение нескольких лет (резервное копирование) и хранение данных в течение максимально длительного времени десятилетия как минимум (архивные) имеют совершенно разные цели, а значит, требуют разных инструментов и стратегий.

к счастью, есть довольно много исследований и научных результатов, поэтому я советую ссылаться на эти научные статьи, а не на форумах или журналах. Здесь я кратко изложу некоторые из моих показаний.

кроме того, будьте осторожны претензий и не независимая научные исследования, утверждая, что такое Или такое средство хранения идеально. Помните знаменитую Би-би-си Проект Domesday: "цифровая книга Страшного Суда длится 15 лет, а не 1000". Всегда дважды проверяйте исследования с действительно независимыми документами, и если их нет, всегда предполагайте, что носитель для хранения не подходит для архивирования.

давайте уточним, что вы ищете (из вашего вопроса):

• долгосрочное архивирование: вы хотите сохранить копии ваших разумных, невоспроизводимых "личных" данных. Архивация принципиально отличается от резервное копирование, а ну объяснил тут: резервные копии предназначены для динамических технических данных, которые регулярно обновляются и, следовательно, должны быть обновлены в резервные копии (т. е., ОС, расположение рабочих папок и т. д.), тогда как архивы static данные, которые вы, вероятно,писать только один раз и просто читать С времени. архивы данных intemporal, как правило, личный.

• холодильных установок: вы хотите, чтобы избежать обслуживания ваших архивных данных, насколько это возможно. Это большое ограничение, так как это означает, что носитель должен использовать компоненты и методику записи, которые остаются стабильными в течение очень долгого времени, без каких-либо манипуляций с вашей стороны, и без необходимости подключения к компьютеру или электроснабжению.

чтобы упростить наш анализ, давайте первое исследование холодильных решения, а затем долгосрочные архивные стратегии.

хладоносители

мы определили выше, что такое хороший холодный носитель: он должен хранить данные в течение длительного времени без каких-либо манипуляций (поэтому он называется "холодным": вы можете просто хранить его в шкафу, и вам не нужно подключать его к компьютеру для хранения данных).

статьи может показаться как самое жизнерадостное средство хранения на земле, потому что мы часто находим очень старая рукопись из древних веков. Тем не менее, бумага страдает от основных недостатков: во-первых, плотность данных очень низкая (не может хранить более ~100 КБ на бумаге, даже с крошечными символами и компьютерными инструментами), и со временем она ухудшается без какого-либо способа ее мониторинга: бумага, как и жесткие диски, страдает от бесшумного повреждения. Но в то время как вы можете контролировать тихие повреждения на цифровых данных, вы не можете на бумаге. Например, вы не можете гарантировать, что изображение сохранит те же цвета только на десятилетие: цвета будут деградировать, и у вас нет возможности найти то, что было оригинальными цветами. Конечно, можно священник ваши фотографии, если вы профессионал в восстановлении изображений, но это очень много времени, в то время как с цифровыми данными, вы можете автоматизировать этот процесс курирования и восстановления.

Жесткие Диски (HDD) are известный to есть средняя продолжительность жизни 3 до 8 лет: они как раз не ухудшают с течением времени, они гарантированно в конце концов умирают (ie: недоступно). Следующие кривые показывают эту тенденцию для всех жестких дисков умирать с ошеломляющей скоростью:

ванной кривой показывает эволюцию частоты отказов жесткого диска с учетом типа ошибки (также применимо к любому спроектированному устройству):

кривая, показывающая интенсивность отказов жесткого диска, все типы ошибок объединены:

источник: Backblaze

Вы можете видеть, что существует 3 типа жестких дисков относительно их отказа: быстро умирающие (например: производственная ошибка, плохое качество жестких дисков, отказ головки и т. д.), постоянная скорость вымирания (хорошее производство, они умирают по различным" нормальным "причинам, это относится к большинству жестких дисков), и, наконец, надежные, которые живут немного дольше, чем большинство жестких дисков, и в конечном итоге умирают вскоре после "нормальных" (например: удачные жесткие диски, не слишком часто используемые, идеальные экологические условия и т. д..). Таким образом, Вы гарантированно, что ваш жесткий диск умрет.

почему HDD умирают так часто? Я имею в виду, данные записываются на магнитный диск, и магнитное поле может длиться десятилетия, прежде чем исчезнуть. Причина, по которой они умирают, потому что носителе (магнитный диск) и оборудование для чтения (электронная доска + вращающаяся головка)в сочетании: их нельзя разобщить, вы не можете как раз извлечь магнитный диск и прочитать его с другая голова, потому что сначала электронная плата (которая преобразует физические данные в цифровые) отличается почти для каждого жесткого диска (даже одного и того же бренда и ссылки, это зависит от исходной фабрики), а внутренний механизм с вращающейся головкой настолько сложен, что в настоящее время невозможно для человека идеально разместить вращающуюся головку на магнитных дисках, не убивая их.

кроме того, жесткие диски известны размагнитить со временем, если не используется (в том числе твердотельных). Таким образом, вы не можете просто хранить данные на жестком диске, хранить их в шкафу и думать, что они сохранят данные без какого-либо электрического подключения: необходимо подключать жесткий диск к источнику питания не реже одного раза в год или на пару лет. Таким образом, жесткие диски явно не подходят для холодного хранения.

магнитные ленты: они часто описываются, как для резервного копирования, и для архивирования. Проблема с магнитным ленты что они очень чувствительны: магнитные частицы окиси могут легко быть ухудшены солнцем, водой, воздухом, скрестами, размагничены К время или любой электромагнитный прибор или как раз падают с временем, или "печать" -через. Именно поэтому они обычно используются только в центрах обработки данных профессионалами. Кроме того, никогда не было доказано, что они могут хранить данные более десяти лет. Итак, почему они часто рекомендуются для резервного копирования? Потому что раньше они были дешевыми: в те дни это стоило 10x В 100 раз дешевле использовать магнитные ленты, чем жесткие диски, и жесткие диски, как правило, намного менее стабильны, чем сейчас. Поэтому магнитные ленты в первую очередь рекомендуется для резервного копирования из-за экономичность, не из-за отказоустойчивости, что нас больше всего интересует, когда дело доходит до архивирования данных.

карты CompactFlash и Secure Digital (SD) известны своей прочностью и надежностью, способный пережить катастрофические условия.

карты памяти в большинств камерах виртуально неуничтожаемы, найденная кассета покупателя цифровой фотокамера. Пять форматов карт памяти выжили после варки, топтания, мытья и макания в кофе или колу.

однако, как и любой другой магнитный носитель, он полагается на электрическом поле, чтобы сохранить данные, а так если карта разрядится, данные могут быть полностью утеряны. Таким образом, не идеально подходят для холодного хранения (так как нужно периодически переписывать электрическое поле), но это может быть хорошим средством для резервных копий и краткосрочного или среднесрочного архивирования.

оптические носители: оптические носители представляют собой класс устройств хранения информации, опираясь на лазер для считывания данных, такие как CD, DVD или Blu-Рэй (БД). Это можно рассматривать как эволюцию бумаги, но мы записываем данные в таком крошечном размере, что нам нужен более точный и эластичный материал, чем бумага, и оптические диски-это именно то. 2 самых больших преимущества оптически медиумов состоит в том, что носитель не связано с чтением оборудования (т. е., если ваш DVD плейер не удается, всегда можно купить еще один для чтения диска) и что это на основе лазера, что делает его универсальным и в будущем (т. е. как долго, как вы знаете, как сделать лазер, вы всегда можете настроить его, чтобы прочитать биты оптического диска от эмуляции, как CAMILEON сделал для проекта "книги Страшного суда" Би-би-си).

Как любая технология, новое предложение итерирований не только более большое плотность (помещение для хранения), а также лучше коррекция ошибок, и более устойчивыми против окружающей среды (не всегда, но в целом верно). Первые дебаты о надежности DVD были между DVD-R и DVD+R, и даже если DVD - R все еще распространены в наши дни, DVD+R признаны более надежный и точный. Теперь архивные диски DVD ранга, специфически сделанные для холодильных установок, требуя что они могут выдержать минимум ~ 20 лет без любых содержание:

Verbatim Gold архивный DVD-R [...] был оценен как самый надежный DVD-R в тщательном долгосрочном стресс-тесте хорошо известным немецким журналом c't (c't 16/2008, страницы 116-123) [...] достижение минимальной долговечности 18 лет и средней долговечности от 32 до 127 лет (при 25С, 50% влажности). Ни один другой диск нигде не приблизился к этим значениям, второй лучший DVD-R имел минимальную прочность всего 5 годы.

От LinuxTech.net.

кроме того, некоторые компании, специализирующиеся на очень долгосрочное DVD архивное и обширно выходит они вышед на рынок на рынок на рынок, как M-диск от Millenniata или DataTresorDisc, требуя что они могут сохранить данные на сверх 1000 лет, и подтверженный некоторые (не независимая) исследования (от 2009) среди менее-научные другие.

все это кажется очень многообещающе! К несчастью, для подтверждения этих утверждений недостаточно независимых научных исследований, и немногие из них доступны не так восторженно:

влажность (80% RH) и температура (80°C) ускоренное ход вызревание на нескольких DVDs над 2000 часами (около 83 днями) испытания с регулярн проверять считываемости данных:

переведено из Французского института архивирования цифровых данных (Archives de France), исследование из 2012.

первый график показывает DVD с медленной эволюцией деградации. Второй DVD с быстрыми кривыми деградации. И третий - для специальных" очень долгосрочных " DVD, таких как M-Disc и DataTresorDisc. Как мы можем видеть, их производительность не совсем соответствует требованиям, будучи ниже или наравне со стандартными, не архивными DVD-дисками!

однако, неорганических оптических дисков, такие как M-DISC и DataTresorDisc вам одно преимущество: они совершенно нечувствительны к свету деградация:

ускоренное старение при использовании света (750 Вт / м2) в течение 240 часов:

эти большие результаты, но архивный DVD ранга как архивное золото Verbatim также достигает такого же представления, и furthermore, свет controllable параметр для предмета: довольно легко положить DVD в закрытые коробку или шкаф, и таким образом извлекать любой возможный удар света что бы ни было. Было бы гораздо полезнее получить DVD, который очень устойчивыми к перепадам температуры и влажности, чем свет.

эта такая же исследовательская группа также изучила рынок Blu-ray для того чтобы увидеть если было бы любое тавро с хорошим средством для долгосрочного холодильных установок. Вот их вывод:

влажность и температура ускорили ход вызревания на нескольких Тавр Blu-ray, под такими же параметрами как для DVDs:

свет ускоренного старения на несколько марок BluRays, же параметры:

переведено из этого исследования архивов Франции, 2012.

два резюме всех выводов (на французском языке) здесь и здесь.

в штрафе, самый лучший диск Блу-рай (от Панасоник) выполнил подобно самому лучшему архивному ДВД ранга в тесте влажности+температуры, пока был виртуально нечувствителен для того чтобы осветить! И этот Blu-ray диск даже не архивного качества. Кроме того, Blu-ray диски используйте расширенный код исправления ошибок, чем DVD-диски (сами по себе, используя расширенную версию относительно компакт-дисков), что дополнительно минимизирует риски потери данных. Таким образом, кажется, что некоторые диски BluRay могут быть очень хорошим выбором для холодного хранения.

и действительно, некоторые компании начинают работать над архивным классом, высокой плотностью хранения Blu-ray дисков, таких как Panasonic и Sony, объявляет that они будут предложить 300 GB к 1TB хранения с средним жизненным периодом пятьдесят лет. Также,крупные компании обращаются к оптическим средам для холодного хранения (потому что он потребляет гораздо меньше ресурсов, так как вы можете хранить их в холодильнике без какого-либо электрического питания), такие как Facebook, который разработал роботизированную систему для использования Blu-ray дисков в качестве"холодного хранения" для данных их системы редко доступ.

давно сейчас архивная инициатива: есть и другие интересные провода, такие как Розеттский Диск проект Музея "долгое время", который представляет собой проект по написанию страниц бытия в микроскопическом масштабе на всех языках Земли, на которые был переведен бытие. Это отличный проект, который первым предлагает носитель, который позволяет хранить 50 МБ для действительно очень длительного холодного хранения (так как он написан на углероде) и с доступом к будущему, так как вам нужна только лупа для доступа к данным (никаких странных спецификаций формата или технологических хлопот для обработки, таких как фиолетовый луч Blu-ray, просто нужна лупа!). Тем не менее, они все еще производятся вручную и, таким образом, оцениваются в размере около 20 тыс. долларов, что немного слишком много для личной архивной схемы, я думаю.

интернет-решений: но другое средство к холодильным установкам ваши данные над сетью. Тем не менее, облачные решения резервного копирования не очень хорошо подходят, для основной проблемы, чем облако хостинг компании не могут жить до тех пор, как вы хотели бы сохранить свои данные. Другие причины включают тот факт, что это ужасно медленно резервного копирования (так как он передает через интернет) и большинство провайдеров требуют, чтобы файлы также существуют в вашей системе, чтобы держать их в интернете. Например, CrashPlan и Backblaze будет окончательно удалить файлы, которые не являются, по крайней мере, видел как на ваш компьютер в течение последних 30 дней, так что если вы хотите загрузить резервную копию данных, которые хранятся только на внешних жестких дисках, вам нужно будет подключить ваш USB жесткий диск хотя бы раз в месяц и синхронизацию с облаком, чтобы сбросить время обратного отсчета. Тем не менее, некоторые облачные сервисы предлагают хранить ваши файлы бесконечно долго (конечно, пока вы платите) без обратного отсчета, например SpiderOak. Поэтому будьте очень осторожны с условиями и использованием облачного решения для резервного копирования, которое вы выбираете.

альтернативой поставщикам облачных резервных копий является аренда собственного частного сервера в интернете, и, если возможно, выберите один с автоматическим зеркальным отображением / резервным копированием ваших данных в случае аппаратного сбоя на их стороне (некоторые из них даже гарантируют вам потерю данных в своих контрактах, но конечно это дороже). Это отличное решение, во-первых, потому что вы все еще владеете своими данными, а во-вторых, потому что вам не придется управлять сбоев оборудования, это ответственность хозяина. И если в один прекрасный день ваш хост выходит из бизнеса, вы все равно можете вернуть свои данные (выберите серьезный хост, чтобы они не отключались в течение ночи, но уведомили вас заранее, возможно, вы можете попросить включить это в контракт), и rehost в другом месте.

Если вы не хотите хлопот по настройке собственного частного онлайн-сервера, и если вы можете себе это позволить, Amazon предлагает новый сервис архивирования данных под названием Glacier. Цель точно к холодам хранить ваши данные для долгосрочной перспективе: таким образом, это стоит много, чтобы хранить данные на леднике, а оно стоит даже больше, чтобы вернуть эти данные, так как это сервис для хранения данных вне досягаемости, не держать данные, которые вы хотите, чтобы доступ к часто. Это означает, что данный сервис котирует цены на запись данных, но также и для чтения их. Эта услуга имеет огромную стоимость, но она может быть хорошей для некоторых из ваших самых разумных данных (т. е. если у вас есть несколько текстовых файлов или изображений, которые очень разумны, так как такого рода данные обычно имеют небольшой размер, это не будет стоить вам очень много для хранения в леднике).

недостатки холодного хранения: однако, большой недостаток в любом средстве холодильных установок: никакая проверка целостности, потому что средства холодильных установок не могут автоматически проверить целостность данных (они могут просто реализовать схемы исправления ошибок, чтобы" залечить " немного ущерба после повреждения, но его нельзя предотвратить или автоматически управлять!) потому что, в отличие от компьютера, нет процессора для вычисления / журнализации / проверки и исправления файловой системы. Тогда как с компьютером и множественными блоками памяти, вы смогли автоматически проверить герметичность ваших архивохранилищ и автоматически отразить на другой блок если необходимый, то если некоторое развращение произошло в архиве данных (если у вас есть несколько копий одного и того же архива).

Долгосрочное Архивирование

даже с самыми лучшими в настоящее время имеющимися технологиями, цифровые данные можно только холодно хранить на немного декад (около 20 лет). Таким образом, в долгосрочной перспективе, вы не можете просто полагаться на хранение холода: вам нужно настроить методологии для процесса архивирования данных, чтобы гарантировать, что ваши данные могут быть получены в будущем (даже с технологическими изменениями), и что вы минимизировать риски потери данных. Другими словами, вам нужно стать цифровой куратор ваших данных, ремонт повреждений, когда они происходят и воссоздавать новые копии, когда это необходимо.

нет надежных правил, но вот несколько установленных стратегии кураторства, и в частности волшебный инструмент, который облегчит вашу работу:

• принцип избыточности / репликации:избыточность - только инструмент, который может отменить эффекты энтропии, что является принципом, основанным на теории информации. Чтобы сохранить данные, необходимо дублировать эти данные. Коды ошибок-это именно автоматическое применение принципа избыточности. Однако,вы также должны убедиться, что ваши данные является излишним: несколько копий одних и тех же данных на разных дисках, несколько копий на разных носителях (так что, если один носитель выходит из строя из-за внутренних проблем, шансов мало что другие на разных носителях также потерпят неудачу одновременно) и т. д. В частности, у вас всегда должно быть по крайней мере 3 копии ваших данных, также называемых 3-модульной избыточностью в технике, так что если ваши копии будут повреждены, вы можете отдать простое большинство голосов, чтобы восстановить свои файлы из своих 3 копий. Всегда помните совет моряка по компасу:

бесполезно приносить два компаса, потому что если один пойдет не так, вы никогда не знаешь, какой из них правильно, или если оба ошибаются. Всегда принимать один компас, или больше трех.

• коды исправления ошибок: это волшебный инструмент, который сделает вашу жизнь проще и ваши данные безопаснее. Коды коррекции ошибок (ECCs) представляют собой математическую конструкцию, которая будет генерировать данные, которые могут быть использованы для восстановления данных. Это более эффективно, потому что ECCs может восстановить гораздо больше ваших данных, используя гораздо меньше места для хранения, чем просто репликация (т. е. создание нескольких копий ваших файлов), и они даже могут быть использованы для проверки, если ваш файл имеет какие-либо повреждения, и даже найдите, где эти коррупции. На самом деле, это именно применение принципа избыточности, но более разумным способом, чем репликация. Этот метод широко используется в любой дальней связи в настоящее время, таких как 4G, WiMax, и даже космической связи НАСА. Несчастливо, хотя ECCs вездесущ внутри Телекоммуникации, они не в ремонте файлов, может быть, потому, что это немного сложно. Тем не менее, некоторые программы доступны, такие как хорошо известный (но теперь старый) PAR2,DVD и стихийных бедствий (который предлагает добавить коды исправления ошибок на оптических дисках) и pyFileFixity (который я разрабатываю частично, чтобы преодолеть ограничения и проблемы PAR2). Существуют также файловые системы, которые опционально реализуют Reed-Solomon, такие как ZFS для Linux или ReFS для Windows, которые технически обобщение RAID5.

• проверить целостность файлы регулярно: хеш-файлов и проверять их время от времени (т. е. раз в год, но это зависит от носителя и условий окружающей среды). Когда вы видите, что ваши файлы пострадали от коррупции, пришло время, чтобы восстановить с помощью ECCs вы создали, Если вы сделали это, и/или сделать новую свежую копию ваших данных на новом носителе. Проверка данных, восстановление коррупция и создание новых свежих копий-это очень хороший цикл курирования, который обеспечит безопасность ваших данных. Проверка, в частности, очень важно, потому что ваши копии файлов могут получить молча поврежден, и если вы затем скопировать копии, которые были подделаны, вы в конечном итоге с полностью поврежденных файлов. Это даже более важно с носителями холодильных установок, как оптические диски, которые не могут автоматически проверить герметичность данных (они уже снабжают ECCs для того чтобы излечить бит, но они не можете проверить или создать новые свежие копии автоматически, это ваша работа!). Для отслеживания изменений файлов можно использовать rfigc.py сценарий pyFileFixity или другие инструменты UNIX, такие как md5deep. Вы также можете проверить состояние некоторых носителей, например жестких дисков, с помощью таких инструментов, как Жесткий Диск Sentinel или с открытым исходным кодом smartmontools.

• хранить ваши архивы носителей на разных локации (по крайней мере, с одной копией за пределами вашего дома!) чтобы избежать в реальной жизни катастрофических событий, таких как наводнение или пожар. Например, один оптический диск на работе или облачная резервная копия могут быть хорошей идеей для выполнения этого требования (даже если поставщики облачных услуг могут быть закрыты в любой момент, пока у вас есть другие копии, вы будете в безопасности, поставщики облачных услуг будут служить только в качестве выездного архива в случае чрезвычайной ситуации).

• хранить в конкретных контейнеры с контролируемыми параметрами окружающей среды: для оптически средств массовой информации, магазин далеко от света и в Вод-плотной коробке для избежания влажности. Для жестких дисков и sd-карт храните их в антимагнитных гильзах, чтобы избежать остаточного электричества для несанкционированного доступа к диску. Вы также можете хранить в герметичной и водонепроницаемой сумке / коробке и хранить в морозильной камере: медленные температуры замедляют энтропию ,и вы можете продлить довольно большую продолжительность жизни любого носителя информации (просто убедитесь, что вода не войдет внутрь, иначе ваш носитель быстро умрет).

• использовать хорошее качество оборудования и проверить их заранее (например: когда вы покупаете SD-карту, проверить всю карту с программным обеспечением, таким как HDD сканирования, чтобы проверить, что все в порядке, прежде чем писать свои данные). Это особенно важно для оптических приводов, потому что их качество может радикально изменить качество ваших сожженных дисков, о чем свидетельствует исследование Archives de France (плохая DVD-горелка будет выпускать диски, которые будут длиться намного меньше).

• тщательно выбирайте форматы файлов: не все форматы файлов устойчивы к повреждениям, некоторые из них даже явно слабы. Например. ,jpg-изображения могут быть полностью сломаны и нечитаемы, изменяя только один или два байта. То же самое для архивов 7zip. Это смешно, поэтому будьте осторожны с форматом файлов, которые вы архивируете. Как правило, простой открытый текст является лучшим, но если вам нужно сжать, используйте non-solid ZIP и для изображения, использовать JPEG2 (не открытое еще...). Больше информации и отзывов о Pro Digital curators здесь,здесь и здесь.

• магазин наряду с вашими архивами данных каждое программное обеспечение и спецификации, которые необходимы для чтения данных. Помните, что технические характеристики быстро меняются, и, таким образом, в будущем ваши данные не могут быть более читаемыми, даже если вы можете получить доступ к файлу. Таким образом, вы должны предпочесть форматы с открытым исходным кодом и програмное обеспечение, и хранит исходный код программы вдоль ваших данных так, что вы сможете всегда приспосабливать программу от исходного кода для того чтобы запустить от новых OS или компьютера.

• много других методов и подходов доступны здесь,здесь и в различных частях Интернета.

вывод

я советую использовать то, что вы можете иметь, но всегда соблюдать принцип избыточности (сделайте 4 копии!), и всегда регулярно проверяйте целостность (поэтому вам необходимо заранее создать базу данных хэшей MD5/SHA1) и создавать новые копии в случае повреждения. Если вы это сделаете, вы можете технически хранить свои данные до тех пор, пока хотите, чтобы ваш носитель информации был. Время между проверками зависит от надежности носителя: если это дискета, проверяйте каждые 2 месяца, если это Blu-ray HTL, проверяйте каждые 2/3 года.

теперь в оптимальном, я советую для холода хранилище для использования Blu-ray HTL диски или архивный DVD диски хранятся в водонепроницаемых непрозрачных коробках и хранятся в свежем месте. Кроме того, вы можете использовать SD-карты и облачных провайдеров, таких как SpiderOak для хранения избыточных копий ваших данных, или даже жестких дисков, если он более доступен для вас.

использовать много кодов коррекции ошибок, они спасут ваш день. Также вы можете сделать несколько копий этих файлов ECCs (но несколько копии ваших данных является более важным, чем несколько копий ECCs, потому что ECCs файлы могут восстановить себя!).

эти стратегии могут быть реализованы с помощью набора инструментов, которые я разрабатываю (с открытым исходным кодом): pyFileFixity. Этот инструмент был на самом деле начал это обсуждение, после того, как обнаружили, что не было никакого бесплатного инструмента, чтобы полностью управлять файл fixity. Кроме того, пожалуйста, обратитесь к readme проекта и wiki для получения дополнительной информации о файле fixity и digital курирование.

на последнее замечание, я действительно надеюсь, что больше R&D будет поставить на эту проблему. Это серьезный вопрос для нашего современного общества, когда все больше и больше данных оцифровывается, но нет никаких гарантий, что эта масса информации проживет более нескольких лет. Это довольно удручающе, и я действительно думаю, что эта проблема должна быть намного больше на фронте, чтобы это стало маркетинговым пунктом для конструкторов и компаний, чтобы сделать устройства хранения данных, которые могут длиться последующие поколения.

/ EDIT:читайте ниже для практической рутины курирование.

нет простого решения. Ведение архива процесс, не разовое задание. Все три типа архивных носителей имеют свои плюсы и минусы, однако эти аргументы применимы ко всем типам носителей:

1. никто не хранил DVD или жесткие диски в течение 30 или 100 лет, по понятным причинам. Таким образом, нет никакого послужного списка, и никто не знает, как средства массовой информации будут стареть. Тесты на искусственное старение не доказывают многого, и вы полагаетесь на тестирование поставщика, (небеспристрастный.)

2. вы должны хранить средства массовой информации в регулируемой окружающей среде для самых лучших результатов (температуры постоянного/влажности, нижнего света, ЕТК.). В противном случае жизнь средств сокращена значительно.

3. вы должны поддерживать аппаратное и программы, который считывает медиа (например, интерфейсы SATA не могут быть легко доступны через 30 лет).

Так что, на мой взгляд, единственное жизнеспособное решение для дома пользователи или малый бизнес это:

1. поддерживать несколько копий данных на различных типах носителей (жестких дисков и DVD-дисков)
2. хранить несколько копий всех данных в нескольких местах (дома и в сейфе вашего банка).
3. копировать все данные на новый носитель каждые так часто (например, копировать на новый жесткий диск и новые DVD-диски каждые 2 года. По мере роста плотности данных вам, вероятно, также потребуется меньше дисков.
4. ведение бумажных копий для всех важных данных, если это возможно (например, печатать эти ежегодные общие регистры для вашего бизнеса, печать самые ценные семейные фотографии и т. д.)

быстрое отслеживание мой предыдущий ответ выше, это будет сделано более кратким и расширенным с дополнительной (но не первостепенной важности) информацией и ссылками, которые я не могу добавить в первом ответе из-за ограничений длины 30K.

поскольку долгосрочное архивирование является процессом курирования, вот некоторые другие вещи, на которые вы могли бы обратить внимание, чтобы сделать ваш процесс более эффективным и меньшим количеством времени (и ресурсов) потребление:

• дедупликация: поскольку единственный способ обеспечить долгосрочное архивирование-это намеренное резервирование, вы хотите избежать ненужных избыточных данных (например, копий файлов, которые вы извлекли с usb-ключа на свой архивный жесткий диск, но у вас уже есть копия, поступающая с вашего основного компьютера!). Нежелательные избыточные данные, которые обычно называются дубликаты плох, оба в цене хранения (они принимают больше ресурса хранения но вам будет трудно найти их, когда это необходимо), для вашего процесса (что, если у вас есть разные версии одного и того же файла? Как узнать, какая копия правильная?) и для вашего времени (это будет складывается на время передачи, Когда вы будете синхронизировать резервную копию со всеми вашими архивами). Именно поэтому профессиональные архивные службы обычно предлагают автоматизированные дедупликация: файлы, которые точно похожи, получат тот же inode, и они не будут занимать дополнительного пространства. Это что делает SpiderOak, например. Есть автоматизированные инструменты, которые вы можете использовать, и ZFS (Linux) или ReFS (Windows) файловые системы могут сделать это автоматически для вас.

• приоритезация/классификация: как вы можете видеть, долгосрочное архивирование-это трудоемкий процесс, который необходимо регулярно проводить (для проверки работоспособности, синхронизации архивов на разных носителях, создания новых архивов на новых носителях для замены умирающих, восстановления файлов с использованием кодов коррекции ошибок и т. д.). К минимизируйте временные затраты, попробуйте определить различные схемы защиты в зависимости от приоритет ваших данных на основе категории. Идея состоит в том, что при перемещении данных компьютера на один из внешних жестких дисков, используемых для долгосрочного архивирования, вы размещаете их непосредственно в одной папке, определяя приоритет резервного копирования: "неважно", "личный", "важно", "критический". Затем можно определить различные стратегии резервного копирования для каждой папки: защиты (например, Backup на 3 жестких диска + облако + коррекции ошибок коды + BluRays) только для самых важных данных, которые вы хотите сохранить всю вашу жизнь (критическое папку), затем среднюю защиту для "важных" данных (например, резервное копирование на 3 жестких диска + облако), а затем "личное" просто копируются, по крайней мере, двух внешних жестких дисков, и "неважных" получает не копию (или, может быть, на один жесткий диск если синхронизация не слишком долго...). Как правило, вы увидите, что "неважно" будет содержать большинство данных, тогда " личных "меньше, тогда" важных "гораздо меньше, а" критических " будет совсем мало (менее 50 ГБ для меня). Например, в "критическом" вы поставите свой домашний контракт и фотографии вашего брака и родов. Тогда в разделе" Важные " будут документы, которые вы не хотите потерять, такие как юридические документы, некоторые важные фотографии и видео памятных событий и т. д. В разделе "Личные" вы разместите все ваши личные фото, видео с отпуска и рабочие документы, это документы и носители, которые вы хотели бы чтобы сохранить, но вы не умрете от сожаления, если потеряете их (и это хорошо, потому что обычно эта папка огромна, поэтому вы, вероятно, потеряете некоторые файлы в долгосрочной перспективе...). "Неважно" - это все, что вы загружаете из интернета или различных файлов и средств массовой информации, о которых вы действительно не заботитесь (например, программное обеспечение, игры и фильмы). Суть в том, что: чем больше файлов вы хотите архивировать в долгосрочной перспективе, тем сложнее (и отнимает много времени) это будет, поэтому попробуйте держать файлы которые получают это специальное обращение к минимуму.

• Meta-data критическое место: даже при хороших стратегиях курации обычно есть одна вещь, которая не защищена: метаданные. Мета-данные включают в себя информацию о ваших файлах, например: дерево каталогов (да, это всего лишь несколько байт, если вы потеряете это, вы получите ваши файлы в полном беспорядке!), имя файла и расширение, метка времени (это может быть важно для вас) и т. д. Это может показаться не большой сделка, но представьте себе следующее: что, если завтра все ваши файлы (включая файлы, поставляемые с программным обеспечением и прочее) помещаются в одну плоскую папку без их имени файла и расширения. Сможете ли вы восстановить нужные файлы из миллиардов файлов на вашем компьютере, путем ручной проверки? Не думайте, что это необычный сценарий, это может произойти так же легко, как если бы вы получили отключение питания или сбой в середине копии: записываемый раздел может быть полностью уничтожен (The гнусного типа сырья). Чтобы преодолеть эту проблему, вы должны быть готовы и подготовить свои данные для восстановления данных: чтобы убедиться, что вы держите мета-данные, вы можете агломерировать файлы с их мета-данных с помощью non-solid archives как застежка-молния выкачивает или DAR (а не смола). Некоторые файловые системы обеспечивают автоматическое резервирование метаданных, например DVDisaster (для оптических дисков) и ZFS/ReFS (для жестких дисков). Затем в случае сбоя метаданных вы можете попробовать восстановите разделы с помощью TestDisk или GetDataBack (разрешить частичное восстановление дерева каталогов) или ISOBuster (для оптических дисков), чтобы восстановить дерево каталогов и другие метаданные. В случае, если все это не удается, вы можете вернуться к filescraping с помощью PhotoRec: это будет извлечь все файлы, которые он распознает, но в полном беспорядке и без имени файла и метки времени, только сами данные будут восстановлены. Если вы заархивировали важные файлы, вы сможете восстановить метаданные внутри архива (даже если сам zip больше не содержит мета-данных, по крайней мере, внутри файлов все еще будут правильные мета-данные). Однако вам придется вручную проверять все файлы filescraped по одному вручную, что занимает много времени. Для защиты от этой возможности можно заранее создать файл контрольной суммы целостности с помощью pyFileFixity или PAR2, а затем использовать этот файл контрольной суммы целостности после filescraping для автоматического распознавания и переименования файлов в зависимости от их содержимого (это единственный способ автоматизировать filescraping мета-данные для восстановления, потому что filescraping можно технически восстановить только содержимое, а не мета-данных).

• Проверьте свои форматы файлов и стратегии курирования для себя: вместо того, чтобы доверять словам статей о том, какой формат лучше, чем другой, вы можете попробовать самостоятельно с pyFileFixity filetamper.py или как раз самостоятельно путем замена немного шестнадцатиричных характеров в некоторых файлах: вы будете смотрите, что большинство форматов файлов может сломаться с всего лишь 3 различных байт. Таким образом, вы действительно должны тщательно выбирать форматы файлов: предпочитайте простые текстовые файлы для заметок и используйте устойчивые форматы файлов для носителей (они все еще работают над такими, как код исправления ошибок MPEG-4, ffmpeg реализует его, ref будет добавлен) или генерировать свои собственные коды исправления ошибок.

• читайте статистические исследования, не верьте утверждениям: как я сказал в предыдущий ответ, экстравагантные претензии сделаны все время о долговечности носителей без каких-либо научных фактов, и вы должны быть особенно осторожны об этом. Действительно, ничто в законе не мешает производителю хвастаться фальшивыми и непроверенными претензиями на долговечность. Предпочитаю ссылаться на статистические исследования, такие как ежегодный отчет BackBlaze о сбоях жестких дисков.

• Take долгий гарантированный носитель. Гарантия не может вернуть ваши данные, но она говорит вам о том, как производитель оценивает интенсивность отказов своего продукта (потому что иначе это будет стоить слишком много, если скорость слишком высока в течение гарантийного периода).

обновление схемы, которую я использую: я применяю стратегию приоритизации, описанную выше, и добавил облачный сервис резервного копирования SpiderOak к моей схеме, потому что у него есть план с бесконечным хранилищем, и он полностью зашифрован, так я сохраняю единственным владельцем моих данных. Я не использую в качестве единственного носителя данных, это только дополнительный уровень.

Итак, вот моя текущая схема:

• 3 копии жестких дисков регулярно проверяются и синхронизируются и хранятся в двух разных местах, а 1 всегда на мне (я использую его для хранения мусора и быстрого резервного копирования).
• SpiderOak с бесконечным планом хранения
• BluRay диски по очень разумным данных, но не слишком большой (я ограничиваю до 50 ГБ данных, которые я могу хранить на этих дисках)
• pyFileFixity и DVDisaster для папок, которые я действительно хочу сохранить в долгосрочной перспективе.

мой распорядок дня такой: у меня всегда один 2.5 Портативный USB HDD, который я могу использовать, чтобы спрятать разные мелочи (перемещение файлов из "Мой компьютер" на диск) или для резервного копирования важных вещах (копировать файлы на жесткий диск, но сохранить копию на моем компьютере). Для действительно важных вещей, я дополнительно активировать резервное копирование в SpiderOak (у меня есть папка на моем компьютере с критическими материалами, поэтому мне просто нужно переместить критические файлы туда, и она автоматически синхронизируется SpiderOak). Для действительно важных файлов я также вычисляю файл для исправления ошибок с помощью pyFileFixity.

Итак, подводя итог, для критических вещей, я храню их на: портативный жесткий диск, SpiderOak облако и мой компьютер, так что у меня есть 3-х в любое время всего двумя быстрыми действиями (экземпляр к портативному HDD и перейти в папку SpiderOak). Если одна копия будет повреждена, я могу сделать большинство голосов, чтобы исправить их с помощью pyFileFixity. Это очень низкая стоимость схемы (и в цене и во времени) но очень эффективный и снабжает все принципы ядра цифровой курировки (тройного дублирования, различных экземпляров в различных положениях, различных средствах массовой информации, проверке целостности и ecc SpiderOak).

затем, каждые 3 до 6 месяцев, я синхронизировать мой портативный жесткий диск на мой второй жесткий диск дома, а затем каждые 6 до 12 месяцы я синхронизирую свой портативный жесткий диск с моим третьим HDD, который находится в другом доме. Это дает дополнительное преимущество ротации (если через 6 месяцев я пойму, что что-то пошло не так в моей последней резервной копии, и я удалил критические файлы, я могу получить их с одного из двух домашних жестких дисков).

наконец, я написал несколько очень важных файлов на дисках BluRay, используя DVDisaster (и дополнительные ecc-файлы с pyFileFixity, но я не уверен, что это было необходимо). Я храню их в герметичной коробке в шкафу. Я только проверить их каждые несколько лет.

Итак, вы видите, моя схема на самом деле не является большой нагрузкой: ежедневно требуется несколько минут, чтобы скопировать файлы на портативный жесткий диск и в папку SpiderOak, а затем я просто синхронизирую каждые 6 месяцев на один или другой домашний жесткий диск. Это может занять до дня в зависимости от того, сколько данных нужно синхронизировать, но это автоматизировано программным обеспечением, поэтому вам просто нужно позволить компьютеру запускать программное обеспечение, и вы делаете что-то еще (я использую нетбук за 100 долларов, который я купил только для этого что, так что я могу работать на моем компьютере в то же время, не беспокоясь о сбой моего компьютера в середине копии, которая может быть ужасной и уничтожить ваш жесткий диск, который пишется). Коды исправления ошибок и схемы BluRay редко используются только для действительно важных данных, поэтому это немного больше времени, но это редко.

эту схему можно улучшить (как всегда), например, используя ZFS / ReFS на жестких дисках: это реализовать автоматический Рид-Соломон защита кода исправления ошибок и проверка целостности (и dittoblocks!)без какого-либо ручного вмешательства С моей стороны (вопреки pyFileFixity). Хотя ZFS не может работать под ОС Windows (на данный момент), есть ссылки, которые позволяют аналогичное управление исправлением ошибок на уровне файловой системы. Кроме того, было бы неплохо использовать эти файловые системы на внешних жестких дисках! Портативный жесткий диск под управлением ZFS / ReFS с автоматизированной коррекции ошибок RS и дедупликации должно быть удивительным! (и ZFS, кажется, довольно быстро Так что копирование должно быть быстрым!).

последнее замечание: будьте осторожны с утверждениями о возможностях ECC файловых систем, таких как в список, потому что для большинства он ограничен только метаданными (например,APFS) или в зеркальное отображение RAID 1 (btrfs). Насколько мне известно, только ZFS и ссылки предоставляют реальные коды исправления ошибок (а не простое зеркальное отображение) как метаданных, так и данных, причем ZFS является самым передовым в настоящее время (хотя по-прежнему несколько экспериментальным с 2018 года), в частности потому, что ReFS-диски не могут быть загружаемыми.

Я бы сделал микрофильм. Я не знаю, если он все еще производится, но я был бы удивлен, если это не так. Негативы на основе серебра сохраняются сотни лет, если их правильно хранить. Конечно, это огромные инвестиции,и займет целую комнату для фотосъемки и просмотра, и это не считая хранения. Так что это только если вы действительно имею в виду 100 лет без обслуживания.

Если нет-и, скорее всего, вы не, если вы не хотите, чтобы сделать капсулу времени -, просто использовать резервные копии HDD, и скопировать все вещи новые медиа в каждые 10-15 лет. Действительно, нет лучшей страховки от старения носителя, чем копирование всего этого каждые 10 лет или около того. Лучше, чем микрофильм, лучше, чем глиняные таблички, лучше, чем каменные обелиски, похороненные в песке пустыни.

до 5 ТБ (или больше?) вы можете безопасно хранить до 30 лет на магнитная лента aka ленточный накопитель. Это время доказано. блю-рей дисков безопасно будет хранить ваше вещество до 30 лет также, но емкость вокруг 100ГБ.

Если вы имеете больше денег, то вы сохранили бы их на черно-белом фильме 35мм. Предполагается, что данные могут быть восстановлены (в зависимости от плотности) на ближайшие 700 лет. (немецкая ссылка на Википедию)

Я рекомендую диск никеля диаметра 3 дюймов с информацией микроскопически вытравленной на свою поверхность.

http://rosettaproject.org/blog/02008/aug/20/very-long-term-backup/

для такого рода промежутков времени, все, что уже на бумаге (или может быть легко напечатан без потери информации) было бы лучше хранить в этой форме. Просто помните о бумаге и тонере, которые вы используете для печати.

Что касается других, я не знаю используемого в настоящее время цифрового носителя, который будет длиться в течение этих промежутков времени. Если вы потратите время (и, следовательно, деньги), чтобы обновить свою коллекцию, магнитная лента может быть жизнеспособным вариантом , но даже тогда вам понадобится избыточность, так как вы можете просто узнать, что одна лента испортилась (или может быть, что ленточный накопитель просто искажает ленту при ее чтении).

и даже когда вы сможете заставить реальные СМИ выдержать испытание временем, вы все равно столкнетесь с проблемой, сможет ли какая-либо программа читать СМИ через 30 лет, не говоря уже о 100 годах.

Это правда, что обычные CD-Rs и DVD-Rs недостаточно надежны для архивирования важных данных. Но вы можете получить DVD-диски, которые не так быстро распадаются:

https://www.google.com/search?q=archival+ДВД-Р

Я читал ,что "M-Disc" создали DVD, который нуждается в специальном писателе, но читается на общих DVD-читателях. Они утверждают, что в estimatible продолжительность жизни 1000 лет, утверждая, что она не может быть точно проверена. Длиннее подвержение к Солнцу, скрестам, множественному использованию etc и диску 100% годное к употреблению. Я был бы заинтересован в любой обратной связи от любого, кто столкнулся с этой системой.

вот выдержка из Dell, который, возможно, установка M-дисковода в своем новом ноутбуки / ПК

данные по лазер-вытравливания приводов м-диска готовые в неорганический похожий на утес материал для предотвращения потери данных, обеспечивающ что ваши файлы безопасны и могут храниться на до 1000 лет, заявки компании.

В отличие от всех других записываемых DVD-дисков, которые используют органические красители для хранения данных, диски M не будут исчезать или деградировать с течением времени.

вам нужно смешивать различные технологии, места и носители для того, чтобы достичь долгой жизни резервных копий:

• запись на DVD-Bluray на низкой скорости. Держите их в условиях низкой освещенности, низкой температуры, низкой влажности, без царапин.
• сохранить копию в RAID 1, Raid5, Raid6 или Raid10.
• сохранить копию на внешний жесткий диск
• сохранить копию в облаке (Карбонит, crashplan)
• сохранить копию на M-Disc технологии (mdiscs и mdisc горелки) не доступны на Amazon.com по очень хорошим ценам. Производитель заявляет, что они могут хранить данные в течение 1000 лет.

Как кто-то уже упоминал, есть новая технология под названием M-Disc. Они очень надежны: http://www.zdnet.com/torture-testing-the-1000-year-dvd-7000023203/ Мы начали использовать их для защиты образов дисков производственных машин. На рынке уже есть Blu-Rays. Единственным недостатком является то, что они медленнее, чем классические B-RDs.

Если вы хотите иметь метод для того чтобы разрешить эту проблему, то вы должны изучить цифровое поле Presevation.

http://en.wikipedia.org/wiki/Digital_preservation

цифровое сохранение-это метод сохранения цифрового материала живым, чтобы они оставались пригодными для использования в качестве технологических достижений, которые делают оригинальные аппаратные и программные спецификации устаревшими (wikipedia)

существует также эталонная модель: OAIS http://en.wikipedia.org/wiki/Open_Archival_Information_System

есть несколько с открытым исходным кодом и коммерческих решений accomply его. Библиотеки и архивы используют эти технологии для сохранения оцифрованных книг в течение длительных периодов времени.

ваш ответ прост:

https://wiki.openstack.org/wiki/Cinder

Openstack-это система почти "бессмертного" хранилища, так как вы можете обновлять или заменять неисправные узлы новыми, даже с будущими технологиями, неизвестными нам сейчас. Ваши данные живут по крайней мере 2, до 5 мест одновременно в этой системе, поэтому полные Примечания хранения могут потерпеть неудачу и Вы данные все еще присутствовал. Масштабы до 50 PB (подтверженный) - 110 PB. В основном он добавляет слой SW на вашем оборудование и это делает ваше хранение инфинитным живым. Это преодолевает наш текущий звуковой барьер наборов Raid с его ограничениями времени перестроения очень больших наборов raid. Затраты составляют около 50% традиционных Raid-систем хранения. Я знаю систему от FUJITSU с эталонной архитектурой: CD10000