Лента – все еще лидер в резервном копировании данных
- Информационная безопасность ,
- Блог компании Hewlett Packard Enterprise
Что-то давно мы не рассказывали о классических системах резервного копирования данных – ленточных библиотеках. Ведь что бы не говорили некоторые вендоры СХД (сосредоточенные исключительно на дисковых устройствах), ленточные библиотеки остаются важнейшим средством резервного копирования и долгосрочного архивирования. В 2012 году был проведен опрос среди севроамериканских ИТ-директоров на предмет их планов по использованию лент. Так вот, 87% подтвердили, что будут увеличивать их применение или, как минимум, оставят его на прежнем уровне. А кто же является ведущим производителем ленточных библиотек? По данным storagenewsletter.com лидирует компания НР, в 2012 г. продавшая 31% устройств, почти в два раза больше ближайшего конкурента. Несмотря на то, что НР поддерживает стандарты DDS и LTO, сегодня мы поговорим только о последнем, т.к. продажи LTO составляют 94% от всех типов приводов.
В 2013 г. модельный ряд достаточно сильно изменился относительно прошлого года. Во первых, в конце 2012г. вышло новое поколение приводов LTO-6, что позволило увеличить емкость одного картриджа более чем в два раза по сравнению с LTO-5 – до 6.25ТБ (с учетом сжатия), а скорость записи выросла почти в полтора раза – до 1.44ТБ/час. Все это позволило значительно увеличить плотность хранения, при этом стоимость на террабайт снизилась.
Начиная с пятой версии стандарта Ultrium стала доступной файловая система Linear Tape File System (LTFS) на ленточных носителях. Эта файловая система позволяет работать с картриджами LTO-5 и 6 на внешних ленточных приводах как с USB устройством (флэш-памятью), так и с внешним диском. LTFS использует первые дорожки ленты для индекса файловой системы.
Эксклюзивная функция ленточных накопителей HP Ultrium - система сравнения и корректировки скорости записи на ленту с входящим потоком данных – позволяет устройству динамично и непрерывно синхронизировать свою скорость со скоростью передачи данных от сервера. Эта функция позволяет повысить скорость чтения и записи данных на ленту и надежность как самого накопителя, так и ленточного картриджа. Надежность накопителя и картриджа также обеспечивается специальным механизмом автоматического позиционирования картриджа при его загрузке и механизмом автоматической чистки головок чтения/записи.
Еще один новый полезный функционал – это фирменная утилита HP – TapeAssure. Она позволяет повысить эффективность использования ленточных библиотек и картриджей, обеспечивая проактивный мониторинг состояния, производительности, степени использования и исправности накопителей, а также средств резервного копирования. Данное программное обеспечение доступно для бесплатного скачивания.
НР продает как отдельные приводы (их можно установить в специальные рэковые полки), так и ленточные библиотеки. Ленточные библиотеки предназначены для автоматизированного резервного копирования данных. Одновременное использование нескольких лентопротяжных механизмов увеличивает производительность библиотеки и сокращает время, необходимое для записи и чтения резервных копий. Бибилиотеки оснащены внешними интерфейсами SAS, SCSI или Fibre Channel, обеспечивающими возможность одновременного подключения к нескольким серверам и интеграцию в сеть хранения SAN.
Спектр продуктов для автоматизированного резервного копирования включает устройства начального уровня: автозагрузчик Autoloader 1/8 G2 и ленточные библиотеки MSL2024 и MSL4048, ленточные библиотеки среднего уровня MSL 6480 и ленточные библиотеки корпоративного уровня ESL-G3.
Автозагрузчик поддерживает только один лентопривод с интерфейсом SCSI, SAS или FC и имеет только 8 слотов для лент.
Библиотеки серии MSL (включающей модели: 2024, 4048, 8048, 8096) могут поддерживать уже несколько лентоприводов (с интерфейсом SCSI, SAS или FC) и имеют существенно большую емкость благодаря увеличенному количеству слотов.
Модели MSL8048 и MSL8096, так же, как и линейка EML, снимаются с производства, они заменяются новой моделью MSL 6480, которая была анонсирована летом 2013г. и поддерживает масштабирование в рамках одной стойки до 7 модулей. Каждый модуль поддерживает до 6 приводов половинной высоты, до 80 картриджей, объемом до 240 ТБ (сжатие 1:2,5). При установке 7 модулей 6480 в одну серверную стойку можно получить до 42 приводов на стойку с общим объемом картриджей до 3,5 ПБ и скоростью записи до 60 ТБ/час
HP StoreEver MSL Tape Libraries
Библиотеки MSL поддерживают возможность создания нескольких виртуальных библиотек (партиций) внутри одного физического устройства. Также для увеличения емкости и быстродействия можно объединять две библиотеки MSL в одну логическую библиотеку с помощью специального механизма, устанавливаемого в слот лентопривода.
Библиотеки класса Hi-End - ESL-G3 - имеют только корпусное исполнение в отдельных модулях (шкафах). Эти библиотеки могут масштабироваться горизонтально, т. е. с помощью специальных механизмов можно объединить в единую библиотеку до 16 модулей. Такая единая библиотека будет обладать общим ленточным пулом, доступным для любого ленточного привода, независимо от того, в каком из отдельных модулей библиотеки ESL-G3 он расположен.
Библиотека ESL-G3 может поддерживать до 12 лентоприводов и до 306 слотов в управляющем модуле. Модуль расширения поддерживает до 12 лентоприводов и до 444 слотов. В максимальной конфигурации библиотека ESL-G3 может поддерживать до 96 лентоприводов и более 11000 слотов. ESL-G3 поддерживают только интерфейс FC – 4 Гбит/с или 8 Гбит/с.
ESL-G3 обладает высокой доступностью за счет лентоприводов, избыточных вентиляторов и источников питания горячей замены. Кроме того, библиотеки ESL-G3 поддерживают возможность резервирования каналов доступа как к стримерам, так и к роботу библиотеки.
В июне 2013 года для моделей ESL-G3 были анонсированы модули расширения высокой емкости (High Density Expansion Modules), вмещающие до 780 картриджей. С использованием этих модулей расширения число поддерживаемых слотов возросло почти в 2 раза с 7100 до 11600, что эквивалентно 72 ПБ данных (с учетом сжатия). Такая плотность была достигнута благодаря изменению конструкции модулей – теперь слоты расположены на вращающемся барабане, вдоль которого скользит робот. Роботы в библиотеке ESL-G3 теперь работают в режиме Active/Active (в предыдущих моделях Active/Passive), что позволило увеличить производительность библиотеки.
Таким образом, обновленный модельный ряд ленточных библиотек НР отлично подходит для организаций любых размеров – от малого офиса до корпоративного датацентра.
Ленточные накопители информации (стримеры) относятся к внешним ЗУ и предназначены для долговременного хранения больших объемов информации (десятки гигабайт). Данные накопители относятся к ЗУ с последовательным доступом к данным. В ЗУ с последовательным доступом (SequentialAccess) каждый блок записанной информации имеет свой адрес. Для обращения к нему накопитель должен сначала найти маркер начала блока, а затем последовательным холостым чтением блока за блоком дойти до требуемого места на носителе и только тогда производить операции считывания или записи. При этом для обращения к следующему блоку каждый раз возвращаться на начало необязательно, поскольку эти данные сохраняются в виде служебной информации в памяти компьютера, но необходимость последовательного сканирования блоков (вперед или назад) является неотъемлемым свойством накопителей с последовательным доступом.
Стримеры уступают по ряду характеристик (времени доступа, скорости передачи данных) дисковым накопителям информации. По этой причине стримеры в ПК не нашли широкого применения, в основном они применяются в качестве вторичных накопителей информации, используемых для резервного хранения информации (для создания архивов данных). Стримеры подразделяются на внутренние, устанавливаемые в системный блок компьютера, и внешние (переносные) по отношению к системному блоку. Различаются они между собой по конструктивному исполнению. Подключаются ленточные накопители информации к системной шине компьютера через соответствующий интерфейс.
Конструктивно стример состоит из устройства записи и считывания информации и носителя информации (магнитной ленты). Стримеры называют также цифровыми магнитофонами для хранения данных.
В стримерах для записи и считывания информации используется электромагнитный способ. В основе данного способа лежит взаимодействие магнитного носителя информации (ленты) и магнитных головок – миниатюрных электромагнитов, располагаемых у поверхности движущегося магнитного носителя. Принцип записи и считывания аналогичен принципу, используемому в НГМД и НЖМД.
В настоящее время производителями ленточных накопителей и их компонентов являются фирмы Hewlett Packard, Sony, Seagate, Iomega, Imation и т. д.
Устройство записи и считывания в ленточных накопителях состоит из лентопротяжного механизма, электромагнитных головок записи и считывания, электронных блоков управления и передачи данных и т. д. Все эти компоненты накопителя размещаются в едином корпусе, который вставляется в соответствующий отсек системного блока компьютера. Внешние накопители выполнены в виде функционально законченного отдельного устройства.
В стримерах используется лентопротяжный механизм, аналогичный лентопротяжному механизму, применяемому в магнитофоне. Лентопротяжный механизм в основном работает в двух режимах: старт-стопном и инерционном. В настоящее время применяется инерционный режим, при котором длина отрезка магнитной ленты, проходящей мимо электромагнитной головки при остановке или перезапуске, превышает длину промежутка между блоками информации, записанными на ней. По этой причине после остановки лентопротяжного механизма ленту необходимо перемотать назад, и только выполнив эту операцию, можно перейти к следующему этапу работы с лентой. Данный режим обладает значительными преимуществами перед старт-стопным режимом при передаче больших объемов данных, поскольку магнитные ленты могут обрабатываться на значительно более высокой скорости. Кроме того, при инерционном режиме промежутки между блоками информации могут быть очень короткими, поэтому плотность данных, записываемых на ленту фиксированной длины, может быть значительно больше по сравнению со старт-стопным режимом. Однако у этого режима имеется существенный недостаток, который состоит в сравнительно большом времени повторного позиционирования электромагнитных головок. Это время может составлять от 0,1 до 2 с. Время доступа варьируется в пределах от 10 до 70 с. Поэтому стримеры, у которых лентопротяжный механизм использует инерционный режим, применяются в основном для резервного копирования и архивирования данных с НЖМД.
Скорость передачи данных зависит от модели стримера и составляет от единиц до десятков мегабайт в секунду. Конкретные технические характеристики стримеров определяются моделью дисковода и приводятся в соответствующей технической документации на данную модель.
Обмен информацией между устройством записи и считывания стримера и МП компьютера осуществляется через контроллер накопителя, который входит в состав электронного блока накопителя. В качестве интерфейсов в стримерах в настоящее время используются интерфейсы IDE/ATAPI (Integrated Disk Electronic/Attachment Packet Interface) и SCSI (Small Computer System Interface).
В качестве носителей информации в стримерах используются магнитные ленты, которые являются аналогом обычных музыкальных магнитных лент. Информация на лентах записывается последовательно на соответствующие дорожки. Современные ленточные накопители используют не отдельные бобины с лентой, а специальные кассеты – картриджи. Они различаются по внутреннему устройству и по ширине самой ленты. Параметры картриджей стандартизированы. При записи информации на ленту контроллер стримера с помощью соответствующего программного обеспечения сжимает записываемую информацию.
Существуют следующие стандарты на картриджи: четвертьдюймовые картриджи QIC (Quarter Inch Cartridge), Travan, 4– и 8-милиметровые картриджи DAT (Digital Audio Tape), DSS (Digital Data Storage) и 8-милиметровые картриджи DLT (DigitalLinear Tape).
Этими стандартами определяются правила взаимодействия (интерфейс) между компьютером и стримером, формат магнитной ленты, необходимое количество магнитных головок, методы кодирования данных на ленте, коды и алгоритмы коррекции данных и т. д.
Стандарт QIC предписывает использование линейной записи данных на магнитную ленту и в качестве интерфейса для обмена данными стримера с МП предполагает использование интерфейса, который применяется для накопителей на гибких дисках. По этой причине такое соединение имеет низкое быстродействие. Картриджи данного стандарта могут записывать информацию объемом до нескольких десятков гигабайт.
В настоящее время усилия компаний, продвигающих на рынке стандарт QIC, направлены на то, чтобы запись на ленте стримера одного производителя могла читаться на стримере другого производителя.
Стандарт Travan разработан на основе стандарта QIC. В качестве интерфейса используется интерфейс SCSI-2. Картриджи данного стандарта могут записывать информацию объемом до нескольких десятков гигабайт. Этот стандарт, разработанный компанией Imation, поддерживается большинством ведущих компаний, работающих в области производства стримеров (Hewlett Packard, Seagate, Sony, Iomega и т. д.). Внутри картриджа находится магнитная лента длиной 228 м и шириной 0,315", изготовленная из феррооксидного материала.
Стандарт DAT разработан фирмой Sony для цифровой аудио– и видеозаписи. В отличие от линейной записи, применяемой в стримерах на основе стандарта QIC, в устройствах на основе стандарта DAT используется технология спирального сканирования. Такая технология используется в видеомагнитофонах. В стримерах стандарта DAT применяется магнитная лента шириной 4 и 8 мм. При спиральной записи головка вращается относительно облегающей ее при движении ленты с большой линейной скоростью, что повышает плотность записи данных на магнитную ленту. Информационный объем картриджей на основе стандарта DAT достигает нескольких гигабайт, средняя скорость обмена несжатыми данными не превышает 1,5 Мбайт/с.
В технологии, базирующейся на стандарте DLT, используется запатентованная головка считывания/записи с шестью направляющими роликами. Информационный объем картриджей на основе стандарта DLT достигает нескольких сотен гигабайт, скорость обмена несжатыми данными находится в пределах от 10 до 40 Мбайт/с.
Запись информации на магнитную ленту и считывание информации с нее должны производится на предварительно отформатированную магнитную ленту, т. е. на ней должна быть создана физическая и логическая структура. В ленточных накопителях информации формирование физической и логической структуры магнитной ленты реализуется в процессе записи на нее данных. Эти структуры создаются с помощью программ, которые входят в комплект поставки конкретного типа стримера. Эти программы реализуют процедуры записи, считывания и удаления информации с магнитного носителя стримера.
Компании-производители ленточных накопителей выбрали агрессивное направление на установление рекорда в предложениях своей новой технологии. Такие компаании, как BDT, Crossroads Systems, FujiFilm, HP, IBM, Imation, Iron Mountain, Oracle, Overland Storage, Quantum, Spectra Logic иTandberg Data объединены одним лозунгом "лента - это не так уж плохо", который уже перерос в "лента лучше, чем диск".
Дрю Робб, независимый писатель, специализирующийся в области технологий и техники, провел исследование в области и выяснил, почему они не только не умерли, а, наоборот, все больше процветают. В настоящее время писатель живет в Калифорнии, хотя родом из Шотландии, где получил степень в области геологии и географии в университете Strathclyde. Он является автором "Управление серверными дисками в среде Windows".
1. Стоимость владения
По словам аналитиков, во многих приложениях ленточные накопители дешевле, нежели дисковые. Дэви Рейн (David Reine) из Clipper Group обнаружил, что лента стоит на 15% меньше, чем SATA-диски для долговременного хранения больших объемов данных. А Фред Мур (Fred Moore) из Horison Information Strategies говорит, что один администратор в среднем способен обслуживать дисковю систему хранения до 100 терабайт, аленточных - до нескольких петабайт данных. Таким образом, ленточная система хранения, из-за легкости в управлении, требует меньших расходов на персонал.
2. Надежность
Внутренние исследования Национального Научно-вычислительного центра энергетических исследований (NERSC) показали, что ленточные носители до четырех порядков более надежны, чем диск SATA. Ленточная автоматизированная система имеет уровень надежности более чем в пять девяток (99,999%).
"В 100 раз вероятнее, что вы потеряете данные с диска, чем с накопителя на магнитной ленте и в 1000 раз вероятнее, чем, если данные хранятся на жестком диске или ", - заявил аналитик Кертис Престон (Curtis Preston)
3. Мощность
Пока большинство взбудоражено размерами SATA-дисками, вмещающими до 4 ТБ, никто замечает, что самый большой ленточный картридж имеет объем в 5 ТБ и в планах расширение этого объема. Например, .
4. Постоянные инновации
Ленточные системы с каждым годом все активнее внедряются в инновационные программные и аппаратные решения. Например, линейная файловая система LTFS позволяет использовать ленту в качестве NAS-хранилища . По сути, такая система является ленточной NAS.
Еще одним недавним нововведением является использование ленты в качестве постоянно используемого, активного накопителя, а не хранилища неиспользуемых, архивных данных. Он содержит сведения, которые должны быть быстро и легко доступны пользователям в любой момент. Например, в NERSC работает суперкомпьютер, который является одним из 10 крупнейших в мире и имеет 150000 ядер. Его системы хранения накапливают от 20 до 40 ТБ в день, которые регулярно сбрасываются на ленточную систему с объемом около 20 петабайт.
С лентой вы можете потерять один или два файла из большого количества петабайт, в то время как на диске, при возникновении проблем, вы потеряете все.
5. Специально для Big Data
Популярным заблуждением является то, что лента используется только для резервного копирования, а диски для всего остального. Так было до 2009 года. Для доступа к большим количествам хранимых данных роль ленточных накопителей в Big Data, "облаках", HPC и IT-операциях значительно расширяется. Новые решения в проверке целостности данных, усовершенствованные файловые системы и современные интерфейсы позволяют ленте вмещать очень большие объемы данных.
"Исследование способов развертывания инфраструктур для Big Data показало, что 35% респондентов уже используют такое оборудование как часть системы хранения данных" - комментирует Эддисон Снелл (Addison Snell) из Intersect360 Research.
6. Экспансия ленточных технологий
По мнению ESG, на рынке средних предприятий ожидается рост использования стримеров на 45% в год вплоть до 2015 года.
IDC оценили этот рынок в 2011 году более чем на $2,2 млрд. Эта сумма не включает в себя программное обеспечение.
7. Ленту используют лучшие высокотехнологичные компании
Империя National Geographic, один из лидеров в средствах массовой информации и трансляции является активным пользователем ленточных систем хранения.
"Лента является краеугольным камнем в сегменте архивации данных нашей IT-инфраструктуры", - отметил представитель National Geographic Кайл Кнэк (Kyle Knack). "Мы можем втиснуть многие петабайты в пару стоек, что обеспечивает огромную экономию средств. Кроме того, растет экономия энергопотребления и охлаждения"
8. Лента в облаке
Некоторые считают, что лента может положить конец облачным технологиям. Однако, напротив, это может стать началом революционных инноваций.
"Лента имеет большое будущее в облаке" - заявил Рич Гадомски (Rich Gadomski) из Fujifilm. Его компания только что выпустила облачный архив под названием Permivault. Он использует небольшое количество дискового кэша для устранения задержки при поиске информации и работает по технологии Crossroads.
"Мы комбинируем диски и ленты для повышения производительности и надежности, а также для снижения стоимости", - говорит Гадомски. "Использование ленты всегда намного дешевле, чем вращающийся диск."
9. Плотность
Гадомски утверждает, что плотность данных на ленточных накопителях увеличивается примерно на 50% в год, по сравнению с 20% ростом для дисковых систем хранения.
10. Традиционность ленты
Между тем, многие организации продолжают использовать ленту только для резервного копирования и аварийного восстановления. Gartner Group выяснила, что 78% корпоративных пользователей используют резервное копирование на ленту, которое может осуществляться по-разному: либо сразу на ленту, либо в рамках решения диск-лента (D2T) или диск-диск-лента (D2D2T)
Консалтинговая группа Santa Clara выяснила, что в первом квартале 2012 года объем ленточного хранения впервые превысил 5000 Петабайт. За весь 2011 г. значение этого показателя превысило 18000 ПБ. В целом, на ленту переносится данных на 10% больше, чем на диск.
В настоящее время нет недостатка в системах страхового копирования данных, но реально приходится выбирать между устройствами с последовательной организацией данных (ленточные накопители) или с произвольным доступом (дисковые накопители). При выборе следует принять во внимание такие факторы, как тип требуемого резервирования и восстановления информации, их номинальная скорость, максимальная емкость носителей и устройства в целом, начальная стоимость устройства и стоимость владения им, надежность всей системы, а также стоимость самого носителя и т. д.
Именно ленточные накопители по-прежнему остаются самым универсальным, дешевым и, как следствие, предпочтительным средством защиты целостности данных. Ряд аналитиков считают, что именно ленточные накопители вступили в третью эпоху своего существования. Напомним, что своему появлению эти устройства во многом обязаны корпорации IBM, которая в 1952 г. выпустила на компьютерный рынок первый ленточный накопитель. Начало второй эпохи - в 1987 г. - связано с появлением автоматизированных устройств; большую роль в их выпуске сыграли корпорации Exabyte и StorageTek. Третья эпоха должна ассоциироваться уже с "разумными" (intelligent) устройствами. Это стало насущной необходимостью, поскольку теперь каждый год в мире создается от 1 до 2 экзабайт (десять в восемнадцатой степени!) данных. Если говорить о цене хранения на ленте, то к 2007 г. она, по некоторым оценкам, должна упасть до 0,0005 цента за мегабайт информации. Это при том, что надежность подобных устройств уже сейчас достигает 200-300 тыс. ч безотказной работы. По прогнозам, в ближайшие пять лет емкость картриджа типового ленточного устройства достигнет 800 Гбайт, а скорость передачи данных превысит 100 Мбайт/с.
Отметим также, что внешние накопители на магнитных лентах часто можно использовать в системах иерархического хранения данных (Hierarchical Storage Management, HSM). В этих системах медленные, но емкие внешние накопители обычно выступают в качестве второго или третьего уровня хранения. Дело в том, что концепция структурированного хранения подразумевает организацию иерархической структуры устройств хранения информации. На первом (верхнем) уровне находятся жесткие диски, а на нижних уровнях - магнитооптические и ленточные накопители. Часть жесткого диска и магнитооптические и/или ленточные накопители объединяются в единый логический диск, на котором обычно хранят редко используемую информацию. Система структурированного хранения может включать в себя как устройства оперативного доступа, работающие без вмешательства оператора (жесткие диски и библиотеки магнитооптических дисков или ленточных носителей), так и одиночные накопители, в которых носители заменяются оператором вручную. Назначение структурированного хранения - удешевление хранения редко используемых данных. При физическом перемещении файла между устройствами разных уровней его логическое местоположение в файловой системе сервера остается неизменным. Приложения обращаются к файлам по их логическому местоположению. На носители более низких уровней обычно перемещаются файлы, к которым пользователи не обращались в течение определенного времени. Перемещение файлов в системе структурированного хранения организуется таким образом, чтобы объем свободного пространства на дисках серверов поддерживался на заданном уровне.
Эволюция страхового копирования
Вообще говоря, существует два подхода к вопросу резервирования данных: можно резервировать информацию, хранящуюся на сервере, или же обеспечить соответствующими средствами рабочие места клиентов. В первом случае, как правило, сохраняется вся находящаяся на сервере информация, в том числе и пользовательские данные. Объем информации, которая становится недоступной в случае аварийного останова системы или по причине стихийных бедствий, обычно исчисляется десятками и сотнями гигабайт.
Второй подход, заключающийся в сохранении данных с каждой рабочей станции, обычно не применяется в крупных корпорациях (за исключением особых случаев). Дело в том, что обычно речь идет о небольшом объеме информации (быть может, десятки мегабайт). Однако из практики известно, что большинство сотрудников не любят тратить время на организацию процесса резервирования своих данных. Поэтому лучше все же потребовать от пользователя хранить свои данные на сервере. В этом случае администратор системы несет ответственность только за те данные, которые хранятся на сервере, а для резервирования критически важной информации на некоторых рабочих станциях используется специальное оборудование.
В базовой схеме копирования (рис. 1) каждый сервер соединен с собственным устройством страхового копирования (обычно со стримером через шину SCSI). Напомним, что стример позволяет обслуживать только один носитель и не имеет никаких средств автоматизации подачи и смены картриджей/кассет. В этом случае от администратора требуется загрузить приложение для страхового копирования на каждый сервер. Контроль работы приложения по этой схеме также выполняется локально. Носители для каждого устройства заменяются вручную, что требует постоянного внимания со стороны персонала.
| Рис. 1. Базовая схема страхового копирования. |
С появлением в программном обеспечении агентов страхового копирования ленточные накопители уже необязательно непосредственно присоединять к каждому серверу. Такие программные агенты передают данные через сеть на один из серверов, который занимается страховым копированием. Так реализуется централизованная схема копирования (рис. 2). Использование автоматизированных ленточных библиотек высокой емкости облегчает решение проблемы больших объемов информации и ручных операций при смене носителей для страхового копирования.
Централизованная организация позволяет сократить затраты на обслуживание резервного копирования и управление им, повысить эффективность использования аппаратных компонентов системы, уменьшить количество устройств копирования. Она обеспечивает единообразие процесса создания резервных копий для всей информационной системы, мониторинг самого процесса и диагностику возникающих проблем, облегчает проверку возможности восстановления с резервных копий.
Централизация ресурсов и выполнение копирования по сети могут устранить ряд недостатков предыдущих систем, но, к сожалению, вносят собственные. Наиболее очевидный из них - это конфликт обычного сетевого трафика (электронная почта, файловый сервис, служба имен и т. д.) с трафиком системы резервного копирования (для сравнения в таблице приведены скорости передачи данных для основных сетевых протоколов). Выполнение копирования в специально отведенные интервалы времени может показаться привлекательным, но при этом приходится приостанавливать рабочие процессы на время копирования. С появлением компаний, которым необходимо поддерживать круглосуточную доступность своих информационных систем (это, к примеру, телекоммуникационные компании и Интернет-провайдеры), выделение определенного времени только для копирования стало неприемлемым.
Скорости передачи для различных протоколов
Будущая модель организации памяти в системах уровня всего предприятия рассматривается сегодня как некоторая дополнительная услуга для пользователей в сети. В этой модели диски, ленты, оптические устройства памяти и ПО рассматриваются не как отдельные компоненты, а как составные части интегрированного решения. Для устранения проблем, связанных с конфликтом трафиков, можно использовать копирование по сетям хранения данных (рис. 3). При этом локальные сети освобождаются от передачи больших объемов копируемых данных. Кроме того, устройства, разделяемые в сетях хранения данных, позволяют выполнять копирование непосредственно с дискового массива на устройство страхового копирования, снижая нагрузку и на управляющий сервер. Использование сетей хранения данных (Storage Area Networks, SAN) стало новым этапом развития систем резервного копирования.
Вообще говоря, появление сетей хранения данных сильно отразилось на средствах резервного копирования. Наиболее привлекательные характеристики SAN в данном случае - это высокая пропускная способность сети (этот фактор еще более существен при централизации хранения данных, росте их объема и разнообразия), ее независимость от локальной сети (стремление уменьшить возможные потери данных заставляет чаще выполнять резервное копирование, увеличивая при этом нагрузку на сеть), возможность размещать узлы на большом расстоянии друг от друга (необходимое условие при защите от пожара и т. п.). Существует возможность разгрузить не только локальную сеть, но и серверы, если передавать данные непосредственно с дисковых массивов на устройства резервного копирования.
Технология Fibre Channel, базовая при организации SAN, обладает рядом преимуществ в качестве интерфейса устройств массовой памяти. Одно из основных достоинств этой технологии - высокая скорость передачи информации. В частности, Fibre Channel обеспечивает максимальную пропускную способность передачи данных 100 Мбайт/с и связь на расстоянии до 500 м при использовании многомодовых кабелей. Организация интерфейса по принципу петли с разделяемым доступом (Fibre Channel Arbitrated Loop) допускает одновременное подключение до 127 устройств.
Автоматизация процедур
Потребность в страховом копировании привела к появлению самых разнообразных средств его выполнения, как аппаратных, так и программных. Существует множество форматов записи, моделей картриджей, устройств записи, роботизированных библиотек; кроме того, имеются как простейшие средства управления копированием, так и самостоятельные системы, позволяющие управлять операциями защиты данных в масштабах большой корпорации с распределенными филиалами. Есть несколько типов устройств, в той или иной степени позволяющих автоматизировать работу системы резервного копирования или повысить скорость передачи данных: это стекеры (stackers), автозагрузчики (autoloaders), массивы RAIT (Redundant Arrays of Independent Tape) и библиотеки RAIL (Redundant Arrays of Independent Libraries).
Cтекер представляет собой устройство с одним накопителем и несколькими носителями. Носители помещаются в корпус стекера заранее и подаются в накопитель в строго определенном порядке. Они устанавливаются в специальных лотках, а для подачи носителей в накопитель служит специальный механизм, называемый роботом. Стекеры применяются главным образом для резервного копирования, когда вся копируемая информация не помещается на один носитель. Они плохо подходят для архивации, так как для них сложно организовать популярные схемы ротации носителей. Надо заметить, что стекеры пользуются все меньшей популярностью, большинство администраторов предпочитают иметь дело с автозагрузчиками и библиотеками.
Автозагрузчик во многом похож на стекер. Он также имеет один накопитель и несколько носителей, устанавливаемых в его корпус. Однако носители могут подаваться в накопитель в произвольном порядке, поэтому данное устройство может использоваться не только для резервного копирования, но и для архивирования и в системах HSM.
| Автозагрузчик. |
Библиотека представляет собой хранилище с большим количеством носителей. Библиотеки обычно имеют несколько накопителей, вследствие чего скорость обмена информацией значительно повышается. Загрузка носителей в таких библиотеках может происходить по двум разным схемам. Согласно одной из них, любой носитель может быть загружен в любой накопитель, тогда как другая схема предполагает, что за накопителем закрепляется определенная часть общего хранилища носителей. Выпускаемые некоторыми производителями библиотеки можно объединять друг с другом в одно общее устройство.
Автозагрузчики и библиотеки выпускаются практически для всех популярных типов устройств хранения на магнитных лентах. Библиотеки эффективны для централизованного резервного копирования (большой емкости) гетерогенных серверов на общую систему хранения. Основные достоинства в этом случае - очень высокая скорость копирования и восстановления информации (до сотен гигабайт в час), большая емкость (до десятков терабайт), надежность хранения и минимальная удельная стоимость хранения (в расчете на один мегабайт данных).
Массив независимых накопителей состоит из нескольких приводов лент в одном корпусе, причем каждый из них обслуживает один-единственный носитель. Схема работы RAIT аналогична дисковому массиву RAID. RAIT значительно повышает производительность операций резервного копирования и архивирования, поскольку накопители работают параллельно. Кроме того, RAIT обеспечивает повышенную отказоустойчивость, так как он ориентируется на спецификации RAID. Основные недостатки массивов RAIT связаны с невысокой емкостью и невозможностью ротации носителей. Технологию RAIT можно реализовать и программными методами, за счет группирования нескольких автозагрузчиков или библиотек.
Методы страховки информации
В основе всех способов, программ и устройств, предназначенных для защиты и восстановления критических данных, лежит принцип записи и хранения избыточной информации.
Резервное копирование
Под резервным копированием обычно понимают создание копий файлов с целью быстрого восстановления работоспособности системы в случае возникновения аварийной ситуации. Эти копии хранятся на носителях (которые нередко называют резервными) определенный срок и затем перезаписываются. Таким образом, с ростом объема информации число резервных носителей увеличивается относительно медленно. Резервному копированию, как правило, подлежат данные, часто требующиеся пользователям. Эти данные можно определить по тому, какой период времени прошел со дня последнего обращения к их файлам. Для надежной защиты данных рекомендуется иметь по три резервные копии последних редакций файлов.
Резервное копирование может быть полным, инкрементальным и дифференциальным. При полном копировании создается копия всех данных, подлежащих резервированию. Недостаток этой процедуры - она требует много времени и ведет к большому расходу магнитной ленты, а достоинство - самая высокая надежность и относительно быстрое восстановление информации из одной полной копии (поскольку для этого достаточно только одного записанного образа). Полное копирование служит отправной точкой для других методов.
При инкрементальном копировании дублируются лишь те файлы, которые были созданы или изменены после последнего полного, дифференциального или инкрементального копирования. Иными словами, при использовании инкрементального копирования первая запись на ленту - это полная копия. При второй записи на ленту помещаются только те файлы, которые были изменены со времени первой записи. На третьем этапе копируются файлы, модифицированные со времен второго этапа, и т. д. Это самый быстрый метод копирования, требующий минимального расхода магнитной ленты. Однако восстановление информации при инкрементальном копировании самое длительное: информацию необходимо сначала восстановить с полной копии, а затем последовательно со всех последующих. Тем не менее это самый популярный метод резервного копирования, поскольку полное восстановление информации - все-таки достаточно редкая процедура в нормально работающей системе.
При дифференциальном копировании дублируются только файлы, созданные или измененные со времени проведения последнего полного копирования. И чем больше это время, тем дольше будет осуществляться дифференциальное копирование. Иными словами, первая запись на ленту -это опять-таки полная копия. На последующих этапах копируются только файлы, которые изменились со времени проведения полного копирования. Само копирование в этом случае занимает больше времени, чем инкрементальное копирование. В случае краха системы администратору для восстановления данных придется задействовать последние полную и дифференциальную копии.
Обычно для достижения компромисса между продолжительностью резервного копирования данных и временем их восстановления выбирается схема, согласно которой раз в неделю проводится полное копирование и ежедневно - инкрементальное. Главная проблема при инкрементальном и дифференциальном копировании - это выбор критерия для проверки факта изменения файла. К сожалению, ни один из известных критериев не может полностью гарантировать это условие.
Самый распространенный способ - использование архивного атрибута файлов (archive). При создании или модифицировании файла прикладные программы автоматически выставляют данный атрибут. При резервном копировании он принимает прежнее значение. Поэтому теоретически система резервного копирования может таким образом определить, что файл еще не копировался на ленту. Но ряд прикладных программ принудительно восстанавливают этот атрибут при работе с файлами. Таким образом, система резервного копирования будет считать, что у файла есть копия на ленте, хотя это и не так. В результате может получиться, что файлы останутся вообще без резервных копий. В некоторых случаях можно сравнивать время последнего обращения к файлу или время его модификации с каким-то эталонным временем, например, временем предыдущего копирования. К сожалению, и этот критерий не идеален, хотя, как правило, он более эффективен, чем контроль за архивным атрибутом. Проверка размера файла используется еще реже, у этого способа еще больше недостатков, чем у других критериев. Конечно, лучшим вариантом был бы одновременный учет нескольких или всех названных критериев. Но такой подход могут предложить только самые мощные системы резервного копирования.
Архивирование
Под архивным копированием обычно понимают процесс создания копий файлов, предназначенных для бессрочного или долговременного хранения. Это процесс получения "слепка" файлов и каталогов в том виде, в котором они располагаются на первичном носителе (обычно диске) в данный момент времени. Носители, на которые переносятся данные, называют архивными. Периодическое проведение архивного копирования позволит иметь копии нескольких разных версий одних и тех же файлов. Впрочем, особо важные файлы иногда помещают в архив независимо от времени их последней модификации. Обычно считается, что для надежности хранения нужно иметь 2-3 архивные копии всех редакций файлов, подлежащих архивированию.
В принципе архивное копирование тоже может быть полным, инкрементальным и дифференциальным, однако процесс архивирования обычно организован так, что делаются только полные копии, к которым, как правило, через определенное время добавляют инкрементальные. Дифференциальное архивное копирование обычно не встречается. Как показывает практика, количество архивных носителей на предприятии довольно быстро растет.
Набором носителей информации называется группа резервных или архивных носителей, периодически используемая в процессе копирования. Для повышения надежности хранения информации не следует помещать более одной копии одного и того же файла на один носитель или набор носителей. Таким образом, чтобы иметь, например, три копии, нужно задействовать три разных набора носителей. При этом для защиты данных от всевозможных катастроф и стихийных бедствий один из наборов следует хранить в удаленном месте.
Отметим, что в отличие от резервного копирования архивирование обычно выполняется над данными, ассоциированными с конкретным проектом, а не с системой в целом.
Для архивов характерен очень большой объем хранимой информации, поэтому система архивирования должна обеспечивать быстрый и удобный поиск файлов по версиям и времени создания, а также поддерживать автоматическое удаление файлов по прошествии заданного времени. Здесь поддержка автоматических библиотек еще более важна, чем в случае резервного копирования.
Как правило, резервное копирование и архивирование лучше всего выполнять ночью и в нерабочие дни. Это позволяет максимально ускорить процесс копирования и не накладывает на пользователей специфических ограничений. Дело в том, что, хотя многие серьезные программы резервирования могут обрабатывать открытые файлы, их резервное копирование значительно замедляет весь процесс. Кроме того, резервное копирование сильно загружает процессоры серверов, заметно снижая производительность сети.
Схемы ротации
Хотя резервное копирование и архивирование опираются на одни и те же принципы и, более того, любой программный продукт позволяет выполнять как функции резервного копирования, так и архивирования, тем не менее оба эти процесса имеют свои особенности. Если цель резервного копирования - сохранить текущее состояние системы, то при архивировании задача состоит в долгосрочном хранении информации, чтобы данные можно было извлечь, даже если они созданы и месяц, и год назад. Нередко архивирование предполагает перенос всех данных по завершении какого-то проекта на внешние носители, чтобы освободить место на винчестерах. Поэтому при страховом копировании важно выработать надлежащую схему ротации носителей информации с тем, чтобы можно было не только быстро сохранить данные или восстановить информацию, но и чтобы носители на каждом временном этапе содержали полный архив данных.
Смена рабочего набора носителей в процессе копирования называется их ротацией. В настоящее время наиболее широко используется несколько схем ротации, например, "дед-отец-сын" (grandfather-father-son) или "ханойская башня" (Tower of Hanoi). Простая ротация подразумевает, что некий набор лент используется циклически. Например, цикл ротации может составлять неделю, тогда отдельный носитель выделяется для определенного рабочего дня недели. Полная копия делается в пятницу, а в другие дни - инкрементальные (или дифференциальные) копии. Таким образом, для недельного цикла достаточно иметь пять носителей (если копирование происходит только в рабочие дни и емкости одного носителя хватает для копии). После завершения цикла все повторяется сначала, и запись производится на те же самые носители, хотя иногда полные (пятничные) копии сохраняют в качестве архива. Недостаток данной схемы - она не очень подходит для ведения архива, даже если сохранять полные копии, поскольку количество носителей в архиве быстро увеличивается. Кроме того, запись (во всяком случае, инкрементальная/дифференциальная) проводится на одни и те же носители, что ведет к их значительному износу и, как следствие, увеличивает вероятность отказа.
Схема "дед-отец-сын" имеет иерархическую структуру и предполагает использование комплекта из трех наборов носителей. Раз в неделю делается полная копия дисков компьютера, ежедневно же проводится инкрементальное (или дифференциальное) копирование. Дополнительно раз в месяц проводится еще одно полное копирование. Набор для ежедневного инкрементального копирования называется "сыном", для еженедельного - "отцом", для ежемесячного - "дедом". Состав ежедневного и еженедельного набора постоянен. В ежедневном наборе свой носитель (их может быть несколько, если объем информации превышает объем одного носителя) закреплен за каждым рабочим днем (кроме пятницы), а в случае еженедельного набора - за каждой неделей месяца по порядку (т. е. данный набор должен содержать не менее четырех носителей). Ежемесячные носители обычно заново не используются и откладываются в архив. Таким образом, по сравнению с простой ротацией в архиве содержатся только ежемесячные копии плюс последние еженедельные и ежедневные копии. Недостаток данной схемы состоит в том, что в архив попадают только данные, имевшиеся на конец месяца. Как и при схеме простой ротации, носители для ежедневных копий подвергаются значительному износу, в то время как нагрузка на еженедельные копии сравнительно невелика.
Схема "ханойская башня" призвана устранить некоторые из перечисленных недостатков, но, правда, имеет свои собственные. Схема построена на применении нескольких наборов носителей, их количество не регламентируется, хотя обычно ограничивается пятью-шестью. Каждый набор предназначен для недельного копирования, как в схеме простой ротации, но без изъятия полных копий. Иными словами, отдельный набор включает носитель с полной недельной копией и носители с ежедневными инкрементальными (дифференциальными) копиями. Специфическая проблема схемы "ханойская башня" - ее излишняя сложность.
Еще одна схема ротации называется "10 наборов" и, как следует из названия, рассчитана на десять наборов носителей. Период из сорока недель делится на десять циклов. В течение цикла за каждым набором закреплен один день недели. По прошествии четырехнедельного цикла номер набора сдвигается на один день. Иными словами, если в первом цикле за понедельник отвечал набор номер 1, а за вторник - номер 2, то во втором цикле за понедельник отвечает набор номер 2, а за вторник - номер 3. Такая схема позволяет равномерно распределить нагрузку, а следовательно, и износ между всеми носителями.
Заключение
Как полагает большинство экспертов, дальнейшее развитие средств страхового копирования пойдет по пути сокращения времени выполнения операций сохранения и восстановления информации, повышения надежности хранения данных и расширения возможностей масштабирования, а также обеспечения большей совместимости и лучшей управляемости. Продолжающаяся тенденция к централизации обработки и хранения данных потребует повышения производительности и надежности используемых систем. Экспоненциальный рост объема цифровой информации станет серьезным испытанием для сетей передачи данных и систем ввода-вывода. Тем не менее широкое внедрение сетей хранения данных и интеллектуальных накопителей позволит эффективно решать возникающие задачи.
Многие компании используют ленточные архивы для долговременных бэкапов и резервного копирования самой важной информации. Понять их несложно: достаточно дешевый, простой и надёжный метод хранения данных, успешно используюшийся много лет - срок годности картриджа составляет 2-3 десятка лет, информации на него влезает много, потоковый бэкап пишется быстрей, чем на классические дисковые системы, иными словами: зачем что-то менять, если это тебя устраивает?
Хранить бэкапы и бэкапы бэкапов на дисковых системах - дорого и неэффективно, а восстанавливать что-либо из бэкапа нужно не так часто, так что общая неторопливость системы мало кого беспокоит.
К счастью, мир не стоит на месте, технологии развиваются, и сегодня VTL (virtual tape library) уже догнали в стоимости владения ленточные архивы, многократно превосходя их по ряду других параметров. Давайте разберёмся, чем собирается крыть лента, и не пора ли переходить на дисковые библиотеки?
Лента VS Диски
Ленточный архив, безусловно, надёжный и простой способ защитить информацию, но он не лишён недостатков, прямо вытекающих из его ленточной природы, в основном эти трудности связаны с восстановлением маленьких файлов:- Значительное время поиска данных;
- Одно приложение может на 100% загрузить один привод, создавая проблемы для бэкапа другим приложениям; *
- Невозможность одновременного чтения и записи, если все приводы заняты чем-либо (требуется подождать полного завершения операции);
- Сложность контроля качества и корректности записи.
Дисковый массив лишён всех этих недостатков:
- Поиск данных на винчестере в сотни раз быстрее, чем на ленте, которую требуется найти в архиве, принести, вставить в привод, перемотать, начать считывание;
- VTL может эмулировать десятки и сотни приводов за раз: параллельное копирование и восстановление данных для множества приложений без увеличения стоимости владения системой;
- Высокая надёжность хранения данных: серверные жесткие диски работают в жесточайших условиях годами, нагрузка VTL-системы для них не является сильно изнашивающей. Кроме того, все данные копируются внутри самой VTL и защищены при помощи RAID-массива, что увеличивает как надёжность хранения данных, так и сложность несанкционированного доступа к ней: даже если удастся украсть несколько жёстких дисков, никакой реальной целостной информации на них не будет.
Преимущества HP StoreOnce D2D Backup System
Если бы меня попросиили коротко описать все преимущества дисковых бэкапов, то я не задумываясь бы ответил: скорость, надёжность, масштабируемость и гибкость.Со скоростью и так всё понятно: чтение и запись отдельных файлов с ленты куда медленней, чем с обычных жестких дисков. Дисковые же системы давно эволюционируют, используются не только в серверах, но и в обычных десктопах, и уже накоплен богатый опыт по ускорению повседневных операций. Надёжность мы также рассмотрели в предыдущем абзаце: RAID-6, физическая неподвижность жёстких дисков, отсутствие необходимости в переносе или хранении их в том виде, в котором хранятся картриджи для ленточных систем (картридж можно и физически украсть при транспортировке, например). А вот к масштабируемости и гибкости, я уверен, есть вопросы, и сейчас я постараюсь на них ответить.
Масштабируемость
Вопрос масштабируемости системы предлагаю рассмотреть на примере HP StoreOnce B6200 :Базовая система содержит два контроллера и две дисковые полки суммарноё ёмкостью в 48ТБ. Каждый контроллер может управлять четырьмя полками, под завязку набитыми ЖД объёмом до 2ТБ каждый. Таких контроллеров можно подключить до восьми штук (3 пары в добавок к двум имеющимся). Таким образом, B6200 будет обеспечивать до 768ТБ сырой ёмкости (из-за RAID-системы полезная ёмкость меньше на треть, но и 512ТБ всё ещё внушительный показатель), при этом с ростом объёма хранилища растёт и его производительность.
В данном случае вы сами вольны выбирать, по какой схеме расширять функционал системы: сначала наращивать объем до предела, а затем увеличивать производительность, или равномерно закупать контроллеры с дисковыми полками для увеличения производительности, и, при необходиомсти, увеличить объём хранилища, установив дополнительные дисковые полки.
Гибкость
За широчайшие возможности по резервному копированию отвечает специализированное ПО - HP Catalyst . HP Catalyst – это программный агент, который устанавливается на медиа-сервер (сервер резервного копирования), на котором работает ПО резервного копирования HP DataProtector или Symantec NetBackup и Backup Exec. HP Catalyst производит дедупликацию данных прямо на медиа-серверах, задействуя функционал этого ПО и уже дедуплицированные данные отправляет на систему HP StoreOnce. Это позволяет добиться высоких скоростей резервного копирования, так как несколько медиасерверов способены обработать гораздо больший поток, чем одно выделенное целевое устройство. Например, топовая система HP B6200 может записывать данные сдедупликацией со скоростью до 40 ТБ/час, а с использованием HP Catalyst – уже до 100ТБ/час.Главным отличием HP Catalyst от большинства аналогов является работа не только по LAN, но и по WAN. Таким образом, в малых региональных офисах можно не ставить выделенную библиотеку HP StoreOnce, а только установить на медиасервер HP Catalyst + ПО резервного копирования. Далее бэкап в дедуплицированном виде пойдет на библиотеку HP StoreOnce в центральном офисе или крупном территориальном отделении. Это позволяет мультифилиальным организациям организовать централизованное управление бэкапом и его консолидацию с минимальными затратами.
Если использовать только аппаратные средства, то для территориально распределенных организаций консолидация бэкапа выглядит следующим образом. В филиалах ставятся библиотеки начального уровня – HP 2620, а в центре – старшая модель, например HP 4430 или B6200. Филиальный backup записывается на HP StoreOnce Backup System и уже дедуплицированные данные (в 20 раз меньше исходных) передаются в центр, где записываются на большую библиотеку. Дедупликация реплицируемых данных существенно сокращает стоимость каналов связи. Одна HP B6200 позволяет собирать данные с 384 филиалов и вся эта сеть управляется одним администратором, что позволяет отказаться от администраторов резервного копирования в филиалах. Такая схема весьма популярна в мире, а самая крупная подобная инсталляция в России насчитывает уже порядка 100 устройств HP StoreOnce и продолжает расти.
