Стратегия резервного копирования миллионов файлов в большом количестве каталогов
У нас есть миллионы файлов в большом количестве каталогов, например:
\00\00\00\00.txt
\00\00\00\01.pdf
\00\00\00\02.html
... so on
\05\55\12\31.txt
резервное копирование их для записи на ленту является медленным, поскольку резервное копирование данных в этом формате намного медленнее, чем резервное копирование единственного большого файла.
Общее количество файлов на диске и относительном размере каждого файла влияет на резервную производительность. Самые быстрые резервные копии происходят, когда диск содержит меньше большого размера файлов. Самые медленные резервные копии происходят, когда диск содержит тысячи маленьких файлов. Администраторское Руководство Backup Exec.
Резервная производительность значительно увеличилась бы путем создания виртуального жесткого диска, хостинга данных по нему когда-то смонтированный затем резервное копирование vhd вместо этого?
Я не уверен, если бы базовые данные в vhd влияли бы на это.
что недостатки к этому методу?
Хранение большого количества маленьких файлов в файловой системе, которая сама по себе хранится как файл, имеет некоторые потенциальные преимущества.
Если формат этого файла невелик, то резервное копирование изначально будет более быстрым. Однако с течением времени и при создании и удалении файлов разреженное изображение может остаться не таким разреженным. В конечном итоге образ может оказаться намного больше, чем файлы внутри него, что, конечно, приводит к потере места как на диске, так и на ленте, и замедляет резервное копирование по сравнению со скоростью, когда образ был новым.
Другой недостаток образа заключается в том, что если он создается в процессе записи в файловую систему внутри образа, вы можете получить резервную копию, в которой целостность не сохраняется.
.Я решил протестировать это сам.
Для теста я создал VHD объемом 25 ГБ на сервере 2008R2 и прикрепил его.
Затем я заполнил его данными объемом 20 ГБ. 129000 файлов в 1318 директориях
Затем я выполнил резервное копирование содержимого VHD. Затем я отсоединил VHD и создал резервную копию самого файла VHD.
Ниже приведены результаты.
Data Elapsed Byte Count Job Rate
VHD 00:09:51 25.0 GB 14,222.00 MB/min
VHD Contents 00:07:38 20.2 GB 9,557.00 MB/min
Прошедшее время больше для VHD файла, однако при масштабировании до реальных размеров, с которыми я имею дело, я уверен, что увеличенная скорость выполнения задания возьмет верх.
Также скорость выполнения задания для VHD Contents кажется выше, чем я ожидал. На нее может повлиять кэш недавнего создания файлов или что-то еще, но я не могу подтвердить это прямо сейчас из-за того, что основной job был связан с другими резервными данными.
У меня нет времени или необходимости исследовать это дальше в данный момент, хотя я могу вернуться к этому как-нибудь в будущем.
.