Дедупликация хранилища DPM

Статья
05/30/2023

Важно!

Поддержка этой версии Data Protection Manager (DPM) завершена. Рекомендуется выполнить обновление до DPM 2022.

System Center Data Protection Manager (DPM) может использовать дедупликацию данных.

Функция дедупликации данных обнаруживает и удаляет повторяющиеся данные на томе, одновременно обеспечивая правильность и полноту данных. Дополнительные сведения о планировании дедупликации.

Дедупликации сокращает потребление хранилища. Хотя объем избыточности для набора данных будет зависеть от рабочей нагрузки и типа данных, обычно резервные копии данных показывают сильную экономию при использовании дедупликации.
Избыточность данных можно дополнительно уменьшить с помощью дедупликации, когда архивируемые данные сходных типов и рабочих нагрузок обрабатываются вместе.
Дедупликации предназначены для установки на томах основных данных без дополнительного выделенного оборудования, чтобы не влиять на основную рабочую нагрузку на сервере. Параметры по умолчанию являются неинструкционными, так как они позволяют стареть данные в течение пяти дней перед обработкой определенного файла и имеют минимальный размер файла по умолчанию 32 КБ. Реализация рассчитана на низкий уровень использования памяти и ЦП.
Дедупликация может быть реализована для следующих рабочих нагрузок.
- Общие файловые ресурсы: публикация содержимого групп и совместное использование, домашние папки пользователей, файлы перенаправления папок и автономные файлы.
- Общие ресурсы развертывания программных продуктов: двоичные файлы программ, изображения, обновления.
- Библиотеки виртуального жесткого диска: хранилище файлов виртуального жесткого диска (VHD) для обеспечения гипервизоров.
- Развертывания VDI (только для Windows Server 2012 R2): развертывания инфраструктуры виртуальных рабочих столов (VDI) с помощью Hyper-V.
- Виртуализированное резервное копирование. Решения для резервного копирования (например, DPM, работающие на виртуальной машине Hyper-V), которые сохраняют данные резервных копий в VHD/VHDX-файлы на файловом сервере Windows.

DPM и дедупликация

Применение дедупликации с использованием DPM позволит получить большую экономию. Объем пространства, освобождаемого при дедупликации с оптимизацией данных резервного копирования DPM, зависит от типа архивируемых данных. Например, при резервировании сервера зашифрованной базы данных экономия может получиться незначительной, поскольку в процессе шифрования скрываются все повторяющиеся данные. Однако резервное копирование большого развертывания инфраструктура виртуальных рабочих столов (VDI) может привести к значительной экономии в диапазоне от 70 до 90 %, так как обычно между средами виртуальных рабочих столов происходит большое дублирование данных. В конфигурации, описанной в статье, мы выполнили различные тестовые рабочие нагрузки и увидели экономию в диапазоне от 50 % до 90 %.

Чтобы использовать дедупликации для хранилища DPM, DPM должен работать на виртуальной машине Hyper-V и хранить резервные копии данных на виртуальных жестких дисках в общих папках с включенной дедупликации данных.

Настройка томов дедупликации

Давайте рассмотрим, насколько большими должны быть тома, чтобы они могли поддерживать дедуплицированные VHDX-файлы, содержащие данные DPM. В CPS мы создали тома по 7,2 ТБ каждый. Оптимальный объем зависит главным образом от того, насколько много и насколько часто меняются данные в томе, а также от скорости передачи данных в подсистеме дискового хранилища. Важно отметить, что если обработка дедупликации не может идти в ногу со скоростью ежедневных изменений данных (отток), скорость экономии будет снижаться до завершения обработки. Дополнительные сведения см. в разделе Изменение размера томов для дедупликации данных. Для томов дедупликации рекомендуется использовать следующие общие рекомендации.

Использовать дисковые пространства с контролем четности с контролем наличия корпуса для увеличения гибкости и улучшения использования дискового пространства.
Формат NTFS с единицами выделения 64 КБ и большими сегментами записей файлов, чтобы эффективнее использовать дедупликации разреженных файлов.
В конфигурации оборудования, превышающей рекомендуемый размер тома 7,2 ТБ, тома будут настроены следующим образом:
- Корпус с поддержкой двойной четности 7,2 ТБ + 1 ГБ кэш обратной записи
  - ResiliencySettingName == Parity
  - PhysicalDiskRedundancy == 2
  - NumberOfColumns == 7
  - Interleave == 256 КБ (Производительность двойной четности при чередовии 64 КБ гораздо ниже, чем при межличности по умолчанию 256 КБ)
  - IsEnclosureAware == $true
  - AllocationUnitSize=64 КБ
  - Large FRS
  Настройте новый виртуальный диск в указанном пуле носителей следующим образом.
```
New-VirtualDisk -Size 7.2TB -PhysicalDiskRedundancy 2 -ResiliencySettingName Parity -StoragePoolFriendlyName BackupPool -FriendlyName BackupStorage -NumberOfColumns 7 -IsEnclosureAware $true
```
- Каждый из этих томов необходимо затем отформатировать в:
```
Format-Volume -Partition <volume> -FileSystem NTFS -AllocationUnitSize 64 KB -UseLargeFRS -Force
```
  В развертывании CPS они затем настраиваются как CSV.
- В этих томах DPM будет хранить ряд VHDX-файлов для хранения резервных копий данных. Включите дедупликацию для тома после его форматирования следующим образом:
```
Enable-DedupVolume -Volume <volume> -UsageType HyperV
Set-DedupVolume -Volume <volume> -MinimumFileAgeDays 0 -OptimizePartialFiles:$false
```
  Эта команда также изменяет следующие параметры дедупликации на уровне тома:
  - Задайте для параметра UsageType значение Hyper-V: обеспечивает выполнение дедупликации открытых файлов, которая необходима, поскольку VHDX-файлы, используемые DPM для хранения резервных копий, остаются открытыми в случае запуска DPM в своей виртуальной машине.
  - Отключить PartialFileOptimization. Это приводит к оптимизации всех разделов открытого файла, а не к просмотру измененных разделов с минимальным возрастом.
  - Задайте для параметра MinFileAgeDays значение 0: с отключенным параметром PartialFileOptimization параметр MinFileAgeDays определяет такой режим, при котором дедупликация выполняется только для тех файлов, которые не были изменены в течение этого количества дней. Поскольку мы хотим начать дедупликацию данных резервного копирования во всех файлах DPM VHDX без задержки, нам нужно указать для параметра MinFileAgeDays значение 0.

Дополнительные сведения о настройке дедупликации см. в разделе Установка и настройка дублирования данных.

Настройка хранилища DPM

Чтобы избежать проблем с фрагментацией и сохранить эффективность, хранилище DPM размещается с использованием VHDX-файлов, находящихся на дедуплицированных томах. На каждом томе создаются десять динамических VHDX-файлов размером 1 ТБ и присоединяются к DPM. Кроме того, 3 ТБ избыточной подготовки хранилища выполняется, чтобы воспользоваться экономией хранилища, вызванной дедупликации. Так как дедупликации обеспечивает дополнительную экономию хранилища, на этих томах можно создавать новые VHDX-файлы, чтобы потреблять сохраненное пространство. Мы протестировали сервер DPM с присоединенными к нему VHDX-файлами в количестве до 30.

Выполните следующую команду, чтобы создать виртуальные жесткие диски, которые будут добавлены позже на сервер DPM.
```
New-SCVirtualDiskDrive -Dynamic -SCSI -Bus $Bus -LUN $Lun -JobGroup $JobGroupId -VirtualHardDiskSizeMB 1048576 -Path $Using:Path -FileName <VHDName>
```
Затем добавьте созданные виртуальные жесткие диски на сервер DPM следующим образом.
```
Import-Module "DataProtectionManager"
Set-StorageSetting -NewDiskPolicy OnlineAll
$dpmdisks = @()
$dpmdisks = Get-DPMDisk -DPMServerName $env:computername | ? {$_.CanAddToStoragePool -
eq $true -and $_.IsInStoragePool -eq $false -and $_.HasData -eq $false}
Add-DPMDisk $dpmdisks
```
На этом шаге пул носителей настраивается в качестве диска или дисков, на которых DPM хранит реплики и точки восстановления для защищенных данных. Этот пул является частью конфигурации DPM и отделен от пула дисковых пространств, используемого для создания томов данных, описанных в предыдущем разделе. Дополнительные сведения о пулах носителей DPM см. в разделе Настройка дискового хранилища и пулов носителей.

Настройка кластера файлового сервера Windows

Для дедупликации требуется специальный набор параметров конфигурации для поддержки виртуализированного хранилища DPM в соответствии с масштабом данных и размером отдельных файлов. Эти параметры являются глобальными для кластера или узла кластера. Включить дедупликацию и настроить параметры кластера необходимо отдельно на каждом узле кластера.

Включить дедупликацию в хранилище файлового сервера Windows. Роль дедупликации должна быть установлена на всех узлах кластера файлового сервера Windows. Для этого выполните следующую команду PowerShell на каждом узле кластера:
```
Install-WindowsFeature -Name FileAndStorage-Services,FS-Data-Deduplication -ComputerName <node name>
```
Настройка дедупликации для файлов данных резервных копий. Выполните следующую команду PowerShell, чтобы настроить для запуска оптимизации без задержки, а не для оптимизации частичных операций записи файлов. По умолчанию задания сборки мусора (GC) планируются каждую неделю, а каждую четвертую неделю задание сборки мусора выполняется в режиме "глубокой сборки мусора" для более полного и ресурсоемкого поиска данных для удаления. Для рабочей нагрузки DPM этот режим глубокого сборки мусора не приводит к выигрышу и сокращает время, в течение которого дедупликация может оптимизировать данные. Поэтому мы отключаем этот режим.
```
Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name DeepGCInterval -Value 0xFFFFFFFF
```
Настройка производительности для крупномасштабных операций. Выполните следующий сценарий PowerShell, чтобы:
- отключить дополнительную обработку и операции ввода-вывода при выполнении глубокой сборки мусора;
- зарезервировать дополнительную память для обработки хэша;
- включить приоритетную оптимизацию, чтобы разрешить немедленную дефрагментацию больших файлов.
```
Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name HashIndexFullKeyReservationPercent -Value 70
Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name EnablePriorityOptimization -Value 1
```
Эти параметры определяют следующие режимы.
- HashIndexFullKeyReservationPercent. Это значение определяет, какой объем памяти задания оптимизации используется для существующих хэшей блоков и новых хэшей блоков. На больших масштабах значение 70 % дает большую производительность оптимизации, чем значение по умолчанию 50 %.
- EnablePriorityOptimization. Если размер файлов приближается к 1 ТБ, фрагментация одного файла может накопить достаточно фрагментов, чтобы приблизиться к ограничению на каждый файл. При оптимизации эти фрагменты будут объединены и это позволит предотвратить достижение заданного ограничения. Установка этого раздела реестра позволяет добавлять при дедупликации дополнительные процедуры обработки дедуплицированных файлов с высокой степенью фрагментации, имеющих высокий приоритет.

Настройка DPM и планирование дедупликации

Операции резервного копирования и дедупликации являются операциями с большим объемом ввода-вывода. Если они будут выполняться в одно и то же время, дополнительные затраты на переключение между операциями может оказаться значительным и привести к тому, что за день будет зарезервирован или дедуплицирован меньший объем данных. Мы рекомендуем определить отдельные специальные окна для дедупликации и для резервного копирования. Это позволит гарантировать, что трафик ввода-вывода для каждой из этих операций будет эффективно распределен по времени ежедневной работы системы. Имеются следующие рекомендации по планированию.

Разбейте дни на неперекрывающиеся периоды для резервного копирования и для дедупликации.
Настройте пользовательские расписания резервного копирования.
Настройте пользовательские расписания дедупликации.
Спланируйте оптимизацию в окне дедупликации ежедневного расписания.
Настройте расписания дедупликации на выходные дни отдельно, используя это время для заданий сборки мусора и очистки.

Расписания DPM можно настроить с помощью следующей команды PowerShell.

Set-DPMConsistencyCheckWindow -ProtectionGroup $mpg -StartTime $startTime -
DurationInHours $duration
Set-DPMBackupWindow -ProtectionGroup $mpg -StartTime $startTime -DurationInHours
$duration

В этой конфигурации DPM настроен на выполнение резервного копирования виртуальных машин в интервале времени от 22:00 до 6:00. Дедупликация запланирована на оставшиеся 16 часов суток. Фактическое настраиваемое время дедупликации будет зависеть от размера тома. Дополнительные сведения см. в разделе Изменение размера томов для дедупликации данных. Окно дедупликации продолжительностью 16 часов, начинающееся с 6:00 после завершения окна резервного копирования, настраивается с любого узла кластера следующим образом:

#disable default schedule
Set-DedupSchedule * -Enabled:$false
#Remainder of the day after an 8 hour backup window starting at 10pm $dedupDuration = 16
$dedupStart = "6:00am"
#On weekends GC and scrubbing start one hour earlier than optimization job.
# Once GC/scrubbing jobs complete, the remaining time is used for weekend
# optimization.
$shortenedDuration = $dedupDuration - 1
$dedupShortenedStart = "7:00am"
#if the previous command disabled priority optimization schedule
#reenable it
if ((Get-DedupSchedule -name PriorityOptimization -ErrorAction SilentlyContinue) -ne $null)
{
Set-DedupSchedule -Name PriorityOptimization -Enabled:$true
}
#set weekday and weekend optimization schedules
New-DedupSchedule -Name DailyOptimization -Type Optimization -DurationHours $dedupDuration -Memory 50 -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -Days Monday,Tuesday,Wednesday,Thursday,Friday
New-DedupSchedule -Name WeekendOptimization -Type Optimization -DurationHours $shortenedDuration -Memory 50 -Priority Normal -InputOutputThrottleLevel None -Start $dedupShortenedStart -Days Saturday,Sunday
#re-enable and modify scrubbing and garbage collection schedules
Set-DedupSchedule -Name WeeklyScrubbing -Enabled:$true -Memory 50 -DurationHours $dedupDuration -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -StopWhenSystemBusy:$false -Days Sunday
Set-DedupSchedule -Name WeeklyGarbageCollection -Enabled:$true -Memory 50 -DurationHours $dedupDuration -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -StopWhenSystemBusy:$false -Days Saturday
#disable background optimization
if ((Get-DedupSchedule -name BackgroundOptimization -ErrorAction SilentlyContinue) -ne $null)
{
Set-DedupSchedule -Name BackgroundOptimization -Enabled:$false
}

При каждом изменении окна резервного копирования крайне важно, чтобы окно дедупликации изменялось вместе с ним, чтобы они не перекрывались. Окно дедупликации и резервного копирования не должны заполнять полные 24 часа суток; Однако настоятельно рекомендуется сделать это, чтобы разрешить различия во времени обработки из-за ожидаемых ежедневных изменений рабочих нагрузок и оттока данных.

Вопросы, связанные с производительностью резервного копирования

После дедупликации набора файлов может возникнуть небольшая производительность при доступе к файлам. Это связано с тем, что требуется дополнительная обработка для доступа к файлам в формате дедуплицированных файлов. В этом сценарии файлы представляют собой набор файлов VHDX, которые непрерывно используются DPM во время окна резервного копирования. Результат дедупликации этих файлов означает, что операции резервного копирования и восстановления могут выполняться немного медленнее, чем без дедупликации. Как и любой продукт резервного копирования, DPM является тяжелой рабочей нагрузкой по операциям записи, а по операциям чтения он проявляет себя главным образом во время процедуры восстановления. По вопросам, связанным с производительностью резервного копирования и влиянием на нее дедупликации, предлагаются следующие рекомендации.

Операции чтения и восстановления. Влияние на операции чтения обычно незначительно и не требует особого внимания, так как функция дедупликации кэширует дедуплицированные фрагменты.
Операции записи и резервного копирования. Запланируйте увеличение времени резервного копирования на 5–10 % при определении окна резервного копирования. (Это увеличение по сравнению с ожидаемым временем выполнения резервного копирования при записи на недедуплицированные тома.)

Мониторинг

За работой DPM и процессом дедупликации можно наблюдать с целью получения следующих сведений.

Для хранения резервных копий выделено достаточно места на диске.
Задания резервного копирования DPM выполняются нормально.
Дедупликация включена на резервных томах.
Расписания дедупликации заданы правильно.
Выполнение дедупликации проходит нормально каждый день.
Выигрыш от дедупликации соответствует предположениям, сделанным при конфигурации системы.

Успех дедупликации зависит от аппаратных возможностей системы в целом (включая быстродействие ЦП, пропускную способность системы ввода-вывода, емкость хранилища), конфигурации системы, среднего уровня нагрузки и ежедневного объема измененных данных.

Наблюдать за работой DPM можно с помощью центральной консоли DPM. См. раздел Установка центральной консоли.

Вы можете отслеживать дедупликации, чтобы проверка состояние дедупликации, скорость сохранения и состояние расписания с помощью следующих команд PowerShell:

Получить состояние:

PS C:\> Get-DedupStatus
FreeSpace SavedSpace OptimizedFiles InPolicyFiles Volume
-------------- ---------- -------------- ------------- ------
280.26 GB 529.94 GB 36124 36125 X:
151.26 GB 84.19 GB 43017 43017 Z:

Получить экономию:

PS C:\> Get-DedupVolume
Enabled SavedSpace SavingsRate Volume
------- ---------- ----------- ------
True 529.94 GB 74 % X:

Получить состояние расписания с помощью командлета Get-DedupSchedule.

Мониторинг событий

Журнал мониторинга событий может помочь понять события дедупликации и состояние.

Чтобы просмотреть события дедупликации, в проводникеперейдите в раздел Журналы приложений и службMicrosoftWindowsДедупликация.
Если значение LastOptimizationResult = 0x00000000 появится в результатах Get-DedupStatus |fl Windows PowerShell, весь набор данных был обработан предыдущим заданием оптимизации. В противном случае это значит, что системе не удалось завершить выполнение дедупликации и имеет смысл проверить параметры конфигурации, например размер тома.

Более подробные примеры командлетов см. в разделе Мониторинг и создание отчетов по дедупликации данных.

Мониторинг хранилища резервных копий

В нашем примере конфигурации тома размером 7,2 ТБ заполняются логическими данными размером 10 ТБ (размер данных, если они не дедуплицированы), хранящимися в динамических VHDX-файлах размером 10 x 1 ТБ. Поскольку эти файлы накапливают дополнительные данные резервных копий, они медленнее заполняют том. Если процент экономии, полученный в результате дедупликации, достаточно высок, все 10 файлов смогут достичь своего максимального логического размера и по-прежнему поместиться в том 7,2 ТБ (потенциально может быть даже дополнительное пространство для выделения дополнительных VHDX-файлов для серверов DPM). Но если экономии размера за счет дедупликации недостаточно, пространство на томе может и завершиться до того, как VHDX-файлы достигнут полного логического размера, и том будет заполнен. Чтобы предотвратить заполнение томов, рекомендуется следующее:

Не предъявлять слишком жестких требований к размеру тома и допускать некоторый избыток по объему хранилища. Рекомендуется разрешить буфер не менее 10 % при планировании использования хранилища резервных копий, чтобы обеспечить ожидаемые изменения в экономии дедупликации и оттоке данных.
Вести наблюдение за томами, используемыми для хранения резервных копий, чтобы контролировать использование пространства и размер экономии от дедупликации.

Если том заполнен, возникают следующие симптомы:

Виртуальная машина DPM будет переведена в критическое состояние и приостановлена, новые задания резервного копирования не могут запускаться этой виртуальной машиной.
Все задания резервного копирования, использующие VHDX-файлы на переполненном томе, завершатся сбоем.

Чтобы восстановить это состояние и восстановить нормальную работу системы, можно подготовить дополнительное хранилище и выполнить миграцию хранилища виртуальной машины DPM или ее VHDX для освобождения места:

Остановите сервер DPM, которому принадлежат VHDX-файлы, находящиеся в переполненном резервном ресурсе.
Создайте дополнительный том и ресурс для резервных копий с использованием тех же параметров конфигурации, которые были использованы для существующих ресурсов, включая параметры файловой системы NTFS и дедупликации.
Перенесите хранилище для виртуальной машины сервера DPM и перенесите по крайней мере один VHDX-файл из полной общей папки резервного копирования в новую общую папку резервного копирования, созданную на шаге 2.
Запустите задание сборки мусора дедупликации данных на исходном резервном ресурсе, который был переполнен. Задание должно успешно выполниться и освободить место.
Перезапустите виртуальную машину сервера DPM.
Задание согласованности DPM проверка будет активировано в следующем окне резервного копирования для всех источников данных, которые ранее завершились сбоем.
Теперь все задания резервного копирования должны выполняться успешно.

Сводка

Использование дедупликации совместно с DPM обеспечивает значительную экономию места. Это позволяет получить более высокий коэффициент хранения, увеличить частоту выполнения резервного копирования и снизить совокупную стоимость владения развертывания DPM. Советы и рекомендации в этом документе должны дать вам средства и знания для настройки дедупликации хранилища DPM и продемонстрировать преимущества на примере вашего собственного развертывания.

Часто задаваемые вопросы

Q: Размер VHDX-файлов DPM должен составлять 1 ТБ. Означает ли это, что DPM не может создать резервную копию виртуальной машины, SharePoint, базы данных SQL или тома файла размером > 1 ТБ?

Ответ. Нет. DPM объединяет несколько томов в один для хранения резервных копий. Таким образом, размер файла размером 1 ТБ не влияет на размеры источников данных, резервные копии которых может выполнять DPM.

Вопрос. Похоже, что VHDX-файлы хранилища DPM могут быть развернуты только на удаленных файловых ресурсах SMB. Что произойдет, если сохранить VHDX-файлы резервных копий на дедуплицированном томе на том же компьютере, на котором запущена виртуальная машина DPM?

A: Как обсуждалось выше, DPM, Hyper-V и дедупликации — это операции с большим объемом ресурсов хранилища и вычислений. Объединение всех трех из них в одной системе может привести к операциям ввода-вывода и интенсивным процессам, которые могут привести к нехватке Hyper-V и его виртуальных машин. Если вы решили поэкспериментировать с настройкой DPM на виртуальной машине с томами хранилища резервных копий на том же компьютере, следует тщательно отслеживать производительность, чтобы убедиться в наличии достаточной пропускной способности ввода-вывода и вычислительной мощности для обслуживания всех трех операций на одном компьютере.

Вопрос. Вы рекомендуете определить отдельные специальные окна для дедупликации и для резервного копирования. Почему нельзя включить дедупликацию во время резервного копирования, выполняемого DPM? Мне нужно создавать резервную копию моих баз данных SQL каждые 15 минут.

A: Дедупликация и DPM — это операции, ресурсоемкие, и одновременное выполнение обоих из них может оказаться неэффективным и привести к нехватке операций ввода-вывода. Поэтому для защиты рабочих нагрузок более одного раза в день (например, SQL Server каждые 15 минут) и одновременного включения дедупликации убедитесь, что пропускная способность ввода-вывода и емкость компьютера достаточно, чтобы избежать нехватки ресурсов.

Вопрос. Согласно описанной конфигурации, DPM должен быть запущен на виртуальной машине. Почему нельзя включить дедупликацию на томе реплики и выполнять теневое копирование томов напрямую, а не на VHDX-файлы?

Ответ. Дедупликация выполняется по каждому тому с обработкой отдельных файлов. Так как дедупликации оптимизируется на уровне файла, она не предназначена для поддержки технологии VolSnap, которую DPM использует для хранения резервных копий данных. При работе DPM на виртуальной машине Hyper-V сопоставляет операции с томами DPM на уровне VHDX-файлов, что позволяет оптимизировать резервные копии данных и получать больше экономии пространства хранения при дедупликации.

Q: В приведенном выше примере конфигурации созданы только тома размером 7,2 ТБ. Можно ли создавать тома большего или меньшего размера?

Ответ. При дедупликации запускается один поток для каждого тома. Если размер тома будет больше, потребуется больше времени для выполнения его оптимизации. С другой стороны, при небольших объемах меньше данных для поиска повторяющихся фрагментов, что может привести к снижению экономии. Поэтому для оптимальной экономии рекомендуется точно настроить размер тома на основе общего объема обработки и аппаратных возможностей системы. Более подробные сведения об определении размера тома, используемого при дедупликации, можно найти в разделе «Определение размеров томов для дедупликации в Windows Server». Дополнительные сведения об определении размеров томов, используемых при дедупликации, см. в разделе Определение размера томов для дедупликации данных.

Поделиться через