Обзор дедупликации данных

область применения: Windows server 2022, Windows server 2019, Windows Server 2016, Azure Stack хЦи, версия 20H2

Что такое дедупликация данных

Дедупликация данных, часто называемая дедупликацией, — это функция, которая помогает снизить влияние избыточных данных на затраты на хранение. Если дедупликация данных включена, она оптимизирует свободное место в томе за счет проверки данных тома на наличие дублирующихся частей. Дублирующиеся части набора данных тома сохраняются один раз и (при необходимости) сжимаются для дополнительной экономии. Дедупликация оптимизирует избыточные данные, не нарушая достоверность или целостность данных. Дополнительные сведения о работе дедупликации данных см. в разделе Как работает дедупликация данных? на странице Understanding Data Deduplication (Понимание процесса дедупликации данных).

Важно!

KB4025334 содержит сведение исправлений для дедупликации данных, включая важные исправления надежности, и настоятельно рекомендуется устанавливать его при использовании дедупликации данных с Windows Server 2016 и Windows Server 2019.

Преимущества дедупликации данных

Дедупликация данных помогает администраторам хранилища снизить затраты, связанные с дублирующимися данными. Большие наборы данных часто имеют массу дублирования, что увеличивает затраты на хранение данных. Например:

  • Файловые ресурсы пользователей могут содержать множество копий одних и тех же или похожих файлов.
  • Гостевые службы виртуализации могут практически не отличаться от служб на виртуальных машинах.
  • Моментальные снимки резервных копий могут иметь минимальные отличия от ежедневных.

Экономия места, которую может обеспечить дедупликация данных, зависит от набора данных или рабочей нагрузки в томе. В наборах данных с высоким уровнем дупликации скорость оптимизации достигает 95 %, а объем использования службы хранилища может уменьшаться в 20 раз. В следующей таблице представлены типичные значения экономии за счет дедупликации для разных типов содержимого.

Сценарий Content Обычная экономия пространства
Документы пользователя Документы Office, фотографии, музыка, видео и т. д. 30-50 %
Общие ресурсы развертывания Двоичные файлы программного обеспечения, CAB-файлы, символы и т. д. 70–80 %
Библиотеки виртуализации Образы ISO, файлы виртуальных жестких дисков и т. д. 80–95 %
Файловый ресурс общего доступа Все вышеперечисленное 50–60 %

Примечание

Если вы просто хотите освободить место на томе, рассмотрите возможность использования Синхронизация файлов Azure с включенным распределением по уровням облака. Благодаря этому вы сможете кэшировать часто используемые файлы локально и распределять редко используемые файлы по уровням облака, сохраняя пространство в локальном хранилище и поддерживая производительность. Дополнительные сведения см. в статье Планирование развертывания Синхронизации файлов Azure.

Когда можно использовать дедупликацию данных

Illustration of file servers Файловые серверы общего назначения
Файловые серверы общего назначения представляют собой файловые серверы для общего использования, которые могут содержать общие папки любого типа из перечисленных далее:
  • Общие групповые папки
  • домашние папки пользователей;
  • Рабочие папки
  • Общие ресурсы для разработки программного обеспечения
Файловые серверы общего назначения подходят для дедупликации данных из-за тенденции сохранения многочисленных копий или версий одного файла несколькими пользователями. От дедупликации данных выигрывают общие ресурсы для разработки программного обеспечения, так как многие двоичные файлы остаются по сути неизменными от сборки к сборке.
Illustration of VDI servers развертывания инфраструктура виртуальных рабочих столов (VDI)
Благодаря серверам VDI, таким как службы удаленных рабочих столов, организации получают упрощенный способ подготовки настольных компьютеров для пользователей. Эта технология подходит для организаций по многим причинам.
  • Развертывание приложений. Вы можете быстро развертывать приложения на предприятии. Это особенно полезно при наличии приложений, которые часто обновляются, редко используются или являются сложными в управлении.
  • Консолидация приложений. при установке и запуске приложений из набора централизованно управляемых виртуальных машин устраняется необходимость обновлять приложения на клиентских компьютерах. Это также снижает требования к пропускной способности сети, необходимой для доступа к приложениям.
  • Удаленный доступ. пользователи могут получать доступ к корпоративным приложениям с таких устройств, как домашние компьютеры, киоски, аппаратное обеспечение с низким энергопотреблением и операционные системы, отличные от Windows.
  • Доступ к филиалу. развертывания VDI могут обеспечить лучшую производительность приложений для рабочих ролей филиалов, которым необходим доступ к централизованным хранилищам данных. Ресурсоемкие приложения иногда не имеют протоколов клиентов и серверов, оптимизированных для подключений по медленной линии.
Развертывания VDI прекрасно подходят для дедупликации данных, так как виртуальные жесткие диски, определяющие удаленные рабочие столы для пользователей, по сути идентичны. Кроме того, дедупликация данных может помочь в случае падения производительности хранилища на пиковых нагрузках (так называемый VDI boot storm), когда множество пользователей одновременно входит на настольные системы в начале дня.
Illustration of backup applications Целевые объекты резервного копирования, такие как виртуализированные приложения резервного копирования
приложения резервного копирования, такие как Microsoft Data Protection Manager (DPM), являются отличным кандидатом к дедупликации данных из-за значительного дублирования моментальных снимков резервных копий.
Illustration of other workloads Другие рабочие нагрузки
К другим рабочим нагрузкам также можно применять дедупликацию данных.