Ottimizzare l'archiviazione con deduplicazione e compressione ReFS in Azure Stack HCI

Si applica a: Azure Stack HCI, versione 23H2

Questo articolo descrive la funzionalità di deduplicazione e compressione Resilient File System (ReFS) e come usare questa funzionalità in Azure Stack HCI per ottimizzare l'archiviazione.

Che cos'è la deduplicazione e la compressione ReFS?

La deduplicazione e la compressione di ReFS è una funzionalità di ottimizzazione dell'archiviazione progettata specificamente per i carichi di lavoro attivi, ad esempio l'infrastruttura VDI (Virtual Desktop Infrastructure) di Azure in Azure Stack HCI. Questa funzionalità consente di ottimizzare l'utilizzo dell'archiviazione e ridurre i costi di archiviazione.

Questa funzionalità usa la clonazione di blocchi ReFS per ridurre lo spostamento dei dati e abilitare solo le operazioni di metadati. La funzionalità opera a livello di blocco dati e usa le dimensioni fisse del blocco a seconda delle dimensioni del cluster. Il motore di compressione genera una mappa termica per identificare se un blocco deve essere idoneo per la compressione, ottimizzando l'utilizzo della CPU.

È possibile eseguire la deduplicazione e la compressione ReFS come processo monouso o automatizzarla con processi pianificati. Questa funzionalità funziona sia con sistemi all-flash che ibridi e supporta diverse impostazioni di resilienza, ad esempio mirror bidirezionale, mirror bidirezionale annidato, mirror a tre vie e parità accelerata con mirroring mirror.

Vantaggi

Ecco i vantaggi dell'uso della deduplicazione e della compressione ReFS:

• Risparmio di archiviazione per i carichi di lavoro attivi. Progettato per carichi di lavoro attivi, ad esempio VDI, garantisce prestazioni efficienti in ambienti esigenti.
• Più modalità. Opera in tre modalità: solo deduplicazione, solo compressione e deduplicazione e compressione (modalità predefinita), consentendo l'ottimizzazione in base alle proprie esigenze.
• Deduplicazione incrementale. Deduplica solo i dati nuovi o modificati anziché analizzare l'intero volume ogni volta, ottimizzando la durata del processo e riducendo l'impatto sulle prestazioni del sistema.

Prerequisiti

Prima di iniziare, assicurarsi che siano stati completati i prerequisiti seguenti:

• È possibile accedere a un cluster Azure Stack HCI distribuito e registrato.
• Il volume condiviso cluster (CSV) è stato creato nel cluster ed è possibile accedervi.
• Il volume condiviso cluster non dispone già della funzionalità deduplicazione dati di Windows abilitata.

Usare la deduplicazione e la compressione reFS

È possibile usare la deduplicazione e la compressione ReFS tramite Windows Admin Center o PowerShell. PowerShell consente processi manuali e automatizzati, mentre Windows Admin Center supporta solo processi pianificati. Indipendentemente dal metodo, è possibile personalizzare le impostazioni del processo e utilizzare il rilevamento delle modifiche dei file per le esecuzioni successive più rapide.

Abilitare ed eseguire deduplicazione e compressione ReFS

Windows Admin Center

In Windows Admin Center è possibile creare una pianificazione per la deduplicazione e la compressione di ReFS da eseguire in un volume esistente o in un nuovo volume durante la creazione del volume.

Seguire questa procedura per abilitare la deduplicazione e la compressione ReFS tramite Windows Admin Center e impostare una pianificazione quando deve essere eseguita:

1. Connettersi a un cluster e quindi nel riquadro Strumenti a sinistra selezionare Volumi.

2. Nella pagina Volumi selezionare la scheda Inventario , selezionare il volume appropriato e quindi selezionare Impostazioni. Per attivare la deduplicazione ReFS e la compressione per un nuovo volume, selezionare + Crea.

3. Nel riquadro Impostazioni volume a destra, nell'elenco a discesa Altre opzioni selezionare la casella di controllo Usa deduplicazione ReFS e compressione .

4. Selezionare i giorni della settimana in cui deve essere eseguita la deduplicazione e la compressione ReFS, il tempo per l'avvio dell'esecuzione di un processo e la durata massima (il valore predefinito è illimitato) e quindi selezionare Salva.

   Lo screenshot seguente mostra che la deduplicazione e la compressione ReFS viene eseguita venerdì e sabato alle 10:40 con una durata massima di 2 ore, a partire dal 22/09/2023. Se la data di inizio è stata modificata in 21/09/2023, la prima esecuzione sarà ancora il 22/9/2023 10:40am come è il primo venerdì dopo il 21/9/2023.

   

5. Verificare le modifiche nella sezione Proprietà del volume. La pianificazione viene visualizzata nella sezione Proprietà e visualizza la suddivisione dei risparmi e l'ora di esecuzione pianificata successiva. Questi risparmi vengono aggiornati dopo ogni esecuzione ed è possibile osservare l'impatto sulle prestazioni nei grafici nella sezione Prestazioni .

   

PowerShell

Per usare la deduplicazione e la compressione ReFS tramite PowerShell, abilitare prima la funzionalità e quindi eseguirla come processo manuale monouso o automatizzarla per eseguirla come processi pianificati. I processi vengono impostati a livello csv per ogni cluster e possono essere personalizzati in base a modalità, durata, utilizzo delle risorse di sistema e altro ancora.

Abilitare la deduplicazione e la compressione di ReFS

Seguire questa procedura per abilitare la deduplicazione e la compressione ReFS tramite PowerShell:

1. Connettersi al cluster Azure Stack HCI ed eseguire PowerShell come amministratore.

2. È necessario eseguire tutti i comandi per modificare le impostazioni in un determinato volume nel nodo proprietario. Eseguire il cmdlet seguente per visualizzare tutti i nodi proprietario e il percorso del volume CSV:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Ecco un output di esempio dell'utilizzo del cmdlet:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Eseguire il cmdlet seguente per abilitare la deduplicazione ReFS e la compressione in un volume specifico:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   dove: Type è un parametro obbligatorio e può accettare uno dei valori seguenti:

   • Dedup: abilita solo la deduplicazione.
   • DedupAndCompress: abilita sia la deduplicazione che la compressione. Questa è l'opzione predefinita.
   • Compressione: abilita solo la compressione.

   Se si vuole modificare il Type parametro, è prima necessario disabilitare la deduplicazione e la compressione ReFS e quindi abilitarla nuovamente con il nuovo Type parametro.

   Ad esempio, eseguire il cmdlet seguente per abilitare la deduplicazione e la compressione in un volume:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. Dopo aver abilitato la deduplicazione e la compressione di ReFS, verificarne lo stato nel file CSV. Eseguire il cmdlet seguente e verificare che il Enabled campo nell'output venga visualizzato come True e il Type campo visualizzi la modalità specificata.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Ecco un output di esempio del Get-ReFSDedupStatus cmdlet in cui il Enabled campo viene visualizzato come True e il Type campo viene visualizzato come DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Eseguire la deduplicazione e la compressione di ReFS

Dopo aver abilitato questa funzionalità, è possibile eseguire manualmente un processo monouso o pianificare processi ricorrenti in base alle esigenze.

Prima di eseguire, è necessario tenere conto anche di queste altre considerazioni:

• La prima esecuzione dopo l'abilitazione di questa funzionalità è sempre un'analisi completa e l'ottimizzazione dell'intero volume. Se il FullRun parametro viene specificato, l'ottimizzazione copre l'intero volume anziché i dati nuovi o non ottimizzati.
• Se non si specifica un formato di compressione, l'algoritmo predefinito è LZ4. È possibile modificare l'algoritmo da un'esecuzione a un'altra in base alle esigenze.
• È possibile specificare più parametri per casi d'uso più complessi. Il cmdlet usato in questa sezione è per il caso d'uso più semplice.
• I filtri Esecuzione completa, Cartella esclusa, Estensioni file escluse e Ora minima ultima modifica si applicano solo durante l'esecuzione della deduplicazione e non si applicano durante l'esecuzione della compressione.

Eseguire manualmente processi di deduplicazione e compressione ReFS

• Per avviare immediatamente un processo, eseguire il cmdlet seguente. Una volta avviato un processo, il relativo State potrebbe apparire come NotStarted perché potrebbe ancora trovarsi nella fase di inizializzazione.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -FullRun -CompressionFormat <LZ4 | ZSTD> 
  

  Ad esempio, il cmdlet seguente avvia immediatamente un processo per una durata di 5 ore usando il formato di compressione LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -FullRun -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Per arrestare un processo in esecuzione, eseguire il cmdlet seguente. Questo cmdlet funziona anche per i processi pianificati in corso.

  Stop-ReFSDedupJob -Volume <path>
  

  Ad esempio, il cmdlet seguente arresta il processo avviato nell'esempio precedente:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Per visualizzare lo stato, il risparmio e lo stato di un processo, eseguire il cmdlet seguente:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Ad esempio, il cmdlet seguente visualizza lo stato di un processo:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Pianificare processi di deduplicazione e compressione ReFS ricorrenti

Impostare una pianificazione ricorsiva per eseguire le ottimizzazioni di archiviazione per il volume. È quindi possibile visualizzare, impostare o modificare, sospendere, riprendere o cancellare la pianificazione del processo.

• Per impostare o modificare una pianificazione, eseguire il cmdlet seguente:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Ad esempio, per configurare un processo ricorrente pianificato per l'esecuzione ogni giovedì alle 8:30 per una durata di 5 ore nel formato LZ4, eseguire il cmdlet seguente. Usare -Days EveryDay se si vuole eseguire il processo ogni giorno.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Per visualizzare la pianificazione del processo, eseguire il cmdlet seguente:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Ecco l'output del processo pianificato nell'esempio precedente:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Sospendere i processi pianificati

La sospensione della pianificazione annulla tutti i processi in esecuzione e arresta le esecuzioni pianificate in futuro. Questa opzione mantiene la deduplicazione ReFS e i metadati correlati alla compressione e continua a tenere traccia delle modifiche ai file per le esecuzioni future ottimizzate. È possibile riprendere la pianificazione in qualsiasi momento, con le impostazioni di pianificazione mantenute.

Windows Admin Center

Seguire questa procedura per sospendere i processi pianificati usando Windows Admin Center:

1. Connettersi a un cluster e quindi nel riquadro Strumenti a sinistra selezionare Volumi.

2. Nella pagina Volumi selezionare la scheda Inventario , selezionare il volume appropriato e quindi selezionare Impostazioni.

3. Nel riquadro Impostazioni volume a destra, nell'elenco a discesa Altre opzioni deselezionare la casella di controllo Imposta pianificazione e quindi selezionare Salva.

PowerShell

Usare il cmdlet seguente per sospendere il processo pianificato e controllare lo stato usando PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Ecco un output di esempio dell'utilizzo del cmdlet. Il Suspended campo viene visualizzato come True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Disabilitare la deduplicazione e la compressione reFS in un volume

La disabilitazione della deduplicazione e della compressione ReFS in un volume arresta tutte le esecuzioni in corso e annulla i processi pianificati futuri. Inoltre, i metadati del volume correlati non vengono conservati e il rilevamento delle modifiche dei file viene arrestato.

Quando si disabilita questa funzionalità, non annulla la deduplicazione o la compressione, perché tutte le operazioni si verificano a livello di metadati. Nel corso del tempo, i dati tornano allo stato originale man mano che il volume comporta letture e scritture.

Nota

È possibile eseguire operazioni di decompressione usando ReFSUtil.

Windows Admin Center

Seguire questa procedura per disabilitare la funzionalità usando Windows Admin Center:

1. Connettersi a un cluster e quindi nel riquadro Strumenti a sinistra selezionare Volumi.

2. Nella pagina Volumi selezionare la scheda Inventario , selezionare il volume appropriato e quindi selezionare Impostazioni.

3. Nel riquadro Impostazioni volume a destra, nell'elenco a discesa Altre opzioni deselezionare la casella di controllo Usa deduplicazione ReFS e compressione e quindi selezionare Salva.

PowerShell

Usare il cmdlet seguente per sospendere il processo pianificato e controllare lo stato:

Disable-ReFSDedup -Volume <path>

Ecco un output di esempio dell'utilizzo del cmdlet. Il Enabled campo viene visualizzato come False e il Type campo viene visualizzato come vuoto.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Domande frequenti (FAQ)

Questa sezione risponde alle domande frequenti sulla deduplicazione e sulla compressione di ReFS.

La funzionalità di deduplicazione e compressione ReFS è diversa dalla deduplicazione dati di Windows?

Sì, questa funzionalità è completamente diversa dalla funzionalità deduplicazione dati di Windows .

Importante

Non è supportato l'abilitazione simultanea della deduplicazione reFS e della compressione e deduplicazione dei dati di Windows.

La deduplicazione e la compressione reFS sono progettate per carichi di lavoro attivi, concentrandosi sulla riduzione dell'impatto sulle prestazioni dopo l'ottimizzazione. A differenza della deduplicazione dei dati di Windows, la deduplicazione e la compressione di ReFS non usano un archivio blocchi per archiviare i dati deduplicati e non sono coinvolti spostamenti fisici dei dati. La funzionalità si basa sulla clonazione di blocchi ReFS per abilitare le operazioni di sola metadati. La deduplicazione dati di Windows potrebbe offrire un risparmio di archiviazione migliore grazie all'uso di dimensioni di blocchi variabili, è adatto anche per un'ampia gamma di tipi di carico di lavoro, ad esempio file server per utilizzo generico (GPFS), destinazioni di backup e altro ancora.

Quali sono le fasi della deduplicazione e della compressione ReFS?

Il processo di ottimizzazione comprende le fasi seguenti che si verificano in sequenza e dipendono dalla modalità specificata. Se un'esecuzione di ottimizzazione raggiunge un limite di durata, la compressione potrebbe non essere eseguita.

• Inizializzazione. In questa fase, il volume di archiviazione viene analizzato per identificare blocchi ridondanti di dati.

• Deduplicazione dei dati. In questa fase, i blocchi ridondanti vengono a istanza singola e rilevati usando la clonazione di blocchi ReFS.

• Compressione. In questa fase viene generata una mappa termica per identificare se un blocco deve essere idoneo per la compressione. Le impostazioni predefinite comprimono i dati a cui si accede raramente o meno per ridurre le dimensioni. È possibile modificare i livelli di compressione per regolare l'intervallo di blocchi idonei per la compressione.

Cosa accade quando viene raggiunto il limite di durata prima che il volume sia completamente ottimizzato?

Il limite di durata è previsto per evitare qualsiasi impatto sulle prestazioni sui carichi di lavoro dei clienti causati dal processo di ottimizzazione durante l'orario di ufficio. Un servizio di deduplicazione monitora le parti ottimizzate di un volume e le modifiche dei file in ingresso. Questi dati vengono usati nei processi futuri per ridurre il tempo di ottimizzazione. Ad esempio, se un volume viene elaborato solo al 30% nella prima esecuzione a causa del limite di durata, l'esecuzione successiva risolve il rimanente 70% e tutti i nuovi dati.

Problemi noti

Nella sezione seguente sono elencati i problemi noti attualmente presenti con la deduplicazione e la compressione reFS.

La pianificazione dei processi per l'esecuzione simultanea su più volumi condivisi cluster all'interno di un singolo cluster può potenzialmente attivare spostamenti CSV e influire negativamente sulle prestazioni.

Stato: Aperto.

Come procedura consigliata, valutare la possibilità di sfalsare l'ora di inizio dei processi per evitare sovrapposizioni. Tuttavia, se tutti i processi devono essere eseguiti contemporaneamente, modificare l'allocazione della CPU per processo in tutti i volumi condivisi cluster in modo che sia inferiore al 50% dell'utilizzo complessivo della CPU del cluster. Tenere presente che l'imposizione di limitazioni della CPU può comportare tempi di esecuzione del processo più lunghi.

La deduplicazione e il processo di compressione reFS sono stati completati (correttamente o è stato annullato) e i risparmi di archiviazione non sono elencati in Get-ReFSDedupStatus o Windows Admin Center.

Stato: Risolto.

La soluzione temporanea per questo problema consiste nell'avviare immediatamente un processo monouso e i risultati vengono aggiornati immediatamente.

Start-ReFSDedupJob -Volume <path>

L'invio di eventi di monitoraggio interrotto per Windows (ETW) dopo la disabilitazione della deduplicazione e della compressione di ReFS in un volume.

Stato: Risolto.

Una volta disabilitata la deduplicazione e la compressione reFS in un volume, i log di deduplicazione ETW per ReFS vengono ripetuti gli eventi di monitoraggio interrotti. Tuttavia, non si prevede un impatto significativo sull'utilizzo a causa di questo problema.

Evento non riuscito del processo non registrato se il volume viene spostato in un altro nodo durante la compressione.

Stato: Risolto.

Se il volume condiviso cluster viene spostato in un altro server del cluster mentre è in corso la compressione, l'evento di errore del processo non viene registrato nel canale di deduplicazione ReFS. Tuttavia, non si prevede un impatto significativo sull'utilizzo a causa di questo problema.

Passaggi successivi

• Gestire il volume.