Opslag optimaliseren met ReFS-ontdubbeling en -compressie in Azure Stack HCI

Van toepassing op: Azure Stack HCI, versie 23H2

In dit artikel wordt de functie ReFS-ontdubbeling en compressie (Resilient File System) beschreven en hoe u deze functie in Azure Stack HCI gebruikt om opslag te optimaliseren.

Wat is ReFS-ontdubbeling en -compressie?

ReFS-ontdubbeling en -compressie is een functie voor opslagoptimalisatie die speciaal is ontworpen voor actieve workloads, zoals Azure Virtual Desktop Infrastructure (VDI) op Azure Stack HCI. Deze functie helpt bij het optimaliseren van het opslaggebruik en het verlagen van de opslagkosten.

Deze functie maakt gebruik van ReFS-blokklonen om gegevensverplaatsing te verminderen en bewerkingen met alleen metagegevens mogelijk te maken. De functie werkt op het niveau van het gegevensblok en gebruikt een vaste blokgrootte, afhankelijk van de clustergrootte. De compressie-engine genereert een heatmap om te bepalen of een blok in aanmerking moet komen voor compressie, waarbij wordt geoptimaliseerd voor CPU-gebruik.

U kunt ReFS-ontdubbeling en -compressie uitvoeren als een eenmalige taak of deze automatiseren met geplande taken. Deze functie werkt met zowel all-flash- als hybride systemen en ondersteunt verschillende tolerantie-instellingen, zoals spiegeling in twee richtingen, geneste spiegeling in twee richtingen, spiegeling in drie richtingen en versnelde pariteit met spiegeling.

Voordelen

Dit zijn de voordelen van het gebruik van ReFS-ontdubbeling en -compressie:

• Opslagbesparingen voor actieve workloads. Ontworpen voor actieve workloads, zoals VDI, waardoor efficiënte prestaties worden gegarandeerd in veeleisende omgevingen.
• Meerdere modi. Werkt in drie modi: alleen ontdubbeling, alleen compressie en ontdubbeling en compressie (standaardmodus), waardoor optimalisatie op basis van uw behoeften mogelijk is.
• Incrementele ontdubbeling. Ontdubbelt alleen nieuwe of gewijzigde gegevens in plaats van het hele volume elke keer te scannen, waardoor de duur van de taak wordt geoptimaliseerd en de invloed op de systeemprestaties wordt verminderd.

Vereisten

Voordat u begint, moet u ervoor zorgen dat aan de volgende vereisten is voldaan:

• U hebt toegang tot een Azure Stack HCI-cluster dat is geïmplementeerd en geregistreerd.
• U hebt het gedeelde clustervolume (CSV) op het cluster gemaakt en u hebt er toegang toe.
• Voor het CSV is de functie Windows-gegevensontdubbeling nog niet ingeschakeld.

ReFS-ontdubbeling en -compressie gebruiken

U kunt ReFS-ontdubbeling en -compressie gebruiken via Windows Admin Center of PowerShell. PowerShell staat zowel handmatige als geautomatiseerde taken toe, terwijl Windows Admin Center alleen geplande taken ondersteunt. Ongeacht de methode kunt u taakinstellingen aanpassen en het bijhouden van bestandswijziging gebruiken voor snellere volgende uitvoeringen.

ReFS-ontdubbeling en -compressie inschakelen en uitvoeren

Windows Admin Center

In Windows Admin Center kunt u een schema maken voor ReFS-ontdubbeling en -compressie om uit te voeren op een bestaand volume of een nieuw volume tijdens het maken van het volume.

Volg deze stappen om ReFS-ontdubbeling en -compressie via Windows Admin Center in te schakelen en een schema in te stellen wanneer deze moet worden uitgevoerd:

1. Maak verbinding met een cluster en selecteer volumes in het deelvenster Extra aan de linkerkant.

2. Selecteer op de pagina Volumes het tabblad Inventaris , selecteer het juiste volume en selecteer vervolgens Instellingen. Als u ReFS-ontdubbeling en -compressie wilt inschakelen voor een nieuw volume, selecteert u + Maken.

3. Schakel in het deelvenster Volumeinstellingen aan de rechterkant, onder de vervolgkeuzelijst Meer opties , het selectievakje ReFS-ontdubbeling en compressie gebruiken in.

4. Selecteer de dagen van de week waarop ReFS-ontdubbeling en -compressie moeten worden uitgevoerd, de tijd waarop een taak moet worden uitgevoerd en de maximale duur (de standaardwaarde is onbeperkt) en selecteer vervolgens Opslaan.

   In de volgende schermopname ziet u dat ReFS-ontdubbeling en -compressie wordt uitgevoerd op vrijdag en zaterdag om 10:40 uur met een maximale duur van 2 uur, vanaf 22-9-2023. Als de begindatum is gewijzigd in 21-9-2023, is de eerste uitvoering nog steeds 22-9-2023 10:40 uur omdat dat de eerste vrijdag na 21-09-2023 is.

   

5. Controleer de wijzigingen in de sectie Eigenschappen van het volume. De planning wordt weergegeven onder de sectie Eigenschappen en geeft de uitsplitsing van de besparingen en de volgende geplande uitvoeringstijd weer. Deze besparingen worden na elke uitvoering bijgewerkt en u kunt de impact op de prestaties bekijken in de grafieken onder de sectie Prestaties .

   

PowerShell

Als u ReFS-ontdubbeling en -compressie via PowerShell wilt gebruiken, schakelt u eerst de functie in en voert u deze vervolgens uit als een eenmalige handmatige taak of automatiseert u deze om deze uit te voeren als geplande taken. De taken worden ingesteld op CSV-niveau voor elk cluster en kunnen worden aangepast op basis van modi, duur, systeemresourcegebruik en meer.

ReFS-ontdubbeling en -compressie inschakelen

Volg deze stappen om ReFS-ontdubbeling en -compressie in te schakelen via PowerShell:

1. Maak verbinding met uw Azure Stack HCI-cluster en voer PowerShell uit als beheerder.

2. U moet alle opdrachten uitvoeren om instellingen op een bepaald volume op het eigenaarsknooppunt te wijzigen. Voer de volgende cmdlet uit om alle CSV-eigenaarknooppunten en het volumepad weer te geven:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Hier volgt een voorbeeld van de uitvoer van het gebruik van de cmdlet:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Voer de volgende cmdlet uit om ReFS-ontdubbeling en -compressie in te schakelen op een specifiek volume:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   waarbij: Type een vereiste parameter is en een van de volgende waarden kan aannemen:

   • Ontdubbeling: hiermee schakelt u alleen ontdubbeling in.
   • DedupAndCompress: schakelt zowel ontdubbeling als compressie in. Dit is de standaardoptie.
   • Comprimeren: hiermee schakelt u alleen compressie in.

   Als u de Type parameter wilt wijzigen, moet u reFS-ontdubbeling en -compressie eerst uitschakelen en deze vervolgens opnieuw inschakelen met de nieuwe Type parameter.

   Voer bijvoorbeeld de volgende cmdlet uit om zowel ontdubbeling als compressie op een volume in te schakelen:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. Nadat u ReFS-ontdubbeling en -compressie hebt ingeschakeld, controleert u de status ervan op het CSV-bestand. Voer de volgende cmdlet uit en zorg ervoor dat het Enabled veld in de uitvoer wordt weergegeven als True en dat het Type veld de opgegeven modus weergeeft.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Hier volgt een voorbeelduitvoer van de Get-ReFSDedupStatus cmdlet waarbij het Enabled veld wordt weergegeven als True en het Type veld wordt weergegeven als DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

ReFS-ontdubbeling en -compressie uitvoeren

Nadat u deze functie hebt ingeschakeld, kunt u een eenmalige taak handmatig uitvoeren of zo nodig terugkerende taken plannen.

Voordat u uitvoert, moet u ook rekening houden met deze andere overwegingen:

• De eerste uitvoering na het inschakelen van deze functie is altijd een volledige scan en optimalisatie van het hele volume. Als de FullRun parameter is opgegeven, heeft de optimalisatie betrekking op het hele volume in plaats van nieuwe of niet-geoptimaliseerde gegevens.
• Als u geen compressie-indeling opgeeft, is het standaardalgoritme LZ4. U kunt het algoritme zo nodig wijzigen van de ene uitvoering in de andere.
• U kunt meer parameters opgeven voor complexere use cases. De cmdlet die in deze sectie wordt gebruikt, is voor de eenvoudigste use-case.
• De filters Volledige uitvoering, Uitgesloten map, Uitgesloten bestandsextensies en Minimale tijdsduur laatst gewijzigd zijn alleen van toepassing bij het uitvoeren van ontdubbeling en niet bij het uitvoeren van compressie.

ReFS-ontdubbelings- en compressietaken handmatig uitvoeren

• Als u een taak onmiddellijk wilt starten, voert u de volgende cmdlet uit. Zodra u een taak hebt gestart, kan deze State worden weergegeven als NotStarted omdat deze zich nog in de initialisatiefase bevindt.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -FullRun -CompressionFormat <LZ4 | ZSTD> 
  

  Met de volgende cmdlet wordt bijvoorbeeld onmiddellijk een taak gestart voor een duur van 5 uur met behulp van de LZ4-compressie-indeling:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -FullRun -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Voer de volgende cmdlet uit om een actieve taak te stoppen. Deze cmdlet werkt ook voor geplande taken die worden uitgevoerd.

  Stop-ReFSDedupJob -Volume <path>
  

  De volgende cmdlet stopt bijvoorbeeld de taak die u in het vorige voorbeeld hebt gestart:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Voer de volgende cmdlet uit om de voortgang, besparingen en status van een taak weer te geven:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  De volgende cmdlet geeft bijvoorbeeld de status van een taak weer:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Terugkerende ReFS-ontdubbelings- en compressietaken plannen

Stel een terugkerende planning in om opslagoptimalisaties voor het volume uit te voeren. Vervolgens kunt u de taakplanning weergeven, instellen of wijzigen, onderbreken, hervatten of wissen.

• Voer de volgende cmdlet uit om een planning in te stellen of te wijzigen:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Als u bijvoorbeeld een terugkerende taak wilt instellen die elke donderdag om 8:30 uur wordt uitgevoerd voor een duur van 5 uur in de LZ4-indeling, voert u de volgende cmdlet uit. Gebruik -Days EveryDay als u de taak dagelijks wilt uitvoeren.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Voer de volgende cmdlet uit om het taakschema weer te geven:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Dit is de uitvoer van de taak die in het vorige voorbeeld is gepland:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Geplande taken onderbreken

Als u de planning onderbreekt, worden alle actieve taken geannuleerd en worden geplande uitvoeringen in de toekomst gestopt. Deze optie behoudt ReFS-ontdubbeling en compressiegerelateerde metagegevens en blijft bestandswijzigingen bijhouden voor geoptimaliseerde toekomstige uitvoeringen. U kunt de planning op elk gewenst moment hervatten, waarbij de planningsinstellingen behouden blijven.

Windows Admin Center

Volg deze stappen om geplande taken te onderbreken met behulp van Windows Admin Center:

1. Maak verbinding met een cluster en selecteer volumes in het deelvenster Extra aan de linkerkant.

2. Selecteer op de pagina Volumes het tabblad Inventaris , selecteer het juiste volume en selecteer vervolgens Instellingen.

3. Schakel in het deelvenster Volume-instellingen aan de rechterkant onder de vervolgkeuzelijst Meer opties het selectievakje Planning instellen uit en selecteer vervolgens Opslaan.

PowerShell

Gebruik de volgende cmdlet om de geplande taak te onderbreken en de status te controleren met behulp van PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Hier volgt een voorbeeld van de uitvoer van het gebruik van de cmdlet. Het Suspended veld wordt weergegeven als True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

ReFS-ontdubbeling en -compressie op een volume uitschakelen

Als u ReFS-ontdubbeling en -compressie op een volume uitschakelt, worden alle uitvoeringen die worden uitgevoerd, gestopt en worden toekomstige geplande taken geannuleerd. Bovendien worden gerelateerde volumemetagegevens niet bewaard en wordt het bijhouden van bestandswijziging gestopt.

Wanneer u deze functie uitschakelt, wordt ontdubbeling of compressie niet ongedaan genomen, omdat alle bewerkingen plaatsvinden op de metagegevenslaag. Na verloop van tijd keren de gegevens terug naar de oorspronkelijke staat wanneer het volume wordt gelezen en geschreven.

Notitie

U kunt decompressiebewerkingen uitvoeren met behulp van ReFSUtil.

Windows Admin Center

Volg deze stappen om de functie uit te schakelen met behulp van Windows Admin Center:

1. Maak verbinding met een cluster en selecteer volumes in het deelvenster Extra aan de linkerkant.

2. Selecteer op de pagina Volumes het tabblad Inventaris , selecteer het juiste volume en selecteer vervolgens Instellingen.

3. Schakel in het deelvenster Volume-instellingen aan de rechterkant, onder de vervolgkeuzelijst Meer opties , het selectievakje ReFS-ontdubbeling en compressie gebruiken uit en selecteer vervolgens Opslaan.

PowerShell

Gebruik de volgende cmdlet om de geplande taak te onderbreken en de status te controleren:

Disable-ReFSDedup -Volume <path>

Hier volgt een voorbeeld van de uitvoer van het gebruik van de cmdlet. Het Enabled veld wordt weergegeven als False en het Type veld als leeg.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Veelgestelde vragen (FAQ's)

In deze sectie vindt u antwoorden op veelgestelde vragen over ReFS-ontdubbeling en -compressie.

Verschilt de functie ReFS-ontdubbeling en -compressie van Windows-gegevensontdubbeling?

Ja, deze functie verschilt volledig van de Windows-functie voor gegevensontdubbeling .

Belangrijk

We bieden geen ondersteuning voor het gelijktijdig inschakelen van ReFS-ontdubbeling en -compressie en Windows-gegevensontdubbeling.

ReFS-ontdubbeling en -compressie is ontworpen voor actieve workloads, waarbij de nadruk ligt op het minimaliseren van de impact op de prestaties na optimalisatie. In tegenstelling tot Windows-gegevensontdubbeling gebruiken ReFS-ontdubbeling en -compressie geen segmentopslag voor het opslaan van ontdubbelde gegevens en is er geen fysieke gegevensverplaatsing betrokken. De functie is afhankelijk van ReFS-blokklonen om bewerkingen met alleen metagegevens mogelijk te maken. Windows-gegevensontdubbeling kan betere opslagbesparingen opleveren vanwege het gebruik van variabele blokgrootten. Het is ook geschikt voor een breder scala aan werkbelastingtypen, zoals algemeen gebruik bestandsservers (GPFS), back-updoelen en meer.

Wat zijn de fasen van ReFS-ontdubbeling en compressie?

Het optimalisatieproces bestaat uit de volgende fasen die opeenvolgend plaatsvinden en afhankelijk zijn van de opgegeven modus. Als een optimalisatieuitvoering een duurlimiet bereikt, wordt de compressie mogelijk niet uitgevoerd.

• Initialisatie. In deze fase wordt het opslagvolume gescand om redundante gegevensblokken te identificeren.

• Gegevensontdubbeling. In deze fase worden de redundante blokken single-instanced en bijgehouden met behulp van ReFS-blokklonen.

• Compressie. In deze fase wordt een heatmap gegenereerd om te bepalen of een blok in aanmerking moet komen voor compressie. De standaardinstellingen comprimeren zelden geopende of koude gegevens om de grootte ervan te verkleinen. U kunt de compressieniveaus wijzigen om het bereik van blokken aan te passen die in aanmerking komen voor compressie.

Wat gebeurt er wanneer de duurlimiet is bereikt voordat het volume volledig is geoptimaliseerd?

De duurlimiet is ingesteld om te voorkomen dat de prestaties worden beïnvloed door de werkbelasting van klanten die worden veroorzaakt door de optimalisatietaak tijdens kantooruren. Een ontdubbelingsservice bewaakt de geoptimaliseerde delen van een volume en binnenkomende bestandswijzigingen. Deze gegevens worden gebruikt in toekomstige taken om de optimalisatietijd te verkorten. Als een volume bijvoorbeeld slechts 30% wordt verwerkt in de eerste uitvoering vanwege de duurlimiet, wordt in de volgende uitvoering de resterende 70% en eventuele nieuwe gegevens verwerkt.

Bekende problemen

De volgende sectie bevat de bekende problemen die momenteel bestaan met ReFS-ontdubbeling en -compressie.

Het plannen van taken om tegelijkertijd te worden uitgevoerd op meerdere CSV's binnen één cluster kan CSV-verplaatsingen activeren en de prestaties negatief beïnvloeden.

Status: Open.

Als aanbevolen best practice kunt u overwegen om de begintijd van de taken te smijten om overlapping te voorkomen. Als alle taken echter tegelijkertijd moeten worden uitgevoerd, past u de CPU-toewijzing per taak aan voor alle CSV's, zodat deze minder dan 50% van het totale CPU-gebruik van het cluster bedraagt. Houd er rekening mee dat het opleggen van CPU-beperkingen kan leiden tot langere uitvoeringstijden van taken.

De ReFS-ontdubbelings- en compressietaak is voltooid (met succes of is geannuleerd) en opslagbesparingen worden niet vermeld in Get-ReFSDedupStatus of Windows Admin Center.

Status: Opgelost.

De tijdelijke tijdelijke oplossing voor dit probleem is om een eenmalige taak te initiëren en de resultaten onmiddellijk bij te werken.

Start-ReFSDedupJob -Volume <path>

Het verzenden van bewaking van ETW-gebeurtenissen (Event Tracing for Windows) is gestopt na het uitschakelen van ReFS-ontdubbeling en compressie op een volume.

Status: Opgelost.

Zodra ReFS-ontdubbeling en -compressie op een volume zijn uitgeschakeld, worden bewakingsgebeurtenissen herhaald gestopt in het ETW-kanaal voor ReFS-ontdubbeling. We verwachten echter geen aanzienlijke impact op het gebruik vanwege dit probleem.

De gebeurtenis Taak mislukt wordt niet geregistreerd als het volume tijdens de compressie naar een ander knooppunt wordt verplaatst.

Status: Opgelost.

Als het CSV-bestand wordt verplaatst naar een andere server van het cluster terwijl de compressie wordt uitgevoerd, wordt de mislukte taakgebeurtenis niet geregistreerd in het ReFS-ontdubbelingskanaal. We verwachten echter geen aanzienlijke impact op het gebruik vanwege dit probleem.

Volgende stappen

• Volume beheren.