Standardlagring med lågfrekventåtkomst i Azure NetApp Files

Med standardlagring i Azure NetApp Files med låg åtkomst kan du konfigurera inaktiva data så att de flyttas från Azure NetApp Files Standard-lagring på tjänstnivå (frekvent nivå) till ett Azure Storage-konto (lågfrekvent nivå). Om du aktiverar lågfrekvent åtkomst flyttas inaktiva datablock från volymen och volymens ögonblicksbilder till den lågfrekventa nivån, vilket resulterar i kostnadsbesparingar.

De flesta kalla data är associerade med ostrukturerade data. Det kan vara mer än 50 % av den totala lagringskapaciteten i många lagringsmiljöer. Sällan använda data som är associerade med produktivitetsprogramvara, slutförda projekt och gamla datauppsättningar är en ineffektiv användning av en lagring med höga prestanda.

Azure NetApp Files stöder tre tjänstnivåer som kan konfigureras på kapacitetspoolsnivå (Standard, Premium och Ultra). Lågfrekvent åtkomst är endast en ytterligare tjänst på standardtjänstnivå.

Följande diagram illustrerar ett program med en volym aktiverad för lågfrekvent åtkomst.

I den första skrivning tilldelas datablock ett "varmt" temperaturvärde (i diagrammet, röda datablock) och finns på nivån "frekvent". När data finns på volymen övervakar en temperaturgenomsökning aktiviteten för varje block. När ett datablock är inaktivt minskar temperaturgenomsökningen värdet för blocket tills det har varit inaktivt under det antal dagar som anges under kylningsperioden. Kylperioden kan vara mellan 7 och 183 dagar; det har ett standardvärde på 31 dagar. När nivåindelningsgenomsökningen har markerats som "kall" samlar den in block och paketerar dem i 4 MB-objekt, som flyttas till Azure Storage helt transparent. För programmet och användarna visas dessa lågfrekventa block fortfarande online. Nivåindelade data verkar vara online och fortsätter att vara tillgängliga för användare och program genom transparent och automatiserad hämtning från lågfrekvent nivå.

Av Default (om inte hämtningsprincipen för lågfrekvent åtkomst har konfigurerats på annat sätt) blir datablock på den lågfrekventa nivån som läse slumpmässigt igen "varma" och flyttas tillbaka till den frekventa nivån. När datablocken har markerats som varma utsätts de återigen för temperaturgenomsökningen. Men stora sekventiella läsningar (till exempel index- och antivirusgenomsökningar) på inaktiva data på lågfrekvent nivå "värmer" inte data och utlöser inte heller inaktiva data som ska flyttas tillbaka till den frekventa nivån.

Metadata kyls aldrig och förblir alltid på den frekventa nivån. Därför påverkas inte aktiviteterna för metadataintensiva arbetsbelastningar (till exempel miljöer med högt antal filer som chipdesign, VCS och hemkataloger) av nivåindelning.

Regioner som stöds

Standardlagring med lågfrekvent åtkomst stöds för följande regioner:

• Australien, centrala
• Australien, centrala 2
• Australien, östra
• Australien, sydöstra
• Brasilien, södra
• Brasilien, sydöstra
• Kanada, centrala
• Kanada, östra
• Indien, centrala
• Central US
• Asien, östra
• East US
• USA, östra 2
• Centrala Frankrike
• Tyskland, norra
• Tyskland, västra centrala
• Japan, östra
• Japan, västra
• Sydkorea, centrala
• Sydkorea, södra
• USA, norra centrala
• Europa, norra
• Norge, östra
• Norge, västra
• Qatar, centrala
• Sydafrika, norra
• USA, södra centrala
• Indien, södra
• Sydostasien
• Schweiz, norra
• Schweiz, västra
• Sverige, centrala
• Förenade Arabemiraten, centrala
• Förenade Arabemiraten, norra
• Storbritannien, södra
• Storbritannien, västra
• US Gov, Arizona
• US Gov, Texas
• US Gov, Virginia
• Europa, västra
• USA, västra
• USA, västra 2
• USA, västra 3

Effekter av lågfrekvent åtkomst på data

I det här avsnittet beskrivs ett uppvärmningstest för stora datamängder med stor varaktighet. Den visar ett exempelscenario för en datauppsättning där 100 % av data ligger på lågfrekvent nivå och hur de värms upp över tid.

Vanliga slumpmässigt använda data startar som en del av en arbetsuppsättning (läsa, ändra och skriva). När data förlorar relevans blir de "coola" och nivåindelade till den lågfrekventa nivån.

Lågfrekventa data kan bli heta igen. Det är inte typiskt att hela arbetsuppsättningen börjar som kall, men det finns vissa scenarier, till exempel granskningar, bearbetning vid årets slut, bearbetning av kvartalsslut, rättegångar och licensgranskningar i slutet av året.

Det här scenariot ger insikter om prestandauppvärmningsbeteendet för en 100 % lågfrekvent datamängd. Insikten gäller oavsett om det är en liten procentandel eller hela datamängden.

4k slumpmässigt lästest

I det här avsnittet beskrivs ett slumpmässigt lästest på 4 000 filer på totalt 10 TB data.

Ställ in

Kapacitetspoolens storlek: 100 TB kapacitetspool
Volymallokerad kapacitet: 100 TB volymer
Arbetsdatauppsättning: 10 TB
Tjänstnivå: Standardlagring med lågfrekvent åtkomst
Antal volymer/storlek: 1
Antal klienter: Fyra standardklienter på 8 s
OS: RHEL 8.3
Monteringsalternativ:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard

Metod

Det här testet konfigurerades via FIO för att köra ett 4k slumpmässigt lästest över 160 filer som totalt innehåller 10 TB data. FIO konfigurerades för att slumpmässigt läsa varje block i hela arbetsdatauppsättningen. (Det kan läsa valfritt block valfritt antal gånger som en del av testet i stället för att röra varje block en gång). Det här skriptet anropades en gång var femte minut och sedan samlades en datapunkt in för prestanda. När block läss slumpmässigt flyttas de till den frekventa nivån.

Det här testet hade en stor datamängd och kördes flera dagar med start av de sämsta data som är mest föråldrade (alla cacheminnen dumpade). Tidskomponenten för X-axeln har tagits bort eftersom den totala tiden för omvärmning varierar på grund av datamängdens storlek. Den här kurvan kan vara i dagar, timmar, minuter eller till och med sekunder beroende på datamängden.

Resultat

Följande diagram visar ett test som kördes över 2,5 dagar på den 10 TB arbetsdatauppsättning som har kylts till 100 % och buffertarna rensats (absolut sämsta fall föråldrade data).

64k sekventiellt lästest

Ställ in

Kapacitetspoolens storlek: 100 TB kapacitetspool
Volymallokerad kapacitet: 100 TB volymer
Arbetsdatauppsättning: 10 TB
Tjänstnivå: Standardlagring med lågfrekvent åtkomst
Antal volymer/storlek: 1
Antal klienter: En stor klient
OS: RHEL 8.3
Monteringsalternativ:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard

Metod

Sekventiellt lästa block har inte omvärmts till den frekventa nivån. Små datamängdsstorlekar kan dock se prestandaförbättringar på grund av cachelagring (inga garantier för prestandaändringar).

Det här testet innehåller följande datapunkter:

• Datauppsättning på 100 % frekvent nivå
• 100 % lågfrekvent datauppsättning

Det här testet kördes i 30 minuter för att få ett stabilt prestandanummer.

Resultat

I följande tabell sammanfattas testresultaten:

64 k sekventiell	Läs dataflöde
Frekventa data	1 683 MB/s
Lågfrekventa data	899 MB/s

Testslutsatser

Data som läss från lågfrekvent nivå får en prestandaträff. Om du storleksanpassar din tid för att svalna på rätt sätt kanske du inte får någon prestandaträff alls. Du kanske har lite åtkomst på lågfrekvent nivå och ett 30-dagarsfönster är perfekt för att hålla varma data varma.

Du bör undvika en situation som genererar block mellan den frekventa nivån och den lågfrekventa nivån. Till exempel anger du en arbetsbelastning för data till lågfrekventa sju dagar och du läser slumpmässigt en stor procentandel av datamängden var 11:e dag.

Sammanfattningsvis kan du spara kostnader om din arbetsuppsättning är förutsägbar genom att flytta datablock som används sällan till lågfrekvent nivå. Väntetiden på 7 till 30 dagar före kylning ger ett stort fönster för arbetsuppsättningar som sällan nås när de är vilande eller inte kräver hastigheterna på frekvent nivå när de nås.

Mått

Lågfrekvent åtkomst ger prestandamått för att förstå användningsmönster per volym:

• Storlek på lågfrekvent volymnivå
• Lässtorlek för lågfrekvent volymnivå
• Dataskrivningsstorlek för lågfrekvent volymnivå

Fakturering

Du kan aktivera nivåindelning på volymnivå för en nyskapade kapacitetspool som använder standardtjänstnivån. Hur du debiteras baseras på följande faktorer:

• Kapaciteten på standardtjänstnivån
• Ej allokerad kapacitet i kapacitetspoolen
• Kapaciteten på lågfrekvent nivå (genom att aktivera nivåindelning för volymer i en standardkapacitetspool)
• Nätverksöverföring mellan frekvent nivå och lågfrekvent nivå med den hastighet som bestäms av markering ovanpå transaktionskostnaden (GET och PUT begäranden) för bloblagring och överföring av privata länkar i båda riktningarna mellan de frekventa nivåerna.

Faktureringsberäkningen för en standardkapacitetspool ligger på frekvent nivå för data som inte är nivåindelade på lågfrekvent nivå. Detta inkluderar oallokerad kapacitet i kapacitetspoolen. När du aktiverar nivåindelning för volymer kommer kapaciteten på den lågfrekventa nivån att ligga på lågfrekvent nivå och den återstående kapaciteten kommer att ligga på den frekventa nivåns hastighet. Lågfrekvent nivå är lägre än den frekventa nivåns frekvens.

Exempel på faktureringsstruktur

Anta att du har skapat en 4 TiB Standard-kapacitetspool. Faktureringsstrukturen ligger på standardkapacitetsnivån för hela 4 TiB.

När du skapar volymer i kapacitetspoolen och börjar nivåindela data till lågfrekvent nivå, förklarar följande scenarier den tillämpliga faktureringsstrukturen:

• Anta att du skapar tre volymer med 1 TiB vardera. Du aktiverar inte nivåindelning på volymnivå. Faktureringsberäkningen är följande:

  • 3 TiB för allokerad kapacitet med den frekventa nivån
  • 1 TiB av ej allokerad kapacitet på frekvent nivå
  • Noll kapacitet med lågfrekvent nivåhastighet
  • Ingen nätverksöverföring mellan frekvent nivå och lågfrekvent nivå enligt den hastighet som bestäms av markering ovanpå transaktionskostnaden (GET, PUT) för bloblagring och privat länköverföring i båda riktningarna mellan de frekventa nivåerna.

• Anta att du skapar fyra volymer med 1 TiB vardera. Varje volym har 0,25 TiB av volymkapaciteten på den frekventa nivån och 0,75 TiB av volymkapaciteten på lågfrekvent nivå. Faktureringsberäkningen är följande:

  • 1 TiB-kapacitet med den frekventa nivån
  • 3-TiB-kapacitet med lågfrekvent nivåhastighet
  • Nätverksöverföring mellan frekvent nivå och lågfrekvent nivå enligt den hastighet som bestäms av markering ovanpå transaktionskostnaden (GET, PUT) för bloblagring och privat länköverföring i båda riktningarna mellan de frekventa nivåerna.

• Anta att du skapar två volymer med 1 TiB vardera. Varje volym har 0,25 TiB av volymkapaciteten på den frekventa nivån och 0,75 TiB av volymkapaciteten på lågfrekvent nivå. Faktureringsberäkningen är följande:

  • 0,5 TiB-kapacitet med den frekventa nivån
  • 2 TiB av ej allokerad kapacitet med frekvent nivå
  • 1,5 TiB-kapacitet med lågfrekvent nivå
  • Nätverksöverföring mellan frekvent nivå och lågfrekvent nivå enligt den hastighet som bestäms av markering ovanpå transaktionskostnaden (GET, PUT) för bloblagring och privat länköverföring i båda riktningarna mellan de frekventa nivåerna.

• Anta att du skapar en volym med 1 TiB. Volymen har 0,25 TiB av volymkapaciteten på den frekventa nivån, 0,75 av volymkapaciteten på lågfrekvent nivå. Faktureringsberäkningen är följande:

  • 0,25 TiB-kapacitet med den frekventa nivån
  • 0,75 TiB-kapacitet med lågfrekvent nivå
  • Nätverksöverföring mellan frekvent nivå och lågfrekvent nivå enligt den hastighet som bestäms av markering ovanpå transaktionskostnaden (GET, PUT) för bloblagring och privat länköverföring i båda riktningarna mellan de frekventa nivåerna.

Exempel på kostnadsberäkningar med varierande lågfrekventa perioder

Det här avsnittet visar exempel på kostnader för lagring och nätverksöverföring med varierande lågfrekventa perioder.

I de här exemplen antar du:

• Lagringskostnaden på frekvent nivå är $0.000202/GiB/hr. Lagringskostnaden på lågfrekvent nivå är 0,000082 USD/GiB/tim.
• Kostnaden för nätverksöverföring (inklusive läs- eller skrivaktiviteter från lågfrekvent nivå) är 0,020000 USD/GiB.
• Du har en 5-TiB-kapacitetspool med lågfrekvent åtkomst aktiverad.
• Du har 1 TiB av ej allokerad kapacitet i kapacitetspoolen
• Du har en 4-TiB-volym aktiverad för lågfrekvent åtkomst.
• 3 TiB av 4 TiB flyttas till lågfrekvent nivå efter kylningsperioden.
• Du läser eller skriver 20 % av data varje månad från lågfrekvent nivå.
• Varje månad är 30 dagar eller 730 timmar. Så varje dag är 730/30 timmar.

Viktigt!

• Dessa beräkningar får endast användas som en referensuppskattning och inte för att verifiera fakturabeloppets exakthet.
• De priser som beaktas i exemplen är för en exempelregion och kan vara olika för din avsedda distributionsregion.
• Om data läss från eller skrivs till lågfrekvent nivå kommer procentandelen datadistribution på frekvent nivå och lågfrekvent nivå att ändras. Beräkningarna i den här artikeln visar den inledande procentuella fördelningen på nivåerna frekvent och lågfrekvent och inte efter att 20 % av data har flyttats till eller från lågfrekvent nivå.

Kommentar

I följande exempel ingår 1 TiB ledigt utrymme i kapacitetspoolen för att visa hur outallokerat utrymme debiteras när lågfrekvent åtkomst är aktiverad. För att maximera dina besparingar bör storleken på kapacitetspoolen minskas för att eliminera oallokerad poolkapacitet.

Exempel 1: Lågfrekvent period är inställd på 7 dagar

Lagringskostnaden för den första månaden skulle vara:

Kostnad	beskrivning	Beräkning
Ej allokerad lagringskostnad för dag 1~30 (30 dagar)	1 TiB av ej allokerad lagring	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
Lagringskostnad för dag 1~7 (sju dagar)	4 TiB aktiva data (frekvent nivå)	4 TiB x 1024 x 7 days x 730/30 hrs. x $0.000202/GiB/hr. = $140.93
Lagringskostnad för dag 8~30 (23 dagar)	1 TiB för aktiva data (frekvent nivå) 3 TiB för inaktiva data (lågfrekvent nivå)	1 TiB x 1024 x 23 days x 730/30 hrs. x $0.000202/GiB/hr. = $115.77 3 TiB x 1024 x 23 days x 730/30 hrs. x $0.000082/GiB/hr. = $140.98
Kostnader för nätverksöverföring	Flytta inaktiva data till lågfrekvent nivå 20 % av data läser/skriver från lågfrekvent nivå	3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Total första månaden		$622.41

Din månatliga lagringskostnad för de andra och efterföljande månaderna skulle vara:

Kostnad	beskrivning	Beräkning
Lagringskostnad i 30 dagar	1 TiB av ej allokerad lagring 1 TiB för aktiva data (frekvent nivå) 3 TiB för inaktiva data (lågfrekvent nivå)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Kostnader för nätverksöverföring	20 % av data läser/skriver från lågfrekvent nivå	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Andra och efterföljande månadssumma		$498.18

Dina första besparingar på sex månader:

• Kostnad utan lågfrekvent åtkomst: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Kostnad med lågfrekvent åtkomst: First month + Second month + … + Sixth month = $622.41 + (5x $498.18) = $3,113.31
• Besparingar med lågfrekvent åtkomst: 31.27%

Dina första besparingar på tolv månader:

• Kostnad utan lågfrekvent åtkomst: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Kostnad med lågfrekvent åtkomst: First month + Second month + … + twelfth month = $622.41 + (11 x $498.18) = $6,102.39
• Besparingar med lågfrekvent åtkomst: 32.64%

Exempel 2: Kylningsperioden är inställd på 35 dagar

Alla 5 TiB är aktiva data (på frekvent nivå) för den första månaden. Lagringskostnaden för den första månaden skulle vara: 5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00

Lagringskostnaden för den andra månaden skulle vara:

Kostnad	beskrivning	Beräkning
Ej allokerad lagringskostnad för dag 1~30 (30 dagar)	1 TiB av ej allokerad lagring	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
Lagringskostnad för dag 1~5 (fem dagar)	4 TiB aktiva data (frekvent nivå)	4 TiB x 1024 x 5 days x 730/30 hrs. x $0.000202/GiB/hr. = $100.67
Lagringskostnad för dag 6~30 (25 dagar)	1 TiB för aktiva data (frekvent nivå) 3 TiB för inaktiva data (lågfrekvent nivå)	1 TiB x 1024 x 25 days x 730/30 hrs. x $0.000202/GiB/hr. = $125.83 3 TiB x 1024 x 25 days x 730/30 hrs. x $0.000082/GiB/hr. = $153.24
Kostnader för nätverksöverföring	Flytta inaktiva data till lågfrekvent nivå 20 % av data läser/skriver från lågfrekvent nivå	3 TiB x 1024 x $0.020000 /GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Andra månadens totalsumma		$604.47

Din månatliga lagringskostnad för tredje och efterföljande månader skulle vara:

Kostnad	beskrivning	Beräkning
Lagringskostnad i 30 dagar	1 TiB av ej allokerad lagring 1 TiB för aktiva data (frekvent nivå) 3 TiB för inaktiva data (lågfrekvent nivå)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Kostnader för nätverksöverföring	20 % av data läser/skriver från lågfrekvent nivå	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Tredje och efterföljande månadssumma		$498.18

Dina första besparingar på sex månader:

• Kostnad utan lågfrekvent åtkomst: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Kostnad med lågfrekvent åtkomst: First month + Second month + … + Sixth month = $755.00 + $604.47 + (4 x $498.18) = $3,352.19
• Besparingar med lågfrekvent åtkomst: 25.99%

Dina första besparingar på tolv månader:

• Kostnad utan lågfrekvent åtkomst: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Kostnad med lågfrekvent åtkomst: First month + Second month + … + twelfth month = $755.00 + $604.47 + (10 x $498.18) = $6,341.27
• Besparingar med lågfrekvent åtkomst: 30.00%

Exempel 3: Kylningsperioden är inställd på 63 dagar

Alla 5 TiB är aktiva data (på frekvent nivå) under de första två månaderna. Din månatliga lagringskostnad för de första och andra månaderna skulle vara: 5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00

Din lagringskostnad för den tredje månaden skulle vara:

Kostnad	beskrivning	Beräkning
Ej allokerad lagringskostnad för dag 1~30 (30 dagar)	1 TiB av ej allokerad lagring	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
Lagringskostnad för dag 1~3 (tre dagar)	4 TiB aktiva data (frekvent nivå)	4 TiB x 1024 x 3 days x 730/30 hrs. x $0.000202/GiB/hr. = $60.40
Lagringskostnad för dag 4~30 (27 dagar)	1 TiB för aktiva data (frekvent nivå) 3 TiB för inaktiva data (lågfrekvent nivå)	1 TiB x 1024 x 27 days x 730/30 hrs. x $0.000202/GiB/hr. = $135.90 3 TiB x 1024 x 27 days x 730/30 hrs. x $0.000082/GiB/hr. = $165.50
Kostnader för nätverksöverföring	Flytta inaktiva data till lågfrekvent nivå 20 % av data läser/skriver från lågfrekvent nivå	3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Summa för tredje månaden		$586.52

Din månatliga lagringskostnad för de fjärde och efterföljande månaderna skulle vara:

Kostnad	beskrivning	Beräkning
Lagringskostnad i 30 dagar	1 TiB av ej allokerad lagring 1 TiB för aktiva data (frekvent nivå) 3 TiB för inaktiva data (lågfrekvent nivå)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Kostnader för nätverksöverföring	20 % av data läser/skriver från lågfrekvent nivå	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Fjärde och efterföljande månadssumma		$498.18

Dina första besparingar på sex månader:

• Kostnad utan lågfrekvent åtkomst: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Kostnad med lågfrekvent åtkomst: First month + Second month + … + Sixth month = (2 x $755.00) + $586.52 + (3 x $498.18) = $3,591.06
• Besparingar med lågfrekvent åtkomst: 20.73%

Dina första besparingar på tolv månader:

• Kostnad utan lågfrekvent åtkomst: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Kostnad med lågfrekvent åtkomst: First month + Second month + … + twelfth month = (2 x $755.00) + $586.52 + (9 x $498.18) = $6,580.14
• Besparingar med lågfrekvent åtkomst: 27.37%

Dricks

Du kan använda Azure NetApp Files standardlagring med lågfrekvent kostnadsbesparingsestimator för att interaktivt beräkna kostnadsbesparingar baserat på ändringsbara indataparametrar.

Nästa steg

• Hantera standardlagring med lågfrekventåtkomst i Azure NetApp Files
• Mått för Azure NetApp Files