Migrera Azure Data Lake Storage från Gen1 till Gen2 med hjälp av Azure-portalen
Den här artikeln visar hur du förenklar migreringen med hjälp av Azure-portalen.
Kommentar
Azure Data Lake Storage Gen1 har nu dragits tillbaka. Se pensionsmeddelandet här. Data Lake Storage Gen1-resurser är inte längre tillgängliga. Kontakta oss om du behöver särskild hjälp.
Här är en video som berättar mer om det.
Kapitel:
00.37 - Introduktion
01:16 – Förbereder migrering
07:15 – Kopiera migrering
17:40 – Kopiera kontra slutför migrering
19:43 – Fullständig migrering
33:15 – Efter migrering
Innan du börjar bör du läsa den allmänna vägledningen om hur du migrerar från Gen1 till Gen2 i azure Data Lake Storage-migreringsriktlinjer och -mönster.
Ditt konto kanske inte är kvalificerat för portalbaserad migrering baserat på vissa begränsningar. Om du har en supportplan kan du skicka en supportbegäran när knappen Migrera data inte är aktiverad i Azure-portalen för ditt Gen1-konto. Du kan också få svar från communityexperter i Microsoft Q&A.
Kommentar
För enklare läsning använder den här artikeln termen Gen1 för att referera till Azure Data Lake Storage Gen1 och termen Gen2 för att referera till Azure Data Lake Storage Gen2.
Steg 1: Skapa ett lagringskonto med Gen2-funktioner
Azure Data Lake Storage Gen2 är inte ett dedikerat lagringskonto eller tjänsttyp. Det är en uppsättning funktioner som du kan hämta genom att aktivera funktionen Hierarkisk namnrymd i ett Azure Storage-konto. Information om hur du skapar ett konto som har Gen2-funktioner finns i Skapa ett lagringskonto som ska användas med Azure Data Lake Storage Gen2.
När du skapar kontot måste du konfigurera inställningar med följande värden.
| Inställning | Värde |
|---|---|
| Namn på lagringskonto | Vilket namn du vill. Det här namnet behöver inte matcha namnet på ditt Gen1-konto och kan finnas i valfri prenumeration. |
| Plats | Samma region som används av Data Lake Storage Gen1-kontot |
| Replikering | LRS eller ZRS |
| Lägsta TLS-version | 1.0 |
| NFS v3 | Inaktiverad |
| Hierarkiskt namnområde | Aktiverat |
Kommentar
Migreringsverktyget i Azure-portalen flyttar inte kontoinställningarna. När du har skapat kontot måste du därför manuellt konfigurera inställningar som kryptering, nätverksbrandväggar och dataskydd.
Viktigt!
Se till att du använder ett nytt, nyligen skapat lagringskonto som inte har någon användningshistorik. Migrera inte till ett tidigare använt konto eller använd ett konto där containrar har tagits bort för att göra kontot tomt.
Steg 2: Verifiera rolltilldelningar för rollbaserad åtkomstkontroll i Azure (Azure RBAC)
För Gen2 kontrollerar du att rollen Lagringsblobdataägare har tilldelats till din Microsoft Entra-användaridentitet i omfånget för lagringskontot, den överordnade resursgruppen eller prenumerationen.
För Gen1 kontrollerar du att rollen Ägare har tilldelats till din Microsoft Entra-identitet i omfånget för Gen1-kontot, den överordnade resursgruppen eller prenumerationen.
Steg 3: Migrera Azure Data Lake Analytics-arbetsbelastningar
Azure Data Lake Storage Gen2 stöder inte Azure Data Lake Analytics. Azure Data Lake Analytics dras tillbaka den 29 februari 2024. Om du försöker använda Azure-portalen för att migrera ett Azure Data Lake Storage Gen1-konto som används för Azure Data Lake Analytics är det möjligt att du bryter dina Azure Data Lake Analytics-arbetsbelastningar. Du måste först migrera dina Azure Data Lake Analytics-arbetsbelastningar till Azure Synapse Analytics eller en annan beräkningsplattform som stöds innan du försöker migrera ditt Gen1-konto.
Mer information finns i Hantera Azure Data Lake Analytics med hjälp av Azure-portalen.
Steg 4: Förbereda Gen1-kontot
Fil- eller katalognamn med endast blanksteg eller flikar, som slutar med ett ., som innehåller eller :med flera på varandra följande snedstreck (//) är inte kompatibla med Gen2. Du måste byta namn på dessa filer eller kataloger innan du migrerar.
För bättre prestanda bör du överväga att fördröja migreringen i minst tio dagar från tidpunkten för den senaste borttagningsåtgärden. I ett Gen1-konto blir borttagna filer mjuka borttagna filer och skräpinsamlaren tar inte bort dem permanent förrän sju dagar och tar några extra dagar att bearbeta rensningen. Hur mycket tid det tar för rensning beror på antalet filer. Alla filer, inklusive mjukt borttagna filer, bearbetas under migreringen. Om du väntar tills skräpinsamlaren har tagit bort borttagna filer permanent kan väntetiden förbättras.
Steg 5: Utför migreringen
Innan du börjar bör du granska de två migreringsalternativen nedan och bestämma om du bara ska kopiera data från Gen1 till Gen2 (rekommenderas) eller utföra en fullständig migrering.
Alternativ 1: Kopiera endast data (rekommenderas). I det här alternativet kopieras data från Gen1 till Gen2. När data kopieras blir Gen1-kontot skrivskyddat. När data har kopierats kommer både Gen1- och Gen2-kontona att vara tillgängliga. Du måste dock uppdatera program- och beräkningsarbetsbelastningarna så att de använder den nya Gen2-slutpunkten.
Alternativ 2: Utför en fullständig migrering. I det här alternativet kopieras data från Gen1 till Gen2. När data har kopierats omdirigeras all trafik från Gen1-kontot till det Gen2-aktiverade kontot. Omdirigerade begäranden använder kompatibilitetsskiktet Gen1 för att översätta Gen1 API-anrop till Gen2-motsvarigheter. Under migreringen blir Gen1-kontot skrivskyddat. När migreringen är klar är Gen1-kontot inte tillgängligt.
Oavsett vilket alternativ du väljer kan du ta bort Gen1-kontot när du har migrerat och verifierat att alla dina arbetsbelastningar fungerar som förväntat.
Alternativ 1: Kopiera data från Gen1 till Gen2
Kom igång genom att logga in på Azure-portalen.
Leta upp ditt Data Lake Storage Gen1-konto och visa kontoöversikten.
Välj knappen Migrera data.
Välj Kopiera data till ett nytt Gen2-konto.
Ge Microsoft tillstånd att utföra datamigreringen genom att markera kryssrutan. Välj sedan knappen Använd .
En förloppsindikator visas tillsammans med ett understatusmeddelande. Du kan använda dessa indikatorer för att mäta migreringens förlopp. Eftersom tiden för att slutföra varje aktivitet varierar, går förloppsindikatorn inte framåt med en konsekvent hastighet. Förloppsindikatorn kan till exempel snabbt gå vidare till 50 procent, men sedan ta lite mer tid att slutföra de återstående 50 procenten.
Viktigt!
Medan dina data migreras blir ditt Gen1-konto skrivskyddat och ditt Gen2-aktiverade konto inaktiverat. När migreringen är klar kan du läsa och skriva till båda kontona.
Du kan stoppa migreringen när som helst genom att välja knappen Stoppa migrering .
Alternativ 2: Utföra en fullständig migrering
Kom igång genom att logga in på Azure-portalen.
Leta upp ditt Data Lake Storage Gen1-konto och visa kontoöversikten.
Välj knappen Migrera data.
Välj Slutför migrering till ett nytt Gen2-konto.
Ge Microsoft tillstånd att utföra datamigreringen genom att markera kryssrutan. Välj sedan knappen Använd .
En förloppsindikator visas tillsammans med ett understatusmeddelande. Du kan använda dessa indikatorer för att mäta migreringens förlopp. Eftersom tiden för att slutföra varje aktivitet varierar, går förloppsindikatorn inte framåt med en konsekvent hastighet. Förloppsindikatorn kan till exempel snabbt gå vidare till 50 procent, men sedan ta lite mer tid att slutföra de återstående 50 procenten.
Viktigt!
Medan dina data migreras blir ditt Gen1-konto skrivskyddat och Det Gen2-aktiverade kontot inaktiveras.
Även om Gen1-URI:n omdirigeras inaktiveras båda kontona.
När migreringen är klar inaktiveras ditt Gen1-konto. Data i ditt Gen1-konto kommer inte att vara tillgängliga och tas bort efter 30 dagar. Ditt Gen2-konto kommer att vara tillgängligt för läsningar och skrivningar.
Du kan stoppa migreringen när som helst innan URI:n omdirigeras genom att välja knappen Stoppa migrering .
Steg 6: Kontrollera att migreringen har slutförts
Om migreringen slutförs skapas en container med namnet gen1 i det Gen2-aktiverade kontot och alla data från Gen1-kontot kopieras till den nya gen1-containern . För att hitta data på en sökväg som fanns på Gen1 måste du lägga till prefixet gen1/ till samma sökväg för att få åtkomst till den på Gen2. En sökväg med namnet "FolderRoot/FolderChild/FileName.csv" på Gen1 är till exempel tillgänglig på Gen1/FolderRoot/FolderChild/FileName.csv på Gen2. Containernamn kan inte byta namn på Gen2, så den här gen1-containern på Gen2 kan inte byta namn efter migreringen. Data kan dock kopieras till en ny container i Gen2 om det behövs.
Om migreringen inte slutförs visas ett meddelande som anger att migreringen har stoppats på grund av inkompatibiliteter. Om du vill ha hjälp med nästa steg kontaktar du Microsoft Support. Det här meddelandet kan visas om det Gen2-aktiverade kontot tidigare användes eller när filer och kataloger i Gen1-kontot använder inkompatibla namngivningskonventioner.
Innan du kontaktar supporten kontrollerar du att du använder ett nytt, nyligen skapat lagringskonto som inte har någon användningshistorik. Undvik att migrera till ett tidigare använt konto eller ett konto där containrar har tagits bort för att göra kontot tomt. I ditt Gen1-konto kontrollerar du att du byter namn på alla fil- eller katalognamn som endast innehåller blanksteg eller flikar, slutar med ett ., innehåller eller :innehåller flera snedstreck (//).
Steg 7: Migrera arbetsbelastningar och program
Konfigurera tjänster i dina arbetsbelastningar så att de pekar på din Gen2-slutpunkt. Länkar till artiklar som hjälper dig att konfigurera Azure Databricks, HDInsight och andra Azure-tjänster att använda Gen2 finns i Azure-tjänster som stöder Azure Data Lake Storage Gen2.
Uppdatera program så att de använder Gen2-API:er. Se följande guider:
Uppdatera skript för att använda PowerShell-cmdletar för Data Lake Storage Gen2 och Azure CLI-kommandon.
Sök efter URI-referenser som innehåller strängen
adl://i kodfiler eller i Databricks Notebooks, Apache Hive HQL-filer eller någon annan fil som används som en del av dina arbetsbelastningar. Ersätt dessa referenser med den Gen2-formaterade URI: n för ditt nya lagringskonto. Till exempel: Gen1-URI:n:adl://mydatalakestore.azuredatalakestore.net/mydirectory/myfilekan bliabfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.
Gen1-kompatibilitetslager
Det här lagret försöker tillhandahålla programkompatibilitet mellan Gen1 och Gen2 som en bekvämlighet under migreringen, så att program kan fortsätta att använda Gen1-API:er för att interagera med data i det Gen2-aktiverade kontot. Det här lagret har begränsade funktioner och vi rekommenderar att du verifierar arbetsbelastningarna med testkonton om du använder den här metoden som en del av migreringen. Kompatibilitetsskiktet körs på servern, så det finns inget att installera.
Viktigt!
Microsoft rekommenderar inte den här funktionen som ersättning för migrering av dina arbetsbelastningar och program. Stödet för Gen1-kompatibilitetsskiktet upphör när Gen1 dras tillbaka den 29 februari 2024.
Om du vill stöta på minst antal problem med kompatibilitetsskiktet kontrollerar du att dina Gen1-SDK:er använder följande versioner (eller högre).
| Språk | SDK-version |
|---|---|
| .NET | 2.3.9 |
| Java | 1.1.21 |
| Python | 0.0.51 |
Följande funktioner stöds inte i kompatibilitetsskiktet.
ListStatus API-alternativ till ListBefore en post.
ListStatus API med över 4 000 filer utan fortsättningstoken.
Segmentkodning för tilläggsåtgärder.
Alla API-anrop som används
https://management.azure.com/som Microsoft Entra-tokenmålgrupp.Fil- eller katalognamn med endast blanksteg eller flikar, som slutar med ett
., som innehåller eller:med flera på varandra följande snedstreck (//).
Vanliga frågor och svar
Hur lång tid tar migreringen?
Data och metadata migreras parallellt. Den totala tid som krävs för att slutföra en migrering är lika med den av dessa två processer som slutfördes sist.
I följande tabell visas den ungefärliga hastigheten för varje migreringsbearbetningsuppgift.
Kommentar
Dessa tidsuppskattningar är ungefärliga och kan variera. Om du till exempel kopierar ett stort antal små filer kan prestandan försämras.
| Bearbetningsaktivitet | Hastighet |
|---|---|
| Datakopiering | 9 TB per timme |
| Datavalidering | 9 miljoner filer eller mappar per timme |
| Metadatakopiering | 4 miljoner filer eller mappar per timme |
| Metadatabearbetning | 25 miljoner filer eller mappar per timme |
| Ytterligare metadatabearbetning (alternativ för datakopiering)1 | 50 miljoner filer eller mappar per timme |
1 Den ytterligare bearbetningstiden för metadata gäller endast om du väljer alternativet Kopiera data till ett nytt Gen2-konto . Den här bearbetningstiden gäller inte om du väljer alternativet Slutför migrering till ett nytt gen2-konto .
Exempel: Bearbeta en stor mängd data och metadata
Det här exemplet förutsätter 300 TB data och 200 miljoner data- och metadataobjekt.
| Uppgift | Uppskattad tid |
|---|---|
| Kopiera data | 300 TB /9 TB = 33,33 timmar |
| Kontrollera data | 200 miljoner /9 miljoner = 22,22 timmar |
| Total datamigreringstid | 33,33 + 22,2 = 55,55 timmar |
| Kopiera metadata | 200 miljoner /4 miljoner = 50 timmar |
| Metadatabearbetning | 200 miljoner /25 miljoner = 8 timmar |
| Ytterligare metadatabearbetning – endast alternativ för datakopiering | 200 miljoner /50 miljoner = 4 timmar |
| Total metadatamigreringstid | 50 + 8 + 4 = 62 timmar |
| Total tid för att utföra en datamigrering | 62 timmar |
| Total tid för att utföra en fullständig migrering | 62 - 4 = 58 timmar |
Exempel: Bearbeta en liten mängd data och metadata
Det här exemplet förutsätter att 2 TB data och 56 000 data och metadataobjekt.
| Uppgift | Uppskattad tid |
|---|---|
| Kopiera data | (2 TB/9 TB) * 60 minuter = 13,3 minuter |
| Kontrollera data | (56 000 /9 miljoner) * 3 600 sekunder = 22,4 sekunder |
| Total datamigreringstid | 13,3 minuter + 22,4 sekunder = cirka 14 minuter |
| Kopiera metadata | (56 000 /4 miljoner) * 3 600 sekunder = cirka 51 sekunder |
| Metadatabearbetning | 56 000/ 25 miljoner = 8 sekunder |
| Ytterligare metadatabearbetning – endast alternativ för datakopiering | (56 000 /50 miljoner) * 3 600 sekunder = 4 sekunder |
| Total metadatamigreringstid | 51 + 8 + 4 = 63 sekunder |
| Total tid för att utföra en datamigrering | 14 minuter |
| Total tid för att utföra en fullständig migrering | 14 minuter – 4 sekunder = 13 minuter och 56 sekunder (cirka 14 minuter) |
Hur mycket kostar datamigreringen?
Det kostar ingenting att använda det portalbaserade migreringsverktyget, men du debiteras för användning av Azure Data Lake Gen1- och Gen2-tjänster. Under datamigreringen debiteras du för datalagring och transaktioner för Gen1-kontot.
Om du väljer alternativet som endast kopierar data efter migreringen debiteras du för datalagring och transaktioner för både Azure Data Lake Gen1- och Gen2-konton. Om du vill undvika att debiteras för Gen1-kontot tar du bort Gen1-kontot när du har uppdaterat dina program så att de pekar på Gen2. Om du väljer att utföra en fullständig migrering debiteras du endast för datalagring och transaktioner för det Gen2-aktiverade kontot.
När jag gav medgivande stötte jag på felmeddelandet Migreringsinitiering misslyckades. Vad ska jag göra härnäst?
Kontrollera att alla dina Azure Data lake Analytics-konton migreras till Azure Synapse Analytics eller till en annan beräkningsplattform som stöds. När Azure Data Lake Analytics-konton har migrerats försöker du igen medgivandet. Om du ser problemet ytterligare och du har en supportplan kan du skicka in en supportbegäran. Du kan också få svar från communityexperter i Microsoft Q&A.
Kan jag gå tillbaka till gen1-kontot när migreringen är klar?
Om du använde Alternativ 1: Kopiera data från Gen1 till Gen2 som nämns ovan är både Gen1- och Gen2-kontona tillgängliga för läsningar och skrivningar efter migreringen. Men om du använde alternativ 2: Utför en fullständig migrering stöds inte att gå tillbaka till Gen1-kontot. I Alternativ 2, när migreringen är klar, kommer data i ditt Gen1-konto inte att vara tillgängliga och tas bort efter 30 dagar. Du kan fortsätta att visa Gen1-kontot i Azure-portalen, och när du är klar kan du ta bort Gen1-kontot.
Jag vill aktivera geo-redundant lagring (GRS) på det Gen2-aktiverade kontot. Hur gör jag det?
När migreringen är klar, både i alternativen "Kopiera data" och "Slutför migrering", kan du gå vidare och ändra redundansalternativet till GRS så länge du inte planerar att använda programkompatibilitetslagret. Programkompatibiliteten fungerar inte på konton som använder GRS-redundans.
Gen1 har inga containrar och Gen2 har dem - vad ska jag förvänta mig?
När vi kopierar data till ditt Gen2-aktiverade konto skapar vi automatiskt en container med namnet "Gen1". I Gen2-containernamn kan inte byta namn och därför kan data efter migreringen kopieras till en ny container i Gen2 efter behov.
Vad bör jag tänka på när det gäller migreringsprestanda?
När du kopierar data till ditt Gen2-aktiverade konto är två faktorer som kan påverka prestanda antalet filer och mängden metadata du har. Till exempel kan många små filer påverka migreringens prestanda.
Kommer WebHDFS-filsystem-API:er att stödjas på Gen2-kontot efter migreringen?
WebHDFS-filsystem-API:er för Gen1 stöds på Gen2 men med vissa avvikelser och endast begränsade funktioner stöds via kompatibilitetsskiktet. Kunder bör planera att använda Gen2-specifika API:er för bättre prestanda och funktioner.
Vad händer med mitt Gen1-konto efter pensionsdatumet?
Kontot blir otillgängligt. Du kommer inte att kunna:
Hantera kontot
Få åtkomst till data i kontot
Ta emot tjänstuppdateringar till Gen1- eller Gen1-API:er, SDK:er eller klientverktyg
Få åtkomst till Kundsupport för Gen1 online, via telefon eller via e-post
Se Nödvändig åtgärd: Växla till Azure Data Lake Storage Gen2 senast den 29 februari 2024.
Nästa steg
- Lär dig mer om migrering i allmänhet. Mer information finns i Migrera Azure Data Lake Storage från Gen1 till Gen2.