Azure Data Lake Analytics migrálása a Azure Synapse Analyticsbe
Az Azure Data Lake Analytics 2024. február 29-én megszűnik. További információ ezzel a bejelentéssel.
Ha már használja az Azure Data Lake Analytics, létrehozhat egy migrálási tervet, amely Azure Synapse Analyticset a szervezet számára.
A Microsoft elindította a Azure Synapse Analyticset, amelynek célja, hogy a data lake-eket és az adattárházat is összehozza egy egyedi big data-elemzési élmény érdekében. Segít összegyűjteni és elemezni az adatokat az adathiány megoldása érdekében, és segít a csapatoknak a közös munkában. Emellett a Synapse és az Azure Machine Learning és a Power BI integrációja lehetővé teszi a szervezetek számára, hogy betekintést nyerjenek az adataikból, és gépi tanulást hajtsanak végre az összes intelligens alkalmazásba.
A dokumentum bemutatja, hogyan hajthatja végre a migrálást az Azure Data Lake Analytics-ból a Azure Synapse Analyticsbe.
Ajánlott megközelítés
- 1. lépés: Felkészültség felmérése
- 2. lépés: Felkészülés a migrálásra
- 3. lépés: Adatok és alkalmazásterhelések migrálása
- 4. lépés: Átállás az Azure Data Lake Analytics-ról a Azure Synapse Analyticsre
1. lépés: Felkészültség felmérése
Tekintse meg az Apache Sparkot a Azure Synapse Analyticsben, és ismerje meg az Azure Data Lake Analytics és a Spark főbb különbségeit az Azure Synapse Analyticsben.
Elem Azure Data Lake Analytics Spark a Synapse-on Díjszabás Elemzési egység óránként Virtuális magonkénti óra Motor Azure Data Lake Analytics Apache Spark Alapértelmezett programnyelv U-SQL T-SQL, Python, Scala, Spark SQL és .NET Adatforrások Azure Data Lake Storage Azure Blob Storage, Azure Data Lake Storage Tekintse át a migrálási felméréshez készült kérdőívet , és sorolja fel azokat a lehetséges kockázatokat, amelyeket figyelembe kell vennie.
2. lépés: Felkészülés a migrálásra
Azonosítsa a migrálni kívánt feladatokat és adatokat.
- Használja ki ezt a lehetőséget, hogy megtisztítsa azokat a feladatokat, amelyeket már nem használ. Hacsak nem tervezi az összes feladat egyszerre történő migrálását, ez az idő alatt azonosíthatja a fázisokban migrálható feladatok logikai csoportjait.
- Értékelje ki az adatok méretét, és ismerje meg az Apache Spark adatformátumát. Tekintse át az U-SQL-szkripteket, értékelje ki a szkriptek újraírási erőfeszítéseit, és ismerje meg az Apache Spark-kód fogalmát.
Határozza meg, hogy a migrálás milyen hatással lesz a vállalatra. Például azt, hogy megengedhet-e magának állásidőt a migrálás során.
Hozzon létre egy migrálási tervet.
3. lépés: Adatok és alkalmazásterhelés migrálása
Migrálja az adatokat Azure Data Lake Storage Gen1-ből Azure Data Lake Storage Gen2.
Azure Data Lake Storage Gen1 kivonása 2024 februárjában lesz, lásd a hivatalos bejelentést. Javasoljuk, hogy először is migrálja az adatokat a Gen2-be. Lásd: Az Azure Data Lake Analytics U-SQL-fejlesztők Apache Spark-adatformátumainak ismertetése, valamint a fájl és az U-SQL-táblákban tárolt adatok áthelyezése az Azure Synapse Analytics számára való elérhetővé tételéhez. A migrálási útmutató további részletei itt találhatók.Alakítsa át az U-SQL-szkripteket Sparkra. Tekintse meg az Azure Data Lake Analytics U-SQL-fejlesztők Apache Spark-kódfogalmainak ismertetése című témakört, amely az U-SQL-szkriptek Sparkra való átalakítását ismerteti.
Alakítsa át vagy hozza létre újra a feladat-vezénylési folyamatokat az új Spark-programba.
4. lépés: Átvágás az Azure Data Lake Analytics-ról a Azure Synapse Analyticsre
Miután biztos abban, hogy alkalmazásai és számítási feladatai stabilak, megkezdheti az Azure Synapse Analytics használatát az üzleti forgatókönyvek kielégítéséhez. Kapcsolja ki az Azure-Data Lake Analytics futó többi folyamatot, és vonja ki az Azure Data Lake Analytics-fiókokat.
Migrálási felmérés kérdőíve
| Kategória | Kérdések | Referencia |
|---|---|---|
| A migrálás méretének kiértékelése | Hány Azure-Data Lake Analytics-fiókja van? Hány folyamat van használatban? Hány U-SQL-szkript van használatban? | Minél több adatot és szkriptet kell migrálni, annál több UDO/UDF van használatban a szkriptekben, annál nehezebb a migrálás. A migráláshoz szükséges időt és erőforrásokat a projekt méretének megfelelően kell megtervezni. |
| Adatforrás | Mekkora az adatforrás mérete? Milyen típusú adatformátumot kell feldolgozni? | Az Azure Data Lake Analytics U-SQL-fejlesztők Apache Spark-adatformátumainak ismertetése |
| Adatkimenet | Megtartja a kimeneti adatokat későbbi használatra? Ha a kimeneti adatokat U-SQL-táblákba menti a rendszer, hogyan kezelheti azokat? | Ha a kimeneti adatokat gyakran használják és U-SQL-táblákba menti, módosítania kell a szkripteket, és a kimeneti adatokat Spark által támogatott adatformátumra kell módosítania. |
| Adatok migrálása | Elkészítette a tárolási migrálási tervet? | Azure Data Lake Storage migrálása Gen1-ről Gen2-be |
| U-SQL-szkriptek átalakítása | Használja az UDO/UDF -t (.NET, python stb.)? Ha a fenti válasz igen, melyik nyelvet használja az UDO-ban/UDF-ben, és az átalakítás során felmerülő problémákat? Az összevont lekérdezést használja az U-SQL? | Az Azure Data Lake Analytics U-SQL-fejlesztők Apache Spark-kódfogalmainak ismertetése |