Adatok betöltése Azure Synapse Analyticsbe Azure Data Factory vagy Synapse-folyamat használatával
A KÖVETKEZŐKRE VONATKOZIK:
Azure Data Factory Azure Synapse Analytics
Azure Synapse Analytics egy felhőalapú, kibővített adatbázis, amely képes nagy mennyiségű adat feldolgozására, relációs és nem relációs jellegű adatok feldolgozására. Azure Synapse Analytics a nagyvállalati adattárház számítási feladataihoz optimalizált, nagymértékben párhuzamos feldolgozási (MPP) architektúrára épül. A felhő rugalmasságát biztosítja a tárolás és a számítás egymástól független méretezésének rugalmasságával.
A Azure Synapse Analytics használatának első lépései mostantól minden eddiginél egyszerűbbek. Azure Data Factory és az azzal egyenértékű folyamatokat magában a Azure Synapse egy teljes mértékben felügyelt felhőalapú adatintegrációs szolgáltatást nyújt. A szolgáltatással feltölthet egy Azure Synapse Analyticset a meglévő rendszer adataival, és időt takaríthat meg az elemzési megoldások létrehozásakor.
A Azure Data Factory és a Synapse-folyamatok az alábbi előnyökkel járnak az adatok Azure Synapse Analyticsbe való betöltéséhez:
- Egyszerűen beállítható: Egy intuitív, 5 lépésből áll, és nincs szükség szkriptelésre.
- Gazdag adattár-támogatás: Beépített támogatás számos helyszíni és felhőalapú adattárhoz. Részletes listát a támogatott adattárak táblázatában talál.
- Biztonságos és megfelelő: Az adatok HTTPS-en vagy ExpressRoute-on keresztül kerülnek átvitelre. A globális szolgáltatás jelenléte biztosítja, hogy az adatok soha ne hagyják el a földrajzi határt.
- Páratlan teljesítmény a PolyBase használatával: A Polybase az adatok Azure Synapse Analyticsbe való áthelyezésének leghatékonyabb módja. Az átmeneti blob funkcióval nagy terhelési sebességet érhet el minden típusú adattárból, például az Azure Blob Storage-ból és a Data Lake Store-ból. (A Polybase alapértelmezés szerint támogatja az Azure Blob Storage-ot és az Azure Data Lake Store-t.) További információ: Copy tevékenység teljesítmény.
Ez a cikk bemutatja, hogyan tölthet be adatokat Azure SQL Database Azure Synapse Analyticsbe az Adatok másolása eszközzel. Hasonló lépéseket követve más típusú adattárakból másolhat adatokat.
Megjegyzés
További információ: Adatok másolása Azure Synapse Analyticsbe vagy onnan.
Előfeltételek
- Azure-előfizetés: Ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes fiókot .
- Azure Synapse Analytics: Az adattárház tárolja a SQL adatbázisból átmásolt adatokat. Ha nem rendelkezik Azure Synapse Analyticsszel, tekintse meg az Azure Synapse Analytics létrehozása című témakör utasításait.
- Azure SQL Database: Ez az oktatóanyag adatokat másol az Adventure Works LT mintaadatkészletből Azure SQL Database. Ezt a mintaadatbázist SQL Database hozhatja létre a mintaadatbázis létrehozása Azure SQL Database.
- Azure Storage-fiók: Az Azure Storage szolgál átmeneti blobként a tömeges másolási műveletben. Ha még nem rendelkezik Azure Storage-fiókkal, a szükséges utasításokat a Storage-fiók létrehozását ismertető cikkben találja.
Adat-előállító létrehozása
Megjegyzés
Kihagyhatja egy új adat-előállító létrehozását, ha a meglévő Synapse-munkaterület folyamatfunkcióját szeretné használni az adatok betöltéséhez. Azure Synapse beágyazza a Azure Data Factory funkcióit a folyamatfunkcióba.
A bal oldali menüben válassza a ResourceData>+ AnalyticsData>Factory létrehozása lehetőséget:
Az Új adat-előállító lapon adja meg a következő elemek értékeit:
- Név: Adja meg a loadSQLDWDemo nevet. Az adat-előállító nevének globálisan egyedinek kell lennie. Ha a "Data factory neve "LoadSQLDWDemo" nem érhető el" hibaüzenetet kapja, adjon meg egy másik nevet az adat-előállítónak. Használhatja például a yournameADFTutorialDataFactory nevet. Próbálja meg újra létrehozni az adat-előállítót. A Data Factory-összetevők elnevezési szabályait a Data Factory elnevezési szabályait ismertető cikkben találja.
- Előfizetés: Válassza ki azt az Azure-előfizetést, amelyben létre szeretné hozni az adat-előállítót.
- Erőforráscsoport: Válasszon ki egy meglévő erőforráscsoportot a legördülő listából, vagy válassza az Új létrehozása lehetőséget, és adja meg egy erőforráscsoport nevét. Az erőforráscsoportokkal kapcsolatos információkért tekintse meg a Using resource groups to manage your Azure resources (Erőforráscsoportok használata az Azure-erőforrások kezeléséhez) című cikket.
- Verzió: Válassza a V2 lehetőséget.
- Hely: Válassza ki az adat-előállító helyét. A legördülő listán csak a támogatott helyek jelennek meg. Az adat-előállító által használt adattárak más helyeken és régiókban is lehetnek. Ilyen adattárak például az Azure Data Lake Store, az Azure Storage, a Azure SQL Database stb.
Válassza a Létrehozás lehetőséget.
A létrehozás befejezése után nyissa meg az adat-előállítót. A Data Factory kezdőlapja az alábbi képen látható módon jelenik meg:
Válassza a Megnyitás a Megnyitás Azure Data Factory Studio csempén lehetőséget az adatintegrációs alkalmazás külön lapon való elindításához.
Adatok betöltése az Azure Synapse Analyticsbe
A Azure Data Factory vagy Azure Synapse munkaterület kezdőlapján válassza a Betöltés csempét az Adatok másolása eszköz elindításához. Ezután válassza ki a beépített másolási feladatot.
A Tulajdonságok lapon válassza a Beépített másolási feladat lehetőségeta Tevékenység típusa területen, majd válassza a Tovább gombot.
A Forrásadattár lapon hajtsa végre a következő lépéseket:
Tipp
Ebben az oktatóanyagban SQL hitelesítést használ a forrásadattár hitelesítési típusaként, de más támogatott hitelesítési módszereket is választhat: szükség esetén szolgáltatásnevet és felügyelt identitást. A részletekért tekintse meg a cikk megfelelő szakaszait. Az adattárak titkos kulcsainak biztonságos tárolása érdekében ajánlott azure-Key Vault is használni. A részletes ábrákért tekintse meg ezt a cikket .
Válassza az + Új kapcsolat lehetőséget.
Válassza Azure SQL Database a gyűjteményből, majd válassza a Folytatás lehetőséget. Az összekötők szűréséhez írja be a "SQL" kifejezést a keresőmezőbe.
Az Új kapcsolat (Azure SQL Database) lapon válassza ki a kiszolgáló nevét és adatbázisnevét a legördülő listából, és adja meg a felhasználónevet és a jelszót. Válassza a Kapcsolat tesztelése lehetőséget a beállítások érvényesítéséhez, majd válassza a Létrehozás lehetőséget.
A Forrásadattár lapon válassza ki az újonnan létrehozott kapcsolatot forrásként a Kapcsolat szakaszban.
A Forrástáblák szakaszban írja be a SalesLT kifejezést a táblák szűréséhez. Válassza az (Összes kijelölése) mezőt a másolat összes táblájának használatához, majd válassza a Tovább gombot.
A Szűrő alkalmazása lapon adja meg a beállításokat, vagy válassza a Tovább gombot. Az adatok előnézetének megtekintéséhez és a bemeneti adatok sémájának megtekintéséhez kattintson az Adatok előnézete gombra ezen a lapon.
A Céladattár lapon hajtsa végre a következő lépéseket:
Tipp
Ebben az oktatóanyagban SQL hitelesítést használ a céladattár hitelesítési típusaként, de más támogatott hitelesítési módszereket is választhat: szükség esetén szolgáltatásnevet és felügyelt identitást. A részletekért tekintse meg a cikk megfelelő szakaszait. Az adattárak titkos kulcsainak biztonságos tárolása érdekében ajánlott azure-Key Vault is használni. A részletes ábrákért tekintse meg ezt a cikket .
Kapcsolat hozzáadásához válassza az + Új kapcsolat lehetőséget.
Válassza Azure Synapse Elemzés lehetőséget a katalógusból, majd válassza a Folytatás lehetőséget.
Az Új kapcsolat (Azure Synapse Analytics) lapon válassza ki a kiszolgáló nevét és adatbázisnevét a legördülő listából, és adja meg a felhasználónevet és a jelszót. Válassza a Kapcsolat tesztelése lehetőséget a beállítások érvényesítéséhez, majd válassza a Létrehozás lehetőséget.
A Céladattár lapon válassza ki az újonnan létrehozott kapcsolatot fogadóként a Kapcsolat szakaszban.
A Táblázatleképezés szakaszban tekintse át a tartalmat, és válassza a Tovább gombot. Megjelenik egy intelligens táblaleképezés. A forrástáblák a táblanevek alapján vannak leképezve a céltáblákra. Ha a célhelyen nem található forrástábla, a szolgáltatás alapértelmezés szerint létrehoz egy azonos nevű céltáblát. A forrástáblát le is képezheti egy meglévő céltáblára.
Az Oszlopleképezés lapon tekintse át a tartalmat, és válassza a Tovább gombot. Az intelligens táblaleképezés az oszlopnéven alapul. Ha engedélyezi, hogy a szolgáltatás automatikusan hozza létre a táblákat, az adattípus-átalakítás akkor fordulhat elő, ha a forrás- és a céltároló között inkompatibilitások vannak. Ha nem támogatott adattípus-átalakítás van a forrás és a céloszlop között, hibaüzenet jelenik meg a megfelelő tábla mellett.
A Gépház lapon hajtsa végre a következő lépéseket:
Adja meg a CopyFromSQLToSQLDW értéket a Tevékenységnév mezőhöz.
Az Előkészítési beállítások szakaszban válassza az + Új az átmeneti tárterület újként lehetőséget. A tároló az adatok átmeneti tárolására szolgál, mielőtt a PolyBase használatával betöltené az Azure Synapse Analyticsbe. A másolás befejezése után a rendszer automatikusan eltávolítja a Azure Blob Storage köztes adatait.
Az Új társított szolgáltatás lapon válassza ki a tárfiókot, majd válassza a Létrehozás lehetőséget a társított szolgáltatás üzembe helyezéséhez.
Törölje a use type default (Típus használata) beállítás jelölését, majd válassza a Tovább gombot.
Az Összefoglalás lapon tekintse át a beállításokat, és válassza a Tovább gombot.
A folyamat (feladat) figyeléséhez az Üzembe helyezés lapon kattintson a Monitorozás elemre.
Figyelje meg, hogy a bal oldalon található Figyelés lap automatikusan ki lesz választva. Ha a folyamat futtatása sikeresen befejeződött, válassza a CopyFromSQLToSQLDW hivatkozást a Folyamat neve oszlop alatt a tevékenységfuttatás részleteinek megtekintéséhez vagy a folyamat újrafuttatásához.
A folyamatfuttatások nézetre való visszaváltáshoz válassza a felül található Minden folyamatfuttatás hivatkozást. A lista frissítéséhez kattintson a Frissítés gombra.
Az egyes másolási tevékenységek végrehajtási adatainak monitorozásához válassza a Tevékenység neve alatt található Részletek hivatkozást (szemüveg ikon) a tevékenységfuttatási nézetben. Monitorozhat olyan adatokat, mint a forrásból a fogadóba másolt adatok mennyisége, az adatátviteli sebesség, a megfelelő időtartamú végrehajtási lépések és a használt konfigurációk.
Következő lépések
A Azure Synapse Analytics támogatásáról a következő cikk nyújt tájékoztatást: