Adatfolyamok leképezése a Azure Data Factory

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Mik azok a leképezési adatfolyamok?

A leképezési adatfolyamok vizuálisan megtervezett adatátalakítások a Azure Data Factory. Az adatfolyamokkal az adatmérnökök kódírás nélkül fejleszthet adatátalakítási logikát. Az eredményül kapott adatfolyamok tevékenységekként vannak végrehajtva Azure Data Factory, amelyek horizontálisan felskálált Apache Spark használnak. Az adatfolyam-tevékenységek a meglévő ütemezési, Azure Data Factory, folyamat- és monitorozási képességekkel is működőképesek.

A leképezési adatfolyamok teljes mértékben vizuális élményt biztosítanak kódolás nélkül. Az adatfolyamok ADF által felügyelt végrehajtási fürtökön futnak a horizontálisan felskálált adatfeldolgozás érdekében. Azure Data Factory kezeli az adatfolyam-feladatok összes kódfordítását, útvonaloptimalizálását és végrehajtását.

Első lépések

Az adatfolyamok a gyári erőforrások panelről, például folyamatokból és adatkészletekből vannak létrehozva. Adatfolyam létrehozásához válassza a Gyári erőforrások melletti pluszjelet, majd az Adatforgalom Flow.

Új adatfolyam

Ez a művelet az adatfolyamvászonra viszi, ahol létrehozhatja az átalakítási logikát. A forrásátalakítás konfigurálásához válassza a Forrás hozzáadása lehetőséget. További információ: Forrásátalakítás.

Adatfolyamok írása

A leképezési adatfolyam egyedi szerzői vásznon teszi egyszerűvé az átalakítási logika építését. Az adatfolyam-vászon három részből áll: a felső sávból, a diagramból és a konfigurációs panelből.

Képernyőkép az adatfolyam vásznán a felső sáv, a gráf és a konfigurációs panel címkével.

Graph

A gráf megjeleníti az átalakítási streamet. Megjeleníti a forrásadatok leszárazását, amikor egy vagy több fogadóba áramlik. Új forrás hozzáadásához válassza a Forrás hozzáadása lehetőséget. Új átalakítás hozzáadásához válassza a meglévő átalakítás jobb alsó részén lévő pluszjelet. További információ az adatfolyam-diagram kezelésről.

Képernyőkép a vászon gráf részről a Keresés szövegmezővel.

Konfigurációs panel

A konfigurációs panel az aktuálisan kiválasztott átalakításra vonatkozó beállításokat jeleníti meg. Ha nincs kiválasztva átalakítás, megjelenik az adatfolyam. Az adatfolyam teljes konfigurációjában paramétereket adhat hozzá a Paraméterek lapon. További információ: Adatfolyam-paraméterek leképezése.

Minden átalakítás legalább négy konfigurációs lapot tartalmaz.

Átalakítási beállítások

Az egyes átalakítások konfigurációs panelének első lapja az adott átalakításra vonatkozó beállításokat tartalmazza. További információt az átalakítás dokumentációs oldalán talál.

Forrásbeállítások lap

Optimalizálás

Az Optimalizálás lap a particionálási sémák konfigurálási beállításait tartalmazza. Az adatfolyamok optimalizálásával kapcsolatos további információkért tekintse meg a leképezési adatfolyamok teljesítményével kapcsolatos útmutatót.

Képernyőkép az Optimalizálás lapról, amely a Partíció lehetőséget, a Partíciótípust és a Partíciók számát tartalmazza.

Ellenőrizni

Az Inspect (Vizsgálat) lapon megtekintheti az átalakított adatfolyam metaadatait. Láthatja az oszlopok számát, a módosított oszlopokat, a hozzáadott oszlopokat, az adattípusokat, az oszlop sorrendjét és az oszlophivatkozásokat. Az Inspect (Vizsgálat) a metaadatok csak olvasható nézete. Nem kell engedélyeznie a hibakeresési módot ahhoz, hogy a metaadatok láthatóak legyen a Vizsgálat panelen.

Ellenőrizni

Amikor átalakításokkal módosítja az adatok alakját, a metaadatok változásai a Vizsgálat panelen vizsgálják meg a folyamatot. Ha a forrásátalakítás nem tartalmaz meghatározott sémát, akkor a metaadatok nem fognak láthatóvá tenni a Vizsgálat panelen. A metaadatok hiánya gyakori a sémasodródási forgatókönyvekben.

Adatelőnézet

Ha a hibakeresési mód be van kapcsolva, az Adatelőnézet lapon interaktív pillanatképet készíthet az egyes átalakítások adatairól. További információ: Adatelőnézet hibakeresési módban.

Felső sáv

A felső sáv olyan műveleteket tartalmaz, amelyek a teljes adatfolyamot érintik, például a mentést és az ellenőrzést. Megtekintheti az átalakítási logika mögöttes JSON-kódját és adatfolyam-szkriptét is. További információért ismerje meg az adatfolyam-szkriptet.

Elérhető átalakítások

Az elérhető átalakítások listájának megtekintéséhez tekintse meg az adatfolyam-leképezés átalakításának áttekintését.

Adatfolyam-adattípusok

  • array
  • binary
  • boolean
  • Összetett
  • decimális (pontosságot is tartalmaz)
  • dátum
  • float
  • egész szám
  • hosszú
  • map
  • Rövid
  • sztring
  • időbélyeg

Adatfolyam-tevékenység

A leképezési adatfolyamok az adatfolyam-tevékenységgel vannak működőképesek az ADF-folyamatokban. A felhasználónak csak meg kell adnia, hogy melyik integrációskörnyezetet kell használnia, és paraméterértékeket kell megadnia. További információért ismerje meg az Azure integration runtime -t.

Hibakeresési mód

A hibakeresési mód lehetővé teszi, hogy interaktívan lássa az egyes átalakítási lépés eredményeit az adatfolyamok buildlése és hibakeresése közben. A hibakeresési munkamenet az adatfolyam-logika kiépítésekor és a folyamat hibakeresési futtatásakor is használható adatfolyam-tevékenységekkel. További tudnivalókért tekintse meg a hibakeresési mód dokumentációját.

Adatfolyamok figyelése

A leképezési adatfolyam integrálható a meglévő Azure Data Factory monitorozási képességekkel. Az adatfolyam-monitorozás kimenetének megismerése: Leképezési adatfolyamok figyelése.

Az Azure Data Factory csapat létrehozott egy teljesítményhangolási útmutatót, amely segít optimalizálni az adatfolyamok végrehajtási idejét az üzleti logika létrehozása után.

Elérhető régiók

A leképezési adatfolyamok az ADF következő régióiban érhetők el:

Azure-régió Adatfolyamok az ADF-ben
Ausztrália középső régiója
Ausztrália 2. középső régiója
Kelet-Ausztrália
Délkelet-Ausztrália
Dél-Brazília
Közép-Kanada
Közép-India
Az USA középső régiója
Kelet-Kína
Kína 2. keleti régiója
Kína – régiófüggetlen
Észak-Kína
Kína 2. északi régiója
Kelet-Ázsia
USA keleti régiója
USA 2. keleti régiója
Közép-Franciaország
Dél-Franciaország
Közép-Németország (szuverén)
Németország – régiófüggetlen (független)
Észak-Németország (nyilvános)
Északkelet-Németország (Szuverén)
Nyugat-Németország – középső régió (nyilvános)
Kelet-Japán
Nyugat-Japán
Dél-Korea középső régiója
Dél-Korea déli régiója
USA északi középső régiója
Észak-Európa
Kelet-Kelet
Nyugat-Nyugat-Németország
Dél-Afrika északi régiója
Dél-Afrika nyugati régiója
USA déli középső régiója
Dél-India
Délkelet-Ázsia
Észak-Svájc
Nyugat-Svájc
Egyesült Arab Emírségek középső
Egyesült Arab Emírségek északi iránya
Az Egyesült Királyság déli régiója
Az Egyesült Királyság nyugati régiója
US DoD – Középső régió
US DoD – Kelet
USA-beli államigazgatás – Arizona
US Gov – régiófüggetlen
USA-beli államigazgatás – Texas
USA-beli államigazgatás – Virginia
USA nyugati középső régiója
Nyugat-Európa
Nyugat-India
USA nyugati régiója
USA 2. nyugati régiója

Következő lépések