Adatfolyam-leképezési hibakeresési mód

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Áttekintés

Azure Data Factory és Synapse Analytics adatfolyam hibakeresési módjának használatával interaktívan figyelhet az adatalakzat átalakítására az adatfolyamok buildelése és hibakeresése közben. A hibakeresési munkamenet a Data Flow tervezési munkamenetekben és az adatfolyamok folyamat-hibakeresési végrehajtása során is használható. A hibakeresési mód bekapcsolához használja az adatfolyam Flow vászon vagy folyamatvászna felső sávjában található Adatkeresési hibakeresés gombot, ha adatfolyam-tevékenységekkel is kapcsolatban van.

Az 1. hibakeresési csúszka helyének képernyőképe

A 2. hibakeresési csúszka helyének képernyőképe

A csúszka bekapcsolása után a rendszer kérni fogja, hogy válassza ki a használni kívánt integrációstime-konfigurációt. Ha az AutoResolveIntegrationRuntime van kiválasztva, egy nyolcmagos általános számítási maggal és alapértelmezett 60 perces idejű általános számítási idővel fel lesz állítva. Ha több üresjárati csapatot szeretne engedélyezni, mielőtt a munkamenet időkorrektálna, választhat egy magasabb TTL-beállítást. Az adatfolyam-integrációs runtime-okkal kapcsolatos további információkért lásd: Integration Runtime teljesítmény.

Ir-kiválasztás hibakeresése

Ha a hibakeresési mód be van kapcsolva, interaktívan, egy aktív Spark-fürtön fogja felépíteni az adatfolyamot. A hibakeresés kikapcsolása után a munkamenet bezárul. Tisztában kell lennie a hibakeresési munkamenet Data Factory közben felmerülő óránkénti díjakkal.

A legtöbb esetben jó gyakorlat az adatfolyamok hibakeresési módban való kiépítése, hogy érvényesítse az üzleti logikát, és megtekintse az adatátalakításokat a munka közzététele előtt. A folyamatpanel "Hibakeresés" gombjával tesztelje az adatfolyamot egy folyamatban.

Megjegyzés

A felhasználó által a böngésző felhasználói felületén elindított összes hibakeresési munkamenet egy új munkamenet a saját Spark-fürtjével. A figyelési nézetet használhatja a fenti hibakeresési munkamenetekhez a hibakeresési munkamenetek megtekintéséhez és kezeléséhez. Az egyes hibakeresési munkamenetek minden órájáért díjat számítunk fel, beleértve az TTL-időt is.

Fürt állapota

Ha a fürt készen áll a hibakeresésre, a tervezési felület tetején található fürtállapot-jelző zöldre változik. Ha a fürt már meleg, akkor a zöld jelző szinte azonnal megjelenik. Ha a fürt még nem futott, amikor hibakeresési módba lépett, a Spark-fürt hidegindítást hajt végre. A jelző addig pörget, amíg a környezet készen nem áll az interaktív hibakeresésre.

Ha végzett a hibakereséssel, kapcsolja ki a Hibakeresés kapcsolót, hogy a Spark-fürt leállhat, és a továbbiakban ne számlázható legyen a hibakeresési tevékenység.

Hibakeresési beállítások

A hibakeresési mód bekapcsolása után szerkesztheti, hogy az adatfolyam hogyan tekintse meg az adatokat. A hibakeresési beállításokat az Adat-naplózási Gépház eszköztár "Hibakeresési Flow" gombjára kattintva szerkesztheti. Itt választhatja ki az egyes forrásátalakítások sorkorlátját vagy fájlforrását. A beállítás sorkorlátja csak az aktuális hibakeresési munkamenetre vonatkozik. Kiválaszthatja azt az átmeneti csatolt szolgáltatást is, amely egy adott forráshoz Azure Synapse Analytics használni.

Hibakeresési beállítások

Ha a Data Flow vagy annak valamelyik hivatkozott adatkészletében paraméterekkel rendelkezik, a Paraméterek lapon megadhatja, hogy milyen értékeket használjon a hibakeresés során.

Az itt található mintavételezési beállításokkal mintafájlokra vagy mintaadattáblákra mutathat, így nem kell módosítania a forrásadatkészleteket. Ha itt mintafájlt vagy táblázatot használ, az adatok egy részkészletének tesztelése közben megőrizheti az adatfolyam ugyanazon logikai és tulajdonságbeállítását.

Hibakeresési beállítások paraméterei

Az adatfolyamok hibakeresési módjához használt alapértelmezett integrációs mód egy kis, 4 magos egy feldolgozó csomópont, 4 magos egyillesztős csomóponttal. Ez az adatfolyam logikájának tesztelése során kisebb adatmintákkal is jól működik. Ha kibontja a sorkorlátokat a hibakeresési beállításokban az adatelőnézet során, vagy a folyamat hibakeresése során nagyobb számú mintavételt tartalmazó sort ad meg a forrásban, érdemes lehet nagyobb számítási környezetet beállítani egy új Azure Integration Runtime. Ezután újraindíthatja a hibakeresési munkamenetet a nagyobb számítási környezet használatával.

Adatelőnézet

A hibakeresés után az adatelőnézet lap kigyűjt az alsó panelen. Hibakeresési mód nélkül a Data Flow csak az átalakítások aktuális metaadatait fogja mutatni az Inspect (Vizsgálat) lapon. Az adatelőnézet csak a hibakeresési beállításokban beállított sorok számát fogja lekérdezni. Kattintson a Frissítés gombra az adatelőnézet lekéréséhez.

Adatelőnézet

Megjegyzés

A fájlforrások csak a látható sorokat korlátozzák, az éppen beolvasott sorokat nem. Nagyon nagy adatkészletek esetén javasoljuk, hogy a fájl egy kis részét használja a teszteléshez. A Hibakeresési menüben kiválaszthat egy ideiglenes Gépház minden olyan forráshoz, amely fájladatkészlet-típus.

Amikor hibakeresési módban futtatja az Flow, a rendszer nem írja az adatokat a Fogadó átalakításba. A hibakeresési munkamenet az átalakítások tesztelési keretrendszereként szolgál. A fogadókra a hibakeresés során nincs szükség, és az adatfolyam figyelmen kívül hagyja őket. Ha tesztelni szeretné az adatok a fogadóban való írását, hajtsa végre az Flow egy folyamatból, és használja a hibakeresési végrehajtást egy folyamatból.

A Data Preview az átalakított adatok pillanatképe sorkorlátok és adat-mintavételezés használatával a Spark-memóriában lévő adatkeretek alapján. Ezért ebben a forgatókönyvben a fogadó illesztőprogramok nincsenek felhasználva vagy tesztelve.

Illesztés feltételeinek tesztelése

Az egységtesztelés során az Illesztés, az Létezik vagy a Keresés típusú átalakítások esetén győződjön meg arról, hogy a teszthez ismert adatok egy kis halmazát használja. A fenti Hibakeresési Gépház használhatja a teszteléshez használni kívánt ideiglenes fájl beállításához. Erre azért van szükség, mert ha egy nagyméretű adathalmaz sorait korlátozza vagy mintavétele során veszi figyelembe, nem tudja előrejelezni, hogy mely sorok és mely kulcsok lesznek beolvasva a folyamatba tesztelés céljából. Az eredmény nem determinisztikus, ami azt jelenti, hogy az illesztés feltételei meghiúsulhatnak.

Gyorsműveletek

Ha látja az adatelőnézetet, létrehozhat egy gyors átalakítást típuscímzéshez, eltávolításhoz vagy egy oszlop módosításához. Kattintson az oszlop fejlécére, majd válassza ki valamelyik lehetőséget az adatelőnézet eszköztárán.

Képernyőkép az adatelőnézet eszköztárról a következő beállításokkal: Typecast, Modify, Statistics és Remove.

A módosítás kiválasztása után az adatok előnézete azonnal frissül. Új átalakítás létrehozásához kattintson a jobb felső sarokban található Confirm (Megerősítés) gombra.

A Megerősítés gombot bemutató képernyőkép.

A Typecast és a Modify egy Származtatott oszlop típusú átalakítást hoz létre, az Eltávolítás pedig a Select átalakítást.

Képernyőkép a Származtatott oszlop Gépház.

Megjegyzés

Ha szerkeszti az Flow, újra be kell kérnie az adatelőnézetet, mielőtt gyors átalakítást ad hozzá.

Adatprofil-készítés

Ha kijelöl egy oszlopot az adatelőnézeti lapon, és az adatelőnézet eszköztárában a Statisztika elemre kattint, megjelenik egy diagram az adatrács jobb távoli területén, az egyes mezők részletes statisztikáival. A szolgáltatás a megjelenítendő diagramtípus adat-mintavétele alapján hoz döntést. A nagy számosságú mezők alapértelmezett értéke NULL/NOT NULL, míg az alacsony számosságú kategorikus és numerikus adatok sávdiagramokat jelenítnek meg az adatértékek gyakoriságával. Emellett láthatja a sztringmezők maximális/minimális hosszát, a numerikus mezők minimális/maximális értékeit, a standard fejlesztést, a percentiliseket, a darabszámokat és az átlagot.

Oszlopstatisztikák

Következő lépések