Mapování toků dat v Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Co jsou toky dat mapování?

Mapování toků dat jsou vizuálně navržené transformace dat v Azure Data Factory. Toky dat umožňují datovým inženýrům vyvíjet logiku transformace dat bez psaní kódu. Výsledné toky dat se spouštěly jako aktivity v Azure Data Factory, které používají clustery s horizontálním navýšením velikosti Apache Spark clustery. Aktivity toku dat je možné zprovoznět pomocí Azure Data Factory plánování, řízení, toku a monitorování.

Mapování toků dat poskytuje zcela vizuální prostředí bez psaní kódu. Toky dat běží na clusterech pro spouštění spravovaných službou ADF pro zpracování dat s horizontálním navýšením velikosti. Azure Data Factory všechny úlohy překladu kódu, optimalizace cest a spouštění toků dat.

Začínáme

Toky dat se vytvářejí z podokna prostředků továrny, jako jsou kanály a datové sady. Pokud chcete vytvořit tok dat, vyberte znaménko plus vedle položky Factory Resources(Prostředky továrny) a pak vyberte Data Flow.

Tato akce vás převede na plátno toku dat, kde můžete vytvořit logiku transformace. Vyberte Přidat zdroj a začněte konfigurovat transformaci zdroje. Další informace najdete v tématu Transformace zdroje.

Vytváření toků dat

Mapování toku dat má jedinečné plátno pro vytváření, které je navržené tak, aby vytváření logiky transformace bylo snadné. Plátno toku dat je rozdělené do tří částí: horní panel, graf a konfigurační panel.

Graph

Graf zobrazí transformační stream. Zobrazuje původ zdrojových dat při jejich toku do jedné nebo více jímek. Pokud chcete přidat nový zdroj, vyberte Přidat zdroj. Pokud chcete přidat novou transformaci, vyberte znaménko plus v pravém dolním rohu existující transformace. Přečtěte si další informace o správě grafu toku dat.

Konfigurační panel

Na panelu konfigurace se zobrazí nastavení specifická pro aktuálně vybranou transformaci. Pokud není vybraná žádná transformace, zobrazí se tok dat. V celkové konfiguraci toku dat můžete přidat parametry na kartě Parametry. Další informace najdete v tématu Mapování parametrů toku dat.

Každá transformace obsahuje alespoň čtyři karty konfigurace.

Nastavení transformace

První karta v podokně konfigurace každé transformace obsahuje nastavení specifická pro tuto transformaci. Další informace najdete na stránce dokumentace k transformaci.

Optimalizace

Karta Optimalizace obsahuje nastavení pro konfiguraci schémat dělení. Další informace o tom, jak optimalizovat toky dat, najdete v průvodci výkonem mapování toků dat.

Zkontrolovat

Karta Inspect (Kontrola) poskytuje zobrazení metadat datového streamu, který transformujete. Můžete zobrazit počty sloupců, změněné sloupce, přidané sloupce, datové typy, pořadí sloupců a odkazy na sloupce. Kontrola metadat je zobrazení metadat jen pro čtení. Pokud chcete zobrazit metadata v podokně Kontrola, nemusíte mít povolený režim ladění.

Při změně tvaru dat transformacemi uvidíte tok změn metadat v podokně Kontrola. Pokud v transformaci zdroje není definované schéma, pak se metadata v podokně Inspect nezviditelní. Ve scénářích posunu schémat je běžná nedostatečná metadata.

Náhled dat

Pokud je režim ladění v provozu, karta Náhled dat poskytuje interaktivní snímek dat při každé transformaci. Další informace najdete v tématu Náhled dat v režimu ladění.

Horní panel

Horní panel obsahuje akce, které ovlivňují celý tok dat, jako je ukládání a ověřování. Můžete zobrazit také základní kód JSON a skript toku dat logiky transformace. Další informace najdete ve skriptu toku dat.

Dostupné transformace

Podívejte se na přehled transformací toku dat mapování a získejte seznam dostupných transformací.

Datové typy toku dat

• array
• binární
• boolean
• Složité
• decimal (zahrnuje přesnost)
• date
• float
• integer
• long
• mapa
• short
• řetězec
• časové razítko

Aktivita toku dat

Mapování toků dat se zprovozní v kanálech ADF pomocí aktivity toku dat. Uživatel musí pouze určit, které prostředí Integration Runtime se má použít, a předat hodnoty parametrů. Další informace najdete v modulu runtime integrace Azure.

Režim ladění

Režim ladění umožňuje interaktivně zobrazit výsledky každého kroku transformace během sestavování a ladění toků dat. Ladicí relaci můžete použít v nástroji při sestavování logiky toku dat i při spouštění spuštění ladění kanálu s aktivitami toku dat. Další informace najdete v dokumentaci k režimu ladění.

Monitorování toků dat

Mapování toku dat se integruje se stávajícími Azure Data Factory monitorování. Informace o tom, jak porozumět výstupu monitorování toku dat, najdete v tématu monitorování toků dat mapování.

Tým Azure Data Factory vytvořil průvodce laděním výkonu, který vám pomůže optimalizovat dobu provádění toků dat po vytvoření obchodní logiky.

Dostupné oblasti

Mapování toků dat je k dispozici v následujících oblastech V ADF:

Další kroky

• Zjistěte, jak vytvořit transformaci zdroje.
• Zjistěte, jak vytvářet toky dat v režimu ladění.