Hogyan működik az Azure Data Factory Workflow Orchestration Manager?
A következőkre vonatkozik:
Azure Data Factory 
Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Feljegyzés
A Workflow Orchestration Managert az Apache Airflow működteti.
Feljegyzés
Az Azure Data Factory munkafolyamat-vezénylés-kezelője az Nyílt forráskód Apache Airflow-alkalmazásra támaszkodik. Az Airflow dokumentációja és további oktatóanyagai az Apache Airflow dokumentációjában vagy a közösségi oldalakon találhatók.
A Munkafolyamat-vezényléskezelő az Azure Data Factoryben Python-alapú irányított Aciklikus grafikonok (DAG-k) használatával futtatja a vezénylési munkafolyamatokat. A funkció használatához meg kell adnia a DAG-ket és beépülő modulokat az Azure Blob Storage-ban. Az Airflow felhasználói felületét elindíthatja az ADF-ből parancssori felület (CLI) vagy szoftverfejlesztői készlet (SDK) használatával a DAG-k kezeléséhez.
Workflow Orchestration Manager-környezet létrehozása
A munkafolyamat-vezényléskezelő környezetének beállításához és konfigurálásához kövesse az alábbi lépéseket.
Előfeltételek
Azure-előfizetés: Ha nem rendelkezik Azure-előfizetéssel, első lépésként mindössze néhány perc alatt létrehozhat egy ingyenes fiókot. Hozzon létre vagy válasszon ki egy meglévő Data Factoryt abban a régióban, ahol a Workflow Orchestration Manager előzetes verziója támogatott.
A környezet létrehozásának lépései
Hozzon létre új Workflow Orchestration Manager-környezetet. Ugrás a Központ kezelése –>Airflow (előzetes verzió) –>+Új az új Airflow-környezet létrehozásához
Adja meg a részleteket (Airflow config)
Fontos
Alapszintű hitelesítés használatakor jegyezze meg a képernyőn megadott felhasználónevet és jelszót. Később be kell jelentkeznie a Workflow Orchestration Manager felhasználói felületén. Az alapértelmezett beállítás a Microsoft Entra ID , és nem igényel felhasználónevet/ jelszót az Airflow-környezethez, hanem a bejelentkezett felhasználó hitelesítő adatait használja az Azure Data Factorybe a DAG-k bejelentkezéséhez/ monitorozásához.
A környezeti változók egy egyszerű kulcsértéktárat tárolnak az Airflow-ban tetszőleges tartalmak vagy beállítások tárolásához és lekéréséhez.
A Python-kódtárak előzetes telepítésére vonatkozó követelmények használhatók. Ezeket később is frissítheti.
DAG-k importálása
Az alábbi lépések bemutatják, hogyan importálhatók a DAG-k a Workflow Orchestration Managerbe.
Előfeltételek
Fel kell töltenie egy dagmintát egy akadálymentes tárfiókba (a dags mappában kell lennie).
Feljegyzés
A virtuális hálózat mögötti Blob Storage nem támogatott az előzetes verzióban.
A StorageLinkedServices KeyVault-konfigurációja nem támogatott a dagák importálásához.
Minta Apache Airflow v2.x DAG. Minta Apache Airflow v1.10 DAG.
Az importálás lépései
Másolja be a tartalmat (v2.x vagy 1.10-et a beállított Airflow-környezet alapján) egy tutorial.py nevű új fájlba.
Töltse fel a tutorial.py egy blobtárolóba. (Fájl feltöltése blobba)
Feljegyzés
Az Airflow-környezetbe való importáláshoz ki kell választania egy címtár elérési útját egy blob storage-fiókból, amely dagok és beépülő modulok nevű mappákat tartalmaz. A beépülő modulok használata nem kötelező. Rendelkezhet dags nevű tárolóval is, és feltöltheti benne az összes Airflow-fájlt.
Válassza az Airflow (előzetes verzió) lehetőséget a Manage Hub (Kezelőközpont) területen. Ezután vigye az egérmutatót a korábban létrehozott Airflow-környezet fölé, és válassza a Fájlok importálása lehetőséget az összes DAG és függőség importálásához az Airflow-környezetbe.
Hozzon létre egy új társított szolgáltatást az előfeltételben említett akadálymentes tárfiókhoz (vagy használjon egy meglévőt, ha már rendelkezik saját DAG-kkel).
Használja azt a tárfiókot, ahová feltöltötte a DAG-t (ellenőrizze az előfeltételt). Tesztelje a kapcsolatot, majd válassza a Létrehozás lehetőséget.
Tallózzon és válassza ki a légáramlást, ha a minta SAS URL-címet használja, vagy válassza ki azt a mappát, amely DAG-fájlokat tartalmazó dags mappát tartalmaz.
Feljegyzés
Ezen a felületen keresztül importálhatja a DAG-ket és azok függőségeit. Az Airflow-környezetbe való importáláshoz ki kell választania egy címtár elérési útját egy blob storage-fiókból, amely dagok és beépülő modulok nevű mappákat tartalmaz. A beépülő modulok használata nem kötelező.
Feljegyzés
A DAG-k importálása eltarthat néhány percig az előzetes verzióban. Az értesítési központ (harang ikon az ADF felhasználói felületén) az importálási állapotfrissítések nyomon követésére használható.
A DAG importálásával kapcsolatos problémák elhárítása
Probléma: A DAG-importálás több mint 5 percet vesz igénybe: Az importált DAG-k méretének csökkentése egyetlen importálással. Ennek egyik módja, ha több DAG-mappát hoz létre kevesebb DAG-val több tárolóban.
Probléma: Az importált DAG-k nem jelennek meg, amikor bejelentkezik az Airflow felhasználói felületére. Kockázatcsökkentés: Jelentkezzen be az Airflow felhasználói felületére, és ellenőrizze, hogy vannak-e DAG-elemzési hibák. Ez akkor fordulhat elő, ha a DAG-fájlok nem kompatibilis kódot tartalmaznak. A pontos sorszámokat és a fájlokat az Airflow felhasználói felületén találja meg.
DAG-futtatások monitorozása
Az Airflow DAG-k figyeléséhez jelentkezzen be az Airflow felhasználói felületére a korábban létrehozott felhasználónévvel és jelszóval.
Válassza ki a létrehozott Airflow-környezetet.
Jelentkezzen be az Airflow integrációs modul létrehozása során megadott felhasználónév-jelszó használatával. (Szükség esetén az Airflow-integrációs modul szerkesztésével alaphelyzetbe állíthatja a felhasználónevet vagy a jelszót)
DAG-k eltávolítása az Airflow-környezetből
Ha az Airflow 1.x verzióját használja, törölje a bármely Airflow-környezetben (IR) üzembe helyezett DAG-ket, két különböző helyen kell törölnie a DAG-ket.
- A DAG törlése az Airflow felhasználói felületéről
- A DAG törlése az ADF felhasználói felületén
Feljegyzés
Ez az aktuális felhasználói élmény a nyilvános előzetes verzióban, és javítani fogjuk ezt a felületet.