Hogyan működik az Azure Workflow Orchestration Manager?
A következőkre vonatkozik:
Azure Data Factory 
Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Feljegyzés
A Workflow Orchestration Managert az Apache Airflow működteti.
Feljegyzés
Az Azure Data Factory munkafolyamat-vezénylés-kezelője az Nyílt forráskód Apache Airflow-alkalmazásra támaszkodik. Az Airflow dokumentációja és további oktatóanyagai az Apache Airflow dokumentációjában vagy a közösségi oldalakon találhatók.
A Munkafolyamat-vezényléskezelő az Azure Data Factoryben Python-alapú irányított Aciklikus grafikonok (DAG-k) használatával futtatja a vezénylési munkafolyamatokat. A funkció használatához meg kell adnia daG-jait és beépülő moduljait az Azure Blob Storage-ban vagy a GitHub-adattáron keresztül. Az Airflow felhasználói felületét elindíthatja az ADF-ből parancssori felület (CLI) vagy szoftverfejlesztői készlet (SDK) használatával a DAG-k kezeléséhez.
Workflow Orchestration Manager-környezet létrehozása
Lásd: Workflow Orchestration Manager-környezet létrehozása
DAG-k importálása
A Workflow Orchestration Manager két különböző módszert kínál a DAG-k Python-forrásfájlokból az Airflow környezetébe való betöltéséhez. Ezek a módszerek a következők:
A Git Sync engedélyezése: Ez a szolgáltatás lehetővé teszi a GitHub-adattár szinkronizálását a Workflow Orchestration Managerrel, lehetővé téve a DAG-k importálását közvetlenül a GitHub-adattárból. Lásd: GitHub-adattár szinkronizálása a Workflow Orchestration Managerben
Azure Blob Storage: Feltöltheti daG-jait, beépülő moduljait stb. az Azure Data Factory-hez társított Blob Storage-fiók egy kijelölt mappájába. Ezután importálja a mappa fájlútvonalát a Workflow Orchestration Managerben. Lásd: DAG-k importálása az Azure Blob Storage használatával
DAG-k eltávolítása az Airflow-környezetből
Lásd: DAG-k törlése a Workflow Orchestration Managerben
DAG-futtatások monitorozása
Az Airflow DAG-k figyeléséhez jelentkezzen be az Airflow felhasználói felületére a korábban létrehozott felhasználónévvel és jelszóval.
Válassza ki a létrehozott Airflow-környezetet.
Jelentkezzen be az Airflow integrációs modul létrehozása során megadott felhasználónév-jelszó használatával. (Szükség esetén az Airflow-integrációs modul szerkesztésével alaphelyzetbe állíthatja a felhasználónevet vagy a jelszót)
A DAG importálásával kapcsolatos problémák elhárítása
Probléma: A DAG-importálás több mint 5 percet vesz igénybe: Az importált DAG-k méretének csökkentése egyetlen importálással. Ennek egyik módja, ha több DAG-mappát hoz létre kevesebb DAG-val több tárolóban.
Probléma: Az importált DAG-k nem jelennek meg, amikor bejelentkezik az Airflow felhasználói felületére. Kockázatcsökkentés: Jelentkezzen be az Airflow felhasználói felületére, és ellenőrizze, hogy vannak-e DAG-elemzési hibák. Ez akkor fordulhat elő, ha a DAG-fájlok nem kompatibilis kódot tartalmaznak. A pontos sorszámokat és a fájlokat az Airflow felhasználói felületén találja meg.
