Mi az a Workflow Orchestration Manager?
A következőkre vonatkozik:
Azure Data Factory 
Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Feljegyzés
A Workflow Orchestration Managert az Apache Airflow működteti.
Feljegyzés
Ez a funkció nyilvános előzetes verzióban érhető el. Ha kérdése vagy funkciójavaslata van, küldjön egy e-mailt ManagedAirflow@microsoft.com a részletekkel.
Feljegyzés
Az Azure Data Factory munkafolyamat-vezénylés-kezelője az Nyílt forráskód Apache Airflow-alkalmazásra támaszkodik. Az Airflow dokumentációja és további oktatóanyagai az Apache Airflow dokumentációjában vagy a közösségi oldalakon találhatók.
Az Azure Data Factory kiszolgáló nélküli folyamatokat kínál az adatfeldolgozás vezényléséhez, az adatáthelyezéshez több mint 100 felügyelt összekötővel, valamint vizualizációs átalakításokat a leképezési adatfolyammal.
Az Azure Data Factory Workflow Orchestration Manager szolgáltatása egyszerű és hatékony módja az Apache Airflow-környezetek létrehozásának és felügyeletének, lehetővé téve az adatfolyamok nagy léptékű, egyszerű futtatását. Az Apache Airflow egy nyílt forráskódú platform, amellyel programozott módon hozhat létre, ütemezhet és figyelhet összetett adat-munkafolyamatokat. Lehetővé teszi, hogy definiáljon egy olyan feladatkészletet, úgynevezett operátort, amely az adatfolyamokat ábrázoló irányított aciklikus grafikonokba (DAG-k) kombinálható. Az Airflow lehetővé teszi a DAG-k ütemezés szerinti vagy eseményre adott válaszként történő végrehajtását, a munkafolyamatok előrehaladásának monitorozását és az egyes tevékenységek állapotának láthatóságát. Széles körben használják az adatelemzésben és az adatelemzésben az adatfolyamok vezénylésére, és rugalmasságáról, bővíthetőségéről és könnyű használhatóságáról ismert.
Mikor érdemes a Workflow Orchestration Managert használni?
Az Azure Data Factory folyamatokat kínál az adatfeldolgozás vizuális vezényléséhez (felhasználói felületalapú szerzői műveletek). A Workflow Orchestration Manager airflow-alapú python DAG-ket (python kódközpontú szerzői lehetőségeket) kínál az adatvezénylési folyamat meghatározásához. Ha rendelkezik az Airflow háttérrel, vagy jelenleg Apache Airflow-t használ, a munkafolyamatok helyett inkább a Workflow Orchestration Managert érdemes használnia. Éppen ellenkezőleg, ha nem szeretne python-alapú DAG-kat írni/ kezelni az adatfeldolgozás vezényléséhez, akkor érdemes lehet folyamatokat használnia.
A Workflow Orchestration Managerrel az Azure Data Factory mostantól több vezénylési képességeket kínál a vizuális, kódközpontú, OSS vezénylési követelményekre.
Funkciók
A Workflow Orchestration Manager az Azure Data Factoryben számos hatékony funkciót kínál, többek között a következőket:
- Gyors és egyszerű üzembe helyezés – Gyorsan és egyszerűen állíthatja be az Apache Airflow-t egy Apache Airflow-verzió kiválasztásával, amikor munkafolyamat-vezénylés-kezelőt hoz létre.
- Felhőbeli skálázás – A Workflow Orchestration Manager automatikusan skálázza az Apache Airflow-csomópontokat, ha szükséges, a tartomány specifikációja alapján (min, max).
- Microsoft Entra-integráció – A Microsoft Entra RBAC-t az Airflow-környezetben engedélyezheti egyetlen bejelentkezési élmény érdekében, amelyet a Microsoft Entra ID biztosít.
- Metaadatok titkosítása – A Workflow Orchestration Manager automatikusan titkosítja a metaadatokat az Azure által felügyelt kulcsokkal, hogy a környezet alapértelmezés szerint biztonságos legyen. Az ügyfél által felügyelt kulccsal (CMK) is támogatja a kettős titkosítást.
- Azure Monitorozás és riasztás – A Workflow Orchestration Manager által létrehozott összes naplót exportálja a rendszer az Azure Monitorba. Metrikákat is biztosít a kritikus feltételek nyomon követéséhez, és segít értesíteni, ha szükséges.
Architektúra
Régió rendelkezésre állása (nyilvános előzetes verzió)
- Usa keleti régiója
- Usa déli középső régiója
- Usa nyugati régiója
- Dél-Brazília
- Az Egyesült Királyság déli régiója
- Észak-Európa
- Nyugat-Európa
- Délkelet-Ázsia
Feljegyzés
A GA minden ADF-régiót támogat. Az Airflow környezeti régió alapértelmezés szerint a Data Factory-régióban van, és nem konfigurálható, ezért győződjön meg arról, hogy a fent támogatott régióban egy Data Factory használatával férhet hozzá a Workflow Orchestration Manager előzetes verziójához.
Támogatott Apache Airflow-verziók
- 2.6.3
Feljegyzés
Az Airflow verziójának módosítása egy meglévő integrációs modulon belül nem támogatott. Ehelyett az ajánlott megoldás egy új Airflow IR létrehozása a kívánt verzióval
Integrációk
Az Apache Airflow a Microsoft Azure-szolgáltatásokkal a microsoft.azure szolgáltatón keresztül integrálható.
Bármely szolgáltatói csomagot telepíthet az airflow környezet szerkesztésével az Azure Data Factory felhasználói felületéről. A csomag telepítése körülbelül néhány percet vesz igénybe.
Korlátozások
- A munkafolyamat-vezénylés-kezelő más régiókban a GA által érhető el.
- A légáramláson keresztül csatlakozó adatforrásokat nyilvános végponton (hálózaton) keresztül kell elérni.
- A virtuális hálózaton vagy tűzfal mögötti Blob Storage-ban található DAG-k jelenleg nem támogatottak. Ehelyett a Workflow Orchestration Manager Git szinkronizálási funkcióját javasoljuk. GitHub-adattár szinkronizálása a Workflow Orchestration Managerben
- A Dags importálása az Azure Key Vaultból nem támogatott a LinkedServicesben.