Vad är Workflow Orchestration Manager?

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Kommentar

Workflow Orchestration Manager drivs av Apache Airflow.

Kommentar

Den här funktionen är en allmänt tillgänglig förhandsversion. För frågor eller funktionsförslag kan du skicka ett e-postmeddelande till ManagedAirflow@microsoft.com med informationen.

Kommentar

Workflow Orchestration Manager för Azure Data Factory förlitar sig på öppen källkod Apache Airflow-programmet. Dokumentation och fler självstudier för Airflow finns på Apache Airflow-dokumentationen eller community-sidorna.

Azure Data Factory erbjuder serverlösa pipelines för dataprocessorkestrering, dataflytt med över 100 hanterade anslutningsappar och visuella omvandlingar med dataflödet för mappning.

Tjänsten Workflow Orchestration Manager i Azure Data Factory är ett enkelt och effektivt sätt att skapa och hantera Apache Airflow-miljöer så att du enkelt kan köra datapipelines i stor skala. Apache Airflow är en plattform med öppen källkod som används för att programmatiskt skapa, schemalägga och övervaka komplexa dataarbetsflöden. Det gör att du kan definiera en uppsättning uppgifter, så kallade operatorer, som kan kombineras till riktade acykliska grafer (DAG:er) för att representera datapipelines. Med Airflow kan du köra dessa DAG:er enligt ett schema eller som svar på en händelse, övervaka förloppet för arbetsflöden och ge insyn i tillståndet för varje uppgift. Det används ofta inom datateknik och datavetenskap för att orkestrera datapipelines och är känt för sin flexibilitet, utökningsbarhet och användarvänlighet.

Skärmbild som visar dataintegrering.

När ska arbetsflödesorkestreringshanteraren användas?

Azure Data Factory erbjuder pipelines för att visuellt orkestrera dataprocesser (användargränssnittsbaserad redigering). Medan Workflow Orchestration Manager erbjuder Airflow-baserade PYTHON DAG:er (python code-centric authoring) för att definiera dataorkestreringsprocessen. Om du har Airflow-bakgrunden, eller för närvarande använder Apache Airflow, kanske du föredrar att använda Workflow Orchestration Manager i stället för pipelines. Tvärtom, om du inte vill skriva/hantera Python-baserade DAG:er för dataprocessorkestrering kanske du föredrar att använda pipelines.

Med Workflow Orchestration Manager erbjuder Azure Data Factory nu funktioner för flera orkestrering som sträcker sig över visuella, kodcentrerade, OSS-orkestreringskrav.

Funktioner

Workflow Orchestration Manager i Azure Data Factory erbjuder en rad kraftfulla funktioner, bland annat:

  • Snabb och enkel distribution – Du kan snabbt och enkelt konfigurera Apache Airflow genom att välja en Apache Airflow-version när du skapar en Arbetsflödesorkestreringshanterare.
  • Molnskala – Workflow Orchestration Manager skalar automatiskt Apache Airflow-noder vid behov baserat på intervallspecifikation (min, max).
  • Microsoft Entra-integrering – Du kan aktivera Microsoft Entra RBAC mot din Airflow-miljö för en enkel inloggningsupplevelse som skyddas av Microsoft Entra-ID.
  • Metadatakryptering – Orchestration Manager för arbetsflöde krypterar automatiskt metadata med hjälp av Azure-hanterade nycklar för att säkerställa att din miljö är säker som standard. Det stöder även dubbel kryptering med en kundhanterad nyckel (CMK).
  • Azure-övervakning och aviseringar – Alla loggar som genereras av Workflow Orchestration Manager exporteras till Azure Monitor. Den innehåller även mått för att spåra kritiska villkor och hjälpa dig att meddela om det behövs.

Arkitektur

Skärmbild som visar arkitekturen i Workflow Orchestration Manager.

Regiontillgänglighet (offentlig förhandsversion)

  • Usa, östra
  • Usa, södra centrala
  • Usa, västra
  • Brasilien, södra
  • Södra Storbritannien
  • Europa, norra
  • Europa, västra
  • Sydostasien

Kommentar

Enligt ga stöds alla ADF-regioner. Airflow-miljöregionen är som standard Data Factory-regionen och kan inte konfigureras, så se till att du använder en Data Factory i den region som stöds ovan för att få åtkomst till förhandsversionen av Workflow Orchestration Manager.

Apache Airflow-versioner som stöds

  • 2.6.3

Kommentar

Det går inte att ändra Airflow-versionen i en befintlig IR. I stället är den rekommenderade lösningen att skapa en ny Airflow IR med önskad version

Integreringar

Apache Airflow integreras med Microsoft Azure-tjänster via microsoft.azure-providern.

Du kan installera valfritt providerpaket genom att redigera luftflödesmiljön från Azure Data Factory-användargränssnittet. Det tar cirka ett par minuter att installera paketet.

Skärmbild som visar airflow-integrering.

Begränsningar

  • Arbetsflödesorkestreringshanteraren i andra regioner är tillgänglig av GA.
  • Datakällor som ansluter via luftflöde bör vara tillgängliga via offentlig slutpunkt (nätverk).
  • DAG:er som finns i en Blob Storage i VNet/behind Firewall stöds för närvarande inte. I stället rekommenderar vi att du använder Git-synkroniseringsfunktionen i Workflow Orchestration Manager. Se Synkronisera en GitHub-lagringsplats i Workflow Orchestration Manager
  • Import av Dags från Azure Key Vault stöds inte i LinkedServices.

Relaterat innehåll