Hur fungerar Azure Workflow Orchestration Manager?

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Kommentar

Workflow Orchestration Manager drivs av Apache Airflow.

Kommentar

Workflow Orchestration Manager för Azure Data Factory förlitar sig på öppen källkod Apache Airflow-programmet. Dokumentation och fler självstudier för Airflow finns på Apache Airflow-dokumentationen eller community-sidorna.

Workflow Orchestration Manager i Azure Data Factory använder Python-baserade Acyclic Graphs (DAG:er) för att köra dina orkestreringsarbetsflöden. Om du vill använda den här funktionen måste du ange dina DAG:er och plugin-program i Azure Blob Storage eller via GitHub-lagringsplatsen. Du kan starta Airflow-användargränssnittet från ADF med hjälp av ett kommandoradsgränssnitt (CLI) eller ett programutvecklingspaket (SDK) för att hantera dina DAG:er.

Skapa en Arbetsflödesorkestreringshanterare-miljö

Se: Skapa en Arbetsflödesorkestreringshanterare-miljö

Importera DAG:er

Workflow Orchestration Manager innehåller två olika metoder för att läsa in DAG:er från python-källfiler till Airflows miljö. Dessa metoder är:

  • Aktivera Git Sync: Med den här tjänsten kan du synkronisera din GitHub-lagringsplats med Workflow Orchestration Manager, så att du kan importera DAG:er direkt från din GitHub-lagringsplats. Se: Synkronisera en GitHub-lagringsplats i Workflow Orchestration Manager

  • Azure Blob Storage: Du kan ladda upp dina DAG:er, plugin-program osv. till en angiven mapp i ett bloblagringskonto som är länkat till Azure Data Factory. Sedan importerar du filsökvägen för mappen i Workflow Orchestration Manager. Se: Importera DAG:er med Azure Blob Storage

Ta bort DAG:er från airflow-miljön

Se: Ta bort DAG:er i Arbetsflödesorkestreringshanteraren

Övervaka DAG-körningar

Om du vill övervaka Airflow DAG:er loggar du in i Airflow-användargränssnittet med det tidigare skapade användarnamnet och lösenordet.

  1. Välj i den Airflow-miljö som skapats.

    Skärmbild som visar airflow-miljön som skapats.

  2. Logga in med det användarnamn och lösenord som angavs när Airflow Integration Runtime skapades. (Du kan återställa användarnamnet eller lösenordet genom att redigera Airflow Integration-körningen om det behövs)

    Skärmbild som visar inloggning med användarnamnet och lösenordet som angavs när Airflow Integration Runtime skapades.

Felsöka problem med import-DAG

  • Problem: DAG-importen tar över 5 minuter: Minska storleken på de importerade DAG:erna med en enda import. Ett sätt att uppnå detta är genom att skapa flera DAG-mappar med mindre DAG:er i flera containrar.

  • Problem: Importerade DAG:er visas inte när du loggar in i Airflow-användargränssnittet. Åtgärd: Logga in i airflow-användargränssnittet och se om det finns några DAG-parsningsfel. Detta kan inträffa om DAG-filerna innehåller någon inkompatibel kod. Du hittar de exakta radnumren och filerna, som har problemet via Airflow-användargränssnittet.

    Skärmbild som visar problem med import dag.

Relaterat innehåll