Che cos'è Workflow Orchestration Manager?
SI APPLICA A:
Azure Data Factory 
Azure Synapse Analytics
Suggerimento
Provare Data Factory in Microsoft Fabric, una soluzione di analisi completa per le aziende. Microsoft Fabric copre tutti gli elementi, dallo spostamento dei dati all'analisi scientifica dei dati, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Scopri come avviare gratuitamente una nuova versione di valutazione .
Nota
Workflow Orchestration Manager è basato su Apache Airflow.
Nota
Questa funzionalità è disponibile in anteprima pubblica. Per domande o suggerimenti sulle funzionalità, inviare un messaggio di posta elettronica a ManagedAirflow@microsoft.com con i dettagli.
Nota
Workflow Orchestration Manager per Azure Data Factory si basa sull'applicazione Apache Airflow open source. La documentazione e altre esercitazioni per Airflow sono disponibili nelle pagine della documentazione o della community di Apache Airflow.
Azure Data Factory offre pipeline serverless per l'orchestrazione dei processi di dati, lo spostamento dei dati con 100 connettori gestiti e trasformazioni visive con il flusso di dati di mapping.
Il servizio Workflow Orchestration Manager di Azure Data Factory è un modo semplice ed efficiente per creare e gestire ambienti Apache Airflow , consentendo di eseguire pipeline di dati su larga scala con facilità. Apache Airflow è una piattaforma open source usata per creare, pianificare e monitorare flussi di lavoro di dati complessi a livello di codice. Consente di definire un set di attività, denominate operatori, che possono essere combinati in grafici aciclici diretti (DAG) per rappresentare le pipeline di dati. Airflow consente di eseguire questi dag in base a una pianificazione o in risposta a un evento, monitorare lo stato dei flussi di lavoro e fornire visibilità sullo stato di ogni attività. È ampiamente usato nella progettazione dei dati e nell'analisi scientifica dei dati per orchestrare le pipeline di dati ed è noto per la flessibilità, l'estendibilità e la facilità d'uso.
Quando usare Workflow Orchestration Manager?
Azure Data Factory offre pipeline per orchestrare visivamente i processi di dati (creazione basata sull'interfaccia utente). Mentre Workflow Orchestration Manager, offre DAG Python basati su Airflow (creazione basata sul codice Python) per definire il processo di orchestrazione dei dati. Se si ha lo sfondo Airflow o si usa Apache Airflow, è consigliabile usare Workflow Orchestration Manager anziché le pipeline. Al contrario, se non si vogliono scrivere/gestire gruppi di disponibilità basati su Python per l'orchestrazione dei processi di dati, è preferibile usare le pipeline.
Con Workflow Orchestration Manager, Azure Data Factory offre ora funzionalità di orchestrazione multipla che si estendono su requisiti di orchestrazione visuali, incentrati sul codice e oss.
Funzionalità
Workflow Orchestration Manager in Azure Data Factory offre una gamma di funzionalità avanzate, tra cui:
- Distribuzione rapida e semplice : è possibile configurare Apache Airflow in modo rapido e semplice selezionando una versione di Apache Airflow quando si crea un Workflow Orchestration Manager.
- Scalabilità cloud: Workflow Orchestration Manager ridimensiona automaticamente i nodi Apache Airflow quando necessario in base alla specifica dell'intervallo (min, max).
- Integrazione di Microsoft Entra: è possibile abilitare Il controllo degli accessi in base al ruolo di Microsoft Entra nell'ambiente Airflow per un'esperienza single sign-on protetta da Microsoft Entra ID.
- Crittografia dei metadati: Workflow Orchestration Manager crittografa automaticamente i metadati usando chiavi gestite da Azure per assicurarsi che l'ambiente sia sicuro per impostazione predefinita. Supporta anche la doppia crittografia con una chiave gestita dal cliente (CMK).
- Monitoraggio e avvisi di Azure: tutti i log generati da Workflow Orchestration Manager vengono esportati in Monitoraggio di Azure. Fornisce anche metriche per tenere traccia delle condizioni critiche e fornire una notifica in caso di necessità.
Architettura
Disponibilità dell'area (anteprima pubblica)
- Stati Uniti orientali
- Stati Uniti centro-meridionali
- Stati Uniti occidentali
- Brasile meridionale
- Regno Unito meridionale
- Europa settentrionale
- Europa occidentale
- Asia sud-orientale
Nota
Per disponibilità generale, tutte le aree di Azure Data Factory saranno supportate. Per impostazione predefinita, l'area dell'ambiente Airflow è l'area data factory e non è configurabile, quindi assicurarsi di usare una data factory nell'area supportata precedente per poter accedere all'anteprima di Workflow Orchestration Manager.
Versioni supportate di Apache Airflow
- 2.6.3
Nota
La modifica della versione airflow in un runtime di integrazione esistente non è supportata. La soluzione consigliata consiste invece nel creare un nuovo runtime di integrazione Airflow con la versione desiderata
Integrazioni
Apache Airflow si integra con i servizi di Microsoft Azure tramite il provider microsoft.azure.
È possibile installare qualsiasi pacchetto del provider modificando l'ambiente airflow dall'interfaccia utente di Azure Data Factory. L'installazione del pacchetto richiede circa un paio di minuti.
Limiti
- Workflow Orchestration Manager in altre aree è disponibile per disponibilità generale.
- Le origini dati che si connettono tramite flusso di aria devono essere accessibili tramite endpoint pubblico (rete).
- I gruppi di disponibilità all'interno di un Archiviazione BLOB nella rete virtuale/dietro il firewall non sono attualmente supportati. È invece consigliabile usare la funzionalità di sincronizzazione Git di Workflow Orchestration Manager. Vedere Sincronizzare un repository GitHub in Workflow Orchestration Manager
- L'importazione di dag da Azure Key Vault non è supportata in LinkedServices.