O que é o Workflow Orchestration Manager?
APLICA-SE A:
Azure Data Factory 
Azure Synapse Analytics
Gorjeta
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!
Nota
O Workflow Orchestration Manager é alimentado pelo Apache Airflow.
Nota
Esta funcionalidade está em pré-visualização pública. Para perguntas ou sugestões de recursos, envie um e-mail para ManagedAirflow@microsoft.com com os detalhes.
Nota
O Workflow Orchestration Manager para Azure Data Factory depende do aplicativo Apache Airflow de código aberto. Documentação e mais tutoriais sobre o fluxo de ar podem ser encontrados nas páginas de documentação ou comunidade do Apache Airflow.
O Azure Data Factory oferece pipelines sem servidor para orquestração de processos de dados, movimentação de dados com conectores gerenciados 100+ e transformações visuais com o fluxo de dados de mapeamento.
O serviço Workflow Orchestration Manager do Azure Data Factory é uma maneira simples e eficiente de criar e gerenciar ambientes Apache Airflow , permitindo que você execute pipelines de dados em escala com facilidade. O Apache Airflow é uma plataforma de código aberto usada para criar, programar e monitorar programaticamente fluxos de trabalho de dados complexos. Ele permite definir um conjunto de tarefas, chamadas operadores, que podem ser combinadas em gráficos acíclicos direcionados (DAGs) para representar pipelines de dados. O fluxo de ar permite que você execute esses DAGs em um cronograma ou em resposta a um evento, monitore o progresso dos fluxos de trabalho e forneça visibilidade sobre o estado de cada tarefa. É amplamente utilizado em engenharia de dados e ciência de dados para orquestrar pipelines de dados, e é conhecido por sua flexibilidade, extensibilidade e facilidade de uso.
Quando usar o Workflow Orchestration Manager?
O Azure Data Factory oferece Pipelines para orquestrar visualmente processos de dados (criação baseada em interface do usuário). Enquanto o Workflow Orchestration Manager, oferece DAGs python baseados em Airflow (criação centrada em código python) para definir o processo de orquestração de dados. Se você tiver o plano de fundo do Airflow ou estiver usando o Apache Airflow, talvez prefira usar o Workflow Orchestration Manager em vez dos pipelines. Pelo contrário, se você não gostaria de escrever/gerenciar DAGs baseados em Python para orquestração de processos de dados, talvez prefira usar pipelines.
Com o Workflow Orchestration Manager, o Azure Data Factory agora oferece recursos de orquestração múltipla que abrangem requisitos de orquestração OSS visuais, centrados em código.
Funcionalidades
O Workflow Orchestration Manager no Azure Data Factory oferece uma variedade de recursos poderosos, incluindo:
- Implementação rápida e simples - Você pode configurar rápida e facilmente o Apache Airflow selecionando uma versão do Apache Airflow ao criar um Workflow Orchestration Manager.
- Escala na nuvem - O Workflow Orchestration Manager dimensiona automaticamente os nós do Apache Airflow quando necessário com base na especificação do alcance (min, max).
- Integração com o Microsoft Entra - Você pode habilitar o Microsoft Entra RBAC em seu ambiente Airflow para uma experiência de logon único protegida pela ID do Microsoft Entra.
- Criptografia de metadados - O Workflow Orchestration Manager criptografa automaticamente os metadados usando chaves gerenciadas pelo Azure para garantir que seu ambiente esteja seguro por padrão. Ele também suporta criptografia dupla com uma chave gerenciada pelo cliente (CMK).
- Monitoramento e alertas do Azure - Todos os logs gerados pelo Workflow Orchestration Manager são exportados para o Azure Monitor. Ele também fornece métricas para rastrear condições críticas e ajudá-lo a notificar se necessário.
Arquitetura
Disponibilidade da região (visualização pública)
- Leste dos EUA
- Centro-Sul dos EUA
- Oeste dos EUA
- Sul do Brasil
- Sul do Reino Unido
- Europa do Norte
- Europa Ocidental
- Sudeste Asiático
Nota
Pela AG, todas as regiões do ADF serão apoiadas. A região do ambiente Airflow tem como padrão a região Data Factory e não é configurável, portanto, certifique-se de usar um Data Factory na região suportada acima para poder acessar a visualização do Workflow Orchestration Manager.
Versões suportadas do Apache Airflow
- 2.6.3
Nota
Não há suporte para alterar a versão do fluxo de ar dentro de um IR existente. Em vez disso, a solução recomendada é criar um novo Airflow IR com a versão desejada
Integrações
O Apache Airflow integra-se com os serviços do Microsoft Azure através do fornecedor microsoft.azure.
Você pode instalar qualquer pacote de provedor editando o ambiente de fluxo de ar da interface do usuário do Azure Data Factory. Leva cerca de alguns minutos para instalar o pacote.
Limitações
- O Workflow Orchestration Manager em outras regiões está disponível pela GA.
- As fontes de dados que se conectam através do fluxo de ar devem ser acessíveis através de um ponto final público (rede).
- Atualmente, não há suporte para DAGs que estão dentro de um Armazenamento de Blob em VNet/atrás do Firewall. Em vez disso, recomendamos o uso do recurso de sincronização Git do Workflow Orchestration Manager. Consulte Sincronizar um repositório GitHub no Workflow Orchestration Manager
- A importação de Dags do Azure Key Vault não é suportada no LinkedServices.