Planejar o gerenciamento de custos para o Azure Data Factory

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve como planear e gerir custos para o Azure Data Factory.

Primeiro, no início do projeto ETL, você usa uma combinação dos preços do Azure e do consumo por pipeline e calculadoras de preços para ajudar a planejar os custos do Azure Data Factory antes de adicionar quaisquer recursos para o serviço estimar custos. Em seguida, ao adicionar recursos do Azure, revise os custos estimados. Depois de começar a usar os recursos do Azure Data Factory, use os recursos de Gerenciamento de Custos para definir orçamentos e monitorar custos. Você também pode revisar os custos previstos e identificar tendências de gastos para identificar áreas em que você pode querer agir. Os custos do Azure Data Factory são apenas uma parte dos custos mensais na sua fatura do Azure. Observe que este artigo explica apenas como planejar e gerenciar custos para o data factory. Você é cobrado por todos os serviços e recursos do Azure usados em sua assinatura do Azure, incluindo os serviços de terceiros.

Pré-requisitos

A análise de custos no Gerenciamento de Custos dá suporte à maioria dos tipos de conta do Azure, mas não a todos. Para ver a lista completa dos tipos de contas suportados, veja Compreender os dados do Cost Management. Para exibir dados de custo, você precisa de pelo menos acesso de leitura para uma conta do Azure. Para obter informações sobre a atribuição de acesso aos dados do Azure Cost Management, veja Atribuir acesso aos dados.

Estimar custos antes de usar o Azure Data Factory

Use a calculadora de preços do ADF para obter uma estimativa do custo de execução de sua carga de trabalho ETL no Azure Data Factory. Para usar a calculadora, você precisa inserir detalhes como número de execuções de atividade, número de horas de unidade de integração de dados, tipo de computação usada para Fluxo de Dados, contagem de núcleo, contagem de instâncias, duração de execução e etc.

Uma das perguntas mais comuns para a calculadora de preços é quais valores devem ser usados como entradas. Durante a fase de prova de conceito, você pode conduzir execuções de teste usando conjuntos de dados de amostra para entender o consumo de vários medidores ADF. Em seguida, com base no consumo do conjunto de dados de exemplo, você pode projetar o consumo para o conjunto de dados completo e o cronograma operacional.

Nota

Os preços utilizados neste exemplo abaixo são hipotéticos e não se destinam a implicar preços reais.

Por exemplo, digamos que você precise mover 1 TB de dados diariamente do AWS S3 para o Azure Data Lake Gen2. Você pode executar POC de mover 100 GB de dados para medir a taxa de transferência de ingestão de dados e entender o consumo de faturamento correspondente.

Aqui está um exemplo de detalhes da execução da atividade de cópia (sua quilometragem real variará com base na forma do seu conjunto de dados específico, velocidades de rede, limites de saída na conta do S3, limites de entrada no ADLS Gen2 e outros fatores).

S3 copy run

Usando o monitoramento de consumo no nível de execução de pipeline, você pode ver as quantidades de consumo correspondentes do medidor de movimento de dados:

S3 copy pipeline consumption

Portanto, o número total de horas DIU necessárias para mover 1 TB por dia durante todo o mês é:

1,2667 (DIU-horas) * (1 TB / 100 GB) * 30 (dias em um mês) = 380 DIU-horas

Agora você pode conectar 30 execuções de atividade e 380 horas DIU na calculadora de preços do ADF para obter uma estimativa da sua fatura mensal:

S3 copy pricing calculator

Compreender o modelo de faturação completo do Azure Data Factory

O Azure Data Factory é executado na infraestrutura do Azure que acumula custos quando você implanta novos recursos. É importante entender que outros custos extras de infraestrutura podem se acumular.

Como você é cobrado pelo Azure Data Factory

O Azure Data Factory é um serviço de integração de dados elástico e sem servidor criado para escala na nuvem. Não há um cálculo de tamanho fixo que você precisa planejar para a carga de pico; em vez disso, você especifica quanto recurso alocar sob demanda por operação, o que permite projetar os processos de ETL de uma maneira muito mais escalável. Além disso, o ADF é cobrado em um plano baseado no consumo, o que significa que você paga apenas pelo que usar.

Ao criar ou usar recursos do Azure Data Factory, você pode ser cobrado pelos seguintes medidores:

  • Execução de atividade de orquestração - Você é cobrado por isso com base no número de execuções de atividade orquestradas.
  • Horas da Unidade de Integração de Dados (DIU) - Para atividades de cópia executadas no Tempo de Execução de Integração do Azure, você é cobrado com base no número de DIU usadas e na duração da execução.
  • vCore Hours - para execução e depuração de fluxo de dados, você é cobrado com base no tipo de computação, número de vCores e duração da execução.

No fim do ciclo de faturação, são somados os custos de cada medidor. Sua fatura ou fatura mostra uma seção para todos os custos do Azure Data Factory. Há um item de linha separado para cada medidor.

Outros custos que podem acumular-se com o Azure Data Factory

Quando você cria recursos para o Azure Data Factory (ADF), recursos para outros serviços do Azure também são criados. Estas incluem:

  • Execução da atividade de pipeline
  • Execução da atividade de pipeline externo
  • Criação/edição/recuperação/monitorização de artefactos de fábrica de dados
  • Duração do IR (Integration Runtime) do SSIS com base no tipo e duração da instância

Nota

Você pode atribuir a mesma tag ao seu ADF e a outros recursos do Azure, colocando-os na mesma categoria para exibir seu faturamento consolidado. A tag ADF será herdada por todos os IRs SSIS nela. Se você alterar sua tag ADF, precisará parar e reiniciar todos os IRs SSIS nela para que eles herdem a nova tag, consulte a seção Reconfigurar IR SSIS.

Usando o Pré-pagamento do Azure com o Azure Data Factory

Você pode pagar pelas cobranças do Azure Data Factory com seu crédito de pré-pagamento do Azure. No entanto, não pode utilizar o crédito do Pré-pagamento do Azure para pagar os custos de produtos e serviços de terceiros, incluindo os do Azure Marketplace.

Monitorizar os custos

Os custos do Azure Data Factory podem ser monitorados nos níveis de fábrica, pipeline, pipeline-run e activity-run.

Monitore os custos no nível da fábrica com a Análise de Custos

Ao usar os recursos do Azure com o Data Factory, você incorre em custos. Os custos unitários de uso de recursos do Azure variam por intervalos de tempo (segundos, minutos, horas e dias) ou por uso de unidade (bytes, megabytes e assim por diante). Assim que o uso do Data Factory começa, os custos são incorridos e você pode ver os custos na análise de custos.

Ao usar a análise de custos, você visualiza os custos do Data Factory em gráficos e tabelas para diferentes intervalos de tempo. Alguns exemplos são por dia, mês atual e anterior, e ano. Você também visualiza os custos em relação aos orçamentos e custos previstos. Mudar para visualizações mais longas ao longo do tempo pode ajudá-lo a identificar tendências de gastos. E você vê onde o excesso de gastos pode ter ocorrido. Se você criou orçamentos, também pode ver facilmente onde eles são excedidos.

Para visualizar os custos do Data Factory na análise de custos:

  1. Inicie sessão no portal do Azure.
  2. Abra o escopo no portal do Azure e selecione Análise de custos no menu. Por exemplo, aceda a Subscrições, selecione uma subscrição na lista e, em seguida, selecione Análise de custos no menu. Selecione Escopo para alternar para um escopo diferente na análise de custos.
  3. Por padrão, o custo dos serviços é mostrado no primeiro gráfico de rosquinhas. Selecione a área no gráfico rotulada Azure Data Factory v2.

Os custos mensais reais são mostrados quando você abre inicialmente a análise de custos. Aqui está um exemplo mostrando todos os custos mensais de uso.

Example showing accumulated costs for a subscription

  • Para restringir os custos de um único serviço, como o Data Factory, selecione Adicionar filtro e, em seguida, selecione Nome do serviço. Em seguida, selecione Azure Data Factory v2.

Aqui está um exemplo que mostra os custos apenas para o Data Factory.

Example showing accumulated costs for ServiceName

No exemplo anterior, você vê o custo atual do serviço. Os custos por regiões do Azure (locais) e os custos do Data Factory por grupo de recursos também são mostrados. A partir daqui, você pode explorar os custos por conta própria.

Monitore os custos no nível do pipeline com a Análise de Custos

Em certos casos, você pode querer uma discriminação granular do custo das operações dentro de nossa fábrica, por exemplo, para fins de chargeback. Integrando a plataforma de análise de custos de faturação do Azure, o Data Factory pode separar os encargos de faturação para cada pipeline. Ao optar pelo relatório de faturamento detalhado do Azure Data Factory para uma fábrica, você pode entender melhor quanto cada pipeline está custando a você, dentro da fábrica acima mencionada.

Você precisa optar por cada fábrica para a qual deseja faturamento detalhado. Para ativar o recurso de faturamento detalhado por pipeline,

  1. Ir para o portal do Azure Data Factory
  2. Na guia Gerenciar, selecione Configuração de fábrica na seção Geral
  3. Selecione Mostrando relatório de faturamento por pipeline
  4. Publicar a alteração

Screenshot of steps to enable per pipeline billing feature.

Nota

As configurações detalhadas de faturamento do pipeline não estão incluídas nos modelos ARM exportados da sua fábrica. Isso significa que a Integração e Entrega Contínua (CI/CD) não substituirá os comportamentos de faturamento para a fábrica. Isso permite que você defina diferentes comportamentos de faturamento para fábricas de desenvolvimento, teste e produção.

Quando o recurso estiver habilitado, cada pipeline terá uma entrada separada em nosso relatório de faturamento: ele mostra exatamente quanto custa cada pipeline, no intervalo de tempo selecionado. Ele permite que você identifique tendências de gastos e perceba gastos excessivos, se houver.

Screenshot of example showing granular cost for a pipeline.

Usando as ferramentas gráficas da Análise de Custos, você obtém gráficos e linhas de tendências semelhantes aos mostrados acima, mas para pipelines individuais. Você também obtém a visualização de resumo por nome de fábrica, pois o nome da fábrica é incluído no relatório de faturamento, permitindo a filtragem adequada quando necessário.

A mudança impacta apenas a forma como as contas são emitidas daqui para frente, e não altera cobranças passadas. Por favor, dê algum tempo antes que a alteração seja preenchida para o relatório de faturamento: normalmente, a alteração é refletida dentro de 1 dia.

Aviso

Ao optar pela configuração por faturamento, haverá uma entrada para cada pipeline em sua fábrica. Por favor, esteja particularmente ciente se você tiver uma quantidade excessiva de dutos na fábrica, pois isso pode aumentar significativamente e complicar seu relatório de faturamento.

Limitações

A seguir estão as limitações conhecidas dos recursos de faturamento por pipeline. Esses medidores de faturamento não serão arquivados sob o pipeline que o gira, mas sim sob um item de linha de fall-back para sua fábrica.

Monitorar o consumo no nível de execução de pipeline no Azure Data Factory

Dependendo dos tipos de atividades que você tem em seu pipeline, da quantidade de dados que você está movendo e transformando e da complexidade da transformação, a execução de um pipeline girará diferentes medidores de faturamento no Azure Data Factory.

Você pode exibir a quantidade de consumo de medidores diferentes para execuções de pipeline individuais na experiência do usuário do Azure Data Factory. Para abrir a experiência de monitoramento, selecione o bloco Monitor & Manage na folha data factory do portal do Azure. Se você já estiver na UX do ADF, selecione no ícone Monitor na barra lateral esquerda. A exibição de monitoramento padrão é a lista de execuções de pipeline.

Clicar no botão Consumo ao lado do nome do pipeline exibirá uma janela pop-up mostrando o consumo da execução do pipeline agregado em todas as atividades dentro do pipeline.

Pipeline run consumption

Pipeline consumption details

A exibição de consumo de execução de pipeline mostra a quantidade consumida para cada medidor de ADF para a execução de pipeline específica, mas não mostra o preço real cobrado, porque o valor cobrado depende do tipo de conta do Azure que você tem e do tipo de moeda usada. Para ver a lista completa dos tipos de contas suportados, veja Compreender os dados do Cost Management.

Monitorar o consumo no nível de execução de atividade no Azure Data Factory

Depois de entender o consumo agregado no nível de execução do pipeline, há cenários em que você precisa detalhar ainda mais e identificar qual é a atividade mais cara dentro do pipeline.

Para ver o consumo no nível de execução de atividade, vá para a interface do usuário Author & Monitor da fábrica de dados. Na guia Monitor, onde você vê uma lista de execuções de pipeline, selecione o link de nome de pipeline para acessar a lista de execuções de atividade na execução de pipeline. Selecione no botão Saída ao lado do nome da atividade e procure a propriedade billableDuration na saída JSON:

Aqui está um exemplo de uma execução de atividade de cópia:

Copy output

E aqui está um exemplo de uma execução de atividade de Fluxo de Dados de Mapeamento:

Dataflow output

Criar orçamentos

Pode criar orçamentos para gerir custos e criar alertas que notifiquem automaticamente as partes interessadas das anomalias nos gastos e do risco em fazer gastos excessivos. Os alertas são baseados nos gastos em comparação com os orçamentos e os limites de custos. Os orçamentos e alertas são criados para subscrições do Azure e grupos de recursos, pelo que são úteis como parte de uma estratégia geral de monitorização de custos.

Os orçamentos podem ser criados com filtros para recursos ou serviços específicos no Azure se você quiser mais granularidade presente em seu monitoramento. Os filtros ajudam a garantir que você não crie acidentalmente novos recursos que custam dinheiro extra. Para obter mais informações sobre as opções de filtro disponíveis quando você cria um orçamento, consulte Opções de grupo e filtro.

Exportar dados de custo

Também pode exportar os dados de custos para uma conta de armazenamento. Isso é útil quando você precisa ou outras pessoas para fazer outra análise de dados para custos. Por exemplo, as equipes financeiras podem analisar os dados usando o Excel ou o Power BI. Você pode exportar seus custos em uma programação diária, semanal ou mensal e definir um intervalo de datas personalizado. A exportação de dados de custo é a maneira recomendada de recuperar conjuntos de dados de custo.

Conteúdos relacionados