Monitorar um runtime de integração no Azure Data Factory
APLICA-SE A:
Azure Data Factory 
Azure Synapse Analytics
Dica
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!
O runtime de integração é a infraestrutura de computação usada pelo ADF (Azure Data Factory) para fornecer diversas funcionalidades de integração de dados entre diferentes ambientes de rede. São oferecidos três tipos de runtimes de integração pelo Data Factory:
- Azure Integration runtime
- runtime de integração auto-hospedada
- Runtime de integração do Azure-SSIS (SQL Server Integration Services)
Observação
Recomendamos que você use o módulo Az PowerShell do Azure para interagir com o Azure. Confira Instalar o Azure PowerShell para começar. Para saber como migrar para o módulo Az PowerShell, confira Migrar o Azure PowerShell do AzureRM para o Az.
Para obter o status de uma instância de runtime de integração (IR), execute o seguinte comando do PowerShell:
Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status
O cmdlet retorna diferentes informações para diferentes tipos de runtime de integração. Este artigo explica as propriedades e os status para cada tipo de runtime de integração.
Azure Integration runtime
O recurso de computação para um Azure Integration runtime é totalmente gerenciado com elasticidade no Azure. A seguinte tabela fornece descrições das propriedades retornadas pelo comando Get-AzDataFactoryV2IntegrationRuntime:
Propriedades
A tabela a seguir fornece descrições de propriedades retornadas pelo cmdlet para um Azure Integration runtime:
| Propriedade | Descrição |
|---|---|
| Nome | Nome do Azure Integration runtime. |
| Estado | Status do Azure Integration runtime. |
| Local | Local do Azure Integration runtime. Para obter detalhes sobre o local de Azure Integration runtime, consulte Introdução ao runtime de integração. |
| DataFactoryName | Nome do Data Factory ao qual o Azure Integration runtime pertence. |
| ResourceGroupName | Nome do grupo de recursos ao qual o data factory pertence. |
| Descrição | Descrição do runtime de integração. |
Status
A tabela a seguir fornece os possíveis status do Azure Integration runtime:
| Status | Comentários/Cenários |
|---|---|
| Online | O Azure Integration runtime está online e pronto para ser usado. |
| Offline | O Azure Integration runtime está offline devido a um erro interno. |
runtime de integração auto-hospedada
Esta seção fornece descrições para propriedades retornadas pelo cmdlet Get-AzDataFactoryV2IntegrationRuntime.
Observação
As propriedades retornadas e o status contêm informações sobre o runtime de integração auto-hospedada geral e cada nó no runtime.
Propriedades
A tabela a seguir apresenta descrições das Propriedades de monitoramento para cada nó:
| Propriedade | Descrição |
|---|---|
| Nome | Nome do runtime de integração auto-hospedada e nós associados a ele. O nó é um computador local do Windows em que o runtime de integração auto-hospedada está instalado. |
| Status | O status do runtime de integração auto-hospedada geral e de cada nó. Exemplo: Online/Offline/Limitado/etc. Para obter informações sobre esses status, veja a próxima seção. |
| Versão | A versão do runtime de integração auto-hospedada geral e de cada nó. A versão do runtime de integração auto-hospedada é determinada com base na versão da maioria dos nós no grupo. Se há nós com versões diferentes na configuração do runtime de integração auto-hospedada, somente os nós com o mesmo número de versão que o runtime de integração auto-hospedada funcionam corretamente. Os outros estão no modo limitado e precisam ser atualizados manualmente (somente caso a atualização automática falhe). |
| Memória disponível | Memória disponível em um nó de runtime de integração auto-hospedada. Esse valor é um instantâneo quase em tempo real. |
| Utilização da CPU | Utilização da CPU de um nó de runtime de integração auto-hospedada. Esse valor é um instantâneo quase em tempo real. |
| Rede (Entrada/Saída) | Utilização da rede de um nó de runtime de integração auto-hospedada. Esse valor é um instantâneo quase em tempo real. |
| Trabalhos Simultâneos (Executando/Limite) | Executando. Número de trabalhos ou tarefas em execução em cada nó. Esse valor é um instantâneo quase em tempo real. Limite. Limite significa a máxima de trabalhos simultâneos para cada nó. Esse valor é definido com base no tamanho do computador. Você pode aumentar o limite para escalar verticalmente a execução de trabalhos simultâneos em cenários avançados, em que as atividades estão atingindo o tempo limite mesmo quando há subutilização de memória, CPU ou rede. Essa funcionalidade também está disponível com runtime de integração auto-hospedada de nó único. |
| Função | Há dois tipos de funções em um tempo de execução de integração auto-hospedado de vários nós - dispatcher e worker. Todos os nós são de trabalho, o que significa que eles podem ser usados para executar trabalhos. Há apenas um nó dispatcher, que é usado para efetuar pull de tarefas/trabalhos dos serviços de nuvem e distribuí-los para nós de trabalho diferentes. O nó dispatcher também é um nó de trabalho. |
Algumas configurações das propriedades fazem mais sentido quando há dois ou mais nós no runtime de integração auto-hospedada (ou seja, no cenário de expansão).
Limite de trabalhos simultâneos
O valor padrão do limite de trabalhos simultâneos é definido com base no tamanho do computador. Os fatores usados para calcular esse valor dependem da quantidade de RAM e do número de núcleos de CPU do computador. Portanto, quanto mais núcleos e mais memória, maior será o limite padrão de trabalhos simultâneos.
Você escala horizontalmente aumentando o número de nós. Quando você aumenta o número de nós, o limite de trabalhos simultâneos é a soma dos valores de limite de trabalhos simultâneos de todos os nós disponíveis. Por exemplo, se um nó permitir que você execute um máximo de 12 trabalhos simultâneos, adicionar mais três nós semelhantes permitirá que você execute um máximo de 48 trabalhos simultâneos (ou seja, 4 × 12). É recomendável aumentar o limite de trabalhos simultâneos apenas quando você observar um baixo uso de recursos com os valores padrão em cada nó.
Você pode substituir o valor padrão calculado no portal do Azure. Selecione Autor > Conexões > Runtimes de Integração > Editar > Nós > Modificar valor de trabalhos simultâneos por nó. Você também pode usar o comando update-Azdatafactoryv2integrationruntimenode do PowerShell.
Status (por nó)
A tabela a seguir fornece os possíveis status de um nó de runtime de integração auto-hospedada:
| Status | Descrição |
|---|---|
| Online | O nó está conectado ao serviço Data Factory. |
| Offline | O nó está offline. |
| Atualizando | O nó está sendo atualizado automaticamente. |
| Limitado | Devido a um problema de conectividade. Isso pode ocorrer devido a um problema de HTTP da porta 8060, problema de conectividade do barramento de serviço ou problema de sincronização de credenciais. |
| Inativo | O nó está em uma configuração diferente da configuração de outros nós de maioria. |
Um nó pode ficar inativo quando ele não pode se conectar a outros nós.
Status (runtime de integração auto-hospedada geral)
A tabela a seguir fornece os possíveis status de um runtime de integração auto-hospedada. Esse status depende dos status de todos os nós que pertencem ao runtime.
| Status | Descrição |
|---|---|
| Precisa de registro | Nenhum nó está registrado a esse runtime de integração auto-hospedada. |
| Online | Todos os nós estão online. |
| Offline | Nenhum nó está online. |
| Limitado | Nem todos os nós no runtime de integração auto-hospedada estão em um estado íntegro. Esse status é um aviso de que alguns nós podem estar inativos. Esse status pode ser devido a um problema de sincronização de credenciais no nó dispatcher/de trabalho. |
Use o cmdlet Get-AzDataFactoryV2IntegrationRuntimeMetric para buscar o conteúdo JSON que contenha as propriedades detalhadas do runtime de integração auto-hospedada e os respectivos valores de instantâneo durante a execução do cmdlet.
Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json
Exemplo de saída (supõe que há dois nós associados a esse runtime de integração auto-hospedada):
{
"IntegrationRuntimeName": "<Name of your integration runtime>",
"ResourceGroupName": "<Resource Group Name>",
"DataFactoryName": "<Data Factory Name>",
"Nodes": [
{
"NodeName": "<Node Name>",
"AvailableMemoryInMB": <Value>,
"CpuUtilization": <Value>,
"ConcurrentJobsLimit": <Value>,
"ConcurrentJobsRunning": <Value>,
"MaxConcurrentJobs": <Value>,
"SentBytes": <Value>,
"ReceivedBytes": <Value>
},
{
"NodeName": "<Node Name>",
"AvailableMemoryInMB": <Value>,
"CpuUtilization": <Value>,
"ConcurrentJobsLimit": <Value>,
"ConcurrentJobsRunning": <Value>,
"MaxConcurrentJobs": <Value>,
"SentBytes": <Value>,
"ReceivedBytes": <Value>
}
]
}
runtime de integração do Azure-SSIS
O Azure-SSIS IR é um cluster totalmente gerenciado das máquinas virtuais (VMs ou nós) do Azure dedicado que executa os pacotes de SSIS. Você pode invocar execuções de pacote SSIS no Azure-SSIS IR usando vários métodos, por exemplo, por meio do SSDT (SQL Server Data Tools) habilitado para Azure, do utilitário de linha de comando AzureDTExec, do T-SQL no SSMS (SQL Server Management Studio)/SQL Server Agent e das atividades de Execução do Pacote SSIS em pipelines do ADF. O Azure-SSIS IR não executa nenhuma outra atividade do ADF. Depois de provisionado, você pode monitorar as propriedades e status gerais/específicas do nó por meio do Azure PowerShell, do portal do Azure e do Azure Monitor.
Monitorar o Azure-SSIS Integration Runtime com o Azure PowerShell
Use o cmdlet do Azure PowerShell a seguir para monitorar as propriedades e os status gerais/específicos do nó do Azure-SSIS IR.
Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status
Propriedades
A tabela a seguir fornece descrições de propriedades retornadas pelo cmdlet acima para um Azure-SSIS IR.
| Propriedade/Status | Descrição |
|---|---|
| CreateTime | A hora UTC em que o Azure-SSIS IR foi criado. |
| Nós | Os nós alocados/disponíveis do seu Azure-SSIS IR com os status específicos dos nós (iniciando/disponível/reciclando/indisponível) e os erros acionáveis. |
| OtherErrors | Os erros acionáveis não específicos dos nós no seu Azure-SSIS IR. |
| LastOperation | O resultado da última operação de iniciar/parar no seu Azure-SSIS IR com os erros acionáveis, se houver falha. |
| Estado | O status geral (inicial/iniciando/iniciado/parando/parado) do seu Azure-SSIS IR. |
| Local | A localização do seu Azure-SSIS IR. |
| NodeSize | O tamanho de cada nó no seu Azure-SSIS IR. |
| NodeCount | O número de nós no seu Azure-SSIS IR. |
| MaxParallelExecutionsPerNode | O número máximo de execuções paralelas por nó no seu Azure-SSIS IR. |
| CatalogServerEndpoint | O ponto de extremidade do seu servidor do Banco de Dados SQL do Azure ou a instância gerenciada existente para hospedar o catálogo SSIS (SSISDB). |
| CatalogAdminUserName | O nome de usuário administrador do seu servidor do Banco de Dados SQL do Azure ou instância gerenciada existente. O ADF usa essas informações para preparar e gerenciar o SSISDB por você. |
| CatalogAdminPassword | A senha do administrador do seu servidor do Banco de Dados SQL do Azure ou da instância gerenciada existente. |
| CatalogPricingTier | O tipo de preço do SSISDB hospedado pelo servidor do Banco de Dados SQL do Azure. Não se aplica à Instância Gerenciada de SQL do Azure hospedando o SSISDB. |
| VNetId | A ID do recurso de rede virtual usada para o ingresso do Azure-SSIS IR. |
| Sub-rede | O nome da sub-rede usada para ingresso do Azure-SSIS IR. |
| ID | A ID de recurso do seu Azure-SSIS IR. |
| Tipo | O tipo de IR (gerenciado/auto-hospedado) do seu Azure-SSIS IR. |
| ResourceGroupName | O nome do seu Grupo de Recursos do Azure, no qual o ADF e o Azure-SSIS IR foram criados. |
| DataFactoryName | O nome do ADF. |
| Nome | O nome do Azure-SSIS IR. |
| Descrição | A descrição do Azure-SSIS IR. |
Status (por nó do Azure-SSIS IR)
A seguinte tabela fornece os possíveis status de um nó do Azure-SSIS IR:
| Status específico do nó | Descrição |
|---|---|
| Iniciando | Este nó está sendo preparado. |
| Disponível | Este nó está pronto para implantar/executar pacotes do SSIS. |
| Reciclando | Este nó está sendo reparado/está reiniciando. |
| Indisponível | Este nó não está pronto para implantar/executar pacotes do SSIS e tem problemas/erros acionáveis que você pode resolver. |
Status (Azure-SSIS IR geral)
A tabela seguir fornece os possíveis status gerais de um Azure-SSIS IR. O status geral, por sua vez, depende dos status combinados de todos os nós que pertencem ao Azure-SSIS IR.
| Status geral | Descrição |
|---|---|
| Inicial | Os nós do seu Azure-SSIS IR não foram alocados/preparados. |
| Iniciando | Os nós de seu Azure-SSIS IR estão sendo alocados/preparados e a cobrança foi iniciada. |
| Iniciado | Os nós de seu Azure-SSIS IR foram alocados/preparados e estão prontos para implantar/executar pacotes do SSIS. |
| Parando | Os nós de seu Azure-SSIS IR estão sendo liberados. |
| Parado | Os nós de seu Azure-SSIS IR foram liberados e a cobrança parou. |
Monitorar o Azure-SSIS Integration Runtime no portal do Azure
Para monitorar o seu Azure-SSIS IR no portal do Azure, acesse a página Runtimes de integração do hub Monitor na interface do usuário do ADF, na qual você pode ver todos os runtimes de integração.
Em seguida, selecione o nome do seu Azure-SSIS IR para abrir a página de monitoramento, na qual você pode ver as propriedades e status gerais/específicos do nó. Nesta página, dependendo de como você define as configurações gerais, de implantação e avançadas do seu Azure-SSIS IR, você vai encontrar vários blocos informacionais/funcionais.
Os blocos informativos TIPO e REGIÃO mostram o tipo e a região do Azure-SSIS IR, respectivamente.
O bloco informativo TAMANHO DO NÓ mostra o SKU (série SSIS edition_VM tier_VM), o número de núcleos de CPU e o tamanho da RAM por nó do Azure-SSIS IR.
O bloco informativo NÓS SOLICITADOS/EM EXECUÇÃO compara o número de nós em execução no momento com o número total de nós solicitados anteriormente para o Azure-SSIS IR.
O bloco informativo PAR/FUNÇÃO DUAL EM ESPERA mostra o nome do par dual em espera do Azure-SSIS IR que funciona em sincronia com o grupo de failover da Instância Gerenciada de SQL do Azure para BCDR (continuidade dos negócios e recuperação de desastres) e a função primária/secundária atual do Azure-SSIS IR. Quando ocorrer um failover do SSISDB, os Azure-SSIS IRs primários e secundários trocarão de funções (confira Como configurar o seu Azure-SSIS IR para BCDR).
Os blocos funcionais são descritos em mais detalhes abaixo.
Bloco STATUS
No bloco STATUS da página de monitoramento do Azure-SSIS IR, você pode ver o status geral, por exemplo, Em execução ou Parado. Selecionar o status Em execução abrirá uma janela com o botão Parar dinâmico para interromper o Azure-SSIS IR. A seleção do status Parado exibe uma janela com o botão Iniciar dinâmico para iniciar o Azure-SSIS IR. A janela pop-up também tem um botão Executar pacote SSIS para gerar automaticamente um pipeline do ADF com a atividade de Execução do Pacote do SSIS que é executada no seu Azure-SSIS IR (confira Como executar pacotes do SSIS como atividades de Execução de Pacote do SSIS em pipelines do ADF) e uma caixa de texto ID do recurso, na qual você pode copiar a ID do recurso do Azure-SSIS IR (/subscriptions/YourAzureSubscripton/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR). O sufixo da ID do recurso do Azure-SSIS IR que contém os nomes do ADF e do Azure-SSIS IR forma uma ID de cluster que pode ser usada para comprar componentes adicionais do SSIS premium/licenciados de ISVs (fornecedores de software independentes) e associá-los ao seu Azure-SSIS IR (confira Como instalar os componentes premium/licenciados no seu Azure-SSIS IR).
Bloco PONTO DE EXTREMIDADE DO SSISDB
Se você usar o modelo de implantação de projeto em que os pacotes são armazenados no SSISDB hospedado pelo seu servidor do Banco de Dados SQL do Azure ou pela instância gerenciada, você verá o bloco PONTO DE EXTREMIDADE DO SERVIDOR SSISDB na sua página de monitoramento do Azure-SSIS IR (confira Como definir as suas configurações de implantação do Azure-SSIS IR). Nesse bloco, você pode selecionar um link que designa o servidor do Banco de Dados SQL do Azure ou a instância gerenciada para exibir uma janela, na qual é possível copiar o ponto de extremidade do servidor de uma caixa de texto e usá-lo ao se conectar do SSMS para implantar, configurar, executar e gerenciar os seus pacotes. Na janela pop-up, você também pode selecionar o link Confira o seu Banco de Dados SQL do Azure ou as configurações de instância gerenciada para reconfigurar/redimensionar o SSISDB no portal do Azure.
Bloco PROXY/PREPARO
Se você baixar, instalar e configurar o SHIR (IR Auto-Hospedado) como um proxy para o Azure-SSIS IR acessar dados no local, você verá o bloco PROXY/PREPARO na sua página de monitoramento do Azure-SSIS IR (confira Como configurar o SHIR como um proxy para o Azure-SSIS IR). Nesse bloco, você pode selecionar um link que designa o seu SHIR para abrir a página de monitoramento. Você também pode selecionar outro link que designa o seu Armazenamento de Blobs do Azure de preparo para reconfigurar o serviço vinculado.
Bloco VALIDAR VNET/SUB-REDE
Se você ingressar o seu Azure-SSIS IR a uma VNet, verá o bloco VALIDAR VNET/SUB-REDE na página de monitoramento do Azure-SSIS IR (confira Como ingressar o seu Azure-SSIS IR a uma VNet). Nesse bloco, você pode selecionar um link que designa a sua VNet e a sub-rede para abrir uma janela, na qual você pode copiar sua ID de recurso de VNet (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet) e o nome da sub-rede das caixas de texto, bem como validar as configurações de VNet e de sub-rede para garantir que os tráfegos de rede de entrada/saída necessários e o gerenciamento do seu Azure-SSIS IR não estejam obstruídos.
Bloco DIAGNOSTICAR CONECTIVIDADE
No bloco DIAGNOSTICAR CONECTIVIDADE da página de monitoramento do Azure-SSIS IR, você pode selecionar o link Testar conectividade para abrir uma janela, na qual você pode verificar as conexões entre o Azure-SSIS IR e o pacote/configuração/armazenamentos de dados relevantes, bem como os serviços de gerenciamento, por meio do endereço IP/FQDN (endereço IP totalmente qualificado) e da porta designada (confira Testar conectividade do seu Azure-SSIS IR).
Bloco ENDEREÇOS IP PÚBLICOS ESTÁTICOS
Se você trazer os próprios endereços IP públicos estáticos para o Azure-SSIS IR, verá o bloco ENDEREÇOS IP PÚBLICOS ESTÁTICOS na página de monitoramento do Azure-SSIS IR (confira Trazer os próprios endereços IP públicos estáticos para o Azure-SSIS IR). Nesse bloco, você pode selecionar links que designam que os seus primeiros/segundos endereços IP públicos estáticos para o Azure-SSIS IR abram uma janela, na qual você pode copiar sua ID de recurso (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress) de uma caixa de texto. Na janela pop-up, você também pode selecionar o link Ver as configurações do primeiro/segundo endereço IP público estático para gerenciar o seu primeiro/segundo endereço IP público estático no portal do Azure.
Bloco REPOSITÓRIOS DE PACOTES
Se você usar o Modelo de Implantação de Pacote no qual os pacotes são armazenados no sistema de arquivos/Arquivos do Azure/banco de dados SQL Server (MSDB) hospedados pela sua Instância Gerenciada de SQL do Azure e gerenciados por meio de repositórios de pacotes do Azure-SSIS IR, você verá o bloco REPOSITÓRIOS DE PACOTES na sua página de monitoramento do Azure-SSIS IR (confira Como definir as suas configurações de implantação do Azure-SSIS IR). Nesse bloco, você pode selecionar um link que designa o número de repositórios de pacotes anexados ao Azure-SSIS IR para abrir uma janela, na qual é possível reconfigurar os serviços vinculados relevantes dos seus repositórios de pacotes do Azure-SSIS IR no sistema de arquivos/Arquivos do Azure/MSDB hospedado pela sua Instância Gerenciada de SQL do Azure.
Bloco ERROS
Se houver problemas com a inicialização/interrupção/manutenção/atualização do seu Azure-SSIS IR, você verá um bloco adicional ERROS na sua página de monitoramento do Azure-SSIS IR. Nesse bloco, você pode selecionar um link que designa o número de erros gerados pelo seu Azure-SSIS IR para abrir uma janela, na qual você pode ver esses erros em mais detalhes e copiá-los para encontrar as soluções recomendadas em nosso guia de solução de problemas (confira Solução de problemas do seu Azure-SSIS IR).
Monitorar o Azure-SSIS Integration Runtime com o Azure Monitor
Para monitorar o seu Azure-SSIS IR com o Azure Monitor, confira Como monitorar operações do SSIS com o Azure Monitor.
Mais informações sobre o runtime de integração do Azure-SSIS
Consulte os artigos a seguir para saber mais sobre o runtime de integração do Azure-SSIS:
- Azure-SSIS Integration Runtime. Este artigo fornece informações conceituais sobre runtimes de integração em geral, incluindo o IR do Azure-SSIS.
- Tutorial: implantar pacotes do SSIS para o Azure. Este artigo fornece instruções passo a passo sobre como criar o Azure-SSIS IR e usa um Banco de Dados SQL do Azure para hospedar o catálogo do SSIS (SSISDB).
- Como: Criar um runtime de integração do Azure-SSIS. Este artigo expande o tutorial e fornece instruções sobre como usar a Instância Gerenciada de SQL do Azure para hospedar o SSISDB.
- Gerencie um IR do Azure-SSIS. Este artigo mostra como iniciar, interromper ou excluir um Azure-SSIS IR. Ele também mostra como expandi-lo adicionando mais nós.
- Unir um IR do Azure-SSIS a uma rede virtual. Este artigo fornece instruções de como ingressar o Azure-SSIS IR em uma rede virtual.
Conteúdo relacionado
Consulte os artigos a seguir para monitorar os pipelines de maneiras diferentes: