Como iniciar e parar o runtime de integração do Azure-SSIS em um agendamento

Artigo
01/05/2024

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo descreve como agendar o início e a interrupção de um runtime de integração (IR) do Azure-SQL Server Integration Services (SSIS) por meio do Azure Data Factory e do Azure Synapse Analytics. Um IR do Azure-SSIS é um recurso de computação dedicado à execução de pacotes SSIS.

Um custo está associado à execução de um IR do Azure-SSIS. Portanto, normalmente, você executa o IR somente quando precisar executar pacotes SSIS no Azure e para o IR quando não for mais necessário. Você pode usar o Data Factory, a página portal do Azure para pipelines do Azure Synapse Analytics ou do Azure PowerShell para iniciar ou parar manualmente o IR.

Como alternativa, você pode criar atividades da Web no Data Factory ou em pipelines do Azure Synapse Analytics para iniciar e parar o IR em um agendamento. Por exemplo, você pode iniciá-lo pela manhã antes de executar suas cargas de trabalho de ETL diárias e interrompê-la à tarde após a conclusão das cargas de trabalho.

Você também pode encadear uma atividade Executar pacote SSIS entre duas atividades da web que iniciam e interrompem seu IR. O IR iniciará e interromperá sob demanda, antes ou depois da execução do pacote. Para obter mais informações sobre a atividade Executar Pacote SSIS, consulte Executar um pacote SSIS com a atividade Executar Pacote SSIS no portal do Azure.

Observação

Recomendamos que você use o módulo Az PowerShell do Azure para interagir com o Azure. Confira Instalar o Azure PowerShell para começar. Para saber como migrar para o módulo Az PowerShell, confira Migrar o Azure PowerShell do AzureRM para o Az.

Pré-requisitos

Para implementar essa explicação passo a passo, será necessário:

Uma instância do Azure Data Factory. Se você ainda não tiver um provisionado, siga as etapas no Início Rápido: Como criar um data factory por meio do portal do Azure e do Azure Data Factory Studio.
Um IR do Azure-SSIS. Se você não tiver um provisionado, siga as instruções em Provisionar o runtime de integração do Azure-SSIS no Azure Data Factory.

Criar e agendar pipelines do ADF que iniciam e/ou param o IR do Azure-SSIS

Observação

Esta seção não tem suporte para o Azure-SSIS no Azure Synapse com a proteção contra exfiltração de dados habilitada.

Esta seção mostra como usar atividades da Web em pipelines do ADF para iniciar/parar o IR do Azure-SSIS de acordo com um agendamento ou iniciar/parar esse recurso sob demanda. Você criará três pipelines:

O primeiro pipeline contém uma atividade da Web que inicia o IR do Azure-SSIS.
O segundo pipeline contém uma atividade da Web que para o IR do Azure-SSIS.
O terceiro pipeline contém uma atividade Executar Pacote do SSIS encadeada entre duas atividades Web que iniciam/param o IR do Azure-SSIS.

Depois de criar e testar esses pipelines, você pode criar um gatilho que define um agendamento para executar um pipeline. Por exemplo, você pode criar dois agendamentos. O primeiro está agendado para ser executado diariamente às 6h e está associado ao primeiro pipeline. O segundo está agendado para ser executado diariamente às 18h e está associado ao segundo pipeline. Dessa forma, você tem um período das 6h às 18h diariamente em que o IR está em execução, pronto para executar suas cargas de trabalho ETL diárias.

Se você criar um terceiro gatilho agendado para ser executado diariamente à meia-noite e estiver associado ao terceiro pipeline, esse pipeline será executado à meia-noite todos os dias. Ele iniciará o IR pouco antes da execução do pacote e, em seguida, executará o pacote. Ele interromperá imediatamente o IR logo após a execução do pacote, para que o IR não seja executado inutilmente.

Crie seus pipelines

Na página inicial do Azure Data Factory, selecione Orquestrar.
Na caixa de ferramentas Atividades, expanda o menu Geral e arraste e solte uma atividade da Web na superfície do designer de pipeline. Na guia Geral da janela Propriedades da atividade, altere o nome da atividade para startMyIR. Alterne para a guia Configurações e execute as etapas a seguir.

Observação

Para o Azure-SSIS no Azure Synapse Analytics, use a API REST do Azure Synapse Analytics correspondente para obter o status do runtime de integração, iniciar o runtime de integração e interromper o runtime de integração.
1. Para URL, insira a URL a seguir para a API REST que inicia o IR do Azure-SSIS. Substitua {subscriptionId}, {resourceGroupName}, {factoryName} e {integrationRuntimeName} pelos valores reais da sua conta de armazenamento.
  
  https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/start?api-version=2018-06-01
  
  Como alternativa, você também pode copiar e colar a ID de recurso do seu IR da página de monitoramento no aplicativo/interface do usuário do AAD para substituir a seguinte parte do URL acima: /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}.
2. Para Método, selecione POSTAR.
3. Para Corpo, insira {"message":"Start my IR"}.
4. Para Autenticação, selecione Identidade Gerenciada para usar a identidade gerenciada pelo sistema especificada para o data factory. Para saber mais, consulte Identidade gerenciada para o Azure Data Factory.
5. Para Recurso, insira https://management.azure.com/.
Clone o primeiro pipeline para criar um segundo. Altere o nome da atividade para stopMyIR e substitua as seguintes propriedades:
1. Para URL, insira a URL a seguir para a API REST que inicia o IR do Azure-SSIS. Substitua {subscriptionId}, {resourceGroupName}, {factoryName} e {integrationRuntimeName} pelos valores reais da sua conta de armazenamento.
  
  https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/stop?api-version=2018-06-01.
2. Para Corpo, insira {"message":"Stop my IR"}.
Crie um terceiro pipeline. Arraste uma atividade Executar Pacote SSIS da caixa de ferramentas Atividades para a superfície do designer de pipeline. Em seguida, configure a atividade seguindo as instruções em Executar um pacote SSIS com a atividade Executar Pacote SSIS no portal do Azure.

Em seguida, encadeie a atividade Executar Pacote SSIS entre duas atividades da Web que iniciem/interrompem seu IR, semelhante às essas atividades da Web no primeiro/segundo pipeline.

Em vez de criar manualmente o terceiro pipeline, você também pode criá-lo automaticamente a partir de um modelo:
1. Selecione as reticências (...) ao lado de Pipeline para abrir um menu suspenso de ações de pipeline. Em seguida, selecione a ação Pipeline do modelo .
2. Marque a caixa de seleção SSIS em Categoria.
3. Selecione o modelo Agendar pipeline de ADF para iniciar e parar o IR do Azure-SSIS bem a tempo antes e depois de executar o modelo de pacote do SSIS.
4. No menu suspenso Runtime de Integração do Azure-SSIS, selecione seu IR.
5. Selecione o botão Usar este modelo .
Depois de criar o pipeline automaticamente, só resta o pacote SSIS para você atribuir à atividade Executar Pacote SSIS.
Para tornar o terceiro pipeline mais robusto, você pode garantir que as atividades da Web para iniciar/interromper seu IR sejam repetidas se houver erros transitórios devido à conectividade de rede ou outros problemas, e sejam concluídas somente quando o IR for realmente iniciado/interrompido. Você também pode garantir que essas atividades da Web sejam concluídas somente quando o IR for realmente iniciado ou interrompido.

Para fazer isso, você pode substituir cada atividade da Web por uma atividade Until. A atividade Until contém duas atividades da Web: uma para iniciar e parar o IR e outra para marcar o ir status. Vamos chamar as atividades Until de Iniciar SSIS IR e Interromper SSIS IR. As atividades Until Iniciar IR do SSIS contém as atividades da Web Tentar iniciar o IR do SSIS e Obter status do IR do SSIS. As atividades Until Interromper IR do SSIS contém as atividades da Web Tentar interromper o IR do SSIS e Obter status do IR do SSIS.

Na guia Configurações da atividade Until Iniciar IR do SSIS, para Expressão, digite @equals('Started', activity('Get SSIS IR Status').output.properties.state). Na guia Configurações da atividade Until Iniciar IR do SSIS, para Expressão, digite @equals('Stopped', activity('Get SSIS IR Status').output.properties.state).

Dentro de ambas as atividades Until, as atividades da Web Tentar iniciar o IR do SSIS e Tentar interromper o IR do SSIS são semelhantes às atividades da Web nos primeiro/segundo pipelines. Na guia Configurações das atividades da Web Obter status do IR do SSIS, execute as seguintes ações:
1. Para URL, insira a URL a seguir para a API REST que inicia o IR do Azure-SSIS. Substitua {subscriptionId}, {resourceGroupName}, {factoryName} e {integrationRuntimeName} pelos valores reais da sua conta de armazenamento.
  
  https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}?api-version=2018-06-01
2. Para Método, selecione GET.
3. Para Autenticação, selecione Identidade Gerenciada para usar a identidade gerenciada pelo sistema especificada para o data factory. Para saber mais, consulte Identidade gerenciada para o Azure Data Factory.
4. Para Recurso, insira https://management.azure.com/.
Atribua à identidade gerenciada para seu ADF uma função de Colaborador a si mesma para que as atividades da Web em seus pipelines possam chamar a API REST para iniciar/parar o IR do Azure-SSIS provisionados nele:
1. Na página do ADF no portal do Azure, selecione Controle de acesso (IAM).
2. Selecione Adicionar>Adicionar atribuição de função para abrir a página Adicionar atribuição de função.
3. Atribua a função a seguir. Para ver as etapas detalhadas, confira Atribuir funções do Azure usando o portal do Azure.
  
  Configuração Valor
  
  Função Colaborador
  
  Atribuir acesso a Usuário, grupo ou entidade de serviço
  
  Membros Seu nome de usuário do Data Factory
Valide o data factory e todas as configurações de pipeline selecionando Validar tudo ou Validar na barra de ferramentas de fábrica ou pipeline. Feche Saída de Validação do Factory ou Saída de Validação de Pipeline selecionando o botão de seta dupla ().>>

Configuração	Valor
Função	Colaborador
Atribuir acesso a	Usuário, grupo ou entidade de serviço
Membros	Seu nome de usuário do Data Factory

Realizar uma execução de teste de seus pipelines

Selecione Execução de Teste na barra de ferramentas do pipeline. No painel inferior, a guia Saída lista execuções de pipeline.
Para testar o terceiro pipeline, você poderá usar SQL Server Management Studio se armazenar seu pacote SSIS no catálogo do SSIS (SSISDB). Na janela Conectar ao Servidor, execute as seguintes ações:
1. Para Nome do servidor, insira o <nome do servidor>.database.windows.net.
2. Selecione Opções >>.
3. Para Conectar um banco de dados, selecione SSISDB.
4. Selecione Conectar.
5. Expanda Catálogo do Integration Services>SSISDB> Sua pasta >Projetos> Seu projeto SSIS >Pacotes.
6. Clique com o botão direito do mouse no pacote do SSIS especificado para executar e selecione Relatórios>Relatórios Padrão>Todas as Execuções.
7. Verifique se o pacote do SSIS executou.

Agendar seus pipelines

Agora que os pipelines funcionam conforme o esperado, você pode criar gatilhos para executá-los em cadências especificadas. Para obter detalhes sobre como associar gatilhos a pipelines, consulte Configurar agendamentos para pipelines.

Na barra de ferramentas do pipeline, selecione Gatilho e selecione Novo/Editar.
No painel Adicionar Gatilhos, selecione + Novo.
No painel Novo Gatilho, execute as seguintes ações:
1. Para Nome, insira um nome para o gatilho. No exemplo a seguir, gatiho2 é o nome do gatilho.
2. Para Tipo, selecione Agendamento.
3. Para Data de início (UTC), insira uma data e hora de início em UTC.
4. Para Recorrência, insira uma cadência do gatilho. No exemplo a seguir, é uma vez por dia.
5. Se você quiser que o gatilho tenha uma data de término, selecione Especificar uma data de término e, em seguida, selecione uma data e hora.
6. Selecione Iniciar gatilho na criação para ativar o gatilho imediatamente depois de publicar todas as configurações do Data Factory.
7. Selecione OK.
Na página Parâmetros da Execução de Gatilho, revise o aviso e selecione Concluir.
Publique todas as configurações do Data Factory selecionando Publicar tudo na barra de ferramentas de fábrica.

Monitorar seus pipelines e gatilhos no portal do Azure

Para monitorar execuções de gatilho e execuções de pipeline, use a guia Monitor no lado esquerdo da interface do usuário ou aplicativo do Data Factory. Para obter etapas detalhadas, consulte Monitorar visualmente o Azure Data Factory.
Para visualizar as atividades executadas associadas a uma execução do pipeline, selecione o primeiro link (Exibir as Execuções da atividade) na coluna Ações. Para o terceiro pipeline, você verá três execuções de atividade, uma para cada atividade encadeada no pipeline (atividade da Web para iniciar seu IR, atividade de Executar Pacote SSIS para executar seu pacote e atividade da Web para interromper seu IR). Para exibir as execuções do pipeline novamente, selecione o link Pipelines na parte superior.
Para exibir as execuções do gatilho, selecione Execuções de Gatilho na lista suspensa em Execuções de Pipeline na parte superior.

Monitorar seus pipelines e gatilhos com o PowerShell

Use scripts como os exemplos a seguir para monitorar seus pipelines e gatilhos:

Obtenha o status de uma execução de pipeline:

Get-AzDataFactoryV2PipelineRun -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -PipelineRunId $myPipelineRun

Obter informações sobre um gatilho:

Get-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name  "myTrigger"

Obtenha o status de uma execução do gatilho:

Get-AzDataFactoryV2TriggerRun -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -TriggerName "myTrigger" -TriggerRunStartedAfter "2018-07-15" -TriggerRunStartedBefore "2018-07-16"

Criar e agendar um runbook da Automação do Azure que inicie/pare o IR do Azure-SSIS

Nesta seção, você aprenderá a criar runbook da Automação do Azure que executa o script do PowerShell, iniciando/parando o IR do Azure-SSIS conforme um agendamento. Essas informações são úteis quando você deseja executar scripts adicionais antes ou depois de iniciar e parar o IR para pré-processamento e pós-processamento.

Criar sua conta da Automação do Azure

Se você não possuir uma conta da Automação do Azure, crie uma seguindo as instruções nesta etapa. Para obter as etapas detalhadas, consulte Criar uma conta de Automação do Azure.

Como parte desse processo, crie uma conta Executar como do Azure (uma entidade de serviço no Microsoft Entra ID) e atribua a ela a função de Colaborador na sua assinatura do Azure. Verifique se é a mesma assinatura que contém o data factory com o IR do Azure-SSIS. A Automação do Azure usará essa conta para autenticar-se no Azure Resource Manager e operar em seus recursos.

Abra o navegador da Web Microsoft Edge ou Google Chrome. Atualmente, a interface do usuário do Data Factory tem suporte apenas nesses navegadores da Web.
Entre no portal do Azure.
Selecione Novo no menu esquerdo, selecione Monitoramento + Gerenciamento e selecione Automação.
No painel Adicionar Conta de Automação, execute as seguintes ações:
1. Para Nome, insira um nome para sua conta de Automação do Azure.
2. Para Assinatura, selecione a assinatura que tenha o ADF com o Azure-SSIS IR.
3. Para Grupo de recursos, selecione Criar novo para criar um novo grupo de recursos ou Usar existente para selecionar um existente.
4. Para Local, selecione um local para sua conta de Automação do Azure.
5. Para Criar conta Executar Como do Azure, selecione Sim. Uma entidade de serviço será criada no Microsoft Entra e receberá uma função de Colaborador na sua assinatura do Azure.
6. Selecione Fixar no painel para exibir a conta permanentemente no painel do Azure.
7. Selecione Criar.
Você verá o status da implantação da sua conta de Automação do Azure em notificações e no painel do Azure.
Confirme se a página inicial da sua conta da Automação do Azure é exibida. Isso significa que você criou a conta com êxito.

Importar módulos do Data Factory

No menu à esquerda, na seção RECURSOS COMPARTILHADOS , selecione Módulos. Verifique se você tem Az.DataFactory e Az.Profile na lista de módulos. Os dois são necessários.

Screenshot that shows a list of modules in Azure Automation.

Se você não tiver o Az.DataFactory:

Acesse o módulo Az.DataFactory na Galeria do PowerShell.
Selecione Implantar na Automação do Azure, selecione sua conta da Automação do Azure e, em seguida, selecione OK.
Retorne à exibição de Módulos na seção RECURSOS COMPARTILHADOS no menu à esquerda. Aguarde até que o STATUS do módulo Az.DataFactory seja alterado para Disponível.

Se você não tiver o Az.Profile:

Vá para o módulo Az.Profile na Galeria do PowerShell.
Selecione Implantar na Automação do Azure, selecione sua conta da Automação do Azure e, em seguida, selecione OK.
Retorne à exibição de Módulos na seção RECURSOS COMPARTILHADOS no menu à esquerda. Aguarde até que o STATUS do módulo Az.Profile seja alterado para Disponível.

Criar seu runbook do PowerShell

A seção a seguir fornece as etapas para criar um runbook do PowerShell. O script associado ao runbook inicia/para um IR do Azure-SSIS baseado no comando que você especificou para o parâmetro OPERATION.

As etapas a seguir não fornecem os detalhes completos para criar um runbook. Para obter mais informações, consulte Criar uma regra.

Alterne a guia Runbooks e selecione + Adicionar um runbook da barra de tarefas.
Selecione Criar um novo runbook e realize as seguintes ações:
1. Para Nome, insira StartStopAzureSsisRuntime.
2. Para Tipo de runbook, selecione PowerShell.
3. Selecione Criar.

Copie e cole o seguinte script do PowerShell para sua janela de script de runbook. Salve e, em seguida, publique seu runbook por meio dos botões Salvar e Publicar na barra de ferramentas.

Observação

O exemplo usa uma identidade gerenciada atribuída pelo sistema. Se você estiver usando a conta Executar como (entidade de serviço) ou a Identidade gerenciada atribuída pelo usuário, consulte Scripts de exemplo da Automação do Azure para a parte de logon.

Habilite as permissões de controle de acesso baseado em função (RBAC) apropriadas para a identidade gerenciada dessa conta de Automação. Para obter mais informações sobre permissões, consulte Funções e permissões para o Azure Data Factory.

Param
(
      [Parameter (Mandatory= $true)]
      [String] $ResourceGroupName,

      [Parameter (Mandatory= $true)]
      [String] $DataFactoryName,

      [Parameter (Mandatory= $true)]
      [String] $AzureSSISName,

      [Parameter (Mandatory= $true)]
      [String] $Operation
)

$ErrorActionPreference = "Stop"

try
{
    "Logging in to Azure..."
    Connect-AzAccount -Identity
}
catch {
    Write-Error -Message $_.Exception
    throw $_.Exception
}

if($Operation -eq "START" -or $operation -eq "start")
{
    "##### Starting #####"
    Start-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name $AzureSSISName -Force
}
elseif($Operation -eq "STOP" -or $operation -eq "stop")
{
    "##### Stopping #####"
    Stop-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Force
}  
"##### Completed #####"

Screenshot of the interface for editing a PowerShell runbook.

Teste seu runbook selecionando o botão Iniciar na barra de ferramentas.
No painel Iniciar Runbook, execute as seguintes ações:
1. Para o NOME DO GRUPO DE RECURSOS, digite o nome do grupo de recursos com o data factory que possui o IR do Azure-SSIS.
2. Para DATAFACTORYNAME, insira o nome do data factory com o Azure-SSIS IR.
3. Para o AZURESSISNAME, insira o nome do IR do Azure-SSIS.
4. Para OPERAÇÃO, insira INICIAR.
5. Selecione OK.
No painel Trabalho, selecione o bloco Saída . No painel Saída, aguarde a mensagem ##### Concluído ##### depois de ver ##### Iniciando #####. Iniciar um IR do Azure-SSIS demora aproximadamente 20 minutos. Feche a janela Trabalho e retorne para a janela Runbook.
Repita as duas etapas anteriores usando STOP como o valor para a OPERATION. Inicie seu runbook outra vez selecionando o botão Iniciar na barra de ferramentas. Insira os nomes do grupo de recursos, do ADF e do IR do Azure-SSIS. Para OPERAÇÃO, insira PARAR. No painel Saída , aguarde a mensagem ##### Concluído ##### depois de ver ##### Parando #####. Parar o IR do Azure-SSIS não leva tanto tempo quanto iniciá-lo. Feche a janela Trabalho e retorne para a janela Runbook.
Você também pode disparar seu runbook por meio de um webhook. Para criar um webhook, selecione o item de menuWebhooks . Ou você pode criar o webhook em um agendamento selecionando o item de menu Agendas , conforme especificado na próxima seção.

Criar agendas para seu runbook para iniciar/parar o IR do Azure-SSIS

Na seção anterior, você criou uma runbook de Automação do Azure que pode iniciar ou parar um IR do Azure-SSIS. Nesta seção, você criará dois agendamentos para seu runbook. Ao configurar o primeiro agendamento, você especifica START para OPERATION. Da mesma forma, ao configurar o segundo, especifique STOP para OPERATION. Para obter etapas detalhadas criar agendas, veja o artigo Criar um agendamento.

Na janela Runbook, selecione Agendamentos, e selecione + Adicionar um agendamento na barra de ferramentas.
No painel Agendar Runbook, execute as seguintes ações:
1. Selecione Vincular um agendamento ao runbook.
2. Selecione Criar um novo agendamento.
3. No painel Nova Agenda, insira Iniciar IR diariamente para Nome.
4. Para Inícios, digite uma hora que seja alguns minutos após a hora atual.
5. Para Recorrência, selecione Recorrente.
6. Para Repetir a cada, insira 1 e selecione Dia.
7. Selecione Criar.
Alterne para a guia Parâmetros e configurações de execução. Especifique os nomes do IR do Azure-SSIS, do grupo de recursos e do ADF. Para OPERATION, insira START e selecione OK. Selecione OK novamente para visualizar o agendamento na página Agendamentos de seu runbook.
Repita as duas etapas anteriores para criar um agendamento chamado Parar IR diariamente. Insira uma hora que seja pelo menos 30 minutos após a hora especificada para o agendamento Iniciar IR diariamente. Para OPERATION, insira STOP e selecione OK. Selecione OK novamente para visualizar o agendamento na página Agendamentos de seu runbook.
Na página Runbook, selecione Trabalhos no menu esquerdo. A página que abre lista os trabalhos criados por seus agendamentos nos horários especificados, juntamente com seus status. Você pode ver os detalhes do trabalho, como sua saída, de modo semelhante ao que você viu depois de testar o runbook.
Depois de concluir o teste, desabilite as agendas editando-as. Selecione Agendamentos no menu esquerdo, selecione Iniciar IR diariamente/Parar IR diariamente e selecione Não para Habilitado.