Provisionar o tempo de execução de integração Azure-SSIS no Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este tutorial fornece etapas para usar o portal do Azure para provisionar um tempo de execução (IR) de integração do Azure-SQL Server Integration Services (SSIS) no Azure Data Factory (ADF). Um Azure-SSIS IR suporta:

• Pacotes em execução implementados no catálogo do SSIS (SSISDB) alojado pelo servidor/Instância Gerida da Base de Dados SQL do Azure (Modelo de Implementação de Projetos)
• Pacotes em execução implementados no sistema de ficheiros, Ficheiros do Azure ou base de dados do SQL Server (MSDB) alojados pelo Azure SQL Managed Instance (Modelo de Implementação de Pacotes)

Após o aprovisionamento de um Azure-SSIS IR, pode utilizar ferramentas familiares para implementar e executar os pacotes no Azure. Essas ferramentas já estão habilitadas para o Azure e incluem o SSDT (SQL Server Data Tools), o SQL Server Management Studio (SSMS) e utilitários de linha de comando como dtutil e AzureDTExec.

Para obter informações concetuais sobre IRs Azure-SSIS, veja Descrição geral do runtime de integração Azure-SSIS.

Neste tutorial, vai concluir os seguintes passos:

• Criar uma fábrica de dados.
• Aprovisionar um runtime de integração Azure-SSIS.

Pré-requisitos

Nota

Recomendamos que utilize o módulo do Azure Az PowerShell para interagir com o Azure. Veja Instalar o Azure PowerShell para começar. Para saber como migrar para o módulo do Az PowerShell, veja Migrar o Azure PowerShell do AzureRM para o Az.

• Subscrição do Azure. Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

• Servidor do Banco de Dados SQL do Azure (opcional). Se ainda não tiver um servidor de base de dados, crie um no portal do Azure antes de começar. O Data Factory, por sua vez, criará uma instância do SSISDB nesse servidor de banco de dados.

  Recomendamos que crie o servidor de base de dados na mesma região do Azure que o integration runtime. Essa configuração permite que o tempo de execução da integração grave logs de execução no SSISDB sem cruzar regiões do Azure.

  Tenha em consideração estes pontos:

  • Com base no servidor de banco de dados selecionado, a instância do SSISDB pode ser criada em seu nome como um único banco de dados, como parte de um pool elástico ou em uma instância gerenciada. Pode ser acessível numa rede pública ou através da adesão a uma rede virtual. Para obter orientação sobre como escolher o tipo de servidor de banco de dados para hospedar o SSISDB, consulte Comparar o Banco de Dados SQL e a Instância Gerenciada SQL.

    Se você usar um servidor do Banco de Dados SQL do Azure com regras de firewall IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB, ou se precisar de acesso a dados locais sem configurar um IR auto-hospedado, precisará unir seu IR do Azure-SSIS a uma rede virtual. Para obter mais informações, consulte Criar um IR do Azure-SSIS em uma rede virtual.

  • Confirme que a definição Permitir acesso aos serviços do Azure está ativada para o servidor da base de dados. Essa configuração não é aplicável quando você usa um servidor do Banco de Dados SQL do Azure com regras de firewall IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB. Para obter mais informações, consulte Proteger o Banco de Dados SQL do Azure. Para habilitar essa configuração usando o PowerShell, consulte New-AzSqlServerFirewallRule.

  • Adicione o endereço IP da máquina cliente, ou um intervalo de endereços IP que inclua o endereço IP da máquina cliente, à lista de endereços IP do cliente nas configurações de firewall do servidor de banco de dados. Para obter mais informações, veja Regras de firewall ao nível do servidor da Base de Dados SQL do Azure e ao nível da base de dados.

  • Você pode se conectar ao servidor de banco de dados usando a autenticação SQL com suas credenciais de administrador do servidor ou usando a autenticação do Microsoft Entra com a identidade gerenciada especificada pelo sistema/usuário para sua fábrica de dados. Para este último, você precisa adicionar a identidade gerenciada especificada pelo sistema/atribuído pelo usuário para sua fábrica de dados em um grupo do Microsoft Entra com permissões de acesso ao servidor de banco de dados. Para obter mais informações, consulte Criar um IR do Azure-SSIS com a autenticação do Microsoft Entra.

  • Confirme se o servidor de banco de dados ainda não tem uma instância do SSISDB. O provisionamento de um IR do Azure-SSIS não oferece suporte ao uso de uma instância SSISDB existente.

Nota

Para obter uma lista de regiões do Azure nas quais o Data Factory e um IR do Azure-SSIS estão atualmente disponíveis, consulte Data Factory e disponibilidade de IR do SSIS por região.

Criar uma fábrica de dados

Para criar sua fábrica de dados por meio do portal do Azure, siga as instruções passo a passo em Criar uma fábrica de dados por meio da interface do usuário. Selecione Fixar no painel ao fazer isso, para permitir acesso rápido após sua criação.

Depois que o data factory for criado, abra sua página de visão geral no portal do Azure. Selecione o bloco Abrir o Azure Data Factory Studio para abrir a página Vamos começar em uma guia separada. Lá, você pode continuar a criar seu IR do Azure-SSIS.

Criar um integration runtime do Azure-SSIS

Visão geral do Data Factory

1. Na página inicial, selecione o bloco Configurar SSIS .

   

2. Para os restantes passos para configurar um IR Azure-SSIS, veja a secção Aprovisionar um runtime de integração Azure-SSIS.

Da interface do usuário de criação

1. Na IU do Azure Data Factory, mude para o separador Gerir e, em seguida, mude para o separador Tempos de execução de integração para ver os tempos de execução de integração existentes no seu data factory.

   

2. Selecione Novo para criar um IR do Azure-SSIS e abra o painel de configuração do tempo de execução da integração.

   

3. No painel de configuração do tempo de execução da integração, selecione os pacotes SSIS existentes para executar no bloco do Azure e selecione Continuar.

   

4. Para os restantes passos para configurar um IR Azure-SSIS, veja a secção Aprovisionar um runtime de integração Azure-SSIS.

Aprovisionar um runtime de integração Azure-SSIS

O painel de configuração do tempo de execução da integração tem três páginas nas quais você define sucessivamente as configurações gerais, de implantação e avançadas.

Página de configurações gerais

Na página Configurações gerais do painel de configuração do tempo de execução da integração, conclua as etapas a seguir.

1. Em Nome, introduza o nome do seu runtime de integração.

2. Em Descrição, introduza a descrição do seu runtime de integração.

3. Em Localização, selecione a localização do seu runtime de integração. Apenas são apresentadas as localizações suportadas. Recomendamos que selecione a mesma localização do seu servidor de base de dados para alojar a SSISDB.

4. Em Tamanho do Nó, selecione o tamanho de nó do cluster do runtime de integração. Apenas são apresentados os tamanhos de nó suportados. Selecione um tamanho de nó grande (escalonamento) se quiser executar muitos pacotes com uso intensivo de computação ou memória.

5. Em Numero de Nós, selecione o número de nós do cluster do runtime de integração. Apenas são apresentados os números de nó suportados. Selecione um cluster grande com muitos nós (dimensionamento) se quiser executar muitos pacotes em paralelo.

6. Para Edition/License, selecione a edição do SQL Server para seu tempo de execução de integração: Standard ou Enterprise. Selecione Enterprise se quiser usar recursos avançados em seu tempo de execução de integração.

7. Para Economizar dinheiro, selecione a opção Benefício Híbrido do Azure para seu tempo de execução de integração: Sim ou Não. Selecione Sim se quiser trazer sua própria licença do SQL Server com o Software Assurance para se beneficiar da economia de custos com o uso híbrido.

8. Selecione Continuar.

Página de configurações de implantação

Na página Configurações de implantação do painel de configuração do tempo de execução da integração, você tem as opções para criar repositórios de pacotes SSISDB e/ou Azure-SSIS IR.

Criando SSISDB

Na página Configurações de implantação do painel de configuração do tempo de execução da integração, marque a caixa de seleção Criar catálogo SSIS (SSISDB) hospedado pelo servidor/instância gerenciada do Banco de dados SQL do Azure para armazenar seus projetos/pacotes/ambientes/logs de execução nos cenários abaixo:

• Modelo de Implantação de Projetos. Você implanta seus pacotes no SSISDB.

• Independentemente do modelo de implantação, usando o SQL Server Agent hospedado pela Instância Gerenciada SQL do Azure para orquestrar/agendar suas execuções de pacote.

  Para obter mais informações, consulte Agendar execuções de pacotes SSIS por meio do Agente de Instância Gerenciada SQL do Azure.

No cenário abaixo, não há necessidade de criar SSISDB nem marcar a caixa de seleção:

• Modelo de Implantação de Pacote e não usar o SQL Server Agent hospedado pela Instância Gerenciada SQL do Azure para orquestrar/agendar a execução do pacote.

  Você implanta seus pacotes no sistema de arquivos, Arquivos do Azure ou banco de dados do SQL Server (MSDB) hospedado pela Instância Gerenciada SQL do Azure (Modelo de Implantação de Pacote) e usa o pipeline do Data Factory para orquestrar/agendar suas execuções de pacote.

Se você marcar a caixa de seleção, conclua as etapas a seguir para trazer seu próprio servidor de banco de dados para hospedar o SSISDB que criaremos e gerenciaremos em seu nome.

1. Em Subscrição, selecione a subscrição do Azure que tem o servidor da base de dados para alojar a SSISDB.

2. Em Localização, selecione a mesma localização do seu servidor de base de dados para alojar a SSISDB. Recomendamos que selecione a mesma localização do seu runtime de integração.

3. Em Ponto Final do Servidor de Base de Dados do Catálogo, selecione o ponto final do seu servidor de base de dados para alojar a SSISDB.

   Com base no servidor de banco de dados selecionado, a instância do SSISDB pode ser criada em seu nome como um único banco de dados, como parte de um pool elástico ou em uma instância gerenciada. Pode ser acessível numa rede pública ou através da adesão a uma rede virtual. Para obter orientação sobre como escolher o tipo de servidor de banco de dados para hospedar o SSISDB, consulte Comparar o Banco de Dados SQL e a Instância Gerenciada SQL.

   Se você selecionar um servidor do Banco de Dados SQL do Azure com regras de firewall IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB, ou se precisar de acesso a dados locais sem configurar um IR auto-hospedado, precisará unir seu IR do Azure-SSIS a uma rede virtual. Para obter mais informações, consulte Criar um IR do Azure-SSIS em uma rede virtual.

4. Marque a caixa de seleção Usar autenticação do Microsoft Entra com a identidade gerenciada do sistema para o Data Factory ou Usar autenticação do Microsoft Entra com uma identidade gerenciada atribuída pelo usuário para o Data Factory para escolher o método de autenticação do Microsoft Entra para IR do Azure-SSIS para acessar o servidor de banco de dados que hospeda o SSISDB. Não marque nenhuma das caixas de seleção para escolher o método de autenticação SQL.

   Se você marcar qualquer uma das caixas de seleção, precisará adicionar a identidade gerenciada especificada pelo sistema/atribuído pelo usuário para sua fábrica de dados em um grupo do Microsoft Entra com permissões de acesso ao servidor de banco de dados. Se você marcar a caixa de seleção Usar autenticação do Microsoft Entra com uma identidade gerenciada atribuída pelo usuário para o Data Factory , poderá selecionar quaisquer credenciais existentes criadas usando suas identidades gerenciadas atribuídas pelo usuário especificadas ou criar novas. Para obter mais informações, consulte Criar um IR do Azure-SSIS com a autenticação do Microsoft Entra.

5. Em Nome de usuário do administrador, insira o nome de usuário da autenticação SQL para o servidor de banco de dados que hospeda o SSISDB.

6. Em Senha de administrador, insira a senha de autenticação SQL para o servidor de banco de dados que hospeda o SSISDB.

7. Marque a caixa de seleção Usar par de tempo de execução de integração Azure-SSIS de espera dupla com failover de SSISDB para configurar um par de IR SSIS do Azure em espera dupla que funcione em sincronia com o grupo de failover do Banco de Dados SQL/Instância Gerenciada do Azure para continuidade de negócios e recuperação de desastres (BCDR).

   Se você marcar a caixa de seleção, digite um nome para identificar seu par de IRs primários e secundários do Azure-SSIS na caixa de texto Nome do par de espera duplo. Você precisa inserir o mesmo nome de par ao criar seus IRs primários e secundários do Azure-SSIS.

   Para obter mais informações, consulte Configurar seu IR do Azure-SSIS para BCDR.

8. Em Camada de Serviço de Banco de Dados de Catálogo, selecione a camada de serviço do servidor de banco de dados para hospedar o SSISDB. Selecione a camada Básica, Standard ou Premium ou selecione um nome de pool elástico.

Selecione Testar conexão quando aplicável e, se for bem-sucedida, selecione Continuar.

Criando repositórios de pacotes IR do Azure-SSIS

Na página Configurações de implantação do painel de configuração do tempo de execução da integração, se você quiser gerenciar seus pacotes implantados no MSDB, no sistema de arquivos ou nos Arquivos do Azure (Modelo de Implantação de Pacote) com armazenamentos de pacotes IR do Azure-SSIS, marque a caixa de seleção Criar repositórios de pacotes para gerenciar seus pacotes implantados no sistema de arquivos/Arquivos do Azure/banco de dados do SQL Server (MSDB) hospedado pela Instância Gerenciada SQL do Azure.

O repositório de pacotes IR do Azure-SSIS permite importar/exportar/excluir/executar pacotes e monitorar/parar a execução de pacotes via SSMS, semelhante ao repositório de pacotes SSIS herdado. Para obter mais informações, consulte Gerenciar pacotes SSIS com repositórios de pacotes IR do Azure-SSIS.

Se você marcar essa caixa de seleção, poderá adicionar vários armazenamentos de pacotes ao seu IR do Azure-SSIS selecionando Novo. Por outro lado, um repositório de pacotes pode ser compartilhado por vários IRs do Azure-SSIS.

No painel Adicionar repositório de pacotes, conclua as etapas a seguir.

1. Em Nome do repositório de pacotes, insira o nome do repositório de pacotes.

2. Para Serviço vinculado de repositório de pacotes, selecione seu serviço vinculado existente que armazena as informações de acesso para o sistema de arquivos/Arquivos do Azure/Instância Gerenciada SQL do Azure onde seus pacotes são implantados ou crie um novo selecionando Novo. No painel Novo serviço vinculado, conclua as etapas a seguir.

   Nota

   Você pode usar o Armazenamento de Arquivos do Azure ou os serviços vinculados do Sistema de Arquivos para acessar os Arquivos do Azure. Se você usar o serviço vinculado do Armazenamento de Arquivos do Azure, o armazenamento de pacotes IR do Azure-SSIS oferece suporte apenas ao método de autenticação Básica (não chave de conta nem URI SAS) por enquanto.

   

   1. Em Nome, insira o nome do serviço vinculado.

   2. Em Descrição, insira a descrição do serviço vinculado.

   3. Em Tipo, selecione Armazenamento de Arquivos do Azure, Instância Gerenciada SQL do Azure ou Sistema de Arquivos.

   4. Você pode ignorar Connect via tempo de execução de integração, já que sempre usamos seu IR do Azure-SSIS para buscar as informações de acesso para repositórios de pacotes.

   5. Se você selecionar Armazenamento de Arquivos do Azure, para Método de autenticação, selecione Básico e conclua as etapas a seguir.

      1. Para Método de seleção de conta, selecione Da assinatura do Azure ou Enter manualmente.

      2. Se você selecionar Da assinatura do Azure, selecione a assinatura relevante do Azure, o nome da conta de armazenamento e o compartilhamento de arquivos.

      3. Se você selecionar Inserir manualmente, digite \\<storage account name>.file.core.windows.net\<file share name> para Host, Azure\<storage account name> para Nome de usuário e <storage account key> para Senha ou selecione seu Cofre de Chaves do Azure onde ele está armazenado como um segredo.

   6. Se você selecionar Instância Gerenciada SQL do Azure, conclua as etapas a seguir.

      1. Selecione Cadeia de conexão ou seu Cofre da Chave do Azure onde ela está armazenada como um segredo.

      2. Se você selecionar Cadeia de conexão, conclua as etapas a seguir.

         1. Para Método de seleção de Conta, se você escolher Da assinatura do Azure, selecione a assinatura relevante do Azure, Nome do servidor, Tipo de ponto de extremidade e Nome do banco de dados. Se você escolher Enter manualmente, conclua as etapas a seguir.

            1. Para Nome de domínio totalmente qualificado, insira <server name>.<dns prefix>.database.windows.net ou como o ponto de extremidade privado ou <server name>.public.<dns prefix>.database.windows.net,3342 público da sua Instância Gerenciada SQL do Azure, respectivamente. Se você inserir o ponto de extremidade privado, a conexão de teste não será aplicável, pois a interface do usuário do ADF não poderá acessá-lo.

            2. Em Nome do banco de dados, digite msdb.

         2. Em Tipo de autenticação, selecione Autenticação SQL, Identidade gerenciada, Entidade de serviço ou Identidade gerenciada atribuída pelo usuário.

            • Se você selecionar Autenticação SQL, insira o Nome de Usuário e a Senha relevantes ou selecione seu Cofre de Chaves do Azure onde ele está armazenado como um segredo.

            • Se você selecionar Identidade Gerenciada, conceda à identidade gerenciada do sistema para seu acesso ADF à sua Instância Gerenciada SQL do Azure.

            • Se selecionar Entidade de Serviço, introduza o ID da entidade de Serviço e a chave da entidade de Serviço relevantes ou selecione o Cofre da Chave do Azure onde está armazenado como um segredo.

            • Se você selecionar Identidade Gerenciada Atribuída pelo Usuário, conceda a identidade gerenciada atribuída pelo usuário especificada para seu acesso do ADF à sua Instância Gerenciada SQL do Azure. Em seguida, você pode selecionar quaisquer credenciais existentes criadas usando suas identidades gerenciadas atribuídas pelo usuário especificadas ou criar novas.

   7. Se você selecionar Sistema de arquivos, insira o caminho UNC da pasta onde seus pacotes são implantados para o Host, bem como o Nome de Usuário e a Senha relevantes ou selecione seu Cofre da Chave do Azure onde ele é armazenado como um segredo.

   8. Selecione Testar conexão quando aplicável e, se for bem-sucedido, selecione Criar.

3. Seus armazenamentos de pacotes adicionados aparecerão na página Configurações de implantação . Para removê-los, marque suas caixas de seleção e selecione Excluir.

Selecione Testar conexão quando aplicável e, se for bem-sucedida, selecione Continuar.

Página definições avançadas

Na página Configurações avançadas do painel de configuração do tempo de execução da integração, conclua as etapas a seguir.

1. Para Máximo de execuções paralelas por nó, selecione o número máximo de pacotes a serem executados simultaneamente por nó em seu cluster de tempo de execução de integração. Apenas são apresentados os números de pacotes suportados. Selecione um número baixo se quiser usar mais de um núcleo para executar um único pacote grande que consome muita computação ou memória. Selecione um número alto se quiser executar um ou mais pacotes pequenos em um único núcleo.

2. Marque a caixa de seleção Personalizar seu Tempo de Execução de Integração do Azure-SSIS com configurações de sistema/instalações de componentes adicionais para escolher se deseja adicionar configurações personalizadas padrão/expressas ao seu IR do Azure-SSIS. Para obter mais informações, consulte Configuração personalizada para um IR do Azure-SSIS.

3. Marque a caixa de seleção Selecione uma VNet para seu Tempo de Execução de Integração do Azure-SSIS ingressar, permitir que o ADF crie determinados recursos de rede e, opcionalmente, traga seus próprios endereços IP públicos estáticos para escolher se deseja unir seu IR do Azure-SSIS a uma rede virtual.

   Selecione-o se você usar um servidor do Banco de Dados SQL do Azure com regras de firewall IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB, ou se precisar de acesso a dados locais sem configurar um IR auto-hospedado. Para obter mais informações, consulte Criar um IR do Azure-SSIS em uma rede virtual.

4. Marque a caixa de seleção Configurar o Tempo de Execução da Integração Auto-Hospedada como um proxy para seu Tempo de Execução de Integração do Azure-SSIS para escolher se deseja configurar um IR auto-hospedado como proxy para seu IR do Azure-SSIS. Para obter mais informações, consulte Configurar um IR auto-hospedado como proxy.

5. Selecione Continuar.

Na página Resumo do painel de configuração do tempo de execução da integração, revise todas as configurações de provisionamento, marque os links de documentação recomendados e selecione Criar para iniciar a criação do tempo de execução da integração.

Nota

Excluindo qualquer tempo de configuração personalizado, e o SSIS IR não está usando a injeção de VNet padrão, esse processo será concluído dentro de 5 minutos na maioria dos casos.

Se você usar o SSISDB, o serviço Data Factory se conectará ao servidor de banco de dados para preparar o SSISDB.

Quando você provisiona um IR do Azure-SSIS, o Access Redistributable e o Azure Feature Pack para SSIS também são instalados. Esses componentes fornecem conectividade com arquivos do Excel, arquivos do Access e várias fontes de dados do Azure, além das fontes de dados que os componentes internos já suportam. Para obter mais informações sobre componentes internos/pré-instalados, consulte Componentes internos/pré-instalados no IR do Azure-SSIS. Para obter mais informações sobre componentes adicionais que você pode instalar, consulte Configurações personalizadas para IR do Azure-SSIS.

Painel Conexões

No painel Conexões do hub Gerenciar, alterne para a página Tempos de execução de integração e selecione Atualizar.

Você pode editar/reconfigurar seu IR do Azure-SSIS selecionando seu nome. Você também pode selecionar os botões relevantes para monitorar/iniciar/parar/excluir seu IR do Azure-SSIS, gerar automaticamente um pipeline do ADF com a atividade Executar Pacote SSIS para ser executado em seu IR do Azure-SSIS e exibir o código/carga JSON do seu IR do Azure-SSIS. A edição/exclusão do IR do Azure-SSIS só pode ser feita quando ele for interrompido.

Implementar pacotes de SSIS

Se você usar o SSISDB, poderá implantar seus pacotes nele e executá-los em seu IR do Azure-SSIS usando as ferramentas SSDT ou SSMS habilitadas para Azure. Essas ferramentas se conectam ao servidor de banco de dados por meio do ponto de extremidade do servidor:

• Para um servidor do Banco de Dados SQL do Azure, o formato de ponto de extremidade do servidor é <server name>.database.windows.net.
• Para uma instância gerenciada com ponto de extremidade privado, o formato de ponto de extremidade do servidor é <server name>.<dns prefix>.database.windows.net.
• Para uma instância gerenciada com ponto de extremidade público, o formato de ponto de extremidade do servidor é <server name>.public.<dns prefix>.database.windows.net,3342.

Se você não usar o SSISDB, poderá implantar seus pacotes no sistema de arquivos, Arquivos do Azure ou MSDB hospedados pela Instância Gerenciada SQL do Azure e executá-los em seu IR do Azure-SSIS usando os utilitários de linha de comando dtutil e AzureDTExec .

Para obter mais informações, consulte Implantar projetos/pacotes SSIS.

Em ambos os casos, você também pode executar seus pacotes implantados no IR do Azure-SSIS usando a atividade Executar Pacote SSIS nos pipelines do Data Factory. Para obter mais informações, consulte Invocar a execução de pacotes SSIS como uma atividade de primeira classe do Data Factory.

Consulte também a seguinte documentação do SSIS:

• Implantar, executar e monitorar pacotes SSIS no Azure
• Conectar-se ao SSISDB no Azure
• Agendar execuções de pacotes no Azure
• Connect to on-premises data sources with Windows authentication (Ligar a origens de dados no local com a autenticação do Windows)

Conteúdos relacionados

Para saber mais sobre como personalizar o runtime de integração do Azure-SSIS, avance para o seguinte artigo:

Personalizar um IR do Azure-SSIS