Feature Pack do Azure para o Integration Services (SSIS)

Aplica-se a:SQL Server SSIS Integration Runtime no Azure Data Factory

O Feature Pack do SSIS (SQL Server Integration Services) para Azure é uma extensão que oferece os componentes listados nesta página para o SSIS se conectar aos serviços do Azure, transferir dados entre o Azure e fontes de dados locais e processar dados armazenados no Azure.

Baixar o Feature Pack do SSIS para Azure

• Para SQL Server 2022 – Microsoft SQL Server 2022 Integration Services Feature Pack for Azure
• Para SQL Server 2019 – Microsoft SQL Server 2019 Integration Services Feature Pack for Azure
• Para SQL Server 2017 – Feature Pack Microsoft SQL Server 2017 Integration Services para o Azure
• Para SQL Server 2016 – Feature Pack Microsoft SQL Server 2016 Integration Services para o Azure
• Para SQL Server 2014 – Feature Pack Microsoft SQL Server 2014 Integration Services para o Azure
• Para SQL Server 2012 – Feature Pack Microsoft SQL Server 2012 Integration Services para o Azure

As páginas de download também incluem informações sobre pré-requisitos. Certifique-se de instalar o SQL Server antes de instalar o Azure Feature Pack em um servidor ou os componentes no Feature Pack talvez não estejam disponíveis quando você implantar pacotes para o banco de dados do Catálogo do SSIS, SSISDB, no servidor.

Componentes no Feature Pack

• Gerenciadores de conexões

  • Gerenciador de Conexão do Azure Data Lake Analytics

  • Gerenciador de conexões do Azure Data Lake Store

  • Gerenciador de Conexões do Microsoft Azure HDInsight

  • Gerenciador de Conexões do Azure Resource Manager

  • Gerenciador de conexões do Armazenamento do Azure

  • Gerenciador de Conexões da Assinatura do Azure

• Tarefas

  • Tarefa de Download do Blob do Azure

  • Tarefa de Upload de Blobs do Azure

  • Tarefa do Azure Data Lake Analytics

  • Tarefa do sistema de arquivos do Azure Data Lake Store

  • Tarefa Criar Cluster do Azure HDInsight

  • Tarefa Excluir Cluster do Azure HDInsight

  • Tarefa do Hive do Azure HDInsight

  • Tarefa de Pig de HDInsight do Azure

  • Tarefa do Azure Synapse Analytics

  • Tarefa Arquivo Flexível

• Componentes de fluxo de dados

  • Fonte de Blobs do Azure

  • Destino de Blob do Azure

  • Fonte do Azure Data Lake Store

  • Destino do Azure Data Lake Store

  • Origem de Arquivo Flexível

  • Destino de Arquivo Flexível

• Enumerador de Arquivos do Blob do Azure, Azure Data Lake Storage e Data Lake Storage Gen2. Consulte Contêiner do Loop Foreach

Usar TLS 1.2

A versão do TLS usada pelo Feature Pack do Azure segue as configurações do .NET Framework do sistema. Para usar o TLS 1.2, adicione um valor de REG_DWORD chamado SchUseStrongCrypto com os dados 1 sob as duas chaves do Registro a seguir.

1. HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\Microsoft\.NETFramework\v4.0.30319
2. HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\.NETFramework\v4.0.30319

Dependência do Java

O Java é obrigatório para uso de formatos de arquivo ORC/Parquet com os conectores do Azure Data Lake Storage/de Arquivo Flexível.
A arquitetura (32/64 bits) do build de Java deve corresponder àquela do runtime do SSIS para uso. Os builds Java a seguir foram testados.

• OpenJDK 8u192 do Zulu
• Ambiente de Runtime Java do Oracle 8u192

Configurar o OpenJDK do Zulu

1. Baixe e extraia o pacote de instalação zip.
2. No Prompt de Comando, execute sysdm.cpl.
3. Na guia Avançado, selecione Variáveis de Ambiente.
4. Na seção Variáveis do sistema seção, selecione Novo.
5. Insira JAVA_HOME para o Nome da variável.
6. Selecione Procurar Diretório, navegue até a pasta extraída e selecione a subpasta jre. Em seguida, selecione OK e o Valor da variável será preenchido automaticamente.
7. Selecione OK para fechar a caixa de diálogo Nova Variável do Sistema.
8. Selecione OK para fechar a caixa de diálogo Variáveis de Ambiente.
9. Selecione OK para fechar a caixa de diálogo Propriedades do Sistema.

Dica

Se você usar o formato Parquet e receber um erro que indique "Erro ao invocar Java, mensagem: java.lang.OutOfMemoryError:Java heap space", adicione uma variável de ambiente _JAVA_OPTIONS para ajustar o tamanho de heap mínimo/máximo para a JVM.

Exemplo: defina a variável _JAVA_OPTIONS com o valor -Xms256m -Xmx16g. O sinalizador Xms especifica o pool de alocação de memória inicial para uma JVM (Máquina Virtual Java), enquanto Xmx especifica o pool de alocação de memória máxima. Isso significa que a JVM será iniciada com Xms quantidade de memória e será capaz de usar um máximo de Xmx quantidade de memória. Os valores padrão são 64 MB, mín., e 1 G, máx.

Configurar OpenJDK do Zulu no Azure-SSIS Integration Runtime

Isso deve ser feito por meio da interface de instalação personalizada para o Azure-SSIS Integration Runtime. Suponha que zulu8.33.0.1-jdk8.0.192-win_x64.zip seja usado. O contêiner de blobs pode ser organizado da seguinte maneira.

main.cmd
install_openjdk.ps1
zulu8.33.0.1-jdk8.0.192-win_x64.zip

Como ponto de entrada, main.cmd dispara a execução do script install_openjdk.ps1 do PowerShell que, por sua vez, zulu8.33.0.1-jdk8.0.192-win_x64.zip extrai e define JAVA_HOME de acordo.

main.cmd

powershell.exe -file install_openjdk.ps1

Dica

Se você usar o formato Parquet e receber um erro que indique "Erro ao invocar Java, mensagem: java.lang.OutOfMemoryError:Java heap space", adicione um comando em main.cmd para ajustar o tamanho de heap mínimo/máximo para a JVM. Exemplo:

setx /M _JAVA_OPTIONS "-Xms256m -Xmx16g"

O sinalizador Xms especifica o pool de alocação de memória inicial para uma JVM (Máquina Virtual Java), enquanto Xmx especifica o pool de alocação de memória máxima. Isso significa que a JVM será iniciada com Xms quantidade de memória e será capaz de usar um máximo de Xmx quantidade de memória. Os valores padrão são 64 MB, mín., e 1 G, máx.

install_openjdk.ps1

Expand-Archive zulu8.33.0.1-jdk8.0.192-win_x64.zip -DestinationPath C:\
[Environment]::SetEnvironmentVariable("JAVA_HOME", "C:\zulu8.33.0.1-jdk8.0.192-win_x64\jre", "Machine")

Configurar o Ambiente de Runtime Java SE do Oracle

1. Baixe e execute o instalador exe.
2. Siga as instruções do instalador para concluir a instalação.

Cenário: Processamento de Big Data

Use o Conector do Azure para concluir o seguinte trabalho de processamento de Big Data:

1. Use a tarefa de upload de blobs do Azure para carregar dados de entrada para o armazenamento de blobs do Azure.

2. Use a tarefa Criar Cluster do Azure HDInsight para criar um cluster do Azure HDInsight. Esta etapa é opcional se você quiser usar seu próprio cluster.

3. Use a tarefa Hive ou Pig do Azure HDInsight para invocar uma tarefa de Pig ou Hive no cluster do Azure HDInsight .

4. Use a tarefa Excluir Cluster do Azure HDInsight para excluir o cluster do HDInsight após o uso, se você tiver criado um cluster de HDInsight sob demanda na etapa 2.

5. Use a tarefa Download de Blob do Azure HDInsight para baixar dados de saída de Pig/Hive do armazenamento de blobs do Azure.

Cenário: Gerenciamento de dados na nuvem

Use o Destino de Blob do Azure em um pacote do SSIS para gravar dados de saída no Armazenamento de Blobs do Azure, ou use a Fonte de Blob do Azure para ler dados de um Armazenamento de Blobs do Azure.

Use o contêiner Loop Foreach com o enumerador de Blob do Azure para processar dados em vários arquivos de blob.

Notas de versão

Versão 1.21.0

Aprimoramentos

1. log4j atualizado da versão 1.2.17 para 2.17.1.

Versão 1.20.0

Aprimoramentos

1. A versão de destino do .NET Framework foi atualizada de 4.6 para 4.7.2.
2. A "Tarefa de upload do SQL DW do Azure" foi renomeada como "Tarefa do Azure Synapse Analytics".

Correções de bugs

1. Ao acessar o Armazenamento de Blobs do Azure e o computador que executa o SSIS em uma localidade não pt-BR, haverá falha na execução do pacote com a mensagem de erro "A cadeia de caracteres não é reconhecida como um valor de DateTime válido".
2. No Gerenciador de Conexões do Armazenamento do Azure, o segredo é necessário (porém não usado), mesmo quando a identidade gerenciada do Data Factory é usada para executar uma autenticação.

Versão 1.19.0

Aprimoramentos

1. Foi adicionado suporte para a autenticação de assinatura de acesso compartilhado ao gerenciador de conexões do Armazenamento do Azure.

Versão 1.18.0

Aprimoramentos

1. Para uma tarefa de arquivo flexível, há três aprimoramentos: (1) o suporte a curingas em operações de cópia/exclusão foi adicionado; (2) o usuário pode habilitar/desabilitar a pesquisa recursiva na operação de exclusão; e (3) o nome do arquivo do destino para a operação de cópia pode estar vazio para manter o nome do arquivo de origem.

Versão 1.17.0

Esta é uma versão de hotfix lançada somente para o SQL Server 2019.

Correções de bugs

1. Ao executar no Visual Studio 2019 e direcionar para o SQL Server 2019, uma tarefa/origem/destino de arquivo flexível poderá falhar, com a mensagem de erro Attempted to access an element as a type incompatible with the array.
2. Ao executar no Visual Studio 2019 e direcionar para o SQL Server 2019, uma origem/destino de arquivo flexível usando o formato ORC/Parquet poderá falhar, com a mensagem de erro Microsoft.DataTransfer.Common.Shared.HybridDeliveryException: An unknown error occurred. JNI.JavaExceptionCheckException.

Versão 1.16.0

Correções de bugs

1. Em determinados casos, a execução do pacote relata o "Erro: Não foi possível carregar o arquivo ou assembly 'Newtonsoft.Json, Version=11.0.0.0, Culture=neutral, PublicKeyToken=30ad4fe6b2a6aeed' ou uma de suas dependências".

Versão 1.15.0

Aprimoramentos

1. Adicionar operação de exclusão de pasta/arquivo à Tarefa de Arquivo Flexível
2. Adicionar função de conversão de tipo de dados de Saída/Externo na Origem de Arquivo Flexível

Correções de bugs

1. Em determinados casos, o teste de conexão do Data Lake Storage Gen2 apresenta problemas de funcionamento com a mensagem de erro "Tentativa de acessar um elemento como um tipo incompatível com a matriz"
2. Retorno do suporte para Emulador de Armazenamento do Azure