Share via

Mover dados de ou para o Armazenamento de Blobs do Azure usando conectores SSIS

  • Artigo

O Azure Feature Pack for Integration Services (SSIS) fornece componentes para se conectar ao Azure, transferir dados entre o Azure e fontes de dados locais e processar dados armazenados no Azure.

Este menu contém links para tecnologias que você pode usar para mover dados de e para o armazenamento de Blob do Azure:

Depois que os clientes tiverem movido os dados locais para a nuvem, eles poderão acessar seus dados de qualquer serviço do Azure para aproveitar todo o poder do conjunto de tecnologias do Azure. Os dados podem ser usados posteriormente, por exemplo, no Aprendizado de Máquina do Azure ou em um cluster HDInsight.

Exemplos para usar esses recursos do Azure estão nas instruções passo a passo do SQL e do HDInsight.

Para obter uma discussão sobre cenários canônicos que usam o SSIS para atender às necessidades de negócios comuns em cenários de integração de dados híbridos, consulte Fazendo mais com o blog do SQL Server Integration Services Feature Pack para Azure .

Nota

Para obter uma introdução completa ao Armazenamento de Blobs do Azure, consulte Noções básicas de Blob do Azure e a API REST do Serviço de Blob do Azure.

Pré-requisitos

Para executar as tarefas descritas neste artigo, você deve ter uma assinatura do Azure e uma conta de Armazenamento do Azure configurada. Você precisa do nome da conta do Armazenamento do Azure e da chave da conta para carregar ou baixar dados.

  • Para configurar uma assinatura do Azure, consulte Avaliação gratuita de um mês.
  • Para obter instruções sobre como criar uma conta de armazenamento e obter informações de conta e chave, consulte Sobre contas de armazenamento do Azure.

Para usar os conectores SSIS, você deve baixar:

  • SQL Server 2014 ou 2016 Standard (ou superior): a instalação inclui o SQL Server Integration Services.
  • Microsoft SQL Server 2014 ou 2016 Integration Services Feature Pack para Azure: esses conectores podem ser baixados, respectivamente, do SQL Server 2014 Integration Services e do SQL Server 2016 Integration Services.

Nota

O SSIS é instalado com o SQL Server, mas não está incluído na versão Express. Para obter informações sobre quais aplicativos estão incluídos em várias edições do SQL Server, consulte a documentação técnica do SQL Server

Para instalar o SSIS, consulte Instalar o Integration Services (SSIS)

Para obter informações sobre como começar a trabalhar usando o SISS para criar pacotes simples de extração, transformação e carregamento (ETL), consulte Tutorial do SSIS: Criando um pacote ETL simples.

Baixar conjunto de dados NYC Taxi

O exemplo descrito aqui usa um conjunto de dados disponível publicamente, disponível em conjuntos de dados abertos do Azure e dados de registro de viagem TLC. O conjunto de dados consiste em cerca de 173 milhões de corridas de táxi em Nova York no ano de 2013. Existem dois tipos de dados: dados de detalhes da viagem e dados de tarifa.

Carregar dados para o Armazenamento de Blobs

Para mover dados usando o pacote de recursos SSIS do local para o Armazenamento de Blob, usamos uma instância da Tarefa de Carregamento de Blob do Azure, mostrada aqui:

Screenshot that shows Azure Blob Upload Task button.

A tabela a seguir descreve os parâmetros que a tarefa usa.

Campo Descrição
AzureStorageConnection Especifica um Gerenciador de Conexões de Armazenamento do Azure existente ou cria um novo que se refere a uma conta de Armazenamento do Azure que aponta para onde os arquivos de blob estão hospedados.
BlobContainer Especifica o nome do contêiner de blob que contém os arquivos carregados como blobs.
BlobDirectory Especifica o diretório de blob onde o arquivo carregado é armazenado como um blob de bloco. O diretório blob é uma estrutura hierárquica virtual. Se o blob já existir, ele é substituído.
Diretório Local Especifica o diretório local que contém os arquivos a serem carregados.
Nome do arquivo Especifica um filtro de nome para selecionar arquivos com o padrão de nome especificado. Por exemplo, MySheet*.xls* inclui arquivos como MySheet001.xls e MySheetABC.xlsx
TimeRangeFrom/TimeRangeTo Especifica um filtro de intervalo de tempo. Arquivos modificados após TimeRangeFrom e antes de TimeRangeTo são incluídos.

Nota

As credenciais AzureStorageConnection precisam estar corretas e o BlobContainer deve existir antes que a transferência seja tentada.

Baixar dados do Blob Storage

Para baixar dados do Armazenamento de Blob para o armazenamento local com o SSIS, use uma instância da Tarefa de Download de Blob do Azure.

Cenários mais avançados do SSIS Azure

O pacote de recursos SSIS permite que fluxos mais complexos sejam manipulados empacotando tarefas juntas. Por exemplo, os dados de blob podem ser alimentados diretamente em um cluster HDInsight, cuja saída pode ser baixada de volta para um blob e, em seguida, para o armazenamento local. O SSIS pode executar trabalhos do Hive e do Pig em um cluster HDInsight usando conectores SSIS adicionais:

  • Para executar um script do Hive em um cluster do Azure HDInsight com SSIS, use a Tarefa do Azure HDInsight Hive.
  • Para executar um script Pig em um cluster do Azure HDInsight com SSIS, use a Tarefa do Azure HDInsight Pig.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.

Autor principal:

Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.

Próximos passos