Carregar dados no SQL Data Warehouse usando o Azure Data FactoryLoad data into Azure SQL Data Warehouse by using Azure Data Factory

O Azure SQL Data Warehouse é um banco de dados baseado em nuvem e expansível com capacidade de processar volumes imensos de dados, relacionais e não relacionais.Azure SQL Data Warehouse is a cloud-based, scale-out database that's capable of processing massive volumes of data, both relational and non-relational. O SQL Data Warehouse é criado em arquitetura de processamento paralelo maciço (MPP) que é otimizado para cargas de trabalho do data warehouse.SQL Data Warehouse is built on the massively parallel processing (MPP) architecture that's optimized for enterprise data warehouse workloads. Ele oferece a elasticidade da nuvem com a flexibilidade de dimensionar o armazenamento e a computação de modo independente.It offers cloud elasticity with the flexibility to scale storage and compute independently.

A introdução ao Azure SQL Data Warehouse agora é mais fácil do que nunca quando você usar o Azure Data Factory.Getting started with Azure SQL Data Warehouse is now easier than ever when you use Azure Data Factory. O Azure Data Factory é um serviço de integração de dados baseado em nuvem completamente gerenciado.Azure Data Factory is a fully managed cloud-based data integration service. Você pode usar o serviço para preencher o SQL Data Warehouse com dados do seu sistema existente e economizar tempo ao construir suas soluções analíticas.You can use the service to populate a SQL Data Warehouse with data from your existing system and save time when building your analytics solutions.

O Azure Data Factory oferece os seguintes benefícios para carregar dados no Azure Data SQL Data Warehouse:Azure Data Factory offers the following benefits for loading data into Azure SQL Data Warehouse:

  • Fácil de configurar: assistente intuitivo de 5 etapas sem nenhum script necessário.Easy to set up: An intuitive 5-step wizard with no scripting required.
  • Suporte de armazenamento de dados avançados: suporte interno para um conjunto avançado de armazenamentos de dados locais e baseados em nuvem.Rich data store support: Built-in support for a rich set of on-premises and cloud-based data stores. Para obter uma lista detalhada, consulte a tabela de Suporte para repositórios de dados.For a detailed list, see the table of Supported data stores.
  • Seguro e compatível: os dados são transferidos por HTTPS, ou ExpressRoute.Secure and compliant: Data is transferred over HTTPS or ExpressRoute. A presença do serviço global garante que os dados nunca saiam do limite geográfico.The global service presence ensures that your data never leaves the geographical boundary.
  • Desempenho incomparável usando PolyBase: usar o Polybase é a maneira mais eficiente para mover dados ao Azure SQL Data Warehouse.Unparalleled performance by using PolyBase: Polybase is the most efficient way to move data into Azure SQL Data Warehouse. Use o recurso de objeto binário em etapas para obter velocidades de alta carga de todos os tipos de armazenamentos de dados, incluindo armazenamento Azure Blob e Data Lake Store.Use the staging blob feature to achieve high load speeds from all types of data stores, including Azure Blob storage and Data Lake Store. (O polybase dá suporte ao armazenamento de BLOBs do Azure e Azure Data Lake Store por padrão.) Para obter detalhes, consulte desempenho da atividade de cópia.(Polybase supports Azure Blob storage and Azure Data Lake Store by default.) For details, see Copy activity performance.

Este artigo mostra como usar a ferramenta de cópia de dados do Data Factory para carregar dados do Banco de Dados SQL do Azure no Azure SQL Data Warehouse.This article shows you how to use the Data Factory Copy Data tool to load data from Azure SQL Database into Azure SQL Data Warehouse. Você pode seguir as etapas semelhantes para copiar dados de outros tipos de armazenamentos de dados.You can follow similar steps to copy data from other types of data stores.

Pré-requisitosPrerequisites

  • Assinatura do Azure: Caso você não tenha uma assinatura do Azure, crie uma conta gratuita antes de começar.Azure subscription: If you don't have an Azure subscription, create a free account before you begin.
  • Azure SQL Data Warehouse: o data warehouse contém os dados copiados do Banco de Dados SQL.Azure SQL Data Warehouse: The data warehouse holds the data that's copied over from the SQL database. Se você não tiver um Azure SQL Data Warehouse, veja as instruções em Criar um SQL Data Warehouse.If you don't have an Azure SQL Data Warehouse, see the instructions in Create a SQL Data Warehouse.
  • Azure SQL Database: este tutorial copia os dados do banco de dados SQL do Azure com os dados modelo do Adventure Works LT.Azure SQL Database: This tutorial copies data from an Azure SQL database with Adventure Works LT sample data. Você pode criar um banco de dados seguindo as instruções em Criar um banco de dados SQL do Azure.You can create a SQL database by following the instructions in Create an Azure SQL database.
  • Conta de armazenamento do Azure: armazenamento do Azure é usado como blob de processo de reparo na operação de cópia em massa.Azure storage account: Azure Storage is used as the staging blob in the bulk copy operation. Se você não tiver uma conta de armazenamento do Azure, confira as instruções em Criar uma conta de armazenamento.If you don't have an Azure storage account, see the instructions in Create a storage account.

Criar uma data factoryCreate a data factory

  1. No menu à esquerda, selecione Criar um recurso > Dados + Análise > Data Factory:On the left menu, select Create a resource > Data + Analytics > Data Factory:

    Seleção de Data Factory no painel "Novo"

  2. Na página Novo data factory, forneça os valores para os campos que estão mostrados na imagem a seguir:In the New data factory page, provide values for the fields that are shown in the following image:

    Página de novo data factory

    • Nome: insira um nome exclusivo para o seu Azure data factory.Name: Enter a globally unique name for your Azure data factory. Se você receber o erro "Nome do Data factory "LoadSQLDWDemo" não está disponível," digite um nome diferente para o data factory.If you receive the error "Data factory name "LoadSQLDWDemo" is not available," enter a different name for the data factory. Por exemplo, use o nome seunome ADFTutorialDataFactory.For example, you could use the name yournameADFTutorialDataFactory. Tente criar o data factory novamente.Try creating the data factory again. Para ver as regras de nomenclatura de artefatos do Data Factory, confira Regras de nomenclatura do Data Factory.For the naming rules for Data Factory artifacts, see Data Factory naming rules.
    • Assinatura: selecione a assinatura do Azure na qual você deseja criar o data factory.Subscription: Select your Azure subscription in which to create the data factory.
    • Grupo de Recursos: Selecione um grupo de recursos existente na lista suspensa ou selecione a opção Criar novo e digite o nome de um grupo de recursos.Resource Group: Select an existing resource group from the drop-down list, or select the Create new option and enter the name of a resource group. Para saber mais sobre grupos de recursos, consulte Usando grupos de recursos para gerenciar recursos do Azure.To learn about resource groups, see Using resource groups to manage your Azure resources.
    • Versão: selecione V2.Version: Select V2.
    • Local: selecione um local para o data factory.Location: Select the location for the data factory. Somente os locais com suporte são exibidos na lista suspensa.Only supported locations are displayed in the drop-down list. Os armazenamentos de dados que são usados pela data factory podem estar em outros locais e regiões.The data stores that are used by data factory can be in other locations and regions. Esses armazenamentos de dados incluem Azure Data Lake Store, Azure Storage, Banco de Dados SQL do Azure e assim por diante.These data stores include Azure Data Lake Store, Azure Storage, Azure SQL Database, and so on.
  3. Selecione Criar.Select Create.

  4. Após a conclusão da criação, vá para o seu data factory.After creation is complete, go to your data factory. Você verá a home page Data Factory conforme mostrado na imagem a seguir:You see the Data Factory home page as shown in the following image:

    Página inicial do data factory

    Selecione o bloco Autor & Monitor para iniciar o aplicativo de integração de dados em uma guia separada.Select the Author & Monitor tile to launch the Data Integration Application in a separate tab.

Carregar dados no SQL Data Warehouse do AzureLoad data into Azure SQL Data Warehouse

  1. Na página Introdução, selecione o bloco Copy Data para iniciar a ferramenta Copy Data:In the Get started page, select the Copy Data tile to launch the Copy Data tool:

    Bloco Ferramenta Copy Data

  2. Na página Propriedades, especifique CopyFromSQLToSQLDW para o campo Nome da tarefa e clique em Avançar:In the Properties page, specify CopyFromSQLToSQLDW for the Task name field, and select Next:

    Página Propriedades

  3. Na página Armazenamento de dados de origem, conclua as etapas a seguir:In the Source data store page, complete the following steps:

    a.a. clique em + Cria nova conexão:click + Create new connection:

    Página Armazenamento de dados de origem

    b.b. Selecione Banco de Dados SQL do Azure da galeria e selecione Continuar.Select Azure SQL Database from the gallery, and select Continue. Você pode digitar "SQL" na caixa de pesquisa para filtrar os conectores.You can type "SQL" in the search box to filter the connectors.

    Selecione o BD SQL do Azure

    c.c. Na página novo serviço vinculado , selecione o nome do servidor e o nome do BD na lista suspensa e especifique o nome de usuário e a senha.In the New Linked Service page, select your server name and DB name from the dropdown list, and specify the username and password. Clique em Testar conectividade para validar as configurações e selecione Concluir.Click Test connection to validate the settings, then select Finish.

    Configure o Banco de Dados SQL do Azure

    d.d. Selecione o serviço vinculado recém-criado como fonte, depois clique Avançar.Select the newly created linked service as source, then click Next.

    Selecione o serviço de origem vinculado

  4. Em Selecione as tabelas das quais copiar os dados ou use uma página de consulta personalizada, insira SalesLT para filtrar as tabelas.In the Select tables from which to copy the data or use a custom query page, enter SalesLT to filter the tables. Escolha a caixa (Selecionar tudo) para usar todas as tabelas para a cópia e, em seguida, selecione Avançar:Choose the (Select all) box to use all of the tables for the copy, and then select Next:

    Selecionar tabelas de origem

  5. Na página Armazenamento de dados de destino, conclua as etapas a seguir:In the Destination data store page, complete the following steps:

    a.a. Clique em + Criar nova conexão para adicionar uma conexãoClick + Create new connection to add a connection

    Página de armazenamento de dados do coletor

    b.b. Selecione SQL Data Warehouse do Azure da galeria e selecione Avançar.Select Azure SQL Data Warehouse from the gallery, and select Next.

    Selecione o SQL DW do Azure

    c.c. Na página novo serviço vinculado , selecione o nome do servidor e o nome do BD na lista suspensa e especifique o nome de usuário e a senha.In the New Linked Service page, select your server name and DB name from the dropdown list, and specify the username and password. Clique em Testar conectividade para validar as configurações e selecione Concluir.Click Test connection to validate the settings, then select Finish.

    Configure o SQL DW do Azure

    d.d. Selecione o serviço vinculado criado recentemente como coletor e clique em Avançar.Select the newly created linked service as sink, then click Next.

    Selecione o serviço vinculado do coletor

  6. Na página Mapeamento de tabela, examine o conteúdo e selecione Avançar.In the Table mapping page, review the content, and select Next. Um mapeamento de tabela inteligente é exibido.An intelligent table mapping displays. As tabelas de origem são mapeadas para as tabelas de destino com base nos nomes de tabela.The source tables are mapped to the destination tables based on the table names. Se a tabela de origem não existir no destino, por padrão o Azure Data Factory cria uma tabela de destino com o mesmo nome por padrão.If a source table doesn't exist in the destination, Azure Data Factory creates a destination table with the same name by default. Você também pode mapear uma tabela de origem para uma tabela de destino existente.You can also map a source table to an existing destination table.

    Observação

    A criação de tabela automática para o coletor do SQL Data Warehouse aplica-se quando o SQL Server ou banco de dados SQL do Azure for a origem.Automatic table creation for the SQL Data Warehouse sink applies when SQL Server or Azure SQL Database is the source. Se você copiar seus dados de outro armazenamento de dados de origem, você precisa criar previamente o esquema no coletor SQL Data Warehouse do Azure antes de executar a cópia de dados.If you copy data from another source data store, you need to pre-create the schema in the sink Azure SQL Data Warehouse before executing the data copy.

    Página Mapeamento de tabela

  7. Na página Mapeamento de esquema, examine o conteúdo e selecione Avançar.In the Schema mapping page, review the content, and select Next. O mapeamento de tabela inteligente é baseado no nome da coluna.The intelligent table mapping is based on the column name. Se você deixar o Data Factory criar automaticamente as tabelas, a conversão do tipo de dados pode ocorrer quando houver incompatibilidades entre a origem e os armazenamentos de destino.If you let Data Factory automatically create the tables, data type conversion can occur when there are incompatibilities between the source and destination stores. Se houver uma conversão de tipo de dados sem suporte entre a coluna de origem e de destino, você verá uma mensagem de erro próximo à tabela correspondente.If there's an unsupported data type conversion between the source and destination column, you see an error message next to the corresponding table.

    Página Mapeamento de esquema

  8. Na página Configurações, execute as seguintes etapas:In the Settings page, complete the following steps:

    a.a. Na seção Configurações de preparo, clique em + Novo para criar um novo armazenamento de preparo.In Staging settings section, click + New to new a staging storage. O armazenamento é usado para preparar os dados antes de serem carregados no SQL Data Warehouse usando o PolyBase.The storage is used for staging the data before it loads into SQL Data Warehouse by using PolyBase. Depois que a cópia for concluída, os dados provisórios no Azure Storage serão limpos automaticamente.After the copy is complete, the interim data in Azure Storage is automatically cleaned up.

    Configure o preparo

    b.b. Na página Novo Serviço Vinculado, selecione a conta de armazenamento e, em seguida, selecione Concluir.In the New Linked Service page, select your storage account, and select Finish.

    Configure o Armazenamento do Microsoft Azure

    c.c. Na seção Configurações avançadas, desmarque a opção Usar tipo padrão e, em seguida, selecione Avançar.In the Advanced settings section, deselect the Use type default option, then select Next.

    Configure o PolyBase

  9. Na página Resumo, examine as configurações e selecione Avançar:In the Summary page, review the settings, and select Next:

    Página Resumo

  10. Na Página Implantação, selecione Monitor para monitorar o pipeline (tarefa):In the Deployment page, select Monitor to monitor the pipeline (task):

    Página Implantação

  11. Observe que a guia Monitor à esquerda é selecionada automaticamente.Notice that the Monitor tab on the left is automatically selected. A coluna Ações inclui links para exibir detalhes da execução da atividade e executar o pipeline novamente:The Actions column includes links to view activity run details and to rerun the pipeline:

    Monitorar execuções de pipeline

  12. Para exibir as execuções de atividade associadas com a execução do pipeline, selecione o link Exibir as Execuções de Atividade na coluna Ações.To view activity runs that are associated with the pipeline run, select the View Activity Runs link in the Actions column. Para voltar à exibição de execuções de pipeline, selecione o link Pipelines na parte superior.To switch back to the pipeline runs view, select the Pipelines link at the top. Selecione Atualizar para atualizar a lista.Select Refresh to refresh the list.

    Monitorar execuções de atividade

  13. Para monitorar os detalhes de execução de cada atividade de cópia, selecione o link Detalhes em Ações no modo de exibição de monitoramento de atividades.To monitor the execution details for each copy activity, select the Details link under Actions in the activity monitoring view. Você pode monitorar detalhes como o volume de dados copiados da fonte para o coletor, taxa de transferência de dados, etapas de execução com duração correspondente e configurações usadas:You can monitor details like the volume of data copied from the source to the sink, data throughput, execution steps with corresponding duration, and used configurations:

    Monitorar detalhes da execução da atividade

Próximos passosNext steps

Ir para o seguinte artigo para saber mais sobre o suporte do SQL Data Warehouse do Azure:Advance to the following article to learn about Azure SQL Data Warehouse support: