Transferência de dados do Azure e paraTransferring data to and from Azure

Existem várias opções para a transferência de dados do Azure e para consoante as suas necessidades.There are several options for transferring data to and from Azure, depending on your needs.

Transferência de físicaPhysical transfer

A utilização de hardware físico para transferir dados para o Azure é uma boa opção quando:Using physical hardware to transfer data to Azure is a good option when:

  • A rede é lenta ou pouco fiável.Your network is slow or unreliable.
  • Introdução a largura de banda de rede adicional é custo altíssimo.Getting additional network bandwidth is cost-prohibitive.
  • Segurança ou políticas organizacionais não permitem ligações de saída ao lidar com dados confidenciais.Security or organizational policies do not allow outbound connections when dealing with sensitive data.

Se sua principal preocupação quanto tempo será necessário para transferir os seus dados, pode querer executar um teste para verificar se a transferência de rede é, na verdade, mais lenta do que o transporte físico.If your primary concern is how long it will take to transfer your data, you may want to run a test to verify whether network transfer is actually slower than physical transport.

Existem duas opções principais para transportar fisicamente os dados para o Azure:There are two main options for physically transporting data to Azure:

  • Importar/exportar do Azure.Azure Import/Export. O serviço importar/exportar do Azure permite-lhe com segurança transferem grandes quantidades de dados para o armazenamento de Blobs do Azure ou de ficheiros do Azure envie interno SATA HDDs ou SDDs num Datacenter do Azure.The Azure Import/Export service lets you securely transfer large amounts of data to Azure Blob Storage or Azure Files by shipping internal SATA HDDs or SDDs to an Azure datacenter. Também pode utilizar este serviço para transferir dados do armazenamento do Azure para unidades de disco rígido e ter estas fornecido a para o carregamento no local.You can also use this service to transfer data from Azure Storage to hard disk drives and have these shipped to you for loading on-premises.

  • Azure Data Box.Azure Data Box. O Azure Data Box é uma aplicação disponibilizadas pela Microsoft que funciona muito parecido com o serviço importar/exportar do Azure.Azure Data Box is a Microsoft-provided appliance that works much like the Azure Import/Export service. A Microsoft é fornecido é proprietário, seguro e aparelho de transferência resistente a adulterações e processa a logística de ponto-a-ponto, o que pode controlar através do portal.Microsoft ships you a proprietary, secure, and tamper-resistant transfer appliance and handles the end-to-end logistics, which you can track through the portal. Uma vantagem do serviço do Azure Data Box é a facilidade de utilização.One benefit of the Azure Data Box service is ease of use. Não precisa de comprar várias unidades de disco rígido, prepará-los e transferir ficheiros para cada um deles.You don't need to purchase several hard drives, prepare them, and transfer files to each one. O Azure Data Box é suportado por um número de parceiros do Azure líder da indústria para facilitar a tirar total partido do transporte de offline para a cloud de seus produtos.Azure Data Box is supported by a number of industry-leading Azure partners to make it easier to seamlessly leverage offline transport to the cloud from their products.

APIs e ferramentas de linha de comandosCommand line tools and APIs

Considere estas opções quando pretender que a transferência de dados programática e com script.Consider these options when you want scripted and programmatic data transfer.

  • CLI do Azure.Azure CLI. O CLI do Azure é uma ferramenta de várias plataformas que permite-lhe gerir serviços do Azure e carregar dados para o armazenamento do Azure.The Azure CLI is a cross-platform tool that allows you to manage Azure services and upload data to Azure Storage.

  • AzCopy.AzCopy. Utilizar o AzCopy de um Windows ou Linux da linha de comandos para copiar facilmente os dados para e do armazenamento de Blobs do Azure, ficheiros e tabelas com um desempenho ideal.Use AzCopy from a Windows or Linux command-line to easily copy data to and from Azure Blob, File, and Table storage with optimal performance. AzCopy oferece suporte a simultaneidade e paralelismo e a capacidade para retomar as operações de cópia quando interrompido.AzCopy supports concurrency and parallelism, and the ability to resume copy operations when interrupted. Também é mais rápido do que a maioria das outras opções.It is also faster than most other options. Para obter acesso programático, o biblioteca de movimento de dados do Microsoft Azure Storage é a estrutura de núcleos que alimenta o AzCopy.For programmatic access, the Microsoft Azure Storage Data Movement Library is the core framework that powers AzCopy. Ele é fornecido como uma biblioteca de .NET Core.It is provided as a .NET Core library.

  • PowerShell.PowerShell. O Start-AzureStorageBlobCopy cmdlet do PowerShell é uma opção para os administradores do Windows que são utilizados para o PowerShell.The Start-AzureStorageBlobCopy PowerShell cmdlet is an option for Windows administrators who are used to PowerShell.

  • AdlCopy.AdlCopy. AdlCopy permite-lhe copiar dados dos Blobs de armazenamento do Azure no Data Lake Store.AdlCopy enables you to copy data from Azure Storage Blobs into Data Lake Store. Ele também pode ser usado para copiar dados entre duas contas de Azure Data Lake Store.It can also be used to copy data between two Azure Data Lake Store accounts. No entanto, não pode ser utilizado para copiar dados de Data Lake Store para Blobs de armazenamento.However, it cannot be used to copy data from Data Lake Store to Storage Blobs.

  • Distcp.Distcp. Se tiver um cluster do HDInsight com acesso ao Data Lake Store, pode utilizar ferramentas de ecossistema do Hadoop, como Distcp para copiar dados de e para um armazenamento de cluster do HDInsight (WASB) para uma conta do Data Lake Store.If you have an HDInsight cluster with access to Data Lake Store, you can use Hadoop ecosystem tools like Distcp to copy data to and from an HDInsight cluster storage (WASB) into a Data Lake Store account.

  • Sqoop.Sqoop. Sqoop é um projeto do Apache e parte do ecossistema do Hadoop.Sqoop is an Apache project and part of the Hadoop ecosystem. Ele vem pré-instalada em todos os clusters do HDInsight.It comes preinstalled on all HDInsight clusters. Ele permite que a transferência de dados entre um cluster do HDInsight e bases de dados relacionais, como SQL, Oracle, MySQL e assim por diante.It allows data transfer between an HDInsight cluster and relational databases such as SQL, Oracle, MySQL, and so on. Sqoop é uma coleção de ferramentas relacionadas, incluindo a importação e exportação.Sqoop is a collection of related tools, including import and export. Sqoop funciona com clusters do HDInsight com blobs de armazenamento do Azure ou de armazenamento do Data Lake Store anexado.Sqoop works with HDInsight clusters using either Azure Storage blobs or Data Lake Store attached storage.

  • O PolyBase.PolyBase. O PolyBase é uma tecnologia que acessa dados fora da base de dados por meio de linguagem T-SQL.PolyBase is a technology that accesses data outside of the database through the T-SQL language. No SQL Server 2016, ele permite-lhe para executar consultas nos dados externos no Hadoop ou para importar/exportar dados do armazenamento de Blobs do Azure.In SQL Server 2016, it allows you to run queries on external data in Hadoop or to import/export data from Azure Blob Storage. No Azure SQL Data Warehouse, pode importar/exportar dados do armazenamento de Blobs do Azure e Azure Data Lake Store.In Azure SQL Data Warehouse, you can import/export data from Azure Blob Storage and Azure Data Lake Store. Atualmente, o PolyBase é o método mais rápido de importação de dados para o SQL Data Warehouse.Currently, PolyBase is the fastest method of importing data into SQL Data Warehouse.

  • Linha de comandos do Hadoop.Hadoop command line. Quando tiver dados que residem num nó principal do cluster de HDInsight, pode utilizar o hadoop -copyFromLocal comando copiar esses dados ao seu cluster ligado de armazenamento, como BLOBs de armazenamento do Azure ou do Azure Data Lake Store.When you have data that resides on an HDInsight cluster head node, you can use the hadoop -copyFromLocal command to copy that data to your cluster's attached storage, such as Azure Storage blob or Azure Data Lake Store. Para utilizar o comando de Hadoop, tem primeiro de ligar ao nó principal.In order to use the Hadoop command, you must first connect to the head node. Assim que estiver ligado, pode carregar um ficheiro para o armazenamento.Once connected, you can upload a file to storage.

Interface gráficaGraphical interface

Considere as seguintes opções, se estiver apenas a transferir ficheiros alguns ou de objetos de dados e não é necessário automatizar o processo.Consider the following options if you are only transferring a few files or data objects and don't need to automate the process.

  • Explorador de armazenamento do Azure.Azure Storage Explorer. Explorador de armazenamento do Azure é uma ferramenta de várias plataformas que permite-lhe gerir o conteúdo das suas contas de armazenamento do Azure.Azure Storage Explorer is a cross-platform tool that lets you manage the contents of your Azure storage accounts. Permite-lhe carregar, transferir e gerir blobs, ficheiros, filas, tabelas e entidades do Azure Cosmos DB.It allows you to upload, download, and manage blobs, files, queues, tables, and Azure Cosmos DB entities. Utilize-o com o armazenamento de BLOBs para gerir blobs e pastas, bem como carregar e transferir blobs entre o sistema de arquivos local e o armazenamento de BLOBs, ou entre contas de armazenamento.Use it with Blob storage to manage blobs and folders, as well as upload and download blobs between your local file system and Blob storage, or between storage accounts.

  • Portal do Azure.Azure portal. Armazenamento de BLOBs e Data Lake Store fornecem uma interface baseada na web para explorar os arquivos e carregar novos arquivos de um de cada vez.Both Blob storage and Data Lake Store provide a web-based interface for exploring files and uploading new files one at a time. Esta é uma boa opção se não pretender instalar quaisquer ferramentas ou emitir comandos de explorar rapidamente os ficheiros ou para carregar apenas um punhado de novos itens.This is a good option if you do not want to install any tools or issue commands to quickly explore your files, or to simply upload a handful of new ones.

Pipeline de dadosData pipeline

Azure Data Factory.Azure Data Factory. O Azure Data Factory é um serviço gerido melhor é adequado para regularmente transferir ficheiros entre um número de serviços do Azure, no local ou uma combinação dos dois.Azure Data Factory is a managed service best suited for regularly transferring files between a number of Azure services, on-premises, or a combination of the two. Com o Azure Data Factory, pode criar e agendar condicionada por dados fluxos de trabalho (denominados pipelines) que ingerir dados a partir de arquivos de dados diferentes.Using Azure Data Factory, you can create and schedule data-driven workflows (called pipelines) that ingest data from disparate data stores. Este serviço pode processar e transformar os dados através de serviços de computação como o Azure HDInsight, o Hadoop, o Spark, o Azure Data Lake Analytics e o Azure Machine Learning.It can process and transform the data by using compute services such as Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics, and Azure Machine Learning. Criar fluxos de trabalho condicionados por dados para orquestrar e automatizar o movimento de dados e transformação de dados.Create data-driven workflows for orchestrating and automating data movement and data transformation.

Principais critérios de seleçãoKey Selection Criteria

Para cenários de transferência de dados, escolha o sistema adequado para as suas necessidades ao responder a estas perguntas:For data transfer scenarios, choose the appropriate system for your needs by answering these questions:

  • É necessário transferir grandes quantidades de dados, em que se o fizer, ao longo de um Internet ligação demorariam demasiado tempo, ser pouco fiável ou muito cara?Do you need to transfer very large amounts of data, where doing so over an Internet connection would take too long, be unreliable, or too expensive? Em caso afirmativo, considere a transferência física.If yes, consider physical transfer.

  • Prefere script as tarefas de transferência de dados, para que sejam reutilizável?Do you prefer to script your data transfer tasks, so they are reusable? Nesse caso, selecione uma das opções de linha de comandos ou do Azure Data Factory.If so, select one of the command line options or Azure Data Factory.

  • É necessário transferir uma grande quantidade de dados através de uma ligação de rede?Do you need to transfer a very large amount of data over a network connection? Nesse caso, selecione uma opção que está otimizada para grandes volumes de dados.If so, select an option that is optimized for big data.

  • Precisa transferir dados de ou para uma base de dados relacional?Do you need to transfer data to or from a relational database? Se Sim, escolha uma opção que oferece suporte a um ou mais bases de dados relacionais.If yes, choose an option that supports one or more relational databases. Tenha em atenção que algumas dessas opções requerem também um cluster do Hadoop.Note that some of these options also require a Hadoop cluster.

  • Precisa de uma pipeline ou fluxo de trabalho de orquestração automática de dados?Do you need an automated data pipeline or workflow orchestration? Em caso afirmativo, considere o Azure Data Factory.If yes, consider Azure Data Factory.

Matriz de capacidadeCapability matrix

As tabelas seguintes resumem as principais diferenças nos recursos.The following tables summarize the key differences in capabilities.

Transferência de físicaPhysical transfer

Serviço Importar/Exportar do AzureAzure Import/Export service Azure Data BoxAzure Data Box
Fator de formulárioForm factor HDDs SATA interno ou SDDsInternal SATA HDDs or SDDs Dispositivo de hardware seguro, à prova e únicoSecure, tamper-proof, single hardware appliance
Microsoft gerir a logística de envioMicrosoft manages shipping logistics NãoNo SimYes
Integra-se com produtos de parceirosIntegrates with partner products NãoNo SimYes
Aplicação personalizadaCustom appliance NãoNo SimYes

Ferramentas de linha de comandosCommand line tools

Hadoop/HDInsight:Hadoop/HDInsight:

DistcpDistcp SqoopSqoop CLI do HadoopHadoop CLI
Otimizado para grandes volumes de dadosOptimized for big data SimYes SimYes SimYes
Copiar a base de dados relacionalCopy to relational database NãoNo SimYes NãoNo
Copiar a partir da base de dados relacionalCopy from relational database NãoNo SimYes NãoNo
Copiar para o armazenamento de BLOBsCopy to Blob storage SimYes SimYes SimYes
Copiar do armazenamento de BLOBsCopy from Blob storage SimYes SimYes NãoNo
Copiar para o Data Lake StoreCopy to Data Lake Store SimYes SimYes SimYes
Copiar do Data Lake StoreCopy from Data Lake Store SimYes SimYes NãoNo

Outros:Other:

CLI do AzureAzure CLI AzCopyAzCopy PowerShellPowerShell AdlCopyAdlCopy PolyBasePolyBase
Plataformas compatíveisCompatible platforms Linux, OS X, WindowsLinux, OS X, Windows Linux, WindowsLinux, Windows WindowsWindows Linux, OS X, WindowsLinux, OS X, Windows SQL Server, o armazém de dados SQL do AzureSQL Server, Azure SQL Data Warehouse
Otimizado para grandes volumes de dadosOptimized for big data NãoNo NãoNo NãoNo Sim 1Yes 1 Sim 2Yes 2
Copiar a base de dados relacionalCopy to relational database NãoNo NãoNo NãoNo NãoNo SimYes
Copiar a partir da base de dados relacionalCopy from relational database NãoNo NãoNo NãoNo NãoNo SimYes
Copiar para o armazenamento de BLOBsCopy to Blob storage SimYes SimYes SimYes NãoNo SimYes
Copiar do armazenamento de BLOBsCopy from Blob storage SimYes SimYes SimYes SimYes SimYes
Copiar para o Data Lake StoreCopy to Data Lake Store NãoNo NãoNo SimYes SimYes SimYes
Copiar do Data Lake StoreCopy from Data Lake Store NãoNo NãoNo SimYes SimYes SimYes

[1] AdlCopy está otimizado para a transferência de grandes volumes de dados quando utilizadas com uma conta do Data Lake Analytics.[1] AdlCopy is optimized for transferring big data when used with a Data Lake Analytics account.

[2] PolyBase desempenho pode ser aumentado ao enviar o cálculo para o Hadoop e ao utilizar grupos de escalamento horizontal do PolyBase para permitir a transferência de dados paralelos entre instâncias do SQL Server e nós de Hadoop.[2] PolyBase performance can be increased by pushing computation to Hadoop and using PolyBase scale-out groups to enable parallel data transfer between SQL Server instances and Hadoop nodes.

Interface gráfica e o Azure Data FactoryGraphical interface and Azure Data Factory

Explorador do Storage do AzureAzure Storage Explorer Portal do Azure *Azure portal * Azure Data FactoryAzure Data Factory
Otimizado para grandes volumes de dadosOptimized for big data NãoNo NãoNo SimYes
Copiar a base de dados relacionalCopy to relational database NãoNo NãoNo SimYes
Copiar a base de dados relacionalCopy to relational database NãoNo NãoNo SimYes
Copiar para o armazenamento de BLOBsCopy to Blob storage SimYes NãoNo SimYes
Copiar do armazenamento de BLOBsCopy from Blob storage SimYes NãoNo SimYes
Copiar para o Data Lake StoreCopy to Data Lake Store NãoNo NãoNo SimYes
Copiar do Data Lake StoreCopy from Data Lake Store NãoNo NãoNo SimYes
Carregar para o armazenamento de BLOBsUpload to Blob storage SimYes SimYes SimYes
Carregar para o Data Lake StoreUpload to Data Lake Store SimYes SimYes SimYes
Orquestrar a transferências de dadosOrchestrate data transfers NãoNo NãoNo SimYes
Transformações de dados personalizadasCustom data transformations NãoNo NãoNo SimYes
Modelo preçosPricing model GratuitoFree GratuitoFree Pagar por utilizaçãoPay per usage

* Portal do Azure significa, neste caso, com as ferramentas de exploração baseada na web para o armazenamento de BLOBs e Data Lake Store.* Azure portal in this case means using the web-based exploration tools for Blob storage and Data Lake Store.