Verileri azure'a veya azure'dan aktarmaTransferring data to and from Azure

İhtiyaçlarınıza bağlı olarak Azure, gelen ve giden veri aktarımı için birkaç seçenek vardır.There are several options for transferring data to and from Azure, depending on your needs.

Fiziksel aktarımıPhysical transfer

Verileri Azure'a aktarmak için fiziksel donanım kullanmak, iyi bir yöntemdir seçeneğini:Using physical hardware to transfer data to Azure is a good option when:

  • Yavaş veya güvenilmeyen bir ağdır.Your network is slow or unreliable.
  • Ek ağ bant genişliği alma maliyeti getirmektedir.Getting additional network bandwidth is cost-prohibitive.
  • Güvenlik veya kuruluş ilkeleri giden bağlantılar hassas verilerle ilgilenirken izin vermez.Security or organizational policies do not allow outbound connections when dealing with sensitive data.

Veri aktarım süresini şeyse, ağ aktarımı gerçekte fiziksel aktarım yavaş olup olmadığını doğrulamak için bir testi çalıştırmak isteyebilirsiniz.If your primary concern is how long it will take to transfer your data, you may want to run a test to verify whether network transfer is actually slower than physical transport.

Fiziksel olarak verileri azure'a taşıma için iki ana seçeneğiniz vardır:There are two main options for physically transporting data to Azure:

  • Azure içeri/dışarı aktarma.Azure Import/Export. Azure içeri/dışarı aktarma hizmeti güvenli bir şekilde bir Azure veri merkezine dahili SATA HDD veya Sdd sevkiyat tarafından büyük miktarda veriyi Azure Blob Depolama veya Azure dosyaları için Aktarım sağlar.The Azure Import/Export service lets you securely transfer large amounts of data to Azure Blob Storage or Azure Files by shipping internal SATA HDDs or SDDs to an Azure datacenter. Bu hizmet, sabit disk sürücüleri için Azure Depolama'dan veri aktarma ve şirket içi yüklenmesi için bu sevk size sağlamak için de kullanabilirsiniz.You can also use this service to transfer data from Azure Storage to hard disk drives and have these shipped to you for loading on-premises.

  • Azure Data Box '.Azure Data Box. Azure Data Box Azure içeri/dışarı aktarma hizmeti gibi çalışır Microsoft tarafından sağlanan bir gereçtir.Azure Data Box is a Microsoft-provided appliance that works much like the Azure Import/Export service. Microsoft, özel, güvenli ve kurcalamaya karşı korumalı aktarım gerecini gelir ve uçtan uca logistics, portal üzerinden izleyebilirsiniz. işler.Microsoft ships you a proprietary, secure, and tamper-resistant transfer appliance and handles the end-to-end logistics, which you can track through the portal. Azure Data Box hizmeti bir avantajı kullanım kolaylığı içindir.One benefit of the Azure Data Box service is ease of use. Farklı sabit sürücüler satın almak, bunları hazırlamak ve her bir dosya aktarımı gerekmez.You don't need to purchase several hard drives, prepare them, and transfer files to each one. Azure Data Box, bir dizi sorunsuz bir biçimde buluta çevrimdışı taşıma kendi ürünlerden yararlanın daha kolay hale getirmek için sektör lideri Azure iş ortakları tarafından desteklenir.Azure Data Box is supported by a number of industry-leading Azure partners to make it easier to seamlessly leverage offline transport to the cloud from their products.

Komut satırı araçları ve API'leriCommand line tools and APIs

Komut dosyası ve programlı veri aktarımı istediğinizde bu seçenekleri göz önünde bulundurun.Consider these options when you want scripted and programmatic data transfer.

  • Azure CLI.Azure CLI. Azure CLI verilerini Azure Storage'a yükler ve Azure hizmetlerini yönetmenize olanak tanıyan bir platformlar arası araçtır.The Azure CLI is a cross-platform tool that allows you to manage Azure services and upload data to Azure Storage.

  • AzCopy.AzCopy. Azcopy komutunu gelen bir Windows veya Linux kolayca ve en iyi performans ile Azure Blob, dosya ve tablo depolama alanından verileri kopyalamak için komut satırı.Use AzCopy from a Windows or Linux command-line to easily copy data to and from Azure Blob, File, and Table storage with optimal performance. AzCopy, eşzamanlılık ve paralellik ve kopyalama işlemleri kesintiye olduğunda sürdürebilme destekler.AzCopy supports concurrency and parallelism, and the ability to resume copy operations when interrupted. Ayrıca, çoğu diğer seçenekleri hızlı gerçekleşir.It is also faster than most other options. Programlı erişim için Microsoft Azure Storage veri hareketi Kitaplığı Azcopy'yi çalıştıran çekirdek çerçevedir.For programmatic access, the Microsoft Azure Storage Data Movement Library is the core framework that powers AzCopy. .NET Core kitaplığı olarak sağlanmaktadır.It is provided as a .NET Core library.

  • PowerShell.PowerShell. Start-AzureStorageBlobCopy PowerShell cmdlet'i PowerShell kullanan Windows yöneticileri için bir seçenektir.The Start-AzureStorageBlobCopy PowerShell cmdlet is an option for Windows administrators who are used to PowerShell.

  • AdlCopy.AdlCopy. AdlCopy , verileri Azure depolama Bloblarından Data Lake Store kopyalamak sağlar.AdlCopy enables you to copy data from Azure Storage Blobs into Data Lake Store. İki Azure Data Lake Store hesabı arasında veri kopyalamak için de kullanılabilir.It can also be used to copy data between two Azure Data Lake Store accounts. Ancak, depolama BLOB'ları için Data Lake Store ' veri kopyalamak için kullanılamaz.However, it cannot be used to copy data from Data Lake Store to Storage Blobs.

  • Distcp.Distcp. İçin Data Lake Store erişimi olan bir HDInsight kümesi varsa, Hadoop ekosistemi araçları gibi kullanabileceğiniz Distcp veri ve HDInsight küme depolama (WASB) bir Data Lake Store hesabına kopyalamak için.If you have an HDInsight cluster with access to Data Lake Store, you can use Hadoop ecosystem tools like Distcp to copy data to and from an HDInsight cluster storage (WASB) into a Data Lake Store account.

  • Sqoop.Sqoop. Sqoop bir Apache projesi ve Hadoop ekosisteminin bir parçası.Sqoop is an Apache project and part of the Hadoop ecosystem. Tüm HDInsight kümelerinde önceden yüklenmiş olarak gelir.It comes preinstalled on all HDInsight clusters. Bir HDInsight kümesi ile SQL, Oracle, MySQL ve benzeri gibi ilişkisel veritabanları arasında veri aktarımı sağlar.It allows data transfer between an HDInsight cluster and relational databases such as SQL, Oracle, MySQL, and so on. Sqoop içeri ve dışarı aktarma da dahil olmak üzere ilgili araçları koleksiyonudur.Sqoop is a collection of related tools, including import and export. Sqoop Azure depolama blobları veya Data Lake Store bağlı depolama kullanarak HDInsight kümeleri ile çalışır.Sqoop works with HDInsight clusters using either Azure Storage blobs or Data Lake Store attached storage.

  • PolyBase.PolyBase. PolyBase T-SQL dili ile veritabanı dışında verilere erişen bir teknolojidir.PolyBase is a technology that accesses data outside of the database through the T-SQL language. SQL Server 2016'da Hadoop dış verilerde sorguları çalıştırmak için veya Azure Blob Depolama içeri/dışarı aktarma için sağlar.In SQL Server 2016, it allows you to run queries on external data in Hadoop or to import/export data from Azure Blob Storage. Azure SQL veri ambarı'nda, içeri/Azure Data Lake Store ve Azure Blob Depolama verilerini dışarı aktarma.In Azure SQL Data Warehouse, you can import/export data from Azure Blob Storage and Azure Data Lake Store. Şu anda PolyBase, SQL Data Warehouse'a veri aktarma en hızlı yöntemdir.Currently, PolyBase is the fastest method of importing data into SQL Data Warehouse.

  • Hadoop komut satırı.Hadoop command line. Bir HDInsight kümesi baş düğümünde bulunan verileri sahip olduğunuzda kullanabileceğiniz hadoop -copyFromLocal komutu, kümenin söz konusu veri kopyalamak için Azure depolama blobu veya Azure Data Lake Store gibi depolama ortamlarına bağlı.When you have data that resides on an HDInsight cluster head node, you can use the hadoop -copyFromLocal command to copy that data to your cluster's attached storage, such as Azure Storage blob or Azure Data Lake Store. Hadoop komutu kullanmak için baş düğümüne bağlanın.In order to use the Hadoop command, you must first connect to the head node. Bağlantı kurulduktan sonra depolama alanına bir dosyayı karşıya yükleyebilirsiniz.Once connected, you can upload a file to storage.

Grafik arabirimiGraphical interface

Yalnızca birkaç dosya veya veri nesneleri aktarma ve işlemini otomatik hale getirmek gerekmez, aşağıdaki seçenekleri göz önünde bulundurun.Consider the following options if you are only transferring a few files or data objects and don't need to automate the process.

  • Azure Depolama Gezgini.Azure Storage Explorer. Azure Depolama Gezgini Azure depolama hesaplarınızın içeriğini yönetmenizi sağlayan bir platformlar arası araçtır.Azure Storage Explorer is a cross-platform tool that lets you manage the contents of your Azure storage accounts. Yükleme, indirme ve bloblar, dosyalar, kuyruklar, tablolar ve Azure Cosmos DB varlıklarını yönetmenize olanak tanır.It allows you to upload, download, and manage blobs, files, queues, tables, and Azure Cosmos DB entities. Blob Depolama ile blobları ve klasörleri yönetmek yanı sıra karşıya yüklemek ve blobları depolama hesapları arasında veya yerel dosya sistemi ve Blob Depolama arasında indirmek için kullanın.Use it with Blob storage to manage blobs and folders, as well as upload and download blobs between your local file system and Blob storage, or between storage accounts.

  • Azure portalında.Azure portal. Hem Blob Depolama ve Data Lake Store dosyaları keşfetmek için web tabanlı bir arabirim sağlar ve karşıya yeni bir kerede dosyaları.Both Blob storage and Data Lake Store provide a web-based interface for exploring files and uploading new files one at a time. Komut dosyalarınızı hızla Keşfetmenin veya yenilerini birkaç yüklenecek ya da herhangi bir aracı yüklemek istemiyorsanız bu iyi bir seçenektir.This is a good option if you do not want to install any tools or issue commands to quickly explore your files, or to simply upload a handful of new ones.

Veri işlem hattıData pipeline

Azure veri fabrikası.Azure Data Factory. Azure Data Factory en iyi yönetilen bir hizmet düzenli olarak Azure Hizmetleri, şirket içinde veya ikisinin birleşimini bir dizi arasında dosyaları aktarmak için uygundur.Azure Data Factory is a managed service best suited for regularly transferring files between a number of Azure services, on-premises, or a combination of the two. Azure Data Factory hizmetini kullanarak oluşturun ve farklı veri depolarından veri alabilen (işlem hatları olarak adlandırılır) veri odaklı iş akışları zamanlama.Using Azure Data Factory, you can create and schedule data-driven workflows (called pipelines) that ingest data from disparate data stores. Bu platform Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics ve Azure Machine Learning gibi işlem hizmetlerini kullanarak verileri işleyip dönüştürebilir.It can process and transform the data by using compute services such as Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics, and Azure Machine Learning. Veri odaklı iş akışları oluşturma işlemlerini veri taşıma ve veri dönüştürmeyi düzenleyip otomatikleştirmek.Create data-driven workflows for orchestrating and automating data movement and data transformation.

Temel seçim ölçütlerineKey Selection Criteria

Veri aktarımı senaryoları için bu soruyu yanıtlayarak gereksinimlerinize uygun sistemi seçin:For data transfer scenarios, choose the appropriate system for your needs by answering these questions:

  • Güvenilir olmayan veya çok pahalı bir Internet üzerinden bağlantı çok uzun sürecek böylece olduğu çok büyük miktarda veri aktarımı gerekiyor mu?Do you need to transfer very large amounts of data, where doing so over an Internet connection would take too long, be unreliable, or too expensive? Yanıt Evet ise, fiziksel aktarım göz önünde bulundurun.If yes, consider physical transfer.

  • Veri aktarımı görevlerinizi yeniden kullanılabilir böylece komut mi tercih ediyorsunuz?Do you prefer to script your data transfer tasks, so they are reusable? Bu durumda, bir komut satırı seçenekleri veya Azure Data Factory seçin.If so, select one of the command line options or Azure Data Factory.

  • Bir ağ bağlantısı üzerinden çok büyük miktarda veri aktarımı gerekiyor mu?Do you need to transfer a very large amount of data over a network connection? Bu durumda, büyük veriler için en iyi duruma getirilmiş bir seçenek belirleyin.If so, select an option that is optimized for big data.

  • İlişkisel bir veritabanındaki ya da veri aktarımı gerekiyor mu?Do you need to transfer data to or from a relational database? Evet, bir veya daha fazla ilişkisel veritabanları destekleyen bir seçeneği belirleyin.If yes, choose an option that supports one or more relational databases. Bu seçeneklerden bazısı ayrıca bir Hadoop kümesi gerektirdiğine dikkat edin.Note that some of these options also require a Hadoop cluster.

  • Otomatik veri işlem hattı veya iş akışı düzenleme gerekiyor mu?Do you need an automated data pipeline or workflow orchestration? Yanıt Evet ise, Azure Data Factory göz önünde bulundurun.If yes, consider Azure Data Factory.

Özellik MatrisiCapability matrix

Aşağıdaki tablolarda, Özellikler'deki temel farklılıklar özetlenmektedir.The following tables summarize the key differences in capabilities.

Fiziksel aktarımıPhysical transfer

Azure İçeri/Dışarı Aktarma hizmetiAzure Import/Export service Azure Data BoxAzure Data Box
Form faktörüForm factor İç SATA HDD veya SddInternal SATA HDDs or SDDs Güvenli, değiştirilmeye kanıt, tek bir donanım aygıtıSecure, tamper-proof, single hardware appliance
Microsoft, nakliye ve lojistik yönetmektedir.Microsoft manages shipping logistics HayırNo EvetYes
İş ortağı ürünleri ile tümleşirIntegrates with partner products HayırNo EvetYes
Özel bir gereçCustom appliance HayırNo EvetYes

Komut satırı araçlarıCommand line tools

Hadoop/HDInsight:Hadoop/HDInsight:

DistcpDistcp SqoopSqoop Hadoop CLIHadoop CLI
Büyük veriler için en iyi duruma getirilmişOptimized for big data EvetYes EvetYes EvetYes
İlişkisel veritabanına veri kopyalamaCopy to relational database HayırNo EvetYes HayırNo
İlişkisel veritabanındaki verileri kopyalamaCopy from relational database HayırNo EvetYes HayırNo
BLOB depolamaya kopyalamaCopy to Blob storage EvetYes EvetYes EvetYes
BLOB depolamadan kopyalamaCopy from Blob storage EvetYes EvetYes HayırNo
Data Lake Store için kopyalayınCopy to Data Lake Store EvetYes EvetYes EvetYes
Data Lake Store ' kopyalamaCopy from Data Lake Store EvetYes EvetYes HayırNo

Diğer:Other:

Azure CLIAzure CLI AzCopyAzCopy PowerShellPowerShell AdlCopyAdlCopy PolyBasePolyBase
Uyumlu platformlarıCompatible platforms Linux, OS X, WindowsLinux, OS X, Windows Linux, WindowsLinux, Windows WindowsWindows Linux, OS X, WindowsLinux, OS X, Windows SQL Server, Azure SQL veri ambarıSQL Server, Azure SQL Data Warehouse
Büyük veriler için en iyi duruma getirilmişOptimized for big data HayırNo HayırNo HayırNo Evet 1Yes 1 Evet 2Yes 2
İlişkisel veritabanına veri kopyalamaCopy to relational database HayırNo HayırNo HayırNo HayırNo EvetYes
İlişkisel veritabanındaki verileri kopyalamaCopy from relational database HayırNo HayırNo HayırNo HayırNo EvetYes
BLOB depolamaya kopyalamaCopy to Blob storage EvetYes EvetYes EvetYes HayırNo EvetYes
BLOB depolamadan kopyalamaCopy from Blob storage EvetYes EvetYes EvetYes EvetYes EvetYes
Data Lake Store için kopyalayınCopy to Data Lake Store HayırNo HayırNo EvetYes EvetYes EvetYes
Data Lake Store ' kopyalamaCopy from Data Lake Store HayırNo HayırNo EvetYes EvetYes EvetYes

[1] AdlCopy, bir Data Lake Analytics hesabı ile kullanıldığında, büyük veri aktarmak için en iyi duruma getirilmiştir.[1] AdlCopy is optimized for transferring big data when used with a Data Lake Analytics account.

[2] PolyBase performansı artırılabilir hesaplama için Hadoop ve kullanarak PolyBase genişleme grupları SQL Server örnekleri ve Hadoop düğümleri arasında paralel veri aktarımı olanağı.[2] PolyBase performance can be increased by pushing computation to Hadoop and using PolyBase scale-out groups to enable parallel data transfer between SQL Server instances and Hadoop nodes.

Grafik arabirim ve Azure Data FactoryGraphical interface and Azure Data Factory

Azure Depolama GezginiAzure Storage Explorer Azure portalı *Azure portal * Azure Data FactoryAzure Data Factory
Büyük veriler için en iyi duruma getirilmişOptimized for big data HayırNo HayırNo EvetYes
İlişkisel veritabanına veri kopyalamaCopy to relational database HayırNo HayırNo EvetYes
İlişkisel veritabanına veri kopyalamaCopy to relational database HayırNo HayırNo EvetYes
BLOB depolamaya kopyalamaCopy to Blob storage EvetYes HayırNo EvetYes
BLOB depolamadan kopyalamaCopy from Blob storage EvetYes HayırNo EvetYes
Data Lake Store için kopyalayınCopy to Data Lake Store HayırNo HayırNo EvetYes
Data Lake Store ' kopyalamaCopy from Data Lake Store HayırNo HayırNo EvetYes
BLOB depolamaya yüklemeUpload to Blob storage EvetYes EvetYes EvetYes
Data Lake Store için karşıya yüklemeUpload to Data Lake Store EvetYes EvetYes EvetYes
Veri aktarımları düzenleyinOrchestrate data transfers HayırNo HayırNo EvetYes
Özel veri dönüşümleriCustom data transformations HayırNo HayırNo EvetYes
Fiyatlandırma modeliPricing model ÜcretsizFree ÜcretsizFree Kullanım ödeme yapınPay per usage

* Azure portal, Blob Depolama ve Data Lake Store için web tabanlı araştırma araçları kullanarak bu durumda anlamına gelir.* Azure portal in this case means using the web-based exploration tools for Blob storage and Data Lake Store.