Azure’in içine ve Azure’dan dışarı veri aktarma

  • Makale

gereksinimlerinize bağlı olarak Azure'a ve Azure'dan veri aktarmak için çeşitli seçenekler vardır.

Fiziksel aktarım

Azure'a veri aktarmak için fiziksel donanım kullanmak aşağıdaki durumlarda iyi bir seçenektir:

  • Ağınız yavaş veya güvenilir değil.
  • Daha fazla ağ bant genişliği elde etme maliyeti yüksektir.
  • Güvenlik veya kuruluş ilkeleri, hassas verilerle çalışırken giden bağlantılara izin vermez.

Birincil endişeniz verilerinizi aktarmanın ne kadar sürdüğüyse, ağ aktarımının fiziksel aktarımdan daha yavaş olup olmadığını doğrulamak için bir test çalıştırmak isteyebilirsiniz.

Verileri fiziksel olarak Azure'a taşımak için iki ana seçenek vardır:

Azure İçeri/Dışarı Aktarma hizmeti

Azure İçeri/Dışarı Aktarma hizmeti, bir Azure veri merkezine dahili SATA HDD'leri veya SSD'leri göndererek büyük miktarda veriyi Azure Blob Depolama veya Azure Dosyalar güvenli bir şekilde aktarmanızı sağlar. Azure Depolama'dan sabit disk sürücülerine veri aktarmak ve sürücülerin şirket içi yükleme için size gönderilmesini sağlamak için de bu hizmeti kullanabilirsiniz.

Azure Data Box

Azure Data Box , İçeri/Dışarı Aktarma hizmetine çok benzeyen, Microsoft tarafından sağlanan bir alettir. Microsoft, Data Box ile size özel, güvenli ve kurcalamaya dayanıklı bir transfer aletini sunar ve portaldan izleyebildiğiniz uçtan uca lojiskenliği işler. Data Box hizmetinin avantajlarından biri kullanım kolaylığıdır. Birkaç sabit sürücü satın almanız, bunları hazırlamanız ve dosyaları her birine aktarmanız gerekmez. Data Box, ürünlerinden buluta çevrimdışı taşımayı sorunsuz bir şekilde kullanmayı kolaylaştırmak için sektör lideri birçok Azure iş ortağı tarafından desteklenir.

Komut satırı araçları ve API'leri

Betik ve programlı veri aktarımı istediğinizde şu seçenekleri göz önünde bulundurun:

  • Azure CLI, Azure hizmetlerini yönetmenize ve Verileri Depolama'ya yüklemenize olanak tanıyan platformlar arası bir araçtır.

  • AzCopy. En iyi performansla Blob Depolama, Azure Dosya Depolama ve Azure Tablo Depolama'ya kolayca veri kopyalamak için Windows veya Linux komut satırından AzCopy kullanın. AzCopy eşzamanlılık ve paralellik desteğine ek olarak kesintiye uğrayan kopyalama işlemlerini sürdürme olanağı sunar. Aws'den Azure'a veri kopyalamak için AzCopy'yi de kullanabilirsiniz. Program aracılığıyla erişim için Microsoft Azure Depolama Veri Taşıma Kitaplığı, AzCopy'yi destekleyen temel çerçevedir. Bir .NET Core kitaplığı olarak sağlanır.

  • PowerShell ile Start-AzureStorageBlobCopy PowerShell cmdlet'i, PowerShell'e alışkın olan Windows yöneticileri için bir seçenektir.

  • AdlCopy, Blob Depolama'dan Azure Data Lake Storage veri kopyalamanızı sağlar. İki Data Lake Storage hesabı arasında veri kopyalamak için de kullanılabilir. Ancak, verileri Data Lake Storage Blob Depolama'ya kopyalamak için kullanılamaz.

  • Distcp, hdInsight küme depolama alanına (WASB) veri kopyalamak için Data Lake Storage bir hesaba kullanılır.

  • Sqoop bir Apache projesidir ve Hadoop ekosisteminin bir parçasıdır. Tüm HDInsight kümelerine önceden yüklenmiş olarak gelir. HDInsight kümesi ile SQL, Oracle, MySQL gibi ilişkisel veritabanları arasında veri aktarımına olanak tanır. Sqoop, içeri ve dışarı aktarma araçları da dahil olmak üzere ilgili araçlardan oluşan bir koleksiyondur. Sqoop, Blob Depolama veya Data Lake Storage bağlı depolama kullanarak HDInsight kümeleriyle çalışır.

  • PolyBase , T-SQL dili aracılığıyla veritabanı dışındaki verilere erişen bir teknolojidir. SQL Server 2016'da Hadoop'taki dış verilerde sorgu çalıştırmanıza veya Blob Depolama'dan verileri içeri veya dışarı aktarmanıza olanak tanır. Azure Synapse Analytics'te Blob Depolama ve Data Lake Storage verileri içeri veya dışarı aktarabilirsiniz. Şu anda PolyBase, verileri Azure Synapse Analytics'e aktarmanın en hızlı yöntemidir.

  • HDInsight kümesi baş düğümünde bulunan verileriniz varsa Hadoop komut satırını kullanın. Komutunu kullanarak hadoop -copyFromLocal bu verileri Blob Depolama veya Data Lake Storage gibi kümenizin ekli depolama alanına kopyalayabilirsiniz. Hadoop komutunu kullanmak için önce baş düğüme bağlanmanız gerekir. Bağlandıktan sonra bir dosyayı depolama alanına yükleyebilirsiniz.

Grafik arabirim

Yalnızca birkaç dosya veya veri nesnesi aktarıyorsanız ve işlemi otomatikleştirmeniz gerekmiyorsa aşağıdaki seçenekleri göz önünde bulundurun.

  • Azure Depolama Gezgini, Azure depolama hesaplarınızın içeriğini yönetmenize olanak tanıyan platformlar arası bir araçtır. Blob, dosya, kuyruk, tablo ve Azure Cosmos DB varlığı gibi nesneleri karşıya yükleyebilir, indirebilir ve yönetebilirsiniz. Blobları ve klasörleri yönetmek ve blobları yerel dosya sisteminizle Blob Depolama arasında veya depolama hesapları arasında karşıya yüklemek ve indirmek için Blob Depolama ile birlikte kullanın.

  • Azure portalı. Hem Blob Depolama hem de Data Lake Storage dosyaları keşfetmek ve yeni dosyaları karşıya yüklemek için web tabanlı bir arabirim sağlar. Dosyalarınızı hızla keşfetmek için araçlar yüklemek veya komutlar vermek istemiyorsanız veya birkaç yenisini karşıya yüklemek istiyorsanız bu seçenek iyi bir seçenektir.

Veri eşitleme ve işlem hatları

  • Azure Data Factory, birçok Azure hizmeti, şirket içi sistem veya ikisinin birleşimi arasında düzenli olarak dosya aktarmak için en uygun yönetilen hizmettir. Data Factory'yi kullanarak, farklı veri depolarından veri almak için işlem hatları olarak adlandırılan veri temelli iş akışları oluşturabilir ve zamanlayabilirsiniz. Data Factory, Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics ve Azure Machine Learning gibi işlem hizmetlerini kullanarak verileri işleyebilir ve dönüştürebilir. Veri taşımayı ve veri dönüştürmeyi düzenlemeye ve otomatikleştirmeye yönelik veri temelli iş akışları oluşturabilirsiniz.

  • Data Factory ve Azure Synapse Analytics'teki işlem hatları ve etkinlikler, veri taşıma ve veri işleme senaryolarınız için uçtan uca veri odaklı iş akışları oluşturmak için kullanılabilir. Ayrıca, Azure Data Factory tümleştirme çalışma zamanı farklı ağ ortamlarında veri tümleştirme özellikleri sağlamak için kullanılır.

  • Azure Data Box Gateway , Azure'a ve Azure'dan veri aktarır, ancak bu bir sabit sürücü değil sanal bir gereçtir. Şirket içi ağınızda bulunan sanal makineler, NFS ve SMB protokollerini kullanarak Data Box Gateway'e veri yazar. Ardından cihaz verilerinizi Azure'a aktarır.

Anahtar seçim ölçütleri

Veri aktarımı senaryoları için şu soruları yanıtlayarak ihtiyaçlarınıza uygun sistemi seçin:

  • İnternet bağlantısı üzerinden bunu yapmanın çok uzun süreceği, güvenilir olmadığı veya çok pahalı olacağı büyük miktarda veriyi aktarmanız gerekiyor mu? Evet ise, fiziksel aktarımı göz önünde bulundurun.

  • Yeniden kullanılabilir olmaları için veri aktarımı görevlerinizi betik olarak kullanmayı tercih ediyor musunuz? Öyleyse, komut satırı seçeneklerinden birini veya Data Factory'yi seçin.

  • Ağ bağlantısı üzerinden büyük miktarda veri aktarmanız gerekiyor mu? Bu durumda büyük veri için iyileştirilmiş bir seçenek belirleyin.

  • İlişkisel bir veritabanına veya veritabanından veri aktarmanız gerekiyor mu? Evet ise, bir veya daha fazla ilişkisel veritabanını destekleyen bir seçenek belirtin. Bu seçeneklerden bazıları hadoop kümesi de gerektirir.

  • Otomatik veri işlem hattına veya iş akışı düzenlemeye ihtiyacınız var mı? Evet ise Data Factory'yi göz önünde bulundurun.

Yetenek matrisi

Aşağıdaki tablolarda, özelliklerdeki temel farklar özetlemektedir.

Fiziksel aktarım

Özellik İçeri/Dışarı Aktarma hizmeti Data Box
Form faktörü İç SATA HDD'ler veya SSD'ler Güvenli, kurcalamaya dayanıklı, tek donanım gereci
Microsoft, sevkiyat lojistirisini yönetir Hayır Yes
İş ortağı ürünleriyle tümleşir Hayır Yes
Özel alet Hayır Yes

Komut satırı araçları

Hadoop/HDInsight:

Özellik Distcp Sqoop Hadoop CLI
Büyük veriler için iyileştirilmiş Yes Yes Yes
İlişkisel veritabanına kopyalama Hayır Yes Hayır
İlişkisel veritabanından kopyalama Hayır Yes Hayır
Blob Depolamaya Kopyala Yes Yes Yes
Blob Depolamadan Kopyalama Yes Yes Hayır
Data Lake Storage kopyala Yes Yes Yes
Data Lake Storage'dan kopyalama Yes Yes Hayır

Diğer:

Özellik Azure CLI AzCopy PowerShell AdlCopy PolyBase
Uyumlu platformlar Linux, OS X, Windows Linux, Windows Windows Linux, OS X, Windows SQL Server, Azure Synapse Analytics
Büyük veriler için iyileştirilmiş Hayır Yes Hayır Evet 1 Evet 2
İlişkisel veritabanına kopyalama Hayır Hayır Hayır Hayır Yes
İlişkisel veritabanından kopyalama Hayır Hayır Hayır Hayır Yes
Blob Depolamaya Kopyala Yes Yes Yes Hayır Yes
Blob Depolamadan Kopyalama Yes Yes Yes Yes Yes
Data Lake Storage kopyala Hayır Yes Yes Yes Yes
Data Lake Storage'dan kopyalama Hayır Hayır Yes Yes Yes

[1] AdlCopy, bir Data Lake Analytics hesabıyla kullanıldığında büyük verileri aktarmak için iyileştirilmiştir.

[2] SQL Server örnekleri ile Hadoop düğümleri arasında paralel veri aktarımını sağlamak için Hesaplama Hadoop'a gönderilerek ve PolyBase ölçek genişletme grupları kullanılarak PolyBaseperformansı artırılabilir.

Grafik arabirimler, veri eşitleme ve veri işlem hatları

Özellik Azure Depolama Gezgini Azure portal * Data Factory Data Box Gateway
Büyük veriler için iyileştirilmiş Hayır Hayır Yes Yes
İlişkisel veritabanına kopyalama Hayır Hayır Yes Hayır
İlişkisel veritabanından kopyalama Hayır Hayır Yes Hayır
Blob Depolamaya Kopyala Yes Hayır Yes Yes
Blob Depolamadan Kopyalama Yes Hayır Yes Hayır
Data Lake Storage kopyala Hayır Hayır Yes Hayır
Data Lake Storage'den kopyalama Hayır Hayır Yes Hayır
Blob Depolama'ya yükleme Yes Yes Yes Yes
Data Lake Storage'a yükleme Yes Yes Yes Yes
Veri aktarımlarını düzenleme Hayır Hayır Yes Hayır
Özel veri dönüştürmeleri Hayır Hayır Yes Hayır
Fiyatlandırma modeli Ücretsiz Ücretsiz Kullanım başına ödeme Birim başına ödeme

* Bu durumda Azure portal, Blob Depolama ve Data Lake Storage için web tabanlı keşif araçlarını temsil eder.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Sonraki adımlar