Azure’in içine ve Azure’dan dışarı veri aktarma

Gereksinimlerinize bağlı olarak, verileri Azure 'a veya Azure 'dan aktarmaya yönelik çeşitli seçenekler vardır.

Fiziksel aktarım

Azure 'a veri aktarmak için fiziksel donanım kullanmak, şu durumlarda iyi bir seçenektir:

• Ağınız yavaş veya güvenilir değil.
• Daha fazla ağ bant genişliği alma maliyeti düşük bir noktadır.
• Güvenlik veya kuruluş ilkeleri, hassas verilerle ilgilenirken giden bağlantılara izin vermez.

Birincil endişeniz, verilerinizi aktarmaya ne kadar süreceğine, ağ aktarımının gerçekten fiziksel aktarımdan daha yavaş olup olmadığını doğrulamak için bir test çalıştırmak isteyebilirsiniz.

Verileri Azure 'a fiziksel olarak taşıyan iki ana seçenek vardır:

• Azure İçeri/Dışarı Aktarma. azure İçeri/Dışarı Aktarma hizmeti , iç SATA hdd 'leri veya sdds 'yi bir azure veri merkezine aktararak azure Blob Depolama veya azure dosyaları için büyük miktarlarda verileri güvenli bir şekilde aktarmanıza olanak tanır. bu hizmeti ayrıca Azure Depolama 'den sabit disk sürücülerine veri aktarmak ve şirket içi yükleme için bunların size sevk edilmesini sağlamak için de kullanabilirsiniz.

• Azure Data Box. Azure Data Box , Azure İçeri/Dışarı Aktarma hizmetine çok benzeyen Microsoft tarafından sağlanmış bir gereç. Microsoft size özel, güvenli ve yetkisiz bir aktarım gereci sağlar ve Portal üzerinden izleyebilmeniz için uçtan uca lojistik 'yı işler. Azure Data Box hizmetin bir avantajı kullanım kolaylığıdır. Birkaç sabit sürücü satın almanız, bunları hazırlamanız ve her birine dosya aktarmanız gerekmez. Azure Data Box, çeşitli sektör lideri Azure iş ortakları tarafından, ürünlerinden daha sorunsuz bir şekilde çevrimdışı aktarım kullanımını kolaylaştırmak için desteklenir.

Komut satırı araçları ve API 'Leri

Komut dosyalı ve programlı veri aktarımı istediğinizde bu seçenekleri göz önünde bulundurun.

• Azure CLI. azure clı , azure hizmetlerini yönetmenizi ve azure Depolama veri yüklemenizi sağlayan platformlar arası bir araçtır.

• AzCopy. en iyi performansla Azure Blob, dosya ve tablo depolamasına veri kopyalamak için bir Windows veya Linux komut satırından azcopy kullanın. AzCopy eşzamanlılık ve paralellik desteğine ek olarak kesintiye uğrayan kopyalama işlemlerini sürdürme olanağı sunar. AWS 'den Azure 'a veri kopyalamak için AzCopy de kullanabilirsiniz. programlı erişim için Microsoft Azure Depolama veri taşıma kitaplığı , azcopy 'i destekleyen temel çerçevedir. .NET Core kitaplığı olarak sağlanır.

• PowerShell. powershell cmdlet 'i , powershell için kullanılan Windows yöneticileri için bir seçenektir.

• AdlCopy. adlcopy , Azure Depolama bloblarından Data Lake Store ' ye veri kopyalamanızı sağlar. Ayrıca, verileri iki Azure Data Lake Store hesabı arasında kopyalamak için de kullanılabilir. ancak, Data Lake Store verileri Depolama bloblara kopyalamak için kullanılamaz.

• Distcp. Data Lake Store erişimi olan bir HDInsight kümeniz varsa, verileri bir HDInsight küme depolama alanına (ıNB) Data Lake Store hesabına kopyalamak için Distcp gibi Hadoop ekosistem araçlarını kullanabilirsiniz.

• Sqoop. Sqoop , Hadoop ekosisteminin bir Apache projesi ve parçasıdır. Tüm HDInsight kümelerinde önceden yüklenmiş olarak gelir. hdınsight kümesi ile SQL, Oracle, MySQL gibi ilişkisel veritabanları arasında veri aktarımına izin verir. Sqoop, içeri ve dışarı aktarma dahil olmak üzere ilgili araçların bir koleksiyonudur. sqoop, Azure Depolama blob 'ları veya bağlı depolama Data Lake Store kullanarak hdınsight kümeleri ile çalışmaktadır.

• PolyBase. polybase , T-SQL dili aracılığıyla veritabanı dışındaki verilere erişen bir teknolojidir. SQL Server 2016 ' de, Hadoop 'taki dış verilerde sorgular çalıştırmanıza veya Azure Blob Depolama içeri/dışarı aktarmaya yönelik veri almanıza izin verir. azure Synapse Analytics 'te azure Blob Depolama ve Azure Data Lake Store verileri içeri ve dışarı aktarabilirsiniz. Şu anda PolyBase, Azure SYNAPSE 'a veri almanın en hızlı yöntemidir.

• Hadoop komut satırı. hdınsight kümesi baş düğümünde bulunan verileriniz varsa, hadoop -copyFromLocal bu verileri kümenizin Azure Depolama blob veya Azure Data Lake Store gibi kümenizin bağlı depolamasına kopyalamak için komutunu kullanabilirsiniz. Hadoop komutunu kullanmak için önce baş düğümüne bağlanmanız gerekir. Bağlandıktan sonra bir dosyayı depolamaya yükleyebilirsiniz.

Grafik arabirim

Yalnızca birkaç dosyayı veya veri nesnesini aktarıyorsanız ve işlemi otomatikleştirmenize gerek yoksa aşağıdaki seçenekleri göz önünde bulundurun.

• Azure Depolama Gezgini. Azure Depolama Gezgini , Azure depolama hesaplarınızın içeriğini yönetmenizi sağlayan platformlar arası bir araçtır. Blob, dosya, kuyruk, tablo ve Azure Cosmos DB varlığı gibi nesneleri karşıya yükleyebilir, indirebilir ve yönetebilirsiniz. Blob depolama alanıyla birlikte kullanarak blobları ve klasörleri yönetebilir, yerel dosya sisteminizle Blob depolama alanı veya farklı depolama hesapları arasında blobları karşıya yükleme ve indirme işlemlerini gerçekleştirebilirsiniz.

• Azure portalı. BLOB depolama ve Data Lake Store her ikisi de dosyaları keşfetmeye ve yeni dosyaları tek seferde karşıya yüklemeye yönelik Web tabanlı bir arabirim sağlar. Herhangi bir araç yüklemeden veya komut kullanmadan dosyalarınıza hızlıca göz atmak veya birkaç tane dosyayı karşıya yüklemek için iyi bir seçenektir.

Veri işlem hattı

Azure Data Factory. Azure Data Factory , bir dizi Azure hizmeti, şirket içi veya ikisinin bir birleşimi arasında düzenli olarak dosya aktarmak için en uygun yönetilen bir hizmettir. Azure Data Factory kullanarak, farklı veri depolarından veri alan veri odaklı iş akışları (işlem hatları olarak adlandırılır) oluşturabilir ve zamanlayabilirsiniz. Bu platform Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics ve Azure Machine Learning gibi işlem hizmetlerini kullanarak verileri işleyip dönüştürebilir. Veri hareketini ve veri dönüştürmeyi düzenlemek ve otomatikleştirmek için veri odaklı iş akışları oluşturun.

Anahtar seçim ölçütleri

Veri aktarım senaryolarında, bu soruları yanıtlayarak gereksinimlerinize uygun sistemi seçin:

• Internet bağlantısının çok uzun sürme, güvenilmez veya çok pahalı olduğu durumlarda çok büyük miktarlarda veri aktarımı yapmanız gerekiyor mu? Yanıt Evet ise, fiziksel aktarımı değerlendirin.

• Veri aktarım görevleriniz için betik oluşturmayı tercih ediyor musunuz, bu nedenle yeniden kullanılabilir mi? Varsa, komut satırı seçeneklerinden birini veya Azure Data Factory seçin.

• Bir ağ bağlantısı üzerinden çok büyük miktarda veri aktarmanız mı gerekiyor? Bu durumda, büyük veriler için iyileştirilmiş bir seçenek belirleyin.

• İlişkisel bir veritabanına veri aktarmanız mı gerekiyor? Yanıt Evet ise, bir veya daha fazla ilişkisel veritabanını destekleyen bir seçenek belirleyin. Bu seçeneklerden bazılarının de bir Hadoop kümesi gerektirdiğini unutmayın.

• Otomatikleştirilmiş bir veri işlem hattı veya iş akışı düzenlemesi gerekiyor mu? Yanıt Evet ise Azure Data Factory değerlendirin.

Yetenek matrisi

Aşağıdaki tablolar, özelliklerde önemli farklılıkları özetler.

Fiziksel aktarım

Komut satırı araçları

Hadoop/HDInsight:

Diğer:

[1] AdlCopy, bir hesapta büyük veri aktarımı için Data Lake Analytics iyileştirilmiştir.

[2] PolyBase performansı, hesaplamayı Hadoop'a iterek ve SQL Server örnekleri ile Hadoop düğümleri arasında paralel veri aktarımını etkinleştirmek için PolyBase ölçek dışarı aktarma grupları kullanılarak artırılabilir.

Grafik arabirim ve Azure Data Factory

* Bu durumda Azure portal, BLOB depolama ve Data Lake Store için Web tabanlı araştırma araçları kullanma anlamına gelir.