Azure'da veri işlem hattı düzenleme teknolojisi seçme

  • Makale

Büyük veri çözümlerinin çoğu, iş akışlarında kapsüllenmiş yinelenen veri işleme işlemlerinden oluşur. İşlem hattı düzenleyici, bu iş akışlarını otomatikleştirmeye yardımcı olan bir araçtır. Düzenleyici işleri zamanlayabilir, iş akışlarını yürütebilir ve görevler arasındaki bağımlılıkları koordine edebilir.

Veri işlem hattı düzenleme seçenekleriniz nelerdir?

Azure'da aşağıdaki hizmetler ve araçlar işlem hattı düzenleme, denetim akışı ve veri taşıma için temel gereksinimleri karşılar:

Bu hizmetler ve araçlar birbirinden bağımsız olarak veya karma çözüm oluşturmak için birlikte kullanılabilir. Örneğin, Azure Data Factory V2'deki Integration Runtime (IR), yönetilen bir Azure işlem ortamında SSIS paketlerini yerel olarak yürütebilir. Bu hizmetler arasında bazı işlevlerde çakışma olsa da, bazı önemli farklar vardır.

Anahtar Seçim Ölçütleri

Seçenekleri daraltmak için şu soruları yanıtlayarak başlayın:

  • Verilerinizi taşımak ve dönüştürmek için büyük veri özelliklerine mi ihtiyacınız var? Bu genellikle çok gigabayt ile terabayt arasında veri anlamına gelir. Evet ise, seçeneklerinizi büyük verilere en uygun seçeneklerle daraltma.

  • Uygun ölçekte çalışabilen bir yönetilen hizmete ihtiyacınız var mı? Evet ise, yerel işlem gücünüzle sınırlı olmayan bulut tabanlı hizmetlerden birini seçin.

  • Veri kaynaklarınızdan bazıları şirket içinde mi bulunuyor? Evet ise hem bulut hem de şirket içi veri kaynakları veya hedefleriyle çalışabilecek seçenekleri arayın.

  • Kaynak verileriniz HDFS dosya sistemindeki Blob depolamada mı depolanıyor? Bu durumda Hive sorgularını destekleyen bir seçenek belirleyin.

Yetenek matrisi

Aşağıdaki tablolarda, özelliklerdeki temel farklar özetlemektedir.

Genel özellikler

Özellik Azure Data Factory SQL Server Integration Services (SSIS) HDInsight üzerinde Oozie
Yönetilen Yes Hayı Evet
Bulut tabanlı Yes Hayır (yerel) Yes
Önkoşul Azure Aboneliği SQL Server Azure Aboneliği, HDInsight kümesi
Yönetim araçları Azure Portal, PowerShell, CLI, .NET SDK SSMS, PowerShell Bash kabuğu, Oozie REST API, Oozie web kullanıcı arabirimi
Fiyatlandırma Kullanım başına ödeme Lisanslama / özellikler için ödeme HDInsight kümesini çalıştırmaya ek ücret alınmaz

İşlem hattı özellikleri

Özellik Azure Data Factory SQL Server Integration Services (SSIS) HDInsight üzerinde Oozie
Verileri kopyalama Yes Evet Yes
Özel dönüştürmeler Yes Yes Evet (MapReduce, Pig ve Hive işleri)
Azure Machine Learning puanlaması Yes Evet (betik ile) Hayır
HDInsight İsteğe Bağlı Yes Hayı Hayır
Azure Batch Yes Hayı Hayır
Pig, Hive, MapReduce Yes Hayı Evet
Spark Yes Hayı Hayır
SSIS Paketini Yürütme Yes Evet Hayır
Denetim akışı Yes Evet Yes
Şirket içi verilere erişim Yes Evet Hayır

Ölçeklenebilirlik özellikleri

Özellik Azure Data Factory SQL Server Integration Services (SSIS) HDInsight üzerinde Oozie
Ölçeği artırma Yes Hayı Hayır
Ölçeği genişletme Yes Hayır Evet (kümeye çalışan düğümleri ekleyerek)
Büyük veriler için iyileştirilmiş Yes Hayı Evet

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Sonraki adımlar