Azure'da veri işlem hattı düzenleme teknolojisi seçme

Büyük veri çözümlerinin çoğu iş akışlarında kapsüllenir ve yinelenen veri işleme işlemlerinden oluşur. İşlem hattı orchestrator, bu iş akışlarını otomatikleştirmeye yardımcı olan bir araçtır. Bir orchestrator işleri zamanlar, iş akışlarını yürütebilir ve görevler arasındaki bağımlılıkları koordine edebilirsiniz.

Veri işlem hattı düzenleme seçenekleriniz nedir?

Azure'da aşağıdaki hizmetler ve araçlar işlem hattı düzenleme, denetim akışı ve veri taşıma için temel gereksinimleri karşılar:

• Azure Data Factory
• HDInsight üzerinde Oozie
• SQL Server Integration Services (SSIS)

Bu hizmetler ve araçlar birbirinden bağımsız olarak kullanılabilir veya karma bir çözüm oluşturmak için birlikte kullanılabilir. Örneğin, Integration Runtime V2'de Azure Data Factory (IR), yönetilen bir Azure işlem ortamında SSIS paketlerini yerel olarak yürütebilirsiniz. Bu hizmetler arasında işlevsellikte bazı çakışmalar vardır ancak birkaç temel fark vardır.

Anahtar Seçim Ölçütleri

Seçenekleri daraltmak için şu soruları yanıtlayarak başlayabilirsiniz:

• Verilerinizi taşıma ve dönüştürme için büyük veri özelliklerine mi ihtiyacınız var? Bu genellikle çok gigabayttan terabaytlarca veriye anlamına gelir. Evet ise, seçeneklerinizi büyük veriler için en uygun olan seçeneklerle daraltabilirsiniz.

• Büyük ölçekte çalışa bir yönetilen hizmete mi ihtiyaç var? Evet ise, yerel işlem gücünüzle sınırlı olmayan bulut tabanlı hizmetlerden birini seçin.

• Veri kaynaklarından bazıları şirket içinde mi? Yanıt evet ise hem bulut hem de şirket içi veri kaynaklarıyla veya hedeflerle çalışabilirsiniz.

• Kaynak verileriniz HDFS dosya sistemi üzerinde Blob depolamada mı depolanıyor? Öyleyse, Hive sorgularını destekleyen bir seçenek belirleyin.

Yetenek matrisi

Aşağıdaki tablolarda, özellikler arasındaki temel farklar özetlenmiştir.

Genel özellikler

İşlem hattı özellikleri

Ölçeklenebilirlik özellikleri