İş Akışı Düzenleme Yöneticisi nedir?
UYGULANANLAR:
Azure Data Factory 
Azure Synapse Analytics
İpucu
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Not
Workflow Orchestration Manager, Apache Airflow tarafından desteklenir.
Not
Bu özellik genel önizleme aşamasındadır. Sorular veya özellik önerileri için lütfen adresine ayrıntıları içeren bir e-posta ManagedAirflow@microsoft.com gönderin.
Not
Azure Data Factory için workflow orchestration manager, apache airflow uygulamasını açık kaynak kullanır. Airflow belgeleri ve diğer öğreticiler Apache Airflow Belgeleri veya Topluluk sayfalarında bulunabilir.
Azure Data Factory, veri işlemi düzenlemesi için sunucusuz işlem hatları, 100'den fazla yönetilen bağlayıcı ile veri taşıma ve eşleme veri akışıyla görsel dönüşümler sunar.
Azure Data Factory İş Akışı Düzenleme Yöneticisi hizmeti, Apache Airflow ortamları oluşturmanın ve yönetmenin basit ve verimli bir yoludur ve veri işlem hatlarını büyük ölçekte kolayca çalıştırmanızı sağlar. Apache Airflow , karmaşık veri iş akışlarını program aracılığıyla oluşturmak, zamanlamak ve izlemek için kullanılan açık kaynak bir platformdur. Veri işlem hatlarını temsil etmek için yönlendirilmiş döngüsel grafikler (DAG)'ler halinde birleştirilebilen işleçler olarak adlandırılan bir görev kümesi tanımlamanıza olanak tanır. Airflow, bu DAG'leri bir zamanlamaya göre veya bir olaya yanıt olarak yürütmenize, iş akışlarının ilerleme durumunu izlemenize ve her görevin durumuna görünürlük sağlamanıza olanak tanır. Veri işlem hatlarını düzenleme amacıyla veri mühendisliği ve veri biliminde yaygın olarak kullanılır ve esnekliği, genişletilebilirliği ve kullanım kolaylığı ile bilinir.
İş Akışı Düzenleme Yöneticisi ne zaman kullanılır?
Azure Data Factory, veri işlemlerini görsel olarak düzenlemeye yönelik İşlem Hatları sunar (UI tabanlı yazma). Workflow Orchestration Manager, veri düzenleme işlemini tanımlamak için Airflow tabanlı python DAG'leri (python kod merkezli yazma) sunar. Airflow arka planınız varsa veya şu anda Apache Airflow kullanıyorsanız, işlem hatları yerine Workflow Orchestration Manager'ı kullanmayı tercih edebilirsiniz. Tam tersine, veri işlemi düzenlemesi için python tabanlı DAG'ler yazmak/yönetmek istemiyorsanız işlem hatlarını kullanmayı tercih edebilirsiniz.
İş Akışı Düzenleme Yöneticisi ile Azure Data Factory artık görsel, kod merkezli, OSS düzenleme gereksinimlerini kapsayan çoklu düzenleme özellikleri sunuyor.
Özellikler
Azure Data Factory'deki Workflow Orchestration Manager, aşağıdakiler dahil olmak üzere çeşitli güçlü özellikler sunar:
- Hızlı ve basit dağıtım - İş Akışı Orchestration Manager oluştururken Apache Airflow sürümünü seçerek Apache Airflow'u hızlı ve kolay bir şekilde ayarlayabilirsiniz.
- Bulut ölçeği - İş Akışı Düzenleme Yöneticisi, gerektiğinde Apache Airflow düğümlerini aralık belirtimine göre (min, max) otomatik olarak ölçeklendirir.
- Microsoft Entra tümleştirmesi - Microsoft Entra ID ile güvenliği sağlanan çoklu oturum açma deneyimi için Airflow ortamınızda Microsoft Entra RBAC'yi etkinleştirebilirsiniz.
- Meta veri şifrelemesi - Workflow Orchestration Manager, ortamınızın varsayılan olarak güvenli olduğundan emin olmak için Azure tarafından yönetilen anahtarları kullanarak meta verileri otomatik olarak şifreler. Müşteri Tarafından Yönetilen Anahtar (CMK) ile çift şifrelemeyi de destekler.
- Azure İzleme ve uyarı - Workflow Orchestration Manager tarafından oluşturulan tüm günlükler Azure İzleyici'ye aktarılır. Ayrıca kritik koşulları izlemek için ölçümler sağlar ve gerekli olup olmadığını bildirmenize yardımcı olur.
Mimari
Bölge kullanılabilirliği (genel önizleme)
- Doğu Abd
- Orta Güney Abd
- Batı Abd
- Güney Brezilya
- Güney Birleşik Krallık
- Kuzey Avrupa
- West Europe
- Güney Asya
Not
GA'ya göre tüm ADF bölgeleri desteklenir. Airflow ortam bölgesi varsayılan olarak Data Factory bölgesindedir ve yapılandırılamaz, bu nedenle Workflow Orchestration Manager önizlemesine erişebilmek için yukarıdaki desteklenen bölgede bir Data Factory kullandığınızdan emin olun.
Desteklenen Apache Airflow sürümleri
- 2.6.3
Not
Mevcut bir IR'de Airflow sürümünün değiştirilmesi desteklenmez. Bunun yerine önerilen çözüm, istenen sürüme sahip yeni bir Airflow IR oluşturmaktır
Tümleştirmeler
Apache Airflow, microsoft.azure sağlayıcısı aracılığıyla Microsoft Azure hizmetleriyle tümleştirilir.
Azure Data Factory kullanıcı arabiriminden hava akışı ortamını düzenleyerek herhangi bir sağlayıcı paketini yükleyebilirsiniz. Paketin yüklenmesi birkaç dakika sürer.
Sınırlamalar
- Diğer bölgelerdeki workflow orchestration manager ga tarafından kullanılabilir.
- Hava akışı üzerinden bağlanan Veri Kaynaklarına genel uç nokta (ağ) üzerinden erişilebilir olmalıdır.
- Sanal Ağ/Güvenlik Duvarı'nın arkasındaki blob Depolama içindeki DAG'ler şu anda desteklenmemekte. Bunun yerine İş Akışı Düzenleme Yöneticisi'nin Git eşitleme özelliğini kullanmanızı öneririz. Bkz. Workflow Orchestration Manager'da GitHub deposunu eşitleme
- Azure Key Vault'tan Dags içeri aktarma, LinkedServices'te desteklenmez.