Azure Data Factory'deki tümleştirme çalışma zamanı

  • Makale
  • Okumak için 11 dakika

Uygulama hedefi: Azure SYNAPSE Analytics 'i Azure Data Factory

Integration Runtime (IR), farklı ağ ortamlarında aşağıdaki veri tümleştirme özelliklerini sağlamak için Azure Data Factory ve Azure Synapse işlem hatları tarafından kullanılan işlem altyapısıdır:

  • Veri Flow: Yönetilen Azure Flow veri kaynakları yürütün.
  • Veri taşıma: Genel ağ ve özel ağ (şirket içi veya sanal özel ağ) veri depoları arasında veri kopyalama. Yerleşik bağlayıcılar, biçim dönüştürme, sütun eşleme, performanslı ve ölçeklenebilir veri aktarımı desteği sunar.
  • Etkinlik gönderme: Azure Databricks, Azure HDInsight, ML Studio (klasik), Azure SQL Veritabanı, SQL Server ve daha fazlası gibi çeşitli işlem hizmetlerinde çalışan dönüştürme etkinliklerini Azure SQL Veritabanı ve izleme.
  • SSIS paketi yürütme: SQL Server Integration Services (SSIS) paketlerini yönetilen bir Azure işlem ortamında yerel olarak yürütün.

Synapse Data Factory işlem hatlarında bir etkinlik gerçekleştirilecek eylemi tanımlar. Bağlı hizmet, bir hedef veri deposunu veya işlem hizmetini tanımlar. Tümleştirme çalışma zamanı, etkinlik ile bağlı Hizmetler arasında köprü görevi görür. Bağlı hizmet veya etkinlik tarafından başvurur ve etkinliğin üzerinde çalıştırıldıkları veya gönderildikleri işlem ortamını sağlar. Bu şekilde etkinlik hedef veri deposuna veya işlem hizmetine en yakın bölgeden en yüksek performansla gerçekleştirilirken güvenlik ve uyum gereksinimleri korunmuş olur.

Tümleştirme çalışma zamanları, Azure Data Factory ve Azure Synapse hub'ı ve onlara başvurulan tüm etkinlikler, veri kümeleri veya veri akışları aracılığıyla kullanıcı arabiriminde oluşturulabilir.

Tümleştirme çalışma zamanı türleri

Data Factory üç tür Integration Runtime (IR) sunar ve veri tümleştirme özelliklerine ve ağ ortamına en uygun türü seçmeniz gerekir. Bu üç tür şunlardır:

  • Azure
  • Kendinden konak
  • Azure-SSIS

Not

Synapse işlem hatları şu anda yalnızca Azure veya kendi içinde barındırılan tümleştirme çalışma zamanlarını destekler.

Aşağıdaki tabloda tümleştirme çalışma zamanı türlerinin her birinin sunduğu özellikler ve ağ desteği açıklanmaktadır:

IR türü Ortak ağ Özel ağ
Azure Veri Akışı
Veri taşıma
Etkinlik dağıtma		 Veri Akışı
Veri taşıma
Etkinlik dağıtma
Kendinden konak Veri taşıma
Etkinlik dağıtma		 Veri taşıma
Etkinlik dağıtma
Azure-SSIS SSIS paketi yürütme SSIS paketi yürütme

Azure tümleştirme çalışma zamanı

Azure tümleştirme çalışma zamanı şunları yapar:

  • Azure'da Veri Akışlarını Çalıştırma
  • Bulut veri depoları arasında kopyalama etkinliği çalıştırma
  • Genel ağ içinde aşağıdaki dönüştürme etkinliklerini gönderme: Databricks Notebook/ Jar/ Python etkinliği, HDInsight Hive etkinliği, HDInsight Pig etkinliği, HDInsight MapReduce etkinliği, HDInsight Spark etkinliği, HDInsight Streaming etkinliği, ML Studio (klasik) Toplu Yürütme etkinliği, ML Studio (klasik) Kaynak Güncelleştirme etkinlikleri, Saklı Yordam etkinliği, Data Lake Analytics U-SQL etkinliği, .NET özel etkinliği, Web etkinliği, Arama etkinliği ve Meta Verileri Al etkinliği.

Azure IR ağ ortamı

Azure Integration Runtime, genel erişime açık uç noktalarla veri depolarına ve işlem hizmetlerine bağlanmayı destekler. Yönetilen Sanal Ağ'ı etkinleştiren Azure Integration Runtime, özel ağ ortamındaki özel bağlantı hizmetini kullanarak veri depolarına bağlanmayı destekler.

Azure IR işlem kaynağı ve ölçeklendirme

Azure tümleştirme çalışma zamanı Azure'da tamamen yönetilebilen ve sunucusuz bir işlem sunar. Altyapı sağlama, yazılım yükleme, düzeltme eki uygulama veya kapasite ölçeklendirme konusunda endişelenmeniz gerekli değildir. Ayrıca yalnızca gerçekten kullandığınız süre boyunca ödeme yaparsınız.

Azure tümleştirme çalışma zamanı verileri bulut veri depoları arasında güvenli, güvenilir ve yüksek performanslı bir şekilde taşınması için gerekli yerel işlemi sunar. Kopyalama etkinliğinde kullanılacak veri tümleştirme birimi sayısını belirleyebilirsiniz. Bunu yaptığınızda Azure IR işlem boyutu esnek şekilde ölçeklendirilerek Azure Integration Runtime boyutunu el ile ayarlama ihtiyacını ortadan kaldırır.

Etkinlik gönderme, etkinliği hedef işlem hizmetine yönlendiren basit bir işlemdir, bu nedenle bu senaryo için işlem boyutunun ölçeğini yukarıya ölçeklendirmeye gerek yok.

Bir uygulama oluşturma ve yapılandırma hakkında bilgi Azure IR, bkz.Azure Integration Runtime.

Not

Azure Tümleştirme çalışma zamanı, veri Flow çalıştırmak için kullanılacak temel işlem altyapısını tanımlayan Data Flow çalışma zamanı ile ilgili özelliklere sahiptir.

Kendinden konak tümleştirme çalışma zamanı

Kendinden konak IR şu özelliklere sahiptir:

  • Bulut veri depoları ve özel ağdaki veri deposu arasında kopyalama etkinliği çalıştırma.
  • Şirket içi veya Azure Sanal Ağ'daki işlem kaynaklarına yönelik aşağıdaki dönüştürme etkinliklerini gönderme: HDInsight Hive etkinliği (BYOC-Kendi Kümenizi Getirin), HDInsight Pig etkinliği (BYOC), HDInsight MapReduce etkinliği (BYOC), HDInsight Spark etkinliği (BYOC), HDInsight Streaming etkinliği (BYOC), ML Studio (klasik) Toplu Yürütme etkinliği, ML Studio (klasik) Kaynak Güncelleştirme etkinlikleri, Saklı Yordam etkinliği, Data Lake Analytics U-SQL etkinliği, Özel etkinlik (Azure Batch üzerinde çalışır), Arama etkinliği ve Meta Veri Al etkinliği.

Not

SAP Hana, MySQL gibi kendi sürücüsünü getir gerektiren veri depolarını desteklemek için kendinden konak tümleştirme çalışma zamanı kullanın. Daha fazla bilgi için bkz. desteklenen veri depoları.

Not

Java Runtime Environment (JRE), Kendi Kendine Barındırılan IR'nin bağımlılığıdır. Aynı ana bilgisayara JRE'nin yüklü olduğundan emin olun.

Kendinden konak IR ağ ortamı

Genel bulut ortamından gelen doğrudan görüş hattı olmayan özel bir ağ ortamında güvenli bir şekilde veri tümleştirmesi gerçekleştirmek için şirket güvenlik duvarının arkasına veya sanal özel ağ içine şirket içinde barındırılan bir IR yükleyebilirsiniz. Kendinden konak tümleştirme çalışma zamanı yalnızca açık internete giden HTTP tabanlı bağlantılar oluşturur.

Kendinden konak IR işlem kaynağı ve ölçeklendirme

Şirket içinde barındırılan IR'yi şirket içi bir makineye veya özel ağ içindeki bir sanal makineye yükleyin. Şu anda kendinden konak IR yalnızca Windows işletim sistemlerinde çalışmaktadır.

Yüksek kullanılabilirlik ve ölçeklenebilirlik için kendinden konak IR ölçeğini mantıksal örneği birden fazla şirket içi makineyle etkin-etkin modda ilişkilendirerek genişletebilirsiniz. Daha fazla bilgi için, ayrıntılar için nasıl kılavuzları altında kendinden konak IR oluşturma ve yapılandırma makalesine bakın.

Azure-SSIS Integration Runtime

Not

Azure-SSIS tümleştirme çalışma zamanları şu anda Synapse işlem hatlarında desteklenmiyor.

Var olan SSIS iş yükünü artırmak ve değiştirmek için Azure-SSIS IR oluşturarak SSIS paketlerini yerel ortamda yürütebilirsiniz.

Azure-SSIS IR ağ ortamı

Azure-SSIS IR ortak ağ veya özel ağ üzerinde sağlanabilir. Şirket içi verilere erişim için Azure-SSIS IR’nin şirket içi ağınıza bağlı bir Sanal Ağa katılması gerekir.

Azure-SSIS IR işlem kaynağı ve ölçeklendirme

Azure-SSIS IR, SSIS paketlerinizi çalıştırmaya ayrılmış Azure sanal makinelerinin tam yönetilen bir kümesidir. SSIS projelerinin/Azure SQL Veritabanı (SSISDB) SQL yönetilen örneğinizi veya yönetilen örneğinizi getirebilirsiniz. Düğüm boyutunu belirttikten sonra kümedeki düğüm sayısını belirtik ölçeğini genişleterek işlem gücünü artırabilirsiniz. Azure-SSIS Integration Runtime hizmetini gerekli olduğunda durdurup başlatarak çalıştırma maliyetlerini kontrol altına alabilirsiniz.

Daha fazla bilgi için nasıl yapılır kılavuzlarında Azure SSIS IR oluşturma ve yapılandırma makalesine bakın. Oluşturduktan sonra var olan SSIS paketlerinizi çok az veya sıfır değişiklikle SQL Server Veri Araçları (SSDT) ve SQL Server Management Studio (SSMS) gibi bilinen araçları kullanarak şirket içi SSIS kullanır gibi dağıtabilir ve yönetebilirsiniz.

Azure-SSIS çalışma zamanı hakkında daha fazla bilgi için aşağıdaki makalelere bakın:

Tümleştirme çalışma zamanının konumu

Fabrika konumu ve IR konumu arasındaki ilişki

Müşteri bir Data Factory örneği oluşturduğunda, Data Factory veya SYNAPSE çalışma alanının konumunu belirtmeleri gerekir. Data Factory veya SYNAPSE çalışma alanının meta verileri burada depolanır ve işlem hattının tetiklenmesi buradan başlatılır. Meta veriler yalnızca müşterinin tercih ettiği bölgede depolanır ve diğer bölgelerde depolanmaz.

Bu arada, bir Azure Data Factory veya Azure SYNAPSE işlem hattı, verileri veri depoları arasında taşımak veya işlem hizmetleri 'ni kullanarak veri işlemek için diğer Azure bölgelerindeki veri depolarına ve işlem hizmetlerine erişebilir. Bu davranış veri uyumluluğu, verimlilik ve düşük ağ kullanım maliyetleri için global ölçekte kullanılabilen IR aracılığıyla gerçekleştirilir.

IR Konumu arka uç işleminin konumunu tanımlar ve bu veri taşıma, etkinlik dağıtımı ve SSIS paket yürütme işlemlerinin gerçekleştirileceği konumdur. IR konumu, ait olduğu Data Factory konumundan farklı olabilir.

Azure IR konumu

Azure IR belirli bir konum ayarlayabilirsiniz, bu durumda Etkinlik yürütme veya dağıtım söz konusu bölgede gerçekleşecektir.

Varsayılan olan genel ağda otomatik çözümle Azure IR kullanmayı seçerseniz,

  • Kopyalama etkinliği için, havuz veri deponuzdaki konumu otomatik olarak algılamak üzere en iyi çaba, daha sonra varsa aynı bölgede veya aynı coğrafya içinde olan en yakın olan bir şekilde kullanılır; Havuz veri deposunun bölgesi algılanamaz ise, Data Factory bölgesindeki IR alternatif olarak kullanılır.

    Örneğin, Doğu ABD Data Factory veya SYNAPSE çalışma alanınızın oluşturulduğu,

    • Batı ABD Azure Blob 'a veri kopyalarken, blob Batı ABD algılanırsa, kopyalama etkinliği Batı ABD IR üzerinde yürütülür; bölge algılaması başarısız olursa, kopyalama etkinliği Doğu ABD IR üzerinde yürütülür.
    • Bölgenin algılanamayan verileri Salesforce 'a kopyaladığınızda, kopyalama etkinliği Doğu ABD IR üzerinde yürütülür.

    İpucu

    Katı veri uyumluluğu gereksinimleriniz varsa ve verilerin belirli bir coğrafyadan ayrılmamasını sağlamak istiyorsanız, belirli bir bölgede açık bir şekilde Azure IR oluşturabilir ve ConnectVia özelliğini kullanarak Bağlı Hizmeti bu IR’ye yönlendirebilirsiniz. Örneğin, UK Güney blob 'tan UK Güney Azure SYNAPSE Analytics 'e veri kopyalamak istiyorsanız ve verilerin UK ' a ayrılmadığından emin olmak istiyorsanız, UK Güney içinde bir Azure IR oluşturun ve hem bağlı hizmetleri bu IR 'ye bağlayın.

  • Arama/GetMetadata/silme etkinliği yürütmesi (ardışık düzen etkinlikleri olarak da bilinir), dönüştürme etkinliği dağıtma (dış etkinlik olarak da bilinir) ve yazma işlemleri (test bağlantısı, klasör listesi ve tablo listesi, Önizleme verileri) için, Data Factory veya SYNAPSE çalışma alanıyla aynı bölgedeki IR kullanılır.

  • veri Flow için, Data Factory veya Synapse çalışma alanı bölgesindeki ır kullanılır.

    İpucu

    Veri akışının ilgili veri depolarıyla aynı bölgede (mümkünse) çalıştığından emin olmak iyi bir uygulamadır. Bunu otomatik çözümle Azure IR (veri deposu konumu Data Factory veya SYNAPSE çalışma alanı konumuyla aynı ise) ya da veri depolarınız ile aynı bölgede yeni bir Azure IR örneği oluşturup veri akışını yürütüleyerek elde edebilirsiniz.

Otomatik Çözümle Azure IR için yönetilen sanal ağı etkinleştirirseniz, Data Factory veya SYNAPSE çalışma alanı bölgesindeki IR kullanılır.

Kullanıcı arabirimindeki işlem hattı etkinliğini izleme görünümünde veya etkinlik izleme yükündeki etkinlik yürütme işlemi sırasında kullanıma alınan IR konumunu izleyebilirsiniz.

Kendinden konak IR konumu

Şirket içinde barındırılan IR, Data Factory veya SYNAPSE çalışma alanına mantıksal olarak kaydedilir ve işlevlerini desteklemek için kullanılan işlem sizin tarafınızdan sağlanır. Bu nedenle kendinden konak IR için açık bir konum özelliği yoktur.

Kendinden konak IR veri taşıma işlemini gerçekleştirmek için kullanıldığında kaynaktan veri ayıklar ve hedefe yazar.

Azure SSIS IR konumu

Not

Azure-SSIS tümleştirme çalışma zamanları Şu anda SYNAPSE işlem hatları içinde desteklenmemektedir.

Ayıklama, dönüştürme, yükleme (ETL) iş akışlarınızda yüksek performansa ulaşmak için doğru Azure-SSIS IR konumunu seçmek önemlidir.

  • Azure-SSIS IR konumunun Data Factory konumuyla aynı olması gerekmez, ancak kendi Azure SQL Veritabanı konumuyla veya sssısdb 'nin bulunduğu SQL yönetilen örnek ile aynı olmalıdır. Bu şekilde Azure-SSIS Integration Runtime biriminiz farklı konumlar arasında aşırı trafik oluşturmadan kolayca SSISDB öğesine erişebilir.
  • mevcut bir SQL Veritabanı veya SQL yönetilen örneğiniz yoksa, ancak şirket içi veri kaynaklarınız/hedefleri varsa, şirket içi ağınıza bağlı bir sanal ağın aynı konumunda yeni bir Azure SQL Veritabanı veya SQL yönetilen örnek oluşturmanız gerekir. bu şekilde, yeni Azure SQL Veritabanı veya SQL yönetilen örneği kullanarak Azure-SSIS IR oluşturabilir ve bu sanal ağı aynı konumda birleştirerek farklı konumlarda veri taşımalarını etkili bir şekilde en aza indirebilirsiniz.
  • mevcut Azure SQL Veritabanı veya SQL yönetilen örneğinizin konumu, şirket içi ağınıza bağlı bir sanal ağın konumuyla aynı değilse, önce mevcut bir Azure SQL Veritabanı veya SQL yönetilen örneği kullanarak Azure-SSIS IR oluşturun ve aynı konumdaki başka bir sanal ağ ile bir sanal ağ oluşturun ve ardından farklı konumlar arasında sanal ağ bağlantısı yapılandırın.

Aşağıdaki şemada Data Factory konum ayarları ve tümleştirme çalışma zamanları gösterilmektedir:

Tümleştirme çalışma zamanının konumu

Kullanılacak IR'yi belirleme

Bir etkinlik birden fazla Integration Runtime türüyle ilişkilenirse, bunlardan birine çözümlenir. Şirket içinde barındırılan tümleştirme çalışma zamanı, yönetilen bir sanal ağ kullanarak Azure Data Factory veya SYNAPSE çalışma alanındaki Azure tümleştirme çalışma zamanına göre önceliklidir. İkincisi ise Global Azure tümleştirme çalışma zamanından önceliklidir.

Örneğin, verileri kaynaktan havuza kopyalamak için bir kopyalama etkinliği kullanılır. Genel Azure tümleştirme çalışma zamanı, bağlı hizmetten kaynağa ve Azure Data Factory yönetilen sanal ağ 'daki bir Azure tümleştirme çalışma zamanına ilişkiliydi. Bu durumda, hem kaynak hem de havuz bağlantılı hizmeti, yönetilen bir sanal ağ kullanarak Azure Data Factory veya SYNAPSE çalışma alanlarında Azure tümleştirme çalışma zamanı 'nı kullanır. Ancak şirket içinde barındırılan bir tümleştirme çalışma zamanı, kaynak için bağlı hizmeti ilişkilendirir, ardından hem kaynak hem de havuz bağlantılı hizmeti şirket içinde barındırılan tümleştirme çalışma zamanı 'nı kullanır.

Kopyalama etkinliği

Kopyalama etkinliği için veri akışı yönünü tanımlamak üzere kaynak ve havuz bağlantılı hizmetleri gerektirir. Kopyalama işlemini gerçekleştirmek için kullanılacak olan tümleştirme çalışma zamanı örneğini belirlemek için aşağıdaki mantık kullanılır:

  • İki bulut veri kaynağı arasında kopyalama: hem kaynak hem de havuz bağlantılı hizmetler Azure IR kullanılırken bölgesel Azure IR kullanılır veya OTOMATIK olarak IR (varsayılan), tümleştirme çalışma zamanı konumu bölümünde açıklanacak şekilde seçilmişse Azure IR konumu otomatik olarak belirlenir.
  • Bir bulut veri kaynağından özel ağdaki veri kaynağına kopyalama: Kaynak veya havuz bağlantılı hizmet noktaları kendinden konak IR birimine işaret ediyorsa kopyalama etkinliği kendinden konak Integration Runtime üzerinde yürütülür.
  • Özel ağ üzerindeki iki veri kaynağı arasında kopyalama: Hem kaynak hem de havuz Bağlantılı Hizmetin aynı tümleştirme çalışma zamanı örneğine işaret etmesi gerekir ve kopyalama Etkinliğini yürütmek için bu tümleştirme çalışma zamanı kullanılır.

Lookup ve GetMetadata etkinliği

Lookup ve GetMetadata etkinliği, veri deposu bağlı hizmetiyle ilişkili tümleştirme çalışma zamanı üzerinde yürütülür.

Dış dönüşüm etkinliği

Bir dış işlem altyapısını kullanan her dış dönüşüm etkinliğinin, bir tümleştirme çalışma zamanına işaret eden bir hedef işlem bağlı hizmeti vardır. Bu tümleştirme çalışma zamanı örneği, dış el kodlu dönüştürme etkinliğinin dağıtıldığı konumu belirler.

veri Flow etkinliği

veri Flow etkinlikleri, onunla ilişkili Azure tümleştirme çalışma zamanı üzerinde yürütülür. Veri akışları tarafından kullanılan Spark işlem, Azure Integration Runtime veri akışı özellikleri tarafından belirlenir ve ADF tarafından tam olarak yönetilir.

Sonraki adımlar

Aşağıdaki makalelere bakın: