Azure Data Factory kaynak denetimi

AŞAĞıDAKILER IÇIN GEÇERLIDIR: Azure Data Factory Azure Synapse Analytics

Varsayılan olarak, Azure Data Factory Kullanıcı arabirimi deneyimi (UX) yazarları doğrudan Data Factory hizmetine göre yapılır. Bu deneyim aşağıdaki sınırlamalara sahiptir:

• Data Factory hizmeti, değişikliklerinizin JSON varlıklarını depolamak için bir depo içermez. Değişiklikleri kaydetmek için tek yol Tümünü Yayımla düğmesi ile tüm değişiklikler doğrudan Data Factory hizmetine yayımlanır.
• Data Factory hizmeti işbirliği ve sürüm denetimi için en iyi duruma getirilmemiştir.
• Data Factory kendisini dağıtmak için gereken Azure Resource Manager şablonu dahil değildir.

daha iyi bir yazma deneyimi sağlamak için Azure Data Factory, Azure Repos veya GitHub ile bir Git deposu yapılandırmanıza olanak tanır. Git değişiklik izlemeyi ve işbirliğini kolaylaştıran bir sürüm denetimi sistemidir. Bu makale, en iyi yöntemler ve sorun giderme kılavuzu ile birlikte bir git deposunda yapılandırma ve çalışmayı özetler.

Azure Data Factory git ile tümleştirilme hakkında daha fazla bilgi edinmek için aşağıdaki 15 dakikalık öğretici videosunu görüntüleyin:

Git tümleştirmesinin avantajları

Aşağıda, git tümleştirmesinin yazma deneyimine sağladığı avantajların bir listesi verilmiştir:

• Kaynak denetimi: Data Factory iş yükleriniz önemli olmaya yönelik olarak, aşağıdaki gibi çeşitli kaynak denetimi avantajlarından yararlanmak için fabrikanızı git ile tümleştirmeniz gerekir:
  • Değişiklikleri izleme/denetleme özelliği.
  • Hataları ortaya çıkan değişiklikleri döndürmenize olanak tanır.
• Kısmi kaydetme: Data Factory hizmetine göre yazarken, değişiklikleri taslak olarak kaydedemez ve tüm yayınlar Veri Fabrikası doğrulaması ' nı iletmelidir. İşlem hatlarınız bitmediği veya yalnızca bilgisayarınız kilitlenirse değişiklikleri kaybetmek istemediğinizde git tümleştirmesi, Veri Fabrikası kaynakları üzerinde bulundukları durum ne olursa olsun artımlı değişikliklere izin verir. Bir git deposunun yapılandırılması, değişiklikleri kaydetmenizi sağlayarak yalnızca yaptığınız değişiklikleri sizin için test ettiğinizde yayımlamanıza izin verir.
• İşbirliği ve denetim: Aynı fabrikaya katkıda bulunan birden fazla ekip üyesine sahipseniz, bir kod inceleme işlemi aracılığıyla ekip malarınızın birbirleriyle işbirliği yapmasına izin vermek isteyebilirsiniz. Ayrıca, fabrikanızın her katkıda bulunan eşit izinleri olmadığı şekilde ayarlayabilirsiniz. Bazı takım üyelerinin yalnızca git aracılığıyla değişiklik yapmasına izin verilebilir ve yalnızca ekipteki belirli kişilerin değişiklikleri fabrikada yayımlamasına izin verilir.
• Daha ıyı CI/CD: Sürekli teslim işlemiylebirden çok ortama dağıtıyorsanız, git tümleştirmesi belirli eylemleri daha kolay hale getirir. Bu eylemlerin bazıları şunlardır:
  • Yayın işlem hattınızı, ' dev ' fabrikasında yapılan herhangi bir değişiklik olduğu anda otomatik olarak tetiklenecek şekilde yapılandırın.
  • Fabrikanızın Kaynak Yöneticisi şablonunda parametreler olarak kullanılabilen özellikleri özelleştirin. Yalnızca gerekli özellikler kümesini parametre olarak tutmak ve her şeyin sabit olarak kodlanmasını sağlamak yararlı olabilir.
• Daha Iyi performans: Git tümleştirmesinin bulunduğu ortalama bir fabrika, Data Factory hizmetinde bir yazma işlemiyle 10 kat daha hızlı yükler. Bu performans geliştirmesi, kaynakların git aracılığıyla indirilmesinden kaynaklanır.

Git deposuna Bağlan

hem Azure Repos hem de GitHub için bir Git deposunu veri fabrikanıza bağlanmanın dört farklı yolu vardır. Bir git deposuna bağlandıktan sonra, kaynak denetim bölümünde Git yapılandırması altındaki Yönetim hub 'ında yapılandırmanızı görüntüleyebilir ve yönetebilirsiniz.

Yapılandırma yöntemi 1: giriş sayfası

Azure Data Factory giriş sayfasında, en üstte kod deposunu ayarla ' yı seçin.

Yapılandırma yöntemi 2: yazı tuvali yazma

Azure Data Factory UX yazma tuvalinde Data Factory açılan menüsünü ve ardından kod deposunu ayarla' yı seçin.

Yapılandırma yöntemi 3: Yönetim Merkezi

ADF UX 'teki yönetim merkezine gidin. Kaynak denetimi bölümünde Git yapılandırması ' nı seçin. Bağlı depo yoksa, Yapılandır' a tıklayın.

Yapılandırma yöntemi 4: fabrika oluşturma sırasında

Azure portal yeni bir veri fabrikası oluştururken git yapılandırma sekmesinden git deposu bilgilerini yapılandırabilirsiniz.

Azure Repos Git tümleştirmesi ile yazma

Azure Repos Git tümleştirmesi ile görsel yazma, veri fabrikası işlem hatlarınız üzerinde iş için kaynak denetimi ve işbirliğini destekler. kaynak denetimi, işbirliği, sürüm oluşturma vb. için bir Azure Repos Git kuruluş deposu ile bir veri fabrikası ilişkilendirebilirsiniz. tek bir Azure Repos git kuruluşunda birden çok depo bulunabilir, ancak bir Azure Repos Git deposu yalnızca bir veri fabrikası ile ilişkilendirilebilir. Azure Repos kuruluşunuz veya deponuz yoksa kaynaklarınızı oluşturmak için bu yönergeleri izleyin.

Azure Repos ayarları

yapılandırma bölmesinde aşağıdaki Azure Repos kod deposu ayarları gösterilmektedir:

Farklı bir kiracı Azure Active Directory kullanma

Git Azure Repos farklı bir kiracıda Azure Active Directory olabilir. Farklı bir Azure AD kiracısı belirtmek için kullandığınız Azure aboneliğinde yönetici izinlerine sahip olmanız gerekir. Daha fazla bilgi için bkz. Abonelik yöneticisini değiştirme

Kişisel bilgilerinizi Microsoft hesabı

Git tümleştirmesi için Microsoft hesabı bir depolama alanı kullanmak için, kişisel Azure Depo'larınızı, kuruluşun Active Directory'nize bağlamanız gerekir.

1. Kişisel Microsoft hesabı kuruluşun Active Directory'nize konuk olarak ekleyin. Daha fazla bilgi için bkz. Azure Active Directory B2B işbirliği kullanıcılarını Azure portal.

2. Kişisel bilgilerinizle Azure portal oturum Microsoft hesabı. Ardından, kuruluşun Active Directory'nize geçiş.

3. Kişisel Azure DevOps gördüğünüz Azure DevOps bölümüne gidin. Repo'su seçin ve Active Directory'ye bağlanabilirsiniz.

Bu yapılandırma adımlarını tamamladikten sonra, kullanıcı arabiriminde Git tümleştirmesi ayar Data Factory kullanılabilir.

Ağlarınızı, Azure Repos Active Directory'ye bağlama hakkında daha fazla bilgi için bkz. Bağlan Azure DevOps'e Azure Active Directory.

GitHub tümleştirmesi ile yazma

GitHub tümleştirmesi ile görsel yazma, veri fabrikası işlem hatlarınız üzerinde çalışma için kaynak denetimi ve işbirliğini destekler. Bir veri fabrikasını kaynak denetimi, işbirliği GitHub sürüme yönelik bir hesap deposuyla iş ortağınız olabilir. Tek GitHub birden çok depoya sahip olabilir, ancak GitHub bir depo yalnızca bir veri fabrikasıyla ilişkilendirilebilirsiniz. Bir hesap veya GitHub yoksa, kaynaklarınızı oluşturmak için bu yönergeleri izleyin.

GitHub tümleştirmesi hem genel Data Factory (başka bir GitHub ) hem de https://github.com GitHub Enterprise. Hem genel hem de özel GitHub, Data Factory depoda okuma ve yazma iznine sahip olduğunuz sürece GitHub.

Bir GitHub yapılandırmak için, kullanmakta olan Azure aboneliği için yönetici izinlerine sahipsiniz.

GitHub ayarları

Yapılandırma bölmesinde aşağıdaki depo GitHub gösterilir:

GitHub kuruluşlar

Bir GitHub bağlanmak için kuruluşun bu kuruluşa erişim izni Azure Data Factory. Kuruluşta YÖNETİ YÖNETICISI izinlerine sahip bir kullanıcının veri fabrikasının bağlanmasına izin vermek için aşağıdaki adımları gerçekleştirmesi gerekir.

GitHub ilk kez Azure Data Factory

GitHub'Azure Data Factory ilk kez bağlanıyorsanız, GitHub kuruluşuna bağlanabilirsiniz.

1. Git yapılandırma bölmesindeKimlik Hesabı alanına kuruluş GitHub girin. Oturum açma istemi GitHub görüntülenir.
2. Kullanıcı kimlik bilgilerinizi kullanarak oturum açma.
3. AzureDataFactory adlı bir Azure Data Factory olarak yetkilendirmeniz istenebilir. Bu ekranda, ADF'nin kuruluşa erişmesi için izin vermek için bir seçenek görürsünüz. İzin ver seçeneğini görmüyorsanız, yöneticiden izin vermek için yöneticiden bu izni el ile GitHub.

Bu adımları izleyişte fabrikanız hem genel hem de özel depolara bağlanabilecektir. Bağlanamıyorsanız tarayıcı önbelleğini temizlemeyi ve yeniden denemeyi deneyin.

Kişisel hesap GitHub bağlı

GitHub'a zaten bağlandıysanız ve yalnızca kişisel bir hesaba erişim izni verdiyebilirsiniz, bir kuruluşa izin vermek için aşağıdaki adımları izleyin.

1. GitHub'a gidin ve Ayarlar.

   

2. Uygulamalar'ı seçin. Yetkili OAuth uygulamaları sekmesinde AzureDataFactory öğesini görüyor olun.

   

3. Uygulamayı seçin ve uygulamaya kuruluşa erişim iznini vermek.

   

Bu adımları izleyişte fabrikanız hem genel hem de özel depolara bağlanabilecektir.

Bilinen GitHub sınırlamaları

• Betik ve veri dosyalarını bir GitHub depoabilirsiniz. Ancak, dosyaları Azure Depolama'ya el ile Depolama. Bir Data Factory işlem hattı, bir depolama deposunda depolanan betiği veya veri dosyalarını GitHub Azure Depolama.

• GitHub Enterprise 2.14.0'dan eski bir sürüme sahip olan sürümler Microsoft Edge tarayıcıda çalışmıyor.

• GitHub görsel yazma Data Factory tümleştirmesi yalnızca genel kullanıma açık sürümde Data Factory.

Sürüm denetimi

Sürüm denetimi sistemleri (kaynak denetimi olarak da bilinir), geliştiricilerin kod üzerinde işbirliği yapmalarına ve kod tabanında yapılan değişiklikleri izlemelerine izin sağlar. Kaynak denetimi, çok geliştiricili projeler için temel bir araçtır.

Özellik dalları oluşturma

Her Azure Repos bir veri fabrikasıyla ilişkili Git deposunun bir işbirliği dalı var. ( main varsayılan işbirliği dalıdır). Kullanıcılar ayrıca dal açılan listesinde + Yeni Dal'a tıklayarak özellik dalları oluşturabilir.

Yeni dal bölmesi görüntülendiğinde, özellik dalını adını girin ve çalışmanıza temel olarak bir dal seçin.

Özellik dalı değişikliklerinizi işbirliği dalınıza birleştirmeye hazır olduğunda, dal açılan listesinden tıklayın ve Çekme isteği oluştur'u seçin. Bu eylem git'Azure Repos çekme isteğinde bulunarak kod incelemeleri yapmaya ve değişiklikleri işbirliği dalınıza birleştirebilirsiniz. ( main varsayılan değerdir). Yalnızca işbirliği daldan Data Factory hizmetine yayımlamanıza izin verilir.

Yayımlama ayarlarını yapılandırma

Varsayılan olarak, veri fabrikası yayımlanan fabrikanın Resource Manager şablonlarını oluşturur ve bunları adlı bir dala adf_publish kaydeder. Özel bir yayımlama dalı yapılandırmak için işbirliği publish_config.json dalı içinde kök klasöre bir dosya ekleyin. ADF yayımlarken bu dosyayı okur, alanını okur ve tüm publishBranch Resource Manager belirtilen konuma kaydeder. Dal yoksa, veri fabrikası bunu otomatik olarak oluşturacaktır. Bu dosyanın nasıl göründüğünün bir örneği aşağıda verilmiştir:

{
    "publishBranch": "factory/adf_publish"
}

Azure Data Factory aynı anda yalnızca bir yayımlama dalı olabilir. Yeni bir yayımlama dalı belirttiğinizde, Data Factory önceki yayımlama dalı silemez. Önceki yayımlama dallarını kaldırmak için el ile silin.

Kod değişikliklerini yayımlama

Değişiklikleri işbirliği dalıyla birleştirdikten sonra ( varsayılan değerdir), kod değişikliklerinizi ana dalda el ile yayımlamak için Yayımla'ya main Data Factory tıklayın.

Yayımlama dalı ve bekleyen değişikliklerin doğru olduğunu onaylayan bir yan bölme açılır. Değişikliklerinizi doğrulanın, yayımlamayı onaylamak için Tamam'a tıklayın.

Git tümleştirmesi için en iyi yöntemler

İzinler

Genellikle her ekip üyesinin güncelleştirme iznine sahip Data Factory. Aşağıdaki izin ayarları önerilir:

• Tüm ekip üyeleri, tüm kullanıcılar için okuma izinlerine Data Factory.
• Yalnızca belirli bir kişi kümesine yayımlama izni Data Factory. Bunu yapmak için kaynak grubunu içeren Data Factory katkıda bulunan rolüne sahip Data Factory. İzinler hakkında daha fazla bilgi için bkz. Azure Data Factory.

İşbirliği dalı üzerinde doğrudan iadelere izin vermenizi önerilmez. Bu kısıtlama hataları önlemeye yardımcı olabilir çünkü her iade işlemi Özellik dalları oluşturma konusunda açıklanan bir çekme isteği gözden geçirme sürecinden geçmektedir.

Parolaları Azure Key Vault

Bağlı Hizmetler için bağlantı dizelerini Azure Key Vault parolaları veya yönetilen kimlik doğrulamasını depolamak için Data Factory önerilir. Güvenlik nedeniyle veri fabrikası gizli dizileri Git'te depolamaz. Parolalar gibi gizli diziler içeren Bağlı Hizmetler'de yapılan tüm değişiklikler anında Azure Data Factory yayımlanır.

Key Vault veya MSI kimlik doğrulamasını kullanmak, şablon dağıtımı sırasında bu gizli dizileri sağlamak zorunda olmadığınız için sürekli tümleştirme ve Resource Manager kolaylaştırır.

Git tümleştirmesiyle ilgili sorunları giderme

Eski yayımlama dalı

Aşağıda, eski yayımlama dallarına neden olan durumlara bazı örnekler verilmiştir:

• Bir kullanıcının birden çok dalı vardır. Bir özellik dalda, AKV ile ilişkilendirilmiş olmayan bir bağlı hizmeti sildiler (GIT'te oluplarına bakılmaksızın AKV olmayan bağlı hizmetler hemen yayımlanır) ve özellik dalı hiçbir zaman işbirliği dalıyla birleştirilmez.
• Kullanıcı, SDK veya PowerShell kullanarak veri fabrikasını değiştirdi
• Kullanıcı tüm kaynakları yeni bir dala taşıdı ve ilk kez yayımlamayı denedi. Bağlı hizmetler, kaynaklar içeri aktarılabilirken el ile oluşturulmalısınız.
• Kullanıcı, AKV olmayan bir bağlı hizmeti veya JSON'Integration Runtime yükler. Bu kaynağa veri kümesi, bağlı hizmet veya işlem hattı gibi başka bir kaynaktan başvurur. Kimlik bilgilerinin şifrelenmeleri gerekmesi nedeniyle UX aracılığıyla oluşturulan AKV olmayan bir bağlı hizmet hemen yayımlanır. Bu bağlı hizmete başvuran bir veri kümesi karşıya yükler ve yayımlamayı denersiniz, UX bunu izin verilsin çünkü git ortamında var olur. Yayımlama zamanında reddedilir çünkü veri fabrikası hizmette mevcut değildir.

Yayımlama dalı ana dalla eşit dışında ise ve son yayımlamaya rağmen güncel olmayan kaynaklar içeriyorsa, aşağıdaki çözümlerden birini kullanabilirsiniz:

1. Seçenek: Canlı modun üzerine yaz işlevini kullanma

İşbirliği daldan canlı moda kod yayımlar veya kodun üzerine yazabilir. Depondaki kodu gerçeğin kaynağı olarak kabul etmektir.

Kod akışı: İşbirliği dalı -> Modu

2. Seçenek: Git deposunun bağlantısını kesme ve yeniden bağlama

Kodu canlı moddan işbirliği dalına içeri aktarıyor. Kodu canlı modda gerçeğin kaynağı olarak kabul ediyor.

Kod akışı: Canlı mod -> İşbirliği dalı

1. Geçerli Git deposunu kaldırma
2. Git'i aynı ayarlarla yeniden yapılandırın, ancak Var olan Data Factory depoya aktar'ın seçili olduğundan emin olun ve Yeni dal'ı seçin
3. Değişiklikleri işbirliği dalıyla birleştirmek için çekme isteği oluşturun

Gerektiğinde iki yöntemi de uygun şekilde seçin.

Yayımlamada yeni olarak gösterilen tüm kaynaklar

Yayımlama sırasında, daha önce yayımlanmış olsalar bile tüm kaynaklar yeni olarak gösterebilirsiniz. LastCommitId özelliği fabrikanın repoConfiguration özelliği bir fabrika ARM şablonunu yeniden dağıtarak veya PowerShell veya powershell aracılığıyla fabrika repoConfiguration özelliğini güncelleştirerek sıfırlanırsa bu REST API. Kaynakları yayımlamaya devam etmek sorunu çözer, ancak bunun tekrar ortaya çıkarması için fabrika repoConfiguration özelliğini güncelleştirmekten kaçının.

Farklı bir Git deposuna geçme

Farklı bir Git deposuna geçmek için Kaynak denetimi altındaki yönetim hub'larında Git yapılandırma sayfasına gidin. Bağlantıyı kes'i seçin.

Veri fabrikasının adını girin ve onayla'ya tıklar ve veri fabrikanız ile ilişkili Git deposunu kaldırın.

Geçerli depoyla olan ilişkilendirmeyi kaldırdikten sonra Git ayarlarınızı farklı bir depo kullanmak üzere yapılandırabilirsiniz ve ardından mevcut Data Factory depoya aktarabilirsiniz.

Sonraki adımlar

• İşlem hatlarını izleme ve yönetme hakkında daha fazla bilgi edinmek için bkz. İşlem hatlarını program aracılığıyla izleme ve yönetme.
• Sürekli tümleştirme ve dağıtım uygulamak için bkz. Azure Data Factory'de sürekli tümleştirme ve teslim (CI/CD).