Databricks Git klasörleri (Depolar) için özel Git bağlantısını ayarlama

Git komutlarını Databricks çalışma alanı Git klasörlerinizden GitHub Enterprise Server, Azure DevOps Server, Bitbucket Server ve GitLab tarafından kendi kendine yönetilen şirket içi depolarınıza ara sunucu oluşturmanızı sağlayan yapılandırılabilir bir hizmet olan Databricks Git klasörleri için Git sunucusu proxy'si hakkında bilgi edinin ve yapılandırın.

Not

Önizleme sırasında yapılandırılmış databricks Git sunucu ara sunucusuna sahip kullanıcılar, en iyi performans için küme izinlerini yükseltmelidir. Bkz. Genel CAN_ATTACH_TO izinlerini kaldırma.

Databricks Git klasörleri için Git sunucu proxy'si nedir?

Git klasörleri için Databricks Git sunucu proxy'si, Azure Databricks çalışma alanınızdan şirket içi Git sunucusuna Git komutlarına ara sunucu eklemenizi sağlayan bir özelliktir.

Databricks Git klasörleri (eski adı Repos), bağlı Git depolarınızı klasör olarak temsil eder. Bu klasörlerin içeriği, bağlı Git deposuyla eşitlenerek sürüm denetimindedir. Varsayılan olarak, Git klasörleri yalnızca genel Git sağlayıcılarıyla (genel GitHub, GitLab, Azure DevOps ve diğerleri gibi) eşitlenebilir. Ancak, kendi şirket içi Git sunucunuzu (GitHub Enterprise Server, Bitbucket Server veya GitLab kendi kendine yönetilen gibi) barındırıyorsanız, Git sunucunuza Databricks erişimi sağlamak için Git klasörleriyle Git sunucu proxy'sini kullanmanız gerekir. Git sunucunuza Azure Databricks veri düzleminizden (sürücü düğümü) erişilebilir olmalıdır.

Not

Şu anda Databricks Git klasörleri yalnızca Databricks not defterlerini ve alt klasörleri ve belirli bir diğer varlık türlerini içerebilir. Desteklenen varlık türlerinin geçerli listesi için bkz . Databricks Git klasörleriyle Git tümleştirmesi için Sınırlar ve SSS.

Databricks Git klasörleri için Git Server Proxy'si nasıl çalışır?

Databricks Git klasörleri için Git Sunucu Proxy'si, Databricks denetim düzlemindeki Git komutlarını Databricks çalışma alanınızın işlem düzleminde çalışan bir "proxy kümesine" proxy'ler. Bu bağlamda ara sunucu kümesi, Databricks Git klasörlerinden şirket içinde barındırılan Git deponuza git komutları için ara sunucu hizmeti çalıştırmak üzere yapılandırılmış bir kümedir. Bu proxy hizmeti Databricks denetim düzleminden Git komutlarını alır ve bunları Git sunucu örneğine iletir.

Aşağıdaki diyagramda genel sistem mimarisi gösterilmektedir:

Önemli

Databricks, Git sunucu örneğinizi Databricks Git klasörleri için ara sunucu komutlarına yapılandırmak üzere çalıştırabileceğiniz bir etkinleştirme not defteri sağlar. GitHub'da etkinleştirme not defterini alın.

Şu anda git sunucu ara sunucusu artık tüm kullanıcılar için izin gerektirmez CAN_ATTACH_TO . Mevcut ara sunucu kümelerine sahip Yönetici artık bu özelliği etkinleştirmek için küme ACL iznini değiştirebilir. Bunu etkinleştirmek için:

1. Kenar çubuğundan İşlem'i seçin ve ardından çalıştırdığınız Git Server Proxy'si için İşlem girişinin yanındaki kebap menüsüne tıklayın:

   

2. İletişim kutusundan Tüm Kullanıcılar için Eklenebilir girdisini kaldırın:

   

Databricks Git klasörleri için Git Server Proxy'sini Nasıl yaparım? ayarladınız?

Bu bölümde, Git sunucu örneğinizi Databricks Git klasörleri için Git Server Proxy'si için hazırlama, ara sunucu oluşturma ve yapılandırmanızı doğrulama açıklanmaktadır.

Başlamadan önce

Ara sunucuyu etkinleştirmeden önce aşağıdaki önkoşulları ve planlama görevlerini göz önünde bulundurun:

• Çalışma alanınızda Databricks Git klasörleri özelliği etkindir.
• Git sunucu örneğine Azure Databricks çalışma alanınızın işlem düzlemi VPC'sinden erişilebilir ve hem HTTPS hem de kişisel erişim belirteçleri (PAT) etkindir.

Not

Databricks için Git sunucu proxy'si, VPC'niz tarafından desteklenen tüm bölgelerde çalışır.

1. Adım: Git sunucu örneğinizi hazırlama

Git sunucu örneğinizi yapılandırmak için:

1. Ara sunucu kümesinin sürücü düğümünün Git sunucunuza erişmesini sağlayın.

   Kurumsal Git sunucunuzda erişime izin verilen bir allowlist IP adresi bulunabilir.

   1. Ara sunucu kümenizden kaynaklanan trafik için statik bir giden IP adresini ilişkilendirin. Bunu Azure Güvenlik Duvarı veya çıkış aleti kullanarak yapabilirsiniz.
   2. Önceki adımdaki IP adresini Git sunucunuzun izin verilenler listesine ekleyin.

2. Git sunucu örneğinizi HTTPS aktarımına izin verecek şekilde ayarlayın.

   • GitHub Enterprise için GitHub Enterprise yardımında hangi uzak URL'yi kullanmalıyım? bölümüne bakın.
   • Bitbucket için Bitbucket sunucu yönetimi sayfasına gidin ve sunucu ayarları'nı seçin. HTTP(S) SCM barındırma bölümünde HTTP(S) özellikli onay kutusunu etkinleştirin.

2. Adım: Etkinleştirme not defterini çalıştırma

Ara sunucuyu etkinleştirmek için:

1. Azure Databricks çalışma alanınızda, küme oluşturma erişim haklarına sahip bir çalışma alanı yöneticisi olarak oturum açın.

2. Bu not defterini içeri aktar:

   Git klasörlerindeki özel Git sunucusu bağlantısı için Databricks Git klasörleri için Git sunucu proxy'sini etkinleştirin.

3. Aşağıdaki görevleri gerçekleştirmek için "Tümünü Çalıştır" seçeneğini belirleyin:

   • Otomatik olarak sonlandırılmayan "Databricks Git Proxy" adlı tek düğümlü bir küme oluşturun. Bu, Azure Databricks çalışma alanınızdaki Git komutlarını işleyip şirket içi Git sunucunuza ileten "proxy kümesidir".
   • Databricks Git klasörlerindeki Git isteklerinin küme üzerinden prxied yapılıp yapılmayacağını denetleyebilen bir özellik bayrağını etkinleştirin.

Önemli

Küme oluşturmak için çalışma alanında erişim haklarına sahip bir yönetici olmanız gerekir.

Not

Aşağıdakilere dikkat etmeniz gerekir:

• Ara sunucu yazılımını barındırmak için uzun süre çalışan ek bir küme çalıştırmak fazladan DBU'lara neden olur. Maliyetleri en aza indirmek için, not defteri proxy'yi ucuz düğüm türüne sahip tek düğümlü bir küme kullanacak şekilde yapılandırılır. Ancak, küme seçeneklerini gereksinimlerinize uyacak şekilde değiştirmek isteyebilirsiniz.

3. Adım: Git sunucu yapılandırmanızı doğrulama

Git sunucu yapılandırmanızı doğrulamak için ara sunucu kümesi aracılığıyla özel Git sunucunuzda barındırılan bir depoyu kopyalamayı deneyin. Başarılı bir kopya, çalışma alanınız için Git sunucu proxy'sini başarıyla etkinleştirdiğiniz anlamına gelir.

4. Adım: Ara sunucu özellikli depolar oluşturma

Kullanıcılar Git kimlik bilgilerini yapılandırdıktan sonra depolarınızı oluşturmak veya eşitlemek için başka adım gerekmez. Databricks Git klasörlerinde kimlik bilgilerini yapılandırmak ve depo oluşturmak için bkz . Git kimlik bilgilerini yapılandırma ve uzak bir deposunu Azure Databricks'e bağlama.

Genel CAN_ATTACH_TO izinlerini kaldırma

Mevcut ara sunucu kümelerine sahip Yönetici artık küme ACL iznini genel olarak kullanılabilir Git sunucusu proxy davranışından yararlanacak şekilde değiştirebilir.

Databricks Git sunucu proxy'sini daha önce ayrıcalıklarla CAN_ATTACH_TO yapılandırdıysanız, bu izinleri kaldırmak için aşağıdaki adımları kullanın:

1. Kenar çubuğundan İşlem'i seçin ve ardından çalıştırdığınız Git sunucusu proxy'si için İşlem girişinin yanındaki kebap menüsüne tıklayın:

   

2. İletişim kutusundan Tüm Kullanıcılar için Eklenebilir girdisini kaldırın:

   

Sorun giderme

Databricks Git klasörleri için Git sunucu proxy'sini yapılandırırken hatayla mı karşılaştınız? Burada bazı yaygın sorunlar ve bunları daha etkili bir şekilde tanılamanın yolları yer alır.

Sık karşılaşılan sorunlar için denetim listesi

Bir hatayı tanılamaya başlamadan önce aşağıdaki adımları tamamladığınızdan emin olmanız gerekir:

• Proxy kümenizin çalıştığını onaylayın.
• Databricks Git klasörlerinizin kullanıcılarının ara sunucu kümesinde "ekleme" izinlerine sahip olduğunu onaylayın.
• Etkinleştirme not defterini yeniden çalıştırın ve henüz yapmadıysanız sonuçları yakalayın. Sorunun hatalarını ayıklayamıyorsanız Databricks Desteği sonuçları gözden geçirebilir. Etkinleştirme not defterini dışarı aktarabilir ve DBC arşivi olarak gönderebilirsiniz.

Ara sunucu kümesindeki günlükleri inceleme

Proxy kümesindeki dosyasında /databricks/git-proxy/git-proxy.log hata ayıklama amacıyla yararlı olan günlükler bulunur.

Günlük dosyası satırıyla Data-plane proxy server binding to ('', 8000)… başlamalıdır Değilse, bu ara sunucunun düzgün başlatılmadığı anlamına gelir. Kümeyi yeniden başlatmayı deneyin veya oluşturduğunuz kümeyi silin ve etkinleştirme not defterini yeniden çalıştırın.

Günlük dosyası bu satırla başlıyorsa, Databricks Git klasörlerindeki bir Git işlemi tarafından başlatılan her Git isteği için bunu izleyen günlük deyimlerini gözden geçirin.

Örneğin:

  do_GET: https://server-address/path/to/repo/info/refs?service=git-upload-pack 10.139.0.25 - - [09/Jun/2021 06:53:02] /
  "GET /server-address/path/to/repo/info/refs?service=git-upload-pack HTTP/1.1" 200`

Bu dosyaya yazılan hata günlükleri, size veya Databricks Desteği hata ayıklama sorunlarına yardımcı olmak için yararlı olabilir.

Yaygın hata iletileri ve bunların çözümü

• SSL sorunları nedeniyle güvenli bağlantı kurulamadı

  Aşağıdaki hatayı görebilirsiniz:

    https://git.consult-prodigy.com/Prodigy/databricks_test: Secure connection to https://git.consult-prodigy.com/Prodigy/databricks_test could not be established because of SLL problems
  

  Bu genellikle özel SSL sertifikaları gerektiren bir depo kullandığınız anlamına gelir. Proxy kümesindeki /databricks/git-proxy/git-proxy.log dosyanın içeriğini denetleyin. Sertifika doğrulamasının başarısız olduğunu belirtiyorsa, yetkili sertifikasını sistem sertifika zincirine eklemeniz gerekir. İlk olarak kök sertifikayı ayıklayın (tarayıcıyı veya başka bir seçeneği kullanarak) ve DBFS'ye yükleyin. Ardından Git klasörleri Git Proxy kümesini düzenleyerek kök sertifika dosyasına işaret eden ortam değişkenini kullanınGIT_PROXY_CA_CERT_PATH. Küme ortam değişkenlerini düzenleme hakkında daha fazla bilgi için bkz . Ortam değişkenleri.

  Bu adımı tamamladıktan sonra kümeyi yeniden başlatın.

  

• "Eksik/Geçersiz Git kimlik bilgileri" hatasıyla depo kopyalanamaması

  İlk olarak, Kullanıcı Ayarlar'nde Git kimlik bilgilerinizi yapılandırdığınızdan denetleyin.

  Şu hatayla karşılaşabilirsiniz:

    Error: Invalid Git credentials. Go to User Settings -> Git Integration and check that your personal access token or app password has the correct repo access.
  

  Kuruluşunuz SAML SSO kullanıyorsa belirtecin yetkilendirildiğinden emin olun (bu işlem Git sunucunuzun Kişisel Erişim Belirteci (PAT) yönetim sayfasından yapılabilir).

Sık sorulan sorular

Git sunucusu ara sunucusunun güvenlik etkileri nelerdir?

Bilmeniz gereken en önemli şeyler şunlardır:

• Ara sunucu, Databricks denetim düzleminizin güvenlik mimarisini etkilemez.
• Çalışma alanı başına yalnızca bir Git proxy sunucu kümeniz olabilir.

Databricks Git klasörleriyle ilgili tüm Git trafiği, genel Git depoları için bile ara sunucu kümesi üzerinden mi yönlendiriliyor?

Evet. Geçerli sürümde, Azure Databricks çalışma alanınız proksied ve prxied olmayan depolar arasında ayrım yapmaz.

Git proxy özelliği diğer Git kurumsal sunucu sağlayıcılarıyla çalışıyor mu?

Databricks Git klasörleri GitHub Enterprise, Bitbucket Server, Azure DevOps Server ve GitLab kendi kendine yönetilen klasörleri destekler. Diğer kurumsal Git sunucu sağlayıcıları da ortak Git belirtimlerine uygunsa çalışmalıdır.

Databricks Git klasörleri işlemelerin GPG imzasını destekliyor mu?

Hayır

Databricks Git klasörleri Git işlemleri için SSH aktarımını destekliyor mu?

Hayır Yalnızca HTTPS desteklenir.

Git sunucusunda varsayılan olmayan bir HTTPS bağlantı noktasının kullanılması destekleniyor mu?

Şu anda etkinleştirme not defteri, Git sunucunuzun varsayılan HTTPS bağlantı noktası 443'i kullandığını varsayar. Ortam değişkenini GIT_PROXY_CUSTOM_HTTP_PORT , bağlantı noktası değerinin üzerine yazacak şekilde tercih edilen değerle ayarlayabilirsiniz.

Birden çok çalışma alanı için bir ara sunucu paylaşabilir misiniz veya çalışma alanı başına bir ara sunucu kümesine mi ihtiyacınız var?

Azure Databricks çalışma alanı başına bir ara sunucu kümesine ihtiyacınız vardır.

Ara sunucu eski tek not defteri sürümü oluşturma ile çalışıyor mu?

Hayır, proxy eski tek not defteri sürümü oluşturma ile çalışmaz. Kullanıcıların Databricks Git klasörleri sürüm oluşturmasına geçiş yapması gerekir.

Databricks, proksid olan Git sunucusu URL'lerini gizleyebilir mi? Kullanıcılar, proksitli URL'ler yerine özgün Git sunucusu URL'lerini girebilir mi?

Her iki soruya da evet. Kullanıcıların ara sunucu için davranışlarını ayarlamaları gerekmez. Geçerli ara sunucu uygulamasıyla, Databricks Git klasörleri için tüm Git trafiği ara sunucu üzerinden yönlendirilir. Kullanıcılar gibi https://git.company.com/org/repo-name.gitnormal Git deposu URL'sini girer.

Kullanıcılar Git URL'leriyle ne sıklıkta çalışır?

Genellikle kullanıcı yeni bir depo oluştururken veya henüz kullanıma almadığı mevcut bir depoyu kullanıma alırken Git URL'sini ekler.

Özellik, kimlik doğrulama verilerini Git sunucusuna saydam bir şekilde ara sunucu olarak kullanıyor mu?

Evet, proxy, Git sunucusunda kimlik doğrulaması yapmak için kullanıcı hesabının Git sunucu belirtecini kullanır.

Databricks'in Git sunucu koduna erişimi var mı?

Azure Databricks proxy hizmeti, kullanıcı tarafından sağlanan kimlik bilgilerini kullanarak Git sunucusundaki Git deposuna erişir ve depodaki tüm kod dosyalarını depoyla eşitler. Erişim, kullanıcı tarafından sağlanan kişisel erişim belirtecinde (PAT) belirtilen izinlerle kısıtlanır.