Paket deposundan kitaplıkları yükleme

  • Makale

Azure Databricks, PyPI, Maven ve CRAN paket depolarından kitaplıkları yüklemek için araçlar sağlar. Tam kitaplık uyumluluk ayrıntıları için bkz . Küme kapsamlı kitaplıklar .

Önemli

Kitaplıklar Databricks Runtime 14.3 LTS ve altı kullanılırken DBFS'den yüklenebilir. Ancak, herhangi bir çalışma alanı kullanıcısı DBFS'de depolanan kitaplık dosyalarını değiştirebilir. Azure Databricks çalışma alanında kitaplıkların güvenliğini artırmak için, kitaplık dosyalarını DBFS kökünde depolamak, Databricks Runtime 15.0 ve üzerinde varsayılan olarak kullanım dışıdır ve devre dışıdır. Bkz . Kitaplıkları DBFS kökünde depolamak varsayılan olarak kullanım dışıdır ve devre dışıdır.

Databricks bunun yerine Python kitaplıkları , JAR dosyaları ve Spark bağlayıcıları dahil olmak üzere tüm kitaplıkların çalışma alanı dosyalarına veya Unity Kataloğu birimlerine yüklenmesini ya da kitaplık paketi depolarının kullanılmasını önerir. İş yükünüz bu desenleri desteklemiyorsa, bulut nesne depolama alanında depolanan kitaplıkları da kullanabilirsiniz.

PyPI paketi

  1. Kitaplık Kaynağı düğme listesinde PyPI'yi seçin.

  2. Bir PyPI paket adı girin. Kitaplığın belirli bir sürümünü yüklemek için şu biçimi kitaplık için kullanın: <library>==<version>. Örneğin, scikit-learn==0.19.1.

    Not

    Databricks, işler için yeniden üretilebilir bir ortam sağlamak için bir kitaplık sürümü belirtmenizi önerir. Kitaplık sürümü tam olarak belirtilmemişse Databricks en son eşleşen sürümü kullanır. Bu, yeni sürümler yayımlandıkça aynı işin farklı çalıştırmalarının farklı kitaplık sürümleri kullanabileceği anlamına gelir. Kitaplık sürümünün belirtilmesi, kitaplıklardaki yeni ve hataya neden olan değişikliklerin işlerinizi bozmasını önler.

  3. (İsteğe bağlı) Dizin URL'si alanına bir PyPI dizin URL'si girin.

  4. Yükle'ye tıklayın.

Maven veya Spark paketi

Önemli

Paylaşılan erişim moduyla yapılandırılmış işlemde Maven kitaplıklarını yüklemek için, izin verilenler listesine koordinatları eklemeniz gerekir. Bkz. Paylaşılan işlemdeki izin verilenler listesi kitaplıkları ve başlatma betikleri.

Önemli

DBR 14.3 LTS ve altı için Databricks, Maven paketlerini çözmek için Apache Ivy 2.4.0'ı kullanır. DBR 15.0 ve üzeri için, Databricks Ivy 2.5.1 veya üzerini kullanır ve belirli Ivy sürümü Databricks Runtime sürüm notları sürümleri ve uyumluluğu bölümünde listelenmiştir.

Maven paketlerinin yükleme sırası, kitaplıkların yüklenme sırasını etkileyebilecek son bağımlılık ağacını etkileyebilir.

  1. Kitaplık Kaynağı düğme listesinde Maven'ı seçin.

  2. Maven koordinatı belirtin. Aşağıdakilerden birini yapın:

    • Koordinat alanına, yüklenecek kitaplığın Maven koordinatını girin. Maven koordinatları biçimindedir groupId:artifactId:version; örneğin, com.databricks:spark-avro_2.10:1.0.0.
    • Tam koordinatı bilmiyorsanız, kitaplık adını girin ve Paketleri Ara'ya tıklayın. Eşleşen paketlerin listesi görüntülenir. Bir paketle ilgili ayrıntıları görüntülemek için paketin adına tıklayın. Paketleri ada, kuruluşa ve derecelendirmeye göre sıralayabilirsiniz. Ayrıca arama çubuğuna bir sorgu yazarak sonuçları filtreleyebilirsiniz. Sonuçlar otomatik olarak yenilenir.
      1. Sol üstteki açılan listeden Maven Central veya Spark Packages'ı seçin.
      2. İsteğe bağlı olarak Sürümler sütunundan paket sürümünü seçin.
      3. Paketin yanındaki + Seç'e tıklayın. Koordinat alanı seçili paket ve sürümle doldurulur.

  3. (İsteğe bağlı) Depo alanına bir Maven deposu URL'si girebilirsiniz.

    Not

    İç Maven depoları desteklenmez.

  4. Dışlamalar alanında, isteğe bağlı olarak dışlamak istediğiniz bağımlılıkların ve artifactId değerlerini sağlayın groupId (örneğin, log4j:log4j).

    Not

    Maven, köke en yakın sürümü kullanarak çalışır ve farklı bağımlılıklara sahip sürümler için iki paket olması durumunda sıra önemlidir, bu nedenle eski bir bağımlılığı olan paket ilk kez yüklendiğinde başarısız olabilir.

    Bu sorunu geçici olarak çözmek için çakışan kitaplığı hariç tutun. Örneğin, paketi koordinatı com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.22ile yüklerken Dışlamalar alanını com.nimbusds:oauth2-oidc-sdk:RELEASE olarak ayarlayarak MSAL4J'den en son sürümünün eventhubs yüklenmesini ve bağımlılığın eventhubs karşılanmasını sağlayın.

  5. Yükle'ye tıklayın.

CRAN paketi

  1. Kitaplık Kaynağı düğme listesinde CRAN'ı seçin.
  2. Paket alanına paketin adını girin.
  3. (İsteğe bağlı) Depo alanına CRAN deposu URL'sini girebilirsiniz.
  4. Yükle'ye tıklayın.

Not

CRAN yansıtmaları bir kitaplığın en son sürümüne hizmet eder. Sonuç olarak, kitaplığı farklı kümelere farklı zamanlarda eklerseniz R paketinin farklı sürümleriyle karşılaşabilirsiniz. Databricks'te R paketi sürümlerini yönetmeyi ve düzeltmeyi öğrenmek için bkz. Bilgi Bankası.