Mengelola paket dengan cakupan sesi

Selain paket tingkat kumpulan, Anda juga dapat menentukan pustaka cakupan sesi di awal sesi buku catatan. Pustaka dengan cakupan sesi memungkinkan Anda menentukan dan menggunakan jar atau lingkungan Python kustom dalam sesi buku catatan.

Saat menggunakan pustaka dengan cakupan sesi, penting untuk mengingat hal-hal berikut:

  • Saat Anda memasang pustaka dengan cakupan sesi, hanya buku catatan saat ini yang memiliki akses ke pustaka yang ditentukan.
  • Pustaka ini tidak akan memengaruhi sesi atau pekerjaan lain yang menggunakan kumpulan Spark yang sama.
  • Pustaka ini dipasang di atas runtime bahasa umum dasar dan pustaka tingkat kumpulan.
  • Pustaka buku catatan akan sangat diutamakan.

Paket Python dengan cakupan sesi

Untuk menentukan paket Python dengan cakupan sesi:

  1. Navigasikan ke kumpulan Spark yang dipilih dan pastikan Anda telah mengaktifkan pustaka tingkat sesi. Anda dapat mengaktifkan setelan ini dengan membuka tab Kelola>Kumpulan Apache Spark>Paket. Cuplikan layar saat mengaktifkan paket sesi.
  2. Setelah setelan diterapkan, Anda dapat membuka buku catatan dan memilih Konfigurasikan Sesi>Paket. Cuplikan layar saat menentukan paket sesi.Cuplikan layar saat mengunggah file Yml.
  3. Di sini, Anda dapat mengunggah file environment.yml Conda untuk memasang atau meningkatkan versi paket dalam satu sesi. Setelah Memulai sesi, pustaka yang ditentukan akan diinstal. Setelah sesi Anda berakhir, perpustakaan ini tidak akan lagi tersedia karena khusus untuk sesi Anda.

Memverifikasi pustaka yang terpasang

Untuk memverifikasi apakah versi yang benar dari pustaka yang benar telah diinstal dari PyPI, jalankan kode berikut:

import pkg_resources
for d in pkg_resources.working_set:
     print(d)

Dalam beberapa kasus, untuk melihat versi paket dari Conda, Anda mungkin perlu memeriksa versi paket satu per satu.

Paket Scala atau Java dengan cakupan sesi

Untuk menentukan paket Java atau Scala dengan cakupan sesi, Anda dapat menggunakan opsi %%configure:

%%configure -f
{
    "conf": {
        "spark.jars": "abfss://<<file system>>@<<storage account>.dfs.core.windows.net/<<path to JAR file>>",
    }
}

Kami menyarankan agar Anda menjalankan %%configure di awal buku catatan Anda. Anda dapat merujuk ke dokumen ini untuk daftar lengkap parameter yang valid.

Langkah berikutnya