Not defterlerini yönetme

Not defterlerini kullanıcı arabirimini, CLI'yi kullanarak ve Çalışma Alanı API'sini çağrısıyla yönetebilirsiniz. Bu makale, kullanıcı arabirimini kullanarak not defteri görevlerini gerçekleştirmeye odaklanır. Diğer yöntemler için bkz. Databricks CLI ve Çalışma Alanı API'si.

Not defteri oluşturma

Oluştur düğmesini kullanma

Varsayılan klasörünüzde yeni bir not defteri oluşturmanın en kolay yolu Oluştur düğmesini kullanmaktır:

  1. Kenar  çubuğunda Oluştur Simgesi Oluştur'a tıklayın ve menüden Not Defteri'ne tıklayın. Not Defteri Oluştur iletişim kutusu görüntülenir.
  2. Bir ad girin ve not defterinin varsayılan dilini seçin.
  3. Çalışan kümeler varsa, Küme açılan listesinde görüntülenir. Not defterini eklemek istediğiniz kümeyi seçin.
  4. Oluştur’a tıklayın.

Herhangi bir klasörde not defteri oluşturma

Aşağıdaki adımları takip eden herhangi bir klasörde (paylaşılan klasör gibi) yeni bir not defteri oluşturabilirsiniz:

  1. Kenar çubuğunda Çalışma Alanı Simgesi Çalışma  Alanı'ya tıklayın. Aşağıdakilerden birini yapın:
    • Herhangi bir klasörün yanındaki metnin sağ tarafındaki Menü Açılan Menüsüne tıklayın ve Not  Defteri'ne > seçin.

      Not defteri oluşturma

    • Çalışma alanında veya kullanıcı klasöründe Aşağı Giriş  >'yi seçin.

  2. Oluştur düğmesini kullanma adım 2-4'ü izleyin.

Not defterini açma

Çalışma alanınız içinde bir Not Defteri Simgesi. Not defteri yolunuz, not defteri başlığının üzerine gelindiğinde görüntülenir.

Not defterini silme

Çalışma alanı menüsüne erişme ve çalışma alanında not defterlerini veya diğer öğeleri silme hakkında bilgi için bkz. Klasörler ve Çalışma alanı nesne işlemleri.

Not defteri yolunu kopyalama

Not defterini açmadan bir not defteri dosya yolunu kopyalamak için not defteri adına sağ tıklayın veya not defteri adının sağında yer alan Menü Açılan menüsüne tıklayın ve Dosya  Yolunu Kopyala'yı seçin.

Not defteri yolunu kopyalama

Not defterini yeniden adlandırma

Açık bir not defterinin başlığını değiştirmek için başlığına tıklayın ve satır içinde düzenleyin veya Dosya'ya > adlandır'a tıklayın.

Not defterine erişimi denetleme

Azure Databricks Premium Plan'Azure Databricks sahipse, not defterine kimlerin erişimi olduğunu kontrol etmek için Çalışma Alanı erişim denetimi kullanabilirsiniz.

Not defteri dış biçimleri

Azure Databricks not defteri dış biçimlerini destekler:

Bu bölümdeki konular:

Not defterini içeri aktarma

Bir URL'den veya dosyadan dış not defterini içeri aktarabilirsiniz.

  1. Kenar  çubuğunda Çalışma Alanı Simgesi Çalışma Alanı'ya tıklayın. Aşağıdakilerden birini yapın:

    • Herhangi bir klasörün yanındaki metnin sağ tarafındaki Menü Açılan menüsüne  tıklayın ve İçeri Aktar'ı seçin.

    • Çalışma alanı veya kullanıcı klasöründe Aşağı Giriş-Giriş'e  tıklayın ve İçeri Aktar'ı seçin.

      Not defterini içeri aktarma

  2. URL'yi belirtin veya desteklenen dış biçimi içeren bir dosyaya göz atabilirsiniz.

  3. İçeri Aktar’a tıklayın.

Not defterini dışarı aktarma

Not defteri araç çubuğunda, Dışarı Aktar ve > Dosya'ya tıklayın.

Not

Bir not defterini HTML, IPython not defteri veya arşiv (DBC) olarak dışarı aktarmış ve sonuçları temizlemeden not defterini çalıştırmanın sonuçları dahil edilir.

Not defterleri ve kümeler

Bir not defterinde herhangi bir çalışma yapmak için önce not defterini bir kümeye ekley gerekir. Bu bölümde, kümelere ve kümelere not defterlerini ekleme ve kümelerden ayırma ve bu eylemleri gerçekleştirebilirsiniz.

Bu bölümdeki konular:

Yürütme bağlamları

Bir kümeye not defteri takarak Azure Databricks yürütme bağlamı oluşturur. Yürütme bağlamı, desteklenen her programlama dili için rePL ortamının durumunu içerir: Python, R, Scala ve SQL. Not defterinde bir hücreyi çalıştırarak uygun dil REPL ortamına komutu gönder ve çalıştır.

Yürütme bağlamı oluşturmak ve yürütme bağlamında çalıştırmak üzere bir komut göndermek için REST 1.2 API'sini de kullanabilirsiniz. Benzer şekilde, komut dil REPL ortamına gönder ve çalıştır.

Bir küme en fazla yürütme bağlamı sayısına (145) sahip. Yürütme bağlamlarının sayısı bu eşiğe ulaştıktan sonra, kümeye not defteri ekamaz veya yeni bir yürütme bağlamı oluşturamazsiniz.

Boşta yürütme bağlamları

Son tamamlanan yürütme, ayarlanmış bir boşta kalma eşiğini aştıktan sonra yürütme bağlamı boşta olarak kabul edilir. Son tamamlanan yürütme, not defterinin komutları yürütmeyi son tamamlamış olduğu zamandır. Boşta kalma eşiği, son tamamlanan yürütme ile not defterini otomatik olarak ayırma girişimi arasında geçmesi gereken süredir. Varsayılan boşta kalma eşiği 24 saattir.

Bir küme en yüksek bağlam sınırına ulaştığında, Azure Databricks boşta yürütme bağlamlarını (en son kullanılanla başlayarak) kaldırır (çıkartır). Bağlam kaldırılmış olsa bile, bağlamı kullanan not defteri yine de kümeye eklenir ve kümenin not defteri listesinde görünür. Akış not defterleri etkin bir şekilde çalışıyor olarak kabul edilir ve yürütmeleri durdurulana kadar bağlamları hiçbir zaman çıkarılamaz. Boş bir bağlam çıkarılmışsa kullanıcı arabirimi, bağlamı kullanan not defterinin boşta kalma nedeniyle ayrılmış olduğunu belirten bir ileti görüntüler.

Not defteri bağlamı çıkarıldı

En fazla yürütme bağlamına sahip kümeye not defteri eklemeye çalışırsanız ve boşta bağlam yoksa (veya otomatik çıkarma devre dışı bırakılırsa), kullanıcı arabirimi geçerli maksimum yürütme bağlamları eşiğine ulaşıldığına ve not defterinin ayrılmış durumda kalmaya devam edatıldığına yönelik bir ileti görüntüler.

Not defteri ayrılmış

Bir işlemde hataya neden olursanız, işlemde hataya neden olan isteğin yürütülmesinin ardından boşta yürütme bağlamı yine de boşta olarak kabul edilir. Spark ile ayrı işlemlerin forking işlemi için kullanılması önerilmez.

Bağlam otomatik çıkarmayı yapılandırma

Spark özelliğini ayarerek bağlam otomatik çıkarma özelliğini yapılandırabilirsiniz. spark.databricks.chauffeur.enableIdleContextTracking

  • Databricks 5.0 ve üzerinde, otomatik çıkarma varsayılan olarak etkindir. ayarını kullanarak küme için otomatik çıkarmayı devre dışı spark.databricks.chauffeur.enableIdleContextTracking false bırakırsiniz.
  • Databricks 4.3'te otomatik çıkarma varsayılan olarak devre dışıdır. bir küme için otomatik çıkarma özelliğini ayarerek spark.databricks.chauffeur.enableIdleContextTracking true etkinleştirirsiniz.

Kümeye not defteri ekleme

Bir kümeye not defteri eklemek için Küme düzeyine Iliştirme iznine ihtiyacınız vardır.

Önemli

Bir not defteri bir kümeye bağlı olduğu sürece, not defterinde Çalıştırabilirsiniz izni olan tüm kullanıcılar kümeye erişmek için örtülü izinlere sahip olur.

Bir kümeye not defteri eklemek için:

  1. Not defteri araç çubuğunda Not Defteri Kümesi  Simgesi Ayrılmış Küme Açılan  Menüsünde 'ye tıklayın.
  2. Açılan listeden bir küme seçin.

Önemli

Ekli bir not defteri, tanımlı Apache Spark değişkenlerini içerir.

Sınıf Değişken Adı
SparkContext sc
SQLContext/HiveContext sqlContext
SparkSession (Spark 2. x) spark

SparkSession, SparkContext Veya oluşturmayın SQLContext . Bunun yapılması tutarsız davranışa yol açacaktır.

<a name="determine-spark-and-databricks-runtime-version">Spark ve Databricks Runtime sürümünü belirleme

Not defterinizin eklendiği kümenin Spark sürümünü öğrenmek için şunu çalıştırın:

spark.version

Not defterinizin eklendiği kümenin Databricks Runtime sürümünü öğrenmek için şunu çalıştırın:

Scala
dbutils.notebook.getContext.tags(&quot;sparkVersion")
Python
spark.conf.get("spark.databricks.clusterUsageTags.sparkVersion")

Not

Bu sparkVersion etiket ve spark_version kümeler API 'si ve işler API 'sindeki uç noktalar için gereken özellik, Spark sürümüne değil Databricks Runtime sürümünebaşvurur.

Bir kümeden Not defterini ayırma

  1. Not defteri araç çubuğunda, küme  adı>  küme açılan listesini <Not defteri küme simgesi eklenmiş ' e tıklayın .

  2. Ayır’ı seçin.

    Not defterini ayır

Ayrıca küme ayrıntıları sayfasındaki Not defterleri sekmesini kullanarak not defterlerini bir kümeden ayırabilirsiniz.

Bir not defterini kümeden ayırdığınızda, yürütme bağlamı kaldırılır ve hesaplanan tüm değişken değerleri Not defterinden temizlenir.

İpucu

Azure Databricks, kullanılmayan not defterlerini bir kümeden ayırmanızı önerir. Bu, sürücüde bellek alanını boşaltır.

Bir kümeye eklenmiş tüm not defterlerini görüntüleme

Küme ayrıntıları sayfasındaki Not defterleri sekmesinde bir kümeye bağlı olan tüm not defterleri görüntülenir. Bu sekmede, her bir komutun Not defterinden son çalıştırıldığı zaman ile birlikte, eklenen her bir not defterinin durumu da görüntülenir.

Küme ayrıntıları ekli not defterleri

Bir not defteri zamanlayın

Düzenli aralıklarla çalışacak bir not defteri işi zamanlamak için:

  1. Not defteri araç çubuğunda, Zamanlama simgesi düğmesine basın.
  2. + Yeni öğesine tıklayın.
  3. Zamanlamayı seçin.
  4. Tamam'a tıklayın.

Not defterlerini dağıt

Azure Databricks not defterlerinikolayca dağıtmanıza izin vermek için Azure Databricks, bir not defteri veya tek bir not defteri klasörü içerebilen bir paket olan databricks arşivini destekler. Databricks Arşivi, ek meta verileri olan ve uzantısına sahip bir JAR dosyasıdır .dbc . Arşivde bulunan not defterleri Azure Databricks dahili bir biçimde.

Bir arşivi içeri aktar

  1.   Bir klasör veya Not defteri 'Nin sağ tarafındaki şapka işaretini veya menü açılan menüsünü tıklatın ve içeri aktar' ı seçin.
  2. Dosya veya URL seçin.
  3. Açılan bölgedeki bir Databricks Arşivi ' ne gidin veya bırakın.
  4. İçeri Aktar’a tıklayın. Arşiv Azure Databricks içeri aktarılır. Arşiv bir klasör içeriyorsa, Azure Databricks klasörü yeniden oluşturur.

Arşivi dışarı aktarma

  Bir klasör veya Not defteri 'Nin sağ tarafındaki şapka işaretini veya menü açılan menüsünü tıklatın ve dışarı aktar > DBC Arşivi' ni seçin. Azure Databricks adlı bir dosyayı indirir <[folder|notebook]-name>.dbc .