Temmuz 2019

Bu özellikler ve Azure Databricks platformu geliştirmeleri Temmuz 2019 ' de yayımlanmıştır.

Not

Yayınlar hazırlanır. Azure Databricks hesabınız, ilk yayın tarihinden sonraki bir haftaya kadar güncelleştirilmemiş olabilir.

Yakında: Databricks 6.0 artık Python 2'yi destekleyecek

Olasılığına, Python 2 ' nin yakında sona erer, 2020 için duyuruldu, Python 2 Databricks Runtime 6,0 ' de desteklenmeyecektir. Databricks Runtime önceki sürümleri, Python 2 ' i desteklemeye devam edecektir. Databricks Runtime 6,0 ' 2019 de daha sonra sürümünü yayınlıyoruz.

Databricks Runtime sürümünü boşta duran havuz örneklerine önceden yükleme

30 Temmuz 6, 2019: sürüm 2,103

Artık havuzdaki boşta örneklere yüklenecek bir Databricks Runtime sürümünü seçerek havuz tarafından desteklenen kümeyi başlatabilirsiniz. Havuz Kullanıcı arabirimindeki alana önceden yüklenmiş Spark sürümüadı verilir.

Önceden yüklenen Spark sürümü

Özel küme etiketleri ve havuz etiketleri daha uyumlu

30 Temmuz 6, 2019: sürüm 2,103

Bu ayın başlarında, kümeleri hızlı bir şekilde almanıza yardımcı olacak bir dizi boş örnek olan Azure Databricks sunulan havuzlar. Özgün sürümde, havuz tarafından desteklenen kümeler havuz yapılandırmasından varsayılan ve özel Etiketler devralınmış ve bu etiketleri küme düzeyinde değiştiremezsiniz. Artık havuz ile desteklenen bir kümeye özgü özel Etiketler yapılandırabilir ve bu küme, havuzdan devralınıp özel olarak bu kümeye atanmış olan tüm özel etiketleri uygular. Bir havuzdan devralınan özel bir etiketle aynı anahtar adına sahip kümeye özel bir özel etiket ekleyemezsiniz (yani, havuzdan devralınan özel bir etiketi geçersiz kılamazsınız). Ayrıntılar için bkz. havuz etiketleri.

MLflow 1.1 birkaç kullanıcı arabirimi ve API geliştirmesi getiriyor

30 Temmuz 6, 2019: sürüm 2,103

MLflow 1,1, UI ve API kullanılabilirliğini geliştirmek için çeşitli yeni özellikler sunar:

  • Çalıştırmalar genel bakış Kullanıcı arabirimi artık çalışma sayısı 100 ' i aşarsa birden çok çalışma sayfasına göz atabilmenizi sağlar. Lük çalıştıktan sonra, sonraki 100 çalıştırmalarını yüklemek için daha fazla yükle düğmesine tıklayın.

    Disk belleğine alınmış çalıştırmalar

  • Compare çalıştırmaları Kullanıcı arabirimi artık paralel koordinat çizimi sağlıyor. Çizim, n boyutlu bir parametre ve ölçüm kümesi arasındaki ilişkileri gözlemlemeye olanak tanır. Tüm çalıştırmaları, bir ölçüm değerine (örneğin doğruluk) göre renk kodlu satırlar olarak görselleştirir ve her bir çalıştırmanın gerçekleştiği parametre değerlerini gösterir.

    Paralel koordinatlar çizimi

  • Artık genel bakış kullanıcı arabiriminden Etiketler ekleyip düzenleyebilir ve deneme arama görünümündeki etiketleri görüntüleyebilirsiniz.

  • Yeni Mlflowcontext API 'si , Python API 'sine benzer bir şekilde çalıştırma ve oturum açmanızı sağlar. Bu API, MlflowClient yalnızca REST API 'leri sarmalayan mevcut alt düzey API ile karşıttır.

  • Artık, Deletetag API'Sini kullanarak mlflow çalıştırmalarının etiketlerini silebilirsiniz.

Ayrıntılar için bkz. Mlflow 1,1 blog gönderisi. Özelliklerin ve düzeltmelerin tüm listesi için bkz. Mlflow 1,1 changelog.

pandas DataFrame görünümü, Jupyter'de olduğu gibi işleniyor

30 Temmuz 6, 2019: sürüm 2,103

Artık bir Pandas veri çerçevesini çağırdığınızda, Jupyıter 'da yaptığı gibi aynı şekilde işlenir.

Pandas DataFrame 'i görüntüle

Yeni bölgeler

30 Temmuz 2019

Azure Databricks artık aşağıdaki ek bölgelerde kullanılabilir:

  • Güney Kore - Orta
  • Güney Afrika - Kuzey

Conda ile Databricks Runtime 5.5 (Beta)

23 Temmuz 2019

Önemli

Conda ile Databricks Runtime beta aşamasındadır. Desteklenen ortamların içerikleri, yaklaşan Beta sürümlerinde değişebilir. Değişiklikler, yüklü paketlerin paket veya sürümlerinin listesini içerebilir. Conda Databricks Runtime 5,5, Databricks Runtime 5,5 LTS'nin üzerine kurulmuştur.

Conda sürümü ile Databricks Runtime 5,5, bir YAML belirtimine sahip dizüstü bilgisayarın Conda ortamını güncelleştirmeyi desteklemek için yeni bir not defteri kapsamlı kitaplık API 'SI ekler (bkz. Conda belgeleri).

Conda (Beta) ile Databricks Runtime 5,5' de tüm sürüm notlarına bakın.

Meta veri deposu bağlantı sınırı güncelleştirildi

16-23 Temmuz 2019: sürüm 2,102

Eastus, eastus2, merkezileşmus, westus, westus2, westeurope, northeurope içindeki yeni Azure Databricks çalışma alanları 250 daha yüksek bir veri deposu bağlantı sınırına sahip olacaktır. Mevcut çalışma alanları, geçerli meta veri deposunu kesintiye uğramayacak şekilde kullanmaya devam eder ve 100 bağlantı sınırına sahip olmaya devam eder.

Havuzlarda izin ayarlama (Genel Önizleme)

16-23 Temmuz 2019: sürüm 2,102

Havuz Kullanıcı arabirimi artık havuzları yönetebilen ve havuzlara kümeler iliştirebilen izinleri ayarlamayı desteklemektedir.

Ayrıntılar için bkz. Havuz erişim denetimi.

Makine Öğrenmesi için Databricks Runtime 5.5

15 Temmuz 2019

Databricks Runtime 5,5 ML Databricks Runtime 5,5 lts'nin üzerine kurulmuştur. TensorFlow, PyTorch, keras ve XGBoost dahil pek çok popüler makine öğrenimi kitaplıklarını içerir ve Horovod kullanarak dağıtılmış TensorFlow eğitimi sağlar.

Bu sürüm, aşağıdaki yeni özellikleri ve geliştirmeleri içerir:

  • Mlflow 1,0 Python paketi eklendi
  • Yükseltilen makine öğrenimi kitaplıkları
    • TensorFlow, 1.12.0 'den 1.13.1 'e yükseltildi
    • PyTorch, 0.4.1 'den 1.1.0 'ye yükseltildi
    • scikit-0.19.1 'ten 0.20.3 'e yükseltme yapmayı öğrenin
  • Horovodrunner için tek düğümlü işlem

Ayrıntılar için bkz. Machine Learning için Databricks Runtime 5,5 LTS.

Databricks Runtime 5.5

15 Temmuz 2019

Databricks Runtime 5,5 artık kullanılabilir. Databricks Runtime 5,5, Apache Spark 2.4.3, yükseltilmiş Python, R, Java ve Scala kitaplıklarını ve aşağıdaki yeni özellikleri içerir:

  • Azure Databricks otomatik Iyileştirmeden Delta Gölü
  • Delta Gölü Azure Databricks gelişmiş en az, en fazla ve sayı toplama sorgusu performansı
  • Geliştirilmiş ikili dosya veri kaynağı ve skaler Yineleyici Pandas UDF (Genel Önizleme) ile daha hızlı model çıkarım işlem hatları
  • R not defterlerinde gizlilikler API 'SI

Ayrıntılar için bkz. Databricks Runtime 5,5 LTS.

Hızlı küme başlatma için bekleme durumunda örnek havuzu tutma (Genel Önizleme)

9-11 Temmuz 2019: sürüm 2,101

Küme başlangıç süresini azaltmak için, Azure Databricks artık kümenin önceden tanımlanmış bir boş örnek havuzuna eklenmesini desteklemektedir. Bir havuza eklendiğinde, küme sürücü ve çalışan düğümlerini havuzdan ayırır. Havuzda kümenin isteğine uyum sağlamak için yeterli boş kaynak yoksa, havuz, bulut sağlayıcısından yeni örnekler ayırarak genişletilir. Eklenen bir küme sonlandırıldığında, kullandığı örnekler havuza döndürülür ve farklı bir küme tarafından yeniden kullanılabilir.

Azure Databricks, havuzdaki örnekler boştayken DBU'lar için ücret almaz. Örnek sağlayıcının faturalandırılması geçerlidir. Bkz. fiyatlandırma.

Ayrıntılar için bkz. havuzlar.

Ganglia ölçümleri

9-11 Temmuz 2019: sürüm 2,101

Ganbir , Azure Databricks kümelerinde kullanıma sunulan ölçeklenebilir bir dağıtılmış izleme sistemidir. Bir ölçüm, küme performansını ve sistem durumunu izlemenize yardımcı olur. Küme ayrıntıları sayfasından Ganbir ölçümlere erişebilirsiniz:

Ölçüm sekmesi

Gana ölçümlerini kullanma ve yapılandırma hakkında ayrıntılı bilgi için bkz. ölçüm ölçümleri.

Genel seri rengi

9-11 Temmuz 2019: sürüm 2,101

Artık, bir serinin renklerinin Not defterinizdeki tüm grafiklerde tutarlı olması gerektiğini belirtebilirsiniz. Grafikler genelinde renk tutarlılığınıgörün.

Genel seri rengi