Ekim 2019

Bu özellikler ve Azure Databricks platformu geliştirmeleri Ekim 2019'da yayımlandı.

Not

Sürümler hazırlanır. Azure Databricks hesabınız ilk yayın tarihinden sonraki bir haftaya kadar güncelleştirilmeyebilir.

Desteklenebilirlik ölçümleri Azure Event Hubs'a taşındı

22-29 Ekim 2019

Azure Databricks'in küme durumunu izlemesini sağlayan desteklenebilirlik ölçümleri Azure Blob depolamadan Event Hub uç noktalarına geçirilmiştir. Bu, Azure Databricks'in müşteri olaylarını çözmek için daha düşük gecikme süresi yanıtları sağlamasına olanak tanır. Sanal ağ ekleme çalışma alanları için, hizmet uç noktası için ağ güvenlik grubuna EventHub ek bir kural ekledik. Ayrıntılara Ağ güvenlik grubu kuralları tablosundan ulaşabilirsiniz. Hizmetlerin sürekli kullanılabilirliği için herhangi bir eylem gerekmez.

Bölgeye göre Azure Databricks desteklenebilirlik ölçümleri Event Hubs uç noktalarının listesi için bkz . Meta veri deposu, yapıt Blob depolama, sistem tabloları depolama, günlük Blob depolama ve Olay Hub'ı uç noktası IP adresleri.

Standart kümelerde ve Scala'da Azure Data Lake Storage kimlik bilgisi geçişi şimdi GA

22 - 29 Ekim 2019: Sürüm 3.5

Databricks Runtime 5.5 ve üzerini çalıştıran standart kümelerde Python, SQL ve Scala için kimlik bilgisi geçişinin yanı sıra Databricks Runtime 6.0 ve üzeri üzerinde SparkR genel kullanıma sunulmuştur. Bkz. Standart küme için Azure Data Lake Depolama kimlik bilgisi geçişlerini etkinleştirme.

Genomiks için Databricks Runtime 6.1 GA

22 Ekim 2019, Cumartesi

Genomiks için Databricks Runtime 6.1 genel kullanıma sunulmuştur.

Makine Öğrenmesi için Databricks Runtime 6.1 GA

22 Ekim 2019, Cumartesi

Databricks Runtime 6.1 ML genel olarak kullanılabilir. GPU kümeleri ve aşağıdaki makine öğrenmesi kitaplıklarına yükseltmeler için destek içerir:

• TensorFlow - 1.14.0
• PyTorch - 1.2.0
• Torchvision - 0.4.0
• MLflow - 1.3.0

Daha fazla bilgi için ML için Databricks Runtime 6.1 (desteklenmeyen) sürüm notlarının tamamına bakın.

MLflow API çağrılarında artık hız sınırı var

22 - 29 Ekim 2019: Sürüm 3.5

Azure Databricks, ağır yük altında yüksek hizmet kalitesi sağlamak için artık tüm MLflow API çağrıları için API hız sınırları uygular. Sınırlar, bir çalışma alanını paylaşan tüm kuruluşlar için adil kullanım ve yüksek kullanılabilirlik sağlamak için hesap başına ayarlanır.

Otomatik yeniden denemeleri olan MLflow istemcileri MLflow 1.3.0'da kullanılabilir ve ML için Databricks Runtime 6.1'dedir (desteklenmez). Tüm müşterilere en son MLflow istemci sürümüne geçmelerini öneririz.

Ayrıntılar için bkz . Denemeler API'si.

Hızlı küme başlatma için örnek havuzları genel kullanıma sunuldu

22 - 29 Ekim 2019: Sürüm 3.5

Boşta örneklerin önceden tanımlanmış havuzuna küme eklemeyi destekleyen Azure Databricks özelliği genel kullanıma sunulmuştur.

Azure Databricks, havuzdaki örnekler boştayken DBU'lar için ücret almaz. Örnek sağlayıcı faturalaması geçerlidir. Fiyatlandırmaya bakın.

Ayrıntılar için bkz . Havuz yapılandırma başvurusu.

Databricks Runtime 6.1 GA

16 Ekim 2019, Cumartesi

Databricks Runtime 6.1, Delta Lake'e çeşitli geliştirmeler getirir:

• Tabloları kolayca Delta Lake biçimine dönüştürün
• Delta tabloları için Python API'leri (Genel Önizleme)
• Dinamik Dosya Ayıklama (DFP) varsayılan olarak etkin

Databricks Runtime 6.1, kimlik bilgisi geçişiyle ilgili çeşitli sınırlamaları da kaldırır.

Not

Databricks Runtime, 6.1 sürümünden itibaren yalnızca CPU kümelerini destekler. GPU kümelerini kullanmak istiyorsanız Databricks Runtime ML kullanmalısınız.

Daha fazla bilgi için databricks Runtime 6.1 (desteklenmeyen) sürüm notlarının tamamına bakın.

Genomiks için Databricks Runtime 6.0 GA

16 Ekim 2019, Cumartesi

Genomiks için Databricks Runtime (Databricks Runtime Genomiks), genomik ve biyomedikal verilerle çalışmak için iyileştirilmiş Databricks Runtime'ın bir çeşididir. 6.0 sürümünden itibaren Genomiks için Databricks Runtime genel kullanıma sunulmuştur.

Azure Databricks çalışma alanını sanal ağ ekleme olarak da bilinen kendi sanal ağınıza dağıtma özelliği GA'dır

9 Ekim 2019, Cumartesi

Azure Databricks çalışma alanını sanal ağ ekleme olarak da bilinen kendi sanal ağınıza dağıtma özelliğini duyurmaktan mutluluk duyuyoruz. Bu seçenek, ağ özelleştirmesi gerektiren ve bu nedenle Azure Databricks çalışma alanını standart şekilde dağıttığınızda oluşturulan varsayılan sanal ağı kullanmak istemeyen kişilere yöneliktir. Sanal ağ ekleme ile şunları yapabilirsiniz:

• Hizmet uç noktalarını kullanarak Azure Databricks'i diğer Azure hizmetlerine (Azure Depolama gibi) daha güvenli bir şekilde Bağlan.
• Kullanıcı tanımlı yollardan yararlanarak Azure Databricks ile kullanılmak üzere şirket içi veri kaynaklarına Bağlan.
• Azure Databricks'i bir ağ sanal gerecine Bağlan. Tüm giden trafiği inceleyip izin verme ve reddetme kurallarına göre eylemler gerçekleştirin.
• Azure Databricks'i özel DNS kullanacak şekilde yapılandırın.
• Çıkış trafiği kısıtlamalarını belirtmek için ağ güvenlik grubu (NSG) kurallarını yapılandırın.
• Azure Databricks kümelerini mevcut sanal ağınıza dağıtın.

Azure Databricks'i kendi sanal ağınıza dağıtmak, esnek CIDR aralıklarından (sanal ağ için /16-/24 arasında ve alt ağlar için /26'ya kadar) yararlanmanıza da olanak tanır.

Azure portalı kullanıcı arabirimini kullanarak yapılandırma hızlı ve kolaydır: Bir çalışma alanı oluşturduğunuzda Sanal Ağ Azure Databricks çalışma alanını dağıt'ı seçmeniz, sanal ağınızı seçmeniz ve iki alt ağ için CIDR aralıkları sağlamanız gerekir. Azure Databricks sanal ağı iki yeni alt ağ ve ağ güvenlik grubuyla güncelleştirir, gelen ve giden alt ağ trafiğine erişim sağlar ve çalışma alanını güncelleştirilmiş sanal ağa dağıtır.

Sanal ağı sanal ağ ekleme için kendiniz yapılandırmayı tercih ediyorsanız (örneğin, mevcut alt ağları kullanmak, mevcut ağ güvenlik gruplarını kullanmak veya kendi güvenlik kurallarınızı oluşturmak istiyorsanız), portal kullanıcı arabirimi yerine Azure-Databricks tarafından sağlanan ARM şablonlarını kullanabilirsiniz.

Not

Sanal ağ ekleme önizlemesine katıldıysanız destek almaya devam etmek için önizleme çalışma alanınızı 31 Ocak 2020'ye kadar GA sürümüne yükseltmeniz gerekir.

Ayrıntılar için bkz. Azure sanal ağınızda Azure Databricks'i dağıtma (sanal ağ ekleme) ve Azure Databricks çalışma alanınızı şirket içi ağınıza Bağlan.

Yönetici olmayan Azure Databricks kullanıcıları, SCIM API'sini kullanarak kullanıcı ve grup adlarını ve kimliklerini okuyabilir

8 - 15 Ekim 2019: Sürüm 3.4

Yönetici olmayan kullanıcılar artık yalnızca kullanıcı ve grup görünen adlarını ve kimliklerini okumak için Gruplar API'sini Kullanıcı Al ve Grupları Al uç noktalarını çağırabilir. Diğer tüm SCIM API işlemleri yönetici erişimi gerektirmeye devam ediyor.

Çalışma alanı API'si, not defteri ve klasör nesne kimliklerini döndürüyor

8 - 15 Ekim 2019: Sürüm 3.4

Çalışma Alanı API'sinin get-statusve list uç noktaları artık not defteri ve klasör nesnesi kimliklerini döndürerek diğer API çağrılarında bu nesnelere başvurmanızı sağlar.

Databricks Runtime 6.0 ML GA

4 Ekim 2019, Cumartesi

Databricks Runtime 6.0 ML aşağıdaki güncelleştirmeleri içerir:

• MLflow
  • MLflow denemeleri için yeni bir Spark veri kaynağı artık MLflow denemesi çalıştırma verilerini yüklemek için standart bir API sağlar.
  • MLflow Java İstemcisi eklendi
  • MLflow artık üst katman kitaplığı olarak yükseltildi
• Hyperopt GA - Genel önizlemeden bu yana dikkate değer iyileştirmeler Spark çalışanlarında MLflow günlüğü desteği, PySpark yayın değişkenlerinin doğru işlenmesi ve Hyperopt kullanılarak model seçimiyle ilgili yeni bir kılavuz içerir.
• Horovod ve MLflow kitaplıkları ve Anaconda dağıtımı yükseltildi.

Not

Bu sürümde yalnızca CPU kümeleri desteklenir.

Daha fazla bilgi için ML için Databricks Runtime 6.0 (desteklenmeyen) sürüm notlarının tamamına bakın.

Yeni bölgeler: Güney Brezilya ve Orta Fransa

1 Ekim 2019, Cumartesi

Azure Databricks artık Güney Brezilya (Sao Paulo State) ve Orta Fransa (Paris) ile kullanılabilir.

Databricks Runtime 6.0 GA

1 Ekim 2019, Cumartesi

Databricks Runtime 6.0, aşağıdakiler gibi birçok kitaplık yükseltmesi ve yeni özellik getirir:

• Delta Lake DML komutları için yeni Scala ve Java API'lerinin yanı sıra vakum ve geçmiş yardımcı programı komutları.
• Model eğitimi sırasında daha hızlı ve daha güvenilir okuma ve yazma işlemleri için gelişmiş DBFS FUSE istemcisi.
• Not defteri hücresi başına birden çok matplotlib çizimi desteği.
• Python 3.7'ye güncelleştirmenin yanı sıra güncelleştirilmiş numpy, pandas, matplotlib ve diğer kitaplıklar.
• Python 2'nin gün batımı desteği.

Not

Bu sürümde yalnızca CPU kümeleri desteklenir.

Daha fazla bilgi için databricks Runtime 6.0 (desteklenmeyen) sürüm notlarının tamamına bakın.