Eylül 2020

Bu özellikler ve Azure Databricks platformu geliştirmeleri Eylül 2020'de yayımlandı.

Not

Sürümler hazırlanır. Azure Databricks hesabınız ilk yayın tarihinden sonraki bir haftaya kadar güncelleştirilmeyebilir.

Databricks Runtime 7.3, 7.3 ML ve 7.3 Genomics genel kullanıma sunuldu

24 Eylül 2020, Cumartesi

Databricks Runtime 7.3, Machine Learning için Databricks Runtime 7.3 ve Genomiks için Databricks Runtime 7.3 genel kullanıma sunuldu. Aşağıdakiler dahil olmak üzere birçok özellik ve geliştirme getirir:

• Delta Lake performans iyileştirmeleri ek yükü önemli ölçüde azaltır
• Ölçümleri kopyalama
• Delta Lake MERGE INTO geliştirmeleri
• Delta Lake Yapılandırılmış Akış için ilk konumu belirtin
• Otomatik Yükleyici geliştirmeleri
• Uyarlamalı sorgu yürütme
• Azure Synapse Analytics bağlayıcısı sütun uzunluğu denetimi
• İyileştirilmiş davranış dbutils.credentials.showRoles
• Basitleştirilmiş pandas'ı Spark DataFrame'e dönüştürme
• Aramadaki toPandas() yenilikler maxResultSize
• Pandas ve PySpark UDF'lerinde hata ayıklanabilirliği
• (yalnızca ML) Çalışanlar üzerinde Conda etkinleştirmesi
• (Yalnızca Genomiks) Sıkıştırılmamış veya zstd ile sıkıştırılmış genotiplerle BGEN dosyalarını okuma desteği
• Kitaplık yükseltmeleri

Daha fazla bilgi için bkz . Databricks Runtime 7.3 LTS (desteklenmiyor) ve Machine Learning için Databricks Runtime 7.3 LTS (desteklenmiyor).

Tek Düğümlü kümeler (Genel Önizleme)

23-29 Eylül 2020: Sürüm 3.29

Tek Düğümlü küme, Spark sürücüsünden oluşan ve Spark çalışanı olmayan bir kümedir. Buna karşılık, Standart mod kümeleri Spark işlerini çalıştırmak için en az bir Spark çalışanı gerektirir. Tek Düğüm modu kümeleri aşağıdaki durumlarda yararlıdır:

• Spark'ın veri yüklemesi ve kaydetmesi gereken tek düğümlü makine öğrenmesi iş yüklerini çalıştırma
• Basit keşif veri analizi (EDA)

Ayrıntılar için bkz . Tek düğümlü veya çok düğümlü işlem.

DBFS REST API hız sınırlaması

23-29 Eylül 2020: Sürüm 3.29

Yoğun yük altında yüksek hizmet kalitesi sağlamak için Azure Databricks artık DBFS API çağrıları için API hız sınırları uygulamektedir. Adil kullanım ve yüksek kullanılabilirlik sağlamak için çalışma alanı başına sınırlar ayarlanır. Otomatik yeniden denemeler Databricks CLI sürüm 0.12.0 ve üzeri kullanılarak kullanılabilir. Tüm müşterilere en son Databricks CLI sürümüne geçmelerini öneririz.

Yeni kenar çubuğu simgeleri

23-29 Eylül 2020, Cumartesi

Azure Databricks çalışma alanı kullanıcı arabirimindeki kenar çubuğunu güncelleştirdik. Önemli değil, ama yeni simgelerin oldukça güzel göründüğünü düşünüyoruz.

Çalışan iş sınırı artışı

23-29 Eylül 2020: Sürüm 3.29

Eşzamanlı çalışan iş çalıştırma sınırı çalışma alanı başına 150'den 1000'e yükseltildi. Artık bekleyen durumda 150'den fazla çalıştırılmayacaktır. Eşzamanlı çalıştırmaların üzerindeki çalıştırma istekleri için bir kuyruk yerine, hemen başlatılamayan bir 429 Too Many Requests çalıştırma istediğinizde bir yanıt döndürülür. Bu sınır artışı aşamalı olarak kullanıma sunuldu ve artık tüm bölgelerdeki tüm çalışma alanlarında kullanılabilir.

MLflow’da yapıt erişim denetim listeleri (ACL)

23-29 Eylül 2020: Sürüm 3.29

MLflow Denemesi izinleri artık MLflow İzleme'deki yapıtlar üzerinde zorunlu kılınarak modellerinize, veri kümelerinize ve diğer dosyalarınıza erişimi kolayca denetlemenize olanak tanır. Varsayılan olarak, yeni bir deneme oluşturduğunuzda çalıştırma yapıtları artık MLflow tarafından yönetilen bir konumda depolanır. MLflow ile yönetilen konumlarda depolanan yapıtları çalıştırmak için dört MLflow Denemesi izin düzeyi (İzİn YOK, OKUNABILIR, DÜZENLENEBILIR ve YÖNETİLEMİYOR) otomatik olarak uygulanır:

• CAN EDIT veya CAN MANAGE izinleri, çalıştırma yapıtlarını bir denemede günlüğe kaydetmek için gereklidir.
• CAN READ izinleri, denemeden çalıştırma yapıtlarını listelemek ve indirmek için gereklidir.

Daha fazla bilgi için bkz . MLFlow deneme ACL'leri.

MLflow kullanılabilirlik iyileştirmeleri

23-29 Eylül 2020: Sürüm 3.29

Bu sürüm aşağıdaki MLflow kullanılabilirlik iyileştirmelerini içerir:

• MLflow Denemesi ve Kayıtlı Modeller sayfalarında artık yeni kullanıcıların kullanmaya başlamasına yardımcı olacak ipuçları bulunur.
• Model sürümü tablosu artık model sürümünün açıklama metnini gösterir. Yeni sütunda açıklamanın ilk 32 karakteri veya ilk satırı (hangisi daha kısaysa) gösterilir.

Yeni Azure Databricks Power BI bağlayıcısı (Genel Önizleme)

22 Eylül 2020, Cumartesi

Power BI Desktop sürüm 2.85.681.0, Azure Databricks ile Power BI arasındaki tümleştirmeyi çok daha sorunsuz ve güvenilir hale getiren yeni bir Azure Databricks Power BI bağlayıcısı içerir. Yeni bağlayıcı aşağıdaki iyileştirmelerle birlikte gelir:

• Basit bağlantı yapılandırması: Yeni Power BI Azure Databricks bağlayıcısı Power BI ile tümleşiktir ve bunu birkaç tıklamayla basit bir iletişim kutusu kullanarak yapılandırabilirsiniz.
• Microsoft Entra Id kimlik bilgilerini temel alan kimlik doğrulaması; yöneticilerin PAT belirteçlerini yapılandırmasına gerek kalmaz.
• Önemli performans iyileştirmeleriyle birlikte gelen yeni Azure Databricks ODBC sürücüsü sayesinde daha hızlı içeri aktarma ve iyileştirilmiş meta veri çağrıları.
• Power BI aracılığıyla Azure Databricks verilerine erişim, Microsoft Entra ID kimliğiniz ile ilişkili Azure Databricks tablosu erişim denetimine ve Azure depolama hesabı izinlerine saygı gösterir.

Daha fazla bilgi için bkz. Power BI'ı Azure Databricks'e Bağlan.

Müşteri tarafından yönetilen anahtarları DBFS köküne göre kullanma (Genel Önizleme)

15 Eylül 2020, Cumartesi

Artık DBFS depolama hesabını şifrelemek için Azure Key Vault'ta kendi şifreleme anahtarınızı kullanabilirsiniz. Bkz . DBFS kökü için müşteri tarafından yönetilen anahtarlar.

Yeni JDBC ve ODBC sürücüleri daha hızlı ve gecikme süresi daha düşük iş zekası sunar

15 Eylül 2020, Cumartesi

Databricks JDBC ve ODBC sürücülerinin (indirme) yeni sürümlerini aşağıdaki geliştirmelerle yayımladık:

• Performans: Daha az bağlantı ve kısa sorgu gecikme süresi, Apache Arrow serileştirmesi temelinde iyileştirilmiş sonuç aktarım hızı ve geliştirilmiş meta veri alma performansı.
• Kullanıcı deneyimi: Microsoft Entra ID OAuth2 erişim belirteçlerini kullanarak kimlik doğrulaması, iyileştirilmiş hata iletileri ve kapatma kümesine bağlanırken otomatik yeniden deneme, aralıklı ağ hatalarında yeniden denemelerin daha sağlam işlenmesi.
• HTTP ara sunucusu kullanan bağlantılar için destek.

JDBC ve ODBC kullanarak BI araçlarına bağlanma hakkında daha fazla bilgi için bkz . Databricks ODBC ve JDBC Sürücüleri.

MLflow Model Sunma (Genel Önizleme)

9-15 Eylül 2020: Sürüm 3.28

MLflow Model Sunma artık Genel Önizleme'de kullanılabilir. MLflow Model Sunma, Azure Databricks tarafından barındırılan ve yönetilen bir REST API uç noktası olarak Model Kayıt Defteri'nde kayıtlı bir MLflow modeli dağıtmanıza olanak tanır. Kayıtlı bir model için model sunma özelliğini etkinleştirdiğinizde Azure Databricks bir küme oluşturur ve bu modelin arşivlenmemiş tüm sürümlerini dağıtır.

Standart Azure Databricks kimlik doğrulaması ile REST API isteklerine göre tüm model sürümlerini sorgulayabilirsiniz. Model erişim hakları Model Kayıt Defteri'nden devralınır; kayıtlı bir modelin okuma haklarına sahip olan herkes dağıtılan model sürümlerinden herhangi birini sorgulayabilir. Bu hizmet önizleme aşamasındayken düşük aktarım hızı ve kritik olmayan uygulamalar için kullanılmasını öneririz.

Daha fazla bilgi için bkz . Azure Databricks'te Eski MLflow Modeli Sunma.

Küme kullanıcı arabirimi geliştirmeleri

9-15 Eylül 2020: Sürüm 3.28

Kümeler sayfasında artık Tüm Amaçlı Kümeler ve İş Kümeleri için ayrı sekmeler vardır. Her sekmedeki liste artık sayfalandırılmıştır. Ayrıca, bazen küme oluşturma ile bunu kullanıcı arabiriminde görebilme arasında oluşan gecikmeyi düzelttik.

İşler, kümeler, not defterleri ve diğer çalışma alanı nesneleri için görünürlük denetimleri

9-15 Eylül 2020: Sürüm 3.28

Varsayılan olarak, tüm kullanıcılar çalışma alanlarındaki tüm işleri, kümeleri, not defterlerini ve klasörleri Azure Databricks kullanıcı arabiriminde görebilir ve bu nesneler için erişim denetimi etkinleştirildiğinde ve kullanıcının bu nesneler üzerinde izinleri olmasa bile Databricks API'sini kullanarak bunları listeleyebilir.

Artık tüm Azure Databricks yöneticileri not defterleri ve klasörler (çalışma alanı nesneleri), kümeler ve işler için görünürlük denetimlerini etkinleştirerek kullanıcıların yalnızca çalışma alanı, küme veya iş erişim denetimi aracılığıyla erişim verilen nesneleri görüntüleyebilmesini sağlayabilir.

Bkz. Erişim denetimleri listeleri artık devre dışı bırakılamaz.

Belirteç oluşturma özelliğine artık varsayılan olarak izin verilmiyor

9-15 Eylül 2020: Sürüm 3.28

Azure Databricks platformu sürüm 3.28'in yayımlanmasından sonra oluşturulan çalışma alanları için kullanıcılar artık varsayılan olarak kişisel erişim belirteçleri oluşturamayacaktır. Yönetici, grubun tamamına users veya kullanıcıya göre veya gruplara göre grup temelinde bu izinleri açıkça vermelidir. 3.28 yayımlanmadan önce oluşturulan çalışma alanları, zaten mevcut olan izinleri korur.

Bkz. Kişisel erişim belirteçlerini izleme ve yönetme.

MLflow Model Kayıt Defteri çalışma alanlarında modellerin paylaşılmasını destekler

9 Eylül 2020, Cumartesi

Azure Databricks artık birden çok çalışma alanından model kayıt defterine erişimi destekliyor. Artık modelleri kaydedebilir, model çalıştırmalarını izleyebilir ve çalışma alanları arasında modelleri yükleyebilirsiniz. Birden çok ekip artık modellere erişimi paylaşabilir ve kuruluşlar geliştirmenin farklı aşamalarını işlemek için birden çok çalışma alanı kullanabilir. Ayrıntılar için bkz . Modelleri çalışma alanları arasında paylaşma.

Bu işlevsellik için MLflow Python istemci sürümü 1.11.0 veya üzeri gerekir.

Databricks Runtime 7.3 (Beta)

3 Eylül 2020, Cumartesi

Databricks Runtime 7.3, Machine Learning için Databricks Runtime 7.3 ve Genomiks için Databricks Runtime 7.3 artık Beta sürümü olarak kullanılabilir.

Daha fazla bilgi için bkz . Databricks Runtime 7.3 LTS (desteklenmiyor) ve Machine Learning için Databricks Runtime 7.3 LTS (desteklenmiyor).

Azure Databricks iş yükü türü adı değişikliği

1 Eylül 2020, Cumartesi

Kümeleriniz tarafından kullanılan iş yükü türlerinin adları değiştirildi:

• Veri Madenciliği -> İşler İşlem
• Veri Madenciliği Işık -> İşler Hafif İşlem
• Veri Analizi -> Çok Amaçlı İşlem

Bu yeni adlar faturalarda ve EA portalında fiyatlandırma planınızla birlikte görünür (örneğin, "Premium - İşler İşlem - DBU"). Ayrıntılar için bkz . Azure Databricks Ölçümleri.

Kullanıcı arabirimi platform sürümü 3.27'de de değişmiştir (25 Ağustos - 3 Eylül arasında aşamalı sürüm için hedeflenmiştir):

Kümeler sayfasında liste başlıkları değişmiştir:

• Etkileşimli Kümeler -> Çok Amaçlı Kümeler
• Otomatik Kümeler -> İş Kümeleri

Bir iş için küme yapılandırdığınızda, Küme Türü seçenekleri değişmiştir:

• Yeni Otomatik Küme -> Yeni İş Kümesi
• Mevcut Etkileşimli Küme -> Mevcut Çok Amaçlı Küme