Databricks Runtime bakım güncelleştirmeleri

Bu sayfada, tüm sürümler için Databricks Runtime güncelleştirmeleri listeledik. Mevcut bir kümeye bakım güncelleştirmesi eklemek için kümeyi yeniden başlatın.

Not

Bu makale, artık kullanmayabilirsiniz terimi olan beyaz listeye Azure Databricks başvurularını içerir. Terim yazılımdan kaldırıldığı zaman, bu makaleden kaldırılacaktır.

Desteklenen Databricks Runtime sürümler

Desteklenen sürümler için bakım Databricks Runtime güncelleştirmeleri:

Özgün sürüm notları için alt başlığın altındaki bağlantıyı izleyin.

Databricks Runtime 8.3

Bkz. Databricks Runtime 8.3.

  • 15 Haziran 2021
    • Delta Lake için iyileştirilmiş yazmalarda büyük miktarlarda veri yazarken ve yürütücü kayıpları ile karşılaşılırken NoSuchElementException yaşanacak bir hatayı düzeltir
    • SQL CREATE GROUP , DROP GROUP , , ve ALTER GROUP SHOW GROUPS komutlarını SHOW USERS ekler. Ayrıntılar için bkz. Güvenlik deyimleri ve Show deyimleri.

Databricks Runtime 8.2

Bkz. Databricks Runtime 8.2.

  • 15 Haziran 2021

    • Delta Lake için iyileştirilmiş yazmalarda büyük miktarlarda veri yazarken ve yürütücü kayıpları ile karşılaşılırken NoSuchElementException yaşanacak bir hatayı düzeltir
  • 26 Mayıs 2021

    • Python güvenlik açığını (CVE-2021-3177) düzeltmek için Python güvenlik yaması ile güncelleştirildi.
  • 30 Nisan 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][BUILD] SparkSubmit'te spark-packages çözümleyicisini güncelleştirme
    • [SPARK-34245] [CORE]Master'ın tamamlandı durumunu gönderamayan yürütücüleri kaldır olduğundan emin olmak
    • Otomatik Yükleyici Yapılandırılmış Akış ilerleme durumu ölçümlerini raporlayana bir OOM sorunu düzeltildi.

Databricks Runtime 8.1

Bkz. Databricks Runtime 8.1.

  • 15 Haziran 2021

    • Delta Lake için iyileştirilmiş yazmalarda büyük miktarlarda veri yazarken ve yürütücü kayıpları ile karşılaşılırken NoSuchElementException yaşanacak bir hatayı düzeltir
  • 26 Mayıs 2021

    • Python güvenlik açığını (CVE-2021-3177) düzeltmek için Python güvenlik yaması ile güncelleştirildi.
  • 30 Nisan 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][BUILD] SparkSubmit'te spark-packages çözümleyicisini güncelleştirme
    • Otomatik Yükleyici Yapılandırılmış Akış ilerleme durumu ölçümlerini raporlayana bir OOM sorunu düzeltildi.
  • 27 Nisan 2021

    • [SPARK-34245] [CORE]Master'ın tamamlandı durumunu gönderamayan yürütücüleri kaldır olduğundan emin olmak
    • [SPARK-34856][SQL] ANSI modu: Karmaşık türleri dize türü olarak atamaya izin ver
    • [SPARK-35014] PhysicalAggregation desenini, katlanabilir ifadeleri yeniden yazmama durumu düzeltin
    • [SPARK-34769][SQL] AnsiTypeCoercion: TypeCollection arasında en dar dönüştürülebilir türü iade ediyor
    • [SPARK-34614][SQL] ANSI modu: Dizeyi Boole'a atama ayrıştırma hatasında özel durum oluşturur
    • [SPARK-33794][SQL] ANSI modu: NextDay ifadesi, geçersiz giriş alırken çalışma zamanı IllegalArgumentException oluşturmak için düzeltildi

Databricks Runtime 8.0

Bkz. Databricks Runtime 8.0.

  • 26 Mayıs 2021
    • Python güvenlik açığını (CVE-2021-3177) düzeltmek için Python güvenlik yaması ile güncelleştirildi.
  • 30 Nisan 2021
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][BUILD] SparkSubmit'te spark-packages çözümleyicisini güncelleştirme
    • [SPARK-34245] [CORE]Master'ın tamamlandı durumunu gönderamayan yürütücüleri kaldır olduğundan emin olmak
  • 24 Mart 2021
    • [SPARK-34681][SQL] Eşit olmayan koşula sahip sol taraf eklenirken tam dış karıştırılan karma birleştirme hatası düzeltildi
    • [SPARK-34534] Blokları getirmek için FetchShuffleBlocks kullanımında blockIds sırası düzeltildi
    • [SPARK-34613][SQL] Düzeltme görünümü devre dışı bırakma ipucu yapılandırmasını yakalamaz
  • 9 Mart 2021
    • [SPARK-34543][SQL] spark.sql.caseSensitive v1'de bölüm özellikleri çözümlenmişken yapılandırmaya saygı göster SET LOCATION
    • [SPARK-34392] [SQL]DateTimeUtils içinde ZoneOffset +h:mm desteği. getZoneId
    • [UI] Spark DAG Görselleştirmesi'nin href bağlantısı düzeltilir
    • [SPARK-34436][SQL] DPP desteği LIKE ANY/ALL ifadesi

Databricks Runtime 7.6

Bkz. Databricks Runtime 7.6.

  • 26 Mayıs 2021
    • Python güvenlik açığını (CVE-2021-3177) düzeltmek için Python güvenlik yaması ile güncelleştirildi.
  • 30 Nisan 2021
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][BUILD] SparkSubmit'te spark-packages çözümleyicisini güncelleştirme
    • [SPARK-34245] [CORE]Master'ın tamamlandı durumunu gönderamayan yürütücüleri kaldır olduğundan emin olmak
  • 24 Mart 2021
    • [SPARK-34768][SQL] Univocity'de varsayılan giriş arabelleği boyutunu kabul eder
    • [SPARK-34534] Blokları getirmek için FetchShuffleBlocks kullanımında blockIds sırası düzeltildi
  • 9 Mart 2021
    • (yalnızca Azure) Databricks Runtime 7.6 kullanılarak Databricks Runtime 7.2'de oluşturulan eski bir Otomatik Yükleyici akışının çalışmasına neden olan NullPointerException hatası düzeltildi Databricks Runtime düzeltildi
    • [UI] Spark DAG Görselleştirmesi'nin href bağlantısı düzeltilir
    • Bilinmeyen yaprak düğüm SparkPlan SizeInBytesOnlyStatsSparkPlanVisitor içinde doğru şekilde işlendi
    • çıktı şemasını geri yükleme SHOW DATABASES
    • [Delta] [8.0, 7.6] Dosya boyutu otomatik ayarlama mantığında hesaplama hatası düzeltildi
    • Delta önbelleğinde Delta tablo dosyaları için eskilik denetimi devre dışı bırakma
    • [SQL] Aralık birleştirme ipucu mevcut olduğunda doğru dinamik ayıklama derleme anahtarını kullanma
    • SQL dışı kod yolunda karakter türü desteğini devre dışı bırakma
    • DataFrameReader.schema'da NPE'den kaçının
    • EventGridClient yanıtının varlığı yok olduğunda NPE'yi düzeltme
    • Azure Otomatik Yükleyici'de okumalı kapalı akış hatası düzeltme
    • [SQL] AOS etkinleştirildiğinde karıştırma bölüm numarası önerisi oluşturma
  • 24 Şubat 2021
    • Spark BigQuery bağlayıcısı v0.18 sürümüne yükseltildi. Bu bağlayıcı ok ve Avro iterators için çeşitli hata düzeltmeleri ve destek sağlar.
    • Parquet dosyasının ondalık duyarlığı ve ölçeği Spark şemasından farklı olduğunda Spark'ın yanlış sonuçlar dönmesine neden olan bir doğruluk sorunu düzeltildi.
    • Spark SQL için geometri ve Microsoft SQL Server JDBC türleri desteği ekleyerek uzamsal veri türleri içeren tablolarda okuma hatası sorunu düzeltildi.
    • Yeni bir yapılandırma sunuldu spark.databricks.hive.metastore.init.reloadFunctions.enabled . Bu yapılandırma, yerleşik Hive başlatmayı denetler. True olarak ayarlandığında, Azure Databricks tüm işlevleri kullanıcıların sahip olduğu tüm veritabanlarından yeniden yükler FunctionRegistry . Bu, Hive meta veri deposu için varsayılan davranıştır. False olarak ayarlandığında Azure Databricks iyileştirme için bu işlemi devre dışı bırakır.
    • [Spark-34212] Parquet dosyalarından ondalık verilerin okunmayla ilgili sorunlar düzeltildi.
    • [Spark-34260][SQL] geçici görünüm oluşturma sırasında UnresolvedException 'yi Iki kez düzeltir.

Databricks Runtime 7,5

Bkz. Databricks Runtime 7,5 (desteklenmiyor).

  • 26 Mayıs 2021
    • Python güvenlik güvenlik açığı 'nı (CVE-2021-3177) gidermek için Python güvenlik düzeltme ekiyle güncelleştirildi.
  • 30 Nis 2021
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-35227][derleme] mini göndermesinde Spark-Packages için çözümleyici 'yi güncelleştirme
    • [Spark-34245][Core] ana yöneticinin tamamlanmış durumu gönderemediği yürüticileri kaldırdığından emin olun
  • 24 Mar, 2021
    • [Spark-34768][SQL] Univocity içindeki varsayılan giriş arabelleği boyutuna saygı
    • [Spark-34534] Blokları getirmek için Fetchkılet 'i kullanırken blockIds sırasını düzeltir
  • 9 Mar, 2021
    • (Yalnızca Azure) Databricks Runtime 7,2 ' de oluşturulan eski bir otomatik yükleyici akışını çalıştırmak için Databricks Runtime 7,5 kullanılırken NullPointerException 'a neden olabilecek bir otomatik yükleyici hatası düzeltildi.
    • 'SıNı Spark DAG görselleştirmesinin HREF bağlantısını çözme
    • Bilinmeyen yaprak-düğüm parlak planı Sizeınbytesonlystatsmini Planvisitor içinde doğru işlenmiyor
    • Çıkış şemasını geri yükleme SHOW DATABASES
    • Delta önbelleğindeki Delta tablosu dosyaları için leklik denetimini devre dışı bırak
    • SQL Range JOIN ipucu mevcut olduğunda doğru dinamik ayıklama derleme anahtarını kullan
    • SQL kodu olmayan yolda karakter türü desteğini devre dışı bırak
    • DataFrameReader. Schema içinde NPE 'yi önleyin
    • EventGridClient yanıtında varlık olmadığında NPE 'yi düzeltir
    • Azure otomatik yükleyicisinde bir okuma kapalı akış hatasını çözme
  • 24 Şub, 2021
    • Spark BigQuery bağlayıcısını, çeşitli hata düzeltmeleri ve ok ve avro yineleyiciler için destek sunan v 0.18 sürümüne yükselttiniz.
    • Parquet dosyasının ondalık duyarlık ve ölçeği Spark şemadan farklı olduğunda Spark 'ın yanlış sonuçlar döndürmesine neden olan doğruluk sorunu düzeltildi.
    • Spark SQL için geometri ve Coğrafya JDBC türleri desteği eklenerek uzamsal veri türleri içeren Microsoft SQL Server tablolarda düzeltilen okuma hatası sorunu.
    • Yeni bir yapılandırma sunuldu spark.databricks.hive.metastore.init.reloadFunctions.enabled . Bu yapılandırma, yerleşik Hive başlatmayı denetler. True olarak ayarlandığında, Azure Databricks tüm işlevleri kullanıcıların sahip olduğu tüm veritabanlarından yeniden yükler FunctionRegistry . Bu, Hive meta veri deposu için varsayılan davranıştır. False olarak ayarlandığında Azure Databricks iyileştirme için bu işlemi devre dışı bırakır.
    • [Spark-34212] Parquet dosyalarından ondalık verilerin okunmayla ilgili sorunlar düzeltildi.
    • [Spark-34260][SQL] geçici görünüm oluşturma sırasında UnresolvedException 'yi Iki kez düzeltir.
  • 4 Şubat 2021
    • Gibi genel bir sınır ayarlayan sorgunun artımlı yürütülmesini engelleyen bir gerileme düzeltildi SELECT * FROM table LIMIT nrows . Gerileme, ok serileştirme etkin ile ODBC/JDBC aracılığıyla sorguları çalıştıran kullanıcılar tarafından deneyimiydi.
    • Delta tabloları için Hive meta veri deposu meta verilerin bozulmasını engellemek için, Hive istemcisine sunulan yazma zamanı denetimleri.
    • Küme ortamı değişken yapılandırmalarında, geçersiz Bash sözdizimi içerdiğinde DBFS SIGORTASı 'nın başlayamasına neden olan bir gerileme düzeltildi.
  • 20 Ocak 2021
    • 12 Ocak 2021 bakım sürümünde yanlış bir Analvsexception oluşmasına neden olabilecek bir gerileme düzeltildi ve sütunun kendine bir birleşimde belirsiz olması söylenmiştir. Bu gerileme, bir Kullanıcı bir veri çerçevesini, türetilen veri çerçevesi (yani, kendi kendine birleştirme denir) ile aşağıdaki koşullara katıldığında meydana gelir:
      • Bu iki veri çerçevesi ortak sütunlara sahiptir, ancak kendi kendine birleşimin çıktısının ortak sütunları yoktur. Örneğin, df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş veri çerçevesi bazı sütunları Select, groupBy veya pencere aracılığıyla dışlar.
      • Birleştirilmiş veri çerçevesi, ortak olmayan sütunlara başvurur. Örneğin, df.join(df.drop("a"), df("a") === 1)
  • 12 Ocak 2021
    • Azure Storage SDK 'sını 2.3.8 'den 2.3.9 'ye yükseltin.
    • [Spark-33593][SQL] vektör okuyucu ikili bölüm değeri ile yanlış veri aldı
    • [Spark-33480][SQL] char/varchar tablo ekleme uzunluğu denetiminin hata iletisini güncelleştirir

Databricks Runtime 7,3 LTS

Bkz. Databricks Runtime 7,3 LTS.

    1. Haz, 2021
    • NoSuchElementExceptionBüyük miktarlarda veri yazarken ve yürütücü kayıplarıyla karşılaşıldığında oluşabilecek Delta Gölü en iyileştirilmiş yazma işlemlerinde bir hatayı düzeltir
    • Python güvenlik güvenlik açığı 'nı (CVE-2021-3177) gidermek için Python güvenlik düzeltme ekiyle güncelleştirildi.
  • 30 Nis 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-35227][derleme] mini göndermesinde Spark-Packages için çözümleyici 'yi güncelleştirme
    • [Spark-34245][Core] ana yöneticinin tamamlanmış durumu gönderemediği yürüticileri kaldırdığından emin olun
    • [Spark-35045][SQL] univocity içinde giriş arabelleğini denetlemek için bir Iç seçenek ekleyin
  • 24 Mar, 2021

    • [Spark-34768][SQL] Univocity içindeki varsayılan giriş arabelleği boyutuna saygı
    • [Spark-34534] Blokları getirmek için Fetchkılet 'i kullanırken blockIds sırasını düzeltir
    • [Spark-33118][SQL] GEÇICI tablo oluşturma, konum ile başarısız oluyor
  • 9 Mar, 2021

    • Azure Data Lake Storage 2. için güncelleştirilmiş Azure blob dosya sistemi sürücüsü artık varsayılan olarak etkinleştirilmiştir. Birden çok kararlılık geliştirmesi getirir.
    • İçin Windows 'ta yol ayırıcısını çözme databricks-connect get-jar-dir
    • 'SıNı Spark DAG görselleştirmesinin HREF bağlantısını çözme
    • [DBCONNECT] Databricks Connect 7,3 ' de Yataymapcogroupsinpandas desteği ekleme
    • Çıkış şemasını geri yükleme SHOW DATABASES
    • SQL Range JOIN ipucu mevcut olduğunda doğru dinamik ayıklama derleme anahtarını kullan
    • Delta önbelleğindeki Delta tablosu dosyaları için leklik denetimini devre dışı bırak
    • SQL AOS etkinleştirildiğinde karışık bölüm numarası önerisi oluşturma
  • 24 Şub, 2021

    • Spark BigQuery bağlayıcısını, çeşitli hata düzeltmeleri ve ok ve avro yineleyiciler için destek sunan v 0.18 sürümüne yükselttiniz.
    • Parquet dosyasının ondalık duyarlık ve ölçeği Spark şemadan farklı olduğunda Spark 'ın yanlış sonuçlar döndürmesine neden olan doğruluk sorunu düzeltildi.
    • Spark SQL için geometri ve Coğrafya JDBC türleri desteği eklenerek uzamsal veri türleri içeren Microsoft SQL Server tablolarda düzeltilen okuma hatası sorunu.
    • Yeni bir yapılandırma sunuldu spark.databricks.hive.metastore.init.reloadFunctions.enabled . Bu yapılandırma, yerleşik Hive başlatmayı denetler. True olarak ayarlandığında, Azure Databricks tüm işlevleri kullanıcıların sahip olduğu tüm veritabanlarından yeniden yükler FunctionRegistry . Bu, Hive meta veri deposu için varsayılan davranıştır. False olarak ayarlandığında Azure Databricks iyileştirme için bu işlemi devre dışı bırakır.
    • [Spark-34212] Parquet dosyalarından ondalık verilerin okunmayla ilgili sorunlar düzeltildi.
    • [Spark-33579][UI] proxy 'nin arkasındaki yürütücü boş sayfasını düzeltir.
    • [Spark-20044][UI] bir yol öneki kullanarak ön uç ters proxy 'Nin arkasında Spark Kullanıcı arabirimini destekler.
    • [Spark-33277][pyspark] [SQL] görev bittikten sonra kullanmayı durdurmak Için Contextawareyineleyici kullanın.
  • 4 Şubat 2021

    • Gibi genel bir sınır ayarlayan sorgunun artımlı yürütülmesini engelleyen bir gerileme düzeltildi SELECT * FROM table LIMIT nrows . Gerileme, ok serileştirme etkin ile ODBC/JDBC aracılığıyla sorguları çalıştıran kullanıcılar tarafından deneyimiydi.
    • Küme ortamı değişken yapılandırmalarında, geçersiz Bash sözdizimi içerdiğinde DBFS SIGORTASı 'nın başlayamasına neden olan bir gerileme düzeltildi.
  • 20 Ocak 2021

    • 12 Ocak 2021 bakım sürümünde yanlış bir Analvsexception oluşmasına neden olabilecek bir gerileme düzeltildi ve sütunun kendine bir birleşimde belirsiz olması söylenmiştir. Bu regresyon, kullanıcı bir DataFrame'i türetilmiş DataFrame'iyle (kendi kendine birleştirme olarak adlandırılan) aşağıdaki koşullarla katsıyorsa gerçekleşir:
      • Bu iki DataFrame'in ortak sütunları vardır, ancak kendi kendine birleştirme çıkışında ortak sütunlar yok. Örneğin, df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş DataFrame select, groupBy veya window aracılığıyla bazı sütunları dışlar.
      • Birleştirme koşulu veya bir araya gelen Dataframe'den sonraki dönüşüm, ortak olmayan sütunları ifade eder. Örneğin, df.join(df.drop("a"), df("a") === 1)
  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-33593][SQL] Vektör okuyucu ikili bölüm değeriyle yanlış veri aldı
    • [SPARK-33677] [SQL]Desen herhangi bir escapeChar içeriyorsa LikeSimplification kuralını atla
    • [SPARK-33592][ML][PYTHON] estimatorParamMaps'te Pyspark ML Doğrulayıcı parametreleri kaydedip yeniden yüklendikten sonra kaybolabilir
    • [SPARK-33071][SPARK-33536][SQL] DetectAmbiguousSelfJoin'i bozmamak için join() dataset_id Mantıksal Plan'ın değiştirilmesini önleme
  • 8 Ara 2020

    • [SPARK-33587][CORE] İç içe önemli hatalarda yürütücüyi yok edin
    • [SPARK-27421][SQL] Bölüm sütununu ayıklamak için int sütunu ve değer sınıfı java.lang.String filtresi düzeltme
    • [SPARK-33316] [SQL]Destek kullanıcısı Avro'da null değere değiştirilebilir olmayan katalizör şeması için null değere değiştirilebilir Avro şeması sağladı yazma
    • Databricks Connect kullanılarak başlatılan Spark İşleri yürütücü yığın izlemesinde Executor$TaskRunner.$anonfun$copySessionState süresiz olarak askıda olabilir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Ara 2020

    • [SPARK-33404][SQL][3.0] İfadede yanlış sonuçları date_trunc düzeltme
    • [SPARK-33339][PYTHON] Özel durum hatası nedeniyle Pyspark uygulaması askıda
    • [SPARK-33183][SQL][DÜZELTME] İyileştirici kuralı EliminateSorts'u düzeltin ve yedekli sıralamaları kaldırmak için bir fiziksel kural ekleyin
    • [SPARK-33371][PYTHON][3.0] Python 3.9 setup.py ve testlerini güncelleştirme
    • [SPARK-33391][SQL] element_at tabanlı dizine saygı duymuyor.
    • [SPARK-33306][SQL]Tarih dizeye yayın olduğunda saat dilimi gerekiyor
    • [SPARK-33260] [SQL]SortOrder Stream olduğunda SortExec'in yanlış sonuçlarını düzeltme
  • 5 Kasım 2020

    • ILE ilgili ABFS ve WASB kilitlemesi UserGroupInformation.getCurrentUser() düzeltildi.
    • Avro okuyucu MAGIC baytlarını okuduğunda sonsuz döngü hatası düzeltildi.
    • USAGE ayrıcalığı için destek ekleyin.
    • Tablo erişim denetiminde ayrıcalık denetimi için performans geliştirmeleri.
  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Yüksek eşzamanlılık kimlik bilgisi geçiş özellikli bir kümede /dbfs/ üzerinde FUSE bağlamayı kullanarak DBFS'den okuma ve yazma. Normal bağlamalar desteklene, ancak geçiş kimlik bilgilerine ihtiyaç olan bağlamalar henüz desteklenmiyor.
    • [SPARK-32999][SQL] TreeNode'da Yanlış Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
    • [SPARK-32585][SQL] ScalaReflection'da scala numaralama desteği
    • Fuse bağlaması içinde geçersiz XML karakterleri içeren dosya adları içeren dizinlerin listelenmiş listesi düzeltildi
    • FUSE bağlaması artık ListMultipartUploads kullanmaz
  • 29 Eylül 2020

    • [SPARK-32718][SQL] Aralık birimleri için gereksiz anahtar sözcükleri kaldırma
    • [SPARK-32635][SQL] Katlanabilir yayma düzeltmesi
    • Yeni bir yapılandırma spark.shuffle.io.decoder.consolidateThreshold ekleyin. Köşe durumlarını Long.MAX_VALUE önleyen netty FrameBuffers birleştirmesini atlamak için yapılandırma java.lang.IndexOutOfBoundsException değerini olarak ayarlayın.

Databricks Runtime 6.4

Bkz. Databricks Runtime 6.4 (Desteklenmiyor).

  • 15 Haziran 2021

    • [SPARK-35576][SQL] Set komutunun sonucunda hassas bilgileri düzeltme
  • 7 Haziran 2021

    • İsteğe bağlı ek uzak spark.sql.maven.additionalRemoteRepositories maven yansıtması için virgülle ayrılmış dize yapılandırması adlı yeni bir yapılandırma ekleyin. değeri varsayılan olarak https://maven-central.storage-download.googleapis.com/maven2/ kullanılır.
  • 30 Nisan 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][BUILD] SparkSubmit'te spark-packages çözümleyicisini güncelleştirme
  • 9 Mart 2021

    • HADOOP-17215'i Azure Blob Dosya Sistemi sürücüye (Koşullu üzerine yazma desteği) bağlantı noktası.
    • için Windows'da yol ayırıcısı düzeltin databricks-connect get-jar-dir
    • Hive meta veri deposu 2.3.5, 2.3.6 ve 2.3.7 sürümleri için destek eklendi
    • Taşma sonrasında yanlış bildirilen "totalResultsCollected" okuna
  • 24 Şubat 2021

    • yeni bir yapılandırma spark.databricks.hive.metastore.init.reloadFunctions.enabled tanıtıldı. Bu yapılandırma, yerleşik Hive başlatmayı kontrol eder. true olarak ayarlanırsa, Azure Databricks tüm işlevleri kullanıcıların sahip olduğu tüm veritabanlarından içine yeniden FunctionRegistry yüklemez. Bu, Hive Meta Veri Deposu'daki varsayılan davranıştır. false olarak ayarlanırsa, Azure Databricks iyileştirme için bu işlemi devre dışı bıraktır.
  • 4 Şubat 2021

    • gibi genel bir sınır ayarleyen bir sorgunun artımlı olarak yürütülmesini engelleyen bir regresyon SELECT * FROM table LIMIT nrows düzeltildi. Odbc/JDBC aracılığıyla sorgu çalıştıran ve Ok serileştirmesi etkinleştirilmiş olan kullanıcılar regresyonla karşılandı.
    • Küme ortamı değişken yapılandırmaları geçersiz bash söz dizimi içerdiğinde DBFS FUSE'nin başlatılamayarak başlamasına neden olan bir regresyon düzeltildi.
  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Ara 2020

    • [SPARK-27421][SQL] Bölüm sütununu ayıklamak için int sütunu ve değer sınıfı java.lang.String filtresi düzeltme
    • [SPARK-33183] [SQL]İyileştirici kuralı EliminateSorts'u düzeltin ve yedekli sıralamaları kaldırmak için bir fiziksel kural ekleyin
    • [Çalışma Zamanı 6.4 ML GPU] NcCL'nin yanlış bir sürümünü (2.7.8-1+cuda11.1) daha önce yüklemıştık. Bu sürüm, CUDA 10.0 ile uyumlu 2.4.8-1+cuda10.0 sürümüne düzeltti.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Ara 2020

  • 3 Kasım 2020

    • Java sürümü 1.8.0_252'den 1.8.0_265'e yükseltildi.
    • UserGroupInformation.getCurrentUser() ile ilgili ABFS ve WASB kilitlemesi düzeltildi
    • MAGIC baytlarını okurken Avro okuyucuslarının sonsuz döngü hatalarını düzeltin.
  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-32999][SQL][2.4] TreeNode'da Yanlış Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
    • Fuse bağlaması içinde geçersiz XML karakterleri içeren dosya adları içeren dizinlerin listelenmiş listesi düzeltildi
    • FUSE bağlaması artık ListMultipartUploads kullanmaz
  • 24 Eylül 2020

    • Standart kümede geçişin yine de dosya sistemi uygulama kullanıcılarının kullandığı kısıtlamaya neden olduğu bir sınırlama düzeltildi. Artık kullanıcılar kısıtlama olmadan yerel dosya sistemlerine erişime sahip olabilir.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Eylül 2020

    • Azure Synapse Analytics için yeni bir parametre maxbinlength oluşturuldu. Bu parametre, BinaryType sütunlarının sütun uzunluğunu kontrol etmek için kullanılır ve olarak VARBINARY(maxbinlength) çevrilir. 0 veya n < .option("maxbinlength", n) = 8000 <kullanılarak ayarlanır.
    • Azure Depolama SDK'sı 8.6.4 sürümüne güncelleştirildi ve WASB sürücüsü tarafından yapılan bağlantılarda TCP etkin tutma özelliği etkinleştirildi
  • 25 Ağustos 2020

    • Kendi kendine birleştirmede belirsiz öznitelik çözümlemesi düzeltildi
  • 18 Ağustos 2020

    • [SPARK-32431][SQL] Yerleşik veri kaynaklarından okumada yinelenen iç içe sütunları denetleme
    • Trigger.Once kullanırken AQS bağlayıcısı içinde yarış durumu düzeltildi.
  • 11 Ağustos 2020

    • [SPARK-28676][CORE] ContextCleaner'dan aşırı günlük kaydından kaçının
  • 3 Ağustos 2020

    • Artık geçiş özellikli bir kümede LDA dönüştürme işlevini kullanabilirsiniz.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 7 Temmuz 2020

    • Java sürümü 1.8.0_232'den 1.8.0_252'ye yükseltildi.
  • 21 Nisan 2020

    • [SPARK-31312][SQL] HiveFunctionWrapper'da UDF örneği için Önbellek Sınıfı örneği
  • 7 Nisan 2020

    • pandas udf'nin PyArrow 0.15.0 ve üzeri sürümlerle çalışmama sorununu çözmek için, bu PyArrow sürümleri için desteği etkinleştirmek üzere bir ortam değişkeni ( ARROW_PRE_0_15_IPC_FORMAT=1 ) ekledik. [SPARK-29367] içinde yönergelere bakın.
  • 10 Mart 2020

    • İyileştirilmiş otomatik ölçeklendirme artık premium planında tüm amaçlı kümelerde varsayılan olarak Azure Databricks kullanılır.
    • Databricks Runtime'a dahil edilen Snowflake bağlayıcısı ( spark-snowflake_2.11 ), 2.5.9 sürümüne güncelleştirilmiştir. snowflake-jdbc 3.12.0 sürümüne güncelleştirildi.

Databricks Runtime 5.5 LTS

Bkz. Databricks Runtime 5.5 LTS.

  • 15 Haziran 2021

    • [SPARK-35576][SQL] Set komutunun sonucunda hassas bilgileri düzeltme
  • 7 Haziran 2021

    • İsteğe bağlı ek uzak spark.sql.maven.additionalRemoteRepositories maven yansıtması için virgülle ayrılmış dize yapılandırması adlı yeni bir yapılandırma ekleyin. değeri varsayılan olarak https://maven-central.storage-download.googleapis.com/maven2/ kullanılır.
  • 30 Nisan 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][BUILD] SparkSubmit'te spark-packages çözümleyicisini güncelleştirme
  • 9 Mart 2021

    • HADOOP-17215'i Azure Blob Dosya Sistemi sürücüye (Koşullu üzerine yazma desteği) bağlantı noktası.
  • 24 Şubat 2021

    • yeni bir yapılandırma spark.databricks.hive.metastore.init.reloadFunctions.enabled tanıtıldı. Bu yapılandırma, yerleşik Hive başlatmayı kontrol eder. true olarak ayarlanırsa, Azure Databricks tüm işlevleri kullanıcıların sahip olduğu tüm veritabanlarından içine yeniden FunctionRegistry yüklemez. Bu, Hive Meta Veri Deposu'daki varsayılan davranıştır. false olarak ayarlanırsa, Azure Databricks iyileştirme için bu işlemi devre dışı bıraktır.
  • 12 Ocak 2021

  • 8 Ara 2020

    • [SPARK-27421][SQL] Bölüm sütununu ayıklamak için int sütunu ve değer sınıfı java.lang.String filtresi düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Ara 2020

  • 29 Ekim 2020

    • Java sürümü 1.8.0_252'den 1.8.0_265'e yükseltildi.
    • UserGroupInformation.getCurrentUser() ile ilgili ABFS ve WASB kilitlemesi düzeltildi
    • MAGIC baytlarını okurken Avro okuyucuslarının sonsuz döngü hatalarını düzeltin.
  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-32999][SQL][2.4] TreeNode'da Yanlış Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
  • 24 Eylül 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Eylül 2020

    • Azure Synapse Analytics için yeni bir parametre maxbinlength oluşturuldu. Bu parametre, BinaryType sütunlarının sütun uzunluğunu kontrol etmek için kullanılır ve olarak VARBINARY(maxbinlength) çevrilir. 0 veya n < .option("maxbinlength", n) = 8000 <kullanılarak ayarlanır.
  • 18 Ağustos 2020

    • [SPARK-32431][SQL] Yerleşik veri kaynaklarından okumada yinelenen iç içe sütunları denetleme
    • Trigger.Once kullanırken AQS bağlayıcısı içinde yarış durumu düzeltildi.
  • 11 Ağustos 2020

    • [SPARK-28676][CORE] ContextCleaner'dan aşırı günlük kaydından kaçının
  • 3 Ağustos 2020

    • İşletim sistemi güvenlik güncelleştirmeleri
  • 7 Temmuz 2020

    • Java sürümü 1.8.0_232'den 1.8.0_252'ye yükseltildi.
  • 21 Nisan 2020

    • [SPARK-31312][SQL] HiveFunctionWrapper'da UDF örneği için Önbellek Sınıfı örneği
  • 7 Nisan 2020

    • pandas udf'nin PyArrow 0.15.0 ve üzeri sürümlerle çalışmama sorununu çözmek için, bu PyArrow sürümleri için desteği etkinleştirmek üzere bir ortam değişkeni ( ARROW_PRE_0_15_IPC_FORMAT=1 ) ekledik. [SPARK-29367] içinde yönergelere bakın.
  • 25 Mart 2020

    • Databricks Runtime'a dahil edilen Snowflake bağlayıcısı ( spark-snowflake_2.11 ), 2.5.9 sürümüne güncelleştirilmiştir. snowflake-jdbc 3.12.0 sürümüne güncelleştirildi.
  • 10 Mart 2020

    • stdout'a yayılan günlük çıkışı gibi iş çıktısı 20 MB boyut sınırına tabi olur. Toplam çıktının boyutu daha büyükse, çalıştırma iptal edilir ve başarısız olarak işaretlenir. Bu sınırla karşılaşmamak için, Spark yapılandırmasını olarak ayarerek stdout'ın sürücüden 'ye spark.databricks.driver.disableScalaOutput döndürülerek önüne true geçebilirsiniz. Varsayılan olarak bayrak değeri false olur. Bayrağı, Scala JAR işleri ve Scala not defterleri için hücre çıkışını kontrol eder. Bayrak etkinse Spark, istemciye iş yürütme sonuçları geri dönmez. bayrağı, kümenin günlük dosyalarında yazılan verileri etkilemez. Not defteri sonuçlarını devre dışı bırakmayacak olduğundan, bu bayrağın ayarı yalnızca JAR işleri için otomatik kümeler için önerilir.
  • 18 Şubat 2020

    • [SPARK-24783] [SQL]spark.sql.shuffle.partitions=0 özel durum oluşturmalı
    • ADLS istemci ADLS 2. Nesil etkinleştirildiğinde yanlış iş parçacığı yerel işleme nedeniyle kimlik bilgisi geçişinin performans düşüşü var. Bu sürüm, ADLS 2. Nesil düzeltmesi yapılana kadar kimlik bilgisi geçişi etkinleştirildiğinde önyüklenecek önyükleyi devre dışı bırakıyor.
  • 28 Ocak 2020

    • [SPARK-30447][SQL] Sabit yayma null kullanılabilirliği sorunu.
  • 14 Ocak 2020

    • Java sürümü 1.8.0_222'den 1.8.0_232'ye yükseltildi.
  • 19 Kasım 2019

    • [SPARK-29743] [SQL] örneğinde altta ihtiyacı doğruysa needCopyResult true olarak ayarlanmalıdır
    • R sürümü, 3.6.0'dan 3.6.1'e ilerler. 3.6.0'a geri indirildi.
  • 5 Kasım 2019

    • Java sürümü 1.8.0_212'den 1.8.0_222'ye yükseltildi.
  • 23 Ekim 2019

    • [Spark-29244][Core] BytesToBytesMap boş bırakılmış sayfanın yeniden kullanılmasını engelle
  • 8 Ekim 2019

    • Sonuçları getirme sırasında bir bağlantı hatasından sonra SIBA Apache Spark ODBC sürücüsünün yeniden bağlanmasına ve devam etmesine izin veren sunucu tarafı değişiklikleri ( simba Apache Spark ODBC sürücüsü sürüm 2.6.10gerektirir).
    • OptimizeTablo ACL 'si etkinleştirilmiş kümeler ile komut kullanımı etkileyen bir sorun düzeltildi.
    • pyspark.mlTablo ACL 'sinde ve kimlik bilgisi geçiş etkinleştirilmiş kümelerinde Scala UDF yasak hatası nedeniyle kitaplıkların başarısız olduğu bir sorun düzeltildi.
    • Allowlistelenmiş SerDe ve kimlik bilgisi geçişi için SerDeUtil yöntemleri.
    • ILB istemcisinde hata kodu denetlenirken sabit NullPointerException düzeltildi.
  • 24 Eyl, 2019

    • Parquet yazıcısının iyileştirilen kararlılığı.
    • Yürütme başlamadan önce sorgu iptal eden sorun, BAŞLATıLMıŞ durumda kalmış olabilir.
  • 10 Eyl, 2019

    • BytesToBytesMap 'e iş parçacığı güvenli Yineleyici ekleme
    • [Spark-27992][Spark-28881]Python 'un hataları yaymaya yönelik bağlantı iş parçacığına katılmasına izin ver
    • Belirli genel toplama sorgularını etkileyen bir hata düzeltildi.
    • Geliştirilmiş kimlik bilgisi redaksiyon.
    • [Spark-27330][ss] foreach yazıcısında Görev iptali desteği
    • [Spark-28642] CREATE TABLE göster ' de kimlik bilgilerini gizle
    • [Spark-28699][SQL] spleexchangeexec için taban sıralaması kullanmayı yeniden bölümleme durumunda devre dışı bırak
  • 27 Ağu 2019

    • [Spark-20906][SQL] şema kayıt defteriyle API to_avro Kullanıcı tarafından belirtilen şemaya izin ver
    • [Spark-27838][SQL] Kullanıcı, null bir kayıt olmadan Nullable Catalyst şeması için null atanamaz avro şeması sağladı
    • Delta Gölü zaman yolculuğu geliştirme
    • Belirli bir ifadeyi etkileyen bir sorun düzeltildi transform
    • Işlem yalıtımı etkinleştirildiğinde yayın değişkenlerini destekler
  • 13 Ağu, 2019

    • Delta akış kaynağı bir tablonun en son protokolünü denetlemelidir
    • [Spark-28260] ExecutionState 'e kapalı durum ekleme
    • [Spark-28489][ss] KafkaOffsetRangeCalculator. GetRanges 'in bırakma farklarını etkileyebilecek bir hatayı düzeltir
  • 30 Temmuz 2019

    • [Spark-28015][SQL] Check stringToDate (), yyyy ve yyyy-[d] d biçimleri için tüm girişi kullanır
    • [Spark-28308][Core] calendarınterval alt ikinci bölümü ayrıştırmadan önce doldurulmuştur
    • [Spark-27485] EnsureRequirements. yeniden düzenleme yinelenen ifadeleri düzgün şekilde işlemelidir
    • [Spark-28355][Core] [Python] UDF 'nin yayınla sıkıştırıldığı eşik için Spark conf kullanın

Databricks hafif 2,4

Bkz. Databricks Light 2,4.

  • 30 Nis 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-35227][derleme] mini göndermesinde Spark-Packages için çözümleyici 'yi güncelleştirme
  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    1. ara, 2020
    • [Spark-27421][SQL] bölüm sütunu ayıklanması sırasında int sütunu ve değer sınıfı Java. lang. String Için filtreyi çözme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Aralık 2020

  • [Spark-33260][SQL] SortOrder Stream olduğunda SortExec 'den hatalı sonuçları düzeltir

  • 3 Kasım 2020

    • Java sürümü 1.8.0 _252 ' den 1.8.0 _265 ' e yükseltilir.
    • Usergroupınformation. getCurrentUser () ile ilgili olarak ABFS ve edb kilitlemeyi düzeltir
  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.

Desteklenmeyen Databricks Runtime sürümleri

Desteklenmeyen Databricks Runtime sürümleri için bakım güncelleştirmeleri:

Özgün sürüm notları için alt başlığın altındaki bağlantıyı izleyin.

Databricks Runtime 7,4 ( desteklenmiyor)

Bkz. Databricks Runtime 7,4 (desteklenmiyor).

  • 30 Nis 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-35227][derleme] mini göndermesinde Spark-Packages için çözümleyici 'yi güncelleştirme
    • [Spark-34245][Core] ana yöneticinin tamamlanmış durumu gönderemediği yürüticileri kaldırdığından emin olun
    • [Spark-35045][SQL] univocity içinde giriş arabelleğini denetlemek için bir iç seçenek ve CSV giriş arabelleği boyutu için bir yapılandırma
  • 24 Mar, 2021

    • [Spark-34768][SQL] Univocity içindeki varsayılan giriş arabelleği boyutuna saygı
    • [Spark-34534] Blokları getirmek için Fetchkılet 'i kullanırken blockIds sırasını düzeltir
  • 9 Mar, 2021

    • Azure Data Lake Storage 2. için güncelleştirilmiş Azure blob dosya sistemi sürücüsü artık varsayılan olarak etkinleştirilmiştir. Birden çok kararlılık geliştirmesi getirir.
    • [ES-67926] 'SıNı Spark DAG görselleştirmesinin HREF bağlantısını çözme
    • [ES-65064] Çıkış şemasını geri yükleme SHOW DATABASES
    • [SC-70522] SQL Range JOIN ipucu mevcut olduğunda doğru dinamik ayıklama derleme anahtarını kullan
    • [SC-35081] Delta önbelleğindeki Delta tablosu dosyaları için leklik denetimini devre dışı bırak
    • [SC-70640] EventGridClient yanıtında varlık olmadığında NPE 'yi düzeltir
    • [SC-70220] SQL AOS etkinleştirildiğinde karışık bölüm numarası önerisi oluşturma
  • 24 Şub, 2021

    • Spark BigQuery bağlayıcısını, çeşitli hata düzeltmeleri ve ok ve avro yineleyiciler için destek sunan v 0.18 sürümüne yükselttiniz.
    • Parquet dosyasının ondalık duyarlık ve ölçeği Spark şemadan farklı olduğunda Spark 'ın yanlış sonuçlar döndürmesine neden olan doğruluk sorunu düzeltildi.
    • Spark SQL için geometri ve Coğrafya JDBC türleri desteği eklenerek uzamsal veri türleri içeren Microsoft SQL Server tablolarda düzeltilen okuma hatası sorunu.
    • Yeni bir yapılandırma sunuldu spark.databricks.hive.metastore.init.reloadFunctions.enabled . Bu yapılandırma, yerleşik Hive başlatmayı denetler. True olarak ayarlandığında, Azure Databricks tüm işlevleri kullanıcıların sahip olduğu tüm veritabanlarından yeniden yükler FunctionRegistry . Bu, Hive meta veri deposu için varsayılan davranıştır. False olarak ayarlandığında Azure Databricks iyileştirme için bu işlemi devre dışı bırakır.
    • [Spark-34212] Parquet dosyalarından ondalık verilerin okunmayla ilgili sorunlar düzeltildi.
    • [Spark-33579][UI] proxy 'nin arkasındaki yürütücü boş sayfasını düzeltir.
    • [Spark-20044][UI] bir yol öneki kullanarak ön uç ters proxy 'Nin arkasında Spark Kullanıcı arabirimini destekler.
    • [Spark-33277][pyspark] [SQL] görev bittikten sonra kullanmayı durdurmak Için Contextawareyineleyici kullanın.
  • 4 Şubat 2021

    • Gibi genel bir sınır ayarlayan sorgunun artımlı yürütülmesini engelleyen bir gerileme düzeltildi SELECT * FROM table LIMIT nrows . Gerileme, ok serileştirme etkin ile ODBC/JDBC aracılığıyla sorguları çalıştıran kullanıcılar tarafından deneyimiydi.
    • Küme ortamı değişken yapılandırmalarında, geçersiz Bash sözdizimi içerdiğinde DBFS SIGORTASı 'nın başlayamasına neden olan bir gerileme düzeltildi.
  • 20 Ocak 2021

    • 12 Ocak 2021 bakım sürümünde yanlış bir Analvsexception oluşmasına neden olabilecek bir gerileme düzeltildi ve sütunun kendine bir birleşimde belirsiz olması söylenmiştir. Bu gerileme, bir Kullanıcı bir veri çerçevesini, türetilen veri çerçevesi (yani, kendi kendine birleştirme denir) ile aşağıdaki koşullara katıldığında meydana gelir:
      • Bu iki veri çerçevesi ortak sütunlara sahiptir, ancak kendi kendine birleşimin çıktısının ortak sütunları yoktur. Örneğin, df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş veri çerçevesi bazı sütunları Select, groupBy veya pencere aracılığıyla dışlar.
      • Birleştirilmiş veri çerçevesi, ortak olmayan sütunlara başvurur. Örneğin, df.join(df.drop("a"), df("a") === 1)
  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-33593][SQL] vektör okuyucu ikili bölüm değeri ile yanlış veri aldı
    • [Spark-33677][SQL] Eğer bir escapeChar içeriyorsa LikeSimplification kuralını atlayın
    • [Spark-33071][Spark-33536] [SQL] bir logicalplan dataset_id, JOIN () içinde DetectAmbiguousSelfJoin olmayan bir şekilde değiştirmekten kaçının
    1. ara, 2020
    • [Spark-33587][Core] iç içe geçmiş önemli hatalarda yürütücü sonlandırma
    • [Spark-27421][SQL] bölüm sütunu ayıklanması sırasında int sütunu ve değer sınıfı Java. lang. String Için filtreyi çözme
    • [Spark-33316][SQL] Kullanıcı, avro yazma içinde null yapılamayan Catalyst şeması için null yapılabilir avro şeması sağladı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Aralık 2020

    • [Spark-33404][SQL] [3.0] ifadede hatalı sonuçları düzeltir date_trunc
    • [Spark-33339][Python] pyspark uygulaması, özel durum olmayan hata nedeniyle askıda kalıyor
    • [Spark-33183][SQL] [Düzeltme] Iyileştirici kuralını düzeltme EliminateSorts ve gereksiz sıralamayı kaldırmak için bir fiziksel kural ekleyin
    • [Spark-33371][Python] [3.0] Python 3,9 için Setup.py ve Testleri güncelleştirme
    • [Spark-33391][SQL] bir tabanlı dizine göre değil, createarray ile element_at.
    • [Spark-33306][SQL] zaman dilimine dönüştürme tarihi dizeye ayarlandığında gereklidir
    • [Spark-33260][SQL] SortOrder Stream olduğunda SortExec 'den hatalı sonuçları düzeltir
    • [Spark-33272][SQL] QueryPlan. transformUpWithNewOutput içindeki öznitelik eşlemesini Ayıkla

Databricks Runtime 7,2 ( desteklenmiyor)

Bkz. Databricks Runtime 7,2 (desteklenmiyor).

  • 4 Şubat 2021

    • Gibi genel bir sınır ayarlayan sorgunun artımlı yürütülmesini engelleyen bir gerileme düzeltildi SELECT * FROM table LIMIT nrows . Gerileme, ok serileştirme etkin ile ODBC/JDBC aracılığıyla sorguları çalıştıran kullanıcılar tarafından deneyimiydi.
    • Küme ortamı değişken yapılandırmalarında, geçersiz Bash sözdizimi içerdiğinde DBFS SIGORTASı 'nın başlayamasına neden olan bir gerileme düzeltildi.
  • 20 Ocak 2021

    • 12 Ocak 2021 bakım sürümünde yanlış bir Analvsexception oluşmasına neden olabilecek bir gerileme düzeltildi ve sütunun kendine bir birleşimde belirsiz olması söylenmiştir. Bu gerileme, bir Kullanıcı bir veri çerçevesini, türetilen veri çerçevesi (yani, kendi kendine birleştirme denir) ile aşağıdaki koşullara katıldığında meydana gelir:
      • Bu iki veri çerçevesi ortak sütunlara sahiptir, ancak kendi kendine birleşimin çıktısının ortak sütunları yoktur. Örneğin, df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş veri çerçevesi bazı sütunları Select, groupBy veya pencere aracılığıyla dışlar.
      • Birleştirilmiş veri çerçevesi, ortak olmayan sütunlara başvurur. Örneğin, df.join(df.drop("a"), df("a") === 1)
  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-33593][SQL] vektör okuyucu ikili bölüm değeri ile yanlış veri aldı
    • [Spark-33677][SQL] Eğer bir escapeChar içeriyorsa LikeSimplification kuralını atlayın
    • [Spark-33071][Spark-33536] [SQL] bir logicalplan dataset_id, JOIN () içinde DetectAmbiguousSelfJoin olmayan bir şekilde değiştirmekten kaçının
    1. ara, 2020
    • [Spark-27421][SQL] bölüm sütunu ayıklanması sırasında int sütunu ve değer sınıfı Java. lang. String Için filtreyi çözme
    • [Spark-33404][SQL] ifadede hatalı sonuçları düzeltir date_trunc
    • [Spark-33339][Python] pyspark uygulaması, özel durum olmayan hata nedeniyle askıda kalıyor
    • [Spark-33183][SQL] Iyileştirici kuralını giderme EliminateSorts ve gereksiz sıralamayı kaldırmak için bir fiziksel kural ekleyin
    • [Spark-33391][SQL] bir tabanlı dizine göre değil, createarray ile element_at.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Aralık 2020

    • [Spark-33306][SQL] zaman dilimine dönüştürme tarihi dizeye ayarlandığında gereklidir
    • [Spark-33260][SQL] SortOrder Stream olduğunda SortExec 'den hatalı sonuçları düzeltir
  • 3 Kasım 2020

    • Java sürümü 1.8.0 _252 ' den 1.8.0 _265 ' e yükseltilir.
    • Usergroupınformation. getCurrentUser () ile ilgili olarak ABFS ve edb kilitlemeyi düzeltir
    • MAGıC bytes okunurken avro Reader 'ın sonsuz döngü hatasını düzeltir.
  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-32999][SQL] TreeNode Içinde hatalı biçimlendirilmiş sınıf adına vurmamak için Utils. getSimpleName kullanın
    • SIGORTA bağlamadaki, geçersiz XML karakterleri içeren dosya adlarını içeren sabit liste dizinleri
    • SIGORTASı bağlama artık Listmultipartyüklemelerini kullanmaz
  • 29 Eyl, 2020

    • [Spark-28863][SQL] [warmdüzeltmesini] V1FallbackWriters 'in yeniden analizini engellemek Için Alreadyoptimlanmış
    • [Spark-32635][SQL] çözüm katlayıp yayma
    • Yeni bir yapılandırma ekleyin spark.shuffle.io.decoder.consolidateThreshold . Yapılandırma değerini Long.MAX_VALUE , köşe durumlarında engel olan Netty FrameBuffers birleştirmeyi atlayacak şekilde ayarlayın java.lang.IndexOutOfBoundsException .
  • 24 Eyl, 2020

    • [Spark-32764][SQL]-0,0, 0,0 ' e eşit olmalıdır
    • [Spark-32753][SQL] yalnızca, planları dönüştürürken etiketleri olmayan düğüme Kopyala
    • [Spark-32659][SQL] atomik olmayan türde ekli dinamik bölüm ayıklamasına ilişkin veri sorununu düzeltir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Eyl, 2020

    • Azure SYNAPSE Analytics için yeni bir parametre oluşturuldu maxbinlength . Bu parametre, BinaryType sütunlarının sütun uzunluğunu denetlemek için kullanılır ve olarak çevrilir VARBINARY(maxbinlength) . Kullanılarak ayarlanabilir .option("maxbinlength", n) , burada 0 < n <= 8000.

Databricks Runtime 7,1 ( desteklenmiyor)

Bkz. Databricks Runtime 7,1 (desteklenmiyor).

  • 4 Şubat 2021

    • Küme ortamı değişken yapılandırmalarında, geçersiz Bash sözdizimi içerdiğinde DBFS SIGORTASı 'nın başlayamasına neden olan bir gerileme düzeltildi.
  • 20 Ocak 2021

    • 12 Ocak 2021 bakım sürümünde yanlış bir Analvsexception oluşmasına neden olabilecek bir gerileme düzeltildi ve sütunun kendine bir birleşimde belirsiz olması söylenmiştir. Bu gerileme, bir Kullanıcı bir veri çerçevesini, türetilen veri çerçevesi (yani, kendi kendine birleştirme denir) ile aşağıdaki koşullara katıldığında meydana gelir:
      • Bu iki veri çerçevesi ortak sütunlara sahiptir, ancak kendi kendine birleşimin çıktısının ortak sütunları yoktur. Örneğin, df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş veri çerçevesi bazı sütunları Select, groupBy veya pencere aracılığıyla dışlar.
      • Birleştirilmiş veri çerçevesi, ortak olmayan sütunlara başvurur. Örneğin, df.join(df.drop("a"), df("a") === 1)
  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-33593][SQL] vektör okuyucu ikili bölüm değeri ile yanlış veri aldı
    • [Spark-33677][SQL] Eğer bir escapeChar içeriyorsa LikeSimplification kuralını atlayın
    • [Spark-33071][Spark-33536] [SQL] bir logicalplan dataset_id, JOIN () içinde DetectAmbiguousSelfJoin olmayan bir şekilde değiştirmekten kaçının
    1. ara, 2020
    • [Spark-27421][SQL] bölüm sütunu ayıklanması sırasında int sütunu ve değer sınıfı Java. lang. String Için filtreyi çözme
    • Databricks Connect kullanılarak başlatılan Spark Işleri, Executor$TaskRunner.$anonfun$copySessionState yürütücü yığın izlemede sonsuza kadar askıda kalabilir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Aralık 2020

    • [Spark-33404][SQL] [3.0] ifadede hatalı sonuçları düzeltir date_trunc
    • [Spark-33339][Python] pyspark uygulaması, özel durum olmayan hata nedeniyle askıda kalıyor
    • [Spark-33183][SQL] [Düzeltme] Iyileştirici kuralını düzeltme EliminateSorts ve gereksiz sıralamayı kaldırmak için bir fiziksel kural ekleyin
    • [Spark-33371][Python] [3.0] Python 3,9 için Setup.py ve Testleri güncelleştirme
    • [Spark-33391][SQL] bir tabanlı dizine göre değil, createarray ile element_at.
    • [Spark-33306][SQL] zaman dilimine dönüştürme tarihi dizeye ayarlandığında gereklidir
  • 3 Kasım 2020

    • Java sürümü 1.8.0 _252 ' den 1.8.0 _265 ' e yükseltilir.
    • Usergroupınformation. getCurrentUser () ile ilgili olarak ABFS ve edb kilitlemeyi düzeltir
    • MAGıC bytes okunurken avro Reader 'ın sonsuz döngü hatasını düzeltir.
  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-32999][SQL] TreeNode Içinde hatalı biçimlendirilmiş sınıf adına vurmamak için Utils. getSimpleName kullanın
    • SIGORTA bağlamadaki, geçersiz XML karakterleri içeren dosya adlarını içeren sabit liste dizinleri
    • SIGORTASı bağlama artık Listmultipartyüklemelerini kullanmaz
  • 29 Eyl, 2020

    • [Spark-28863][SQL] [warmdüzeltmesini] V1FallbackWriters 'in yeniden analizini engellemek Için Alreadyoptimlanmış
    • [Spark-32635][SQL] çözüm katlayıp yayma
    • Yeni bir yapılandırma ekleyin spark.shuffle.io.decoder.consolidateThreshold . Yapılandırma değerini Long.MAX_VALUE , köşe durumlarında engel olan Netty FrameBuffers birleştirmeyi atlayacak şekilde ayarlayın java.lang.IndexOutOfBoundsException .
  • 24 Eyl, 2020

    • [Spark-32764][SQL]-0,0, 0,0 ' e eşit olmalıdır
    • [Spark-32753][SQL] yalnızca, planları dönüştürürken etiketleri olmayan düğüme Kopyala
    • [Spark-32659][SQL] atomik olmayan türde ekli dinamik bölüm ayıklamasına ilişkin veri sorununu düzeltir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Eyl, 2020

    • Azure SYNAPSE Analytics için yeni bir parametre oluşturuldu maxbinlength . Bu parametre, BinaryType sütunlarının sütun uzunluğunu denetlemek için kullanılır ve olarak çevrilir VARBINARY(maxbinlength) . Kullanılarak ayarlanabilir .option("maxbinlength", n) , burada 0 < n <= 8000.
  • 25 Ağu, 2020

    • [Spark-32159][SQL] ile arasındaki tümleştirmeyi düzeltir Aggregator[Array[_], _, _]````UnresolvedMapObjects
    • [Spark-32559][SQL] IÇINDE UTF8String.toInt/toLong , ASCII olmayan karakterleri doğru bir şekilde işleyemeyen Içindeki kırpma mantığını düzeltir
    • [Spark-32543][R] arrow::as_tibble parlak R 'de kullanımı kaldırma
    • [Spark-32091][Core] kayıp yürütücü üzerindeki blokları kaldırırken zaman aşımı hatasını yoksay
    • MSI kimlik bilgileriyle Azure SYNAPSE bağlayıcısını etkileyen bir sorun düzeltildi
    • Kendi kendine birleştirme işleminde belirsiz öznitelik çözümlemesi düzeltildi
  • 18 Ağu 2020

    • [Spark-32594][SQL] Hive tablolarına eklenmekte olan tarihlerin serileştirmesini onarma
    • [Spark-32237][SQL] CTE 'Deki ipucu çözümleme
    • [Spark-32431][SQL] yerleşik veri kaynaklarında okunan yinelenen iç Içe sütunları denetleyin
    • [Spark-32467][UI] https yeniden YÖNLENDIRMESINDEN URL 'yi iki kez kodlamadan kaçının
    • Tetikleyici kullanılırken AQS bağlayıcısında bir yarış durumu düzeltildi. bir kez.
  • 11 Ağu, 2020

    • [Spark-32280][Spark-32372][SQL] resolvereferler. dedupright yalnızca çakışma planının üst düğümlerinin özniteliklerini yeniden yazmalıdır
    • [Spark-32234][SQL] Spark SQL komutları orc tablolarını seçme sırasında başarısız oluyor
  • 3 Ağu, 2020

    • Artık, bir PASSTHROUGH özellikli kümede LDA dönüştürme işlevini kullanabilirsiniz.

Databricks Runtime 7,0 ( desteklenmiyor)

Bkz. Databricks Runtime 7,0 (desteklenmiyor).

  • 4 Şubat 2021

    • Küme ortamı değişken yapılandırmalarında, geçersiz Bash sözdizimi içerdiğinde DBFS SIGORTASı 'nın başlayamasına neden olan bir gerileme düzeltildi.
  • 20 Ocak 2021

    • 12 Ocak 2021 bakım sürümünde yanlış bir Analvsexception oluşmasına neden olabilecek bir gerileme düzeltildi ve sütunun kendine bir birleşimde belirsiz olması söylenmiştir. Bu gerileme, bir Kullanıcı bir veri çerçevesini, türetilen veri çerçevesi (yani, kendi kendine birleştirme denir) ile aşağıdaki koşullara katıldığında meydana gelir:
      • Bu iki veri çerçevesi ortak sütunlara sahiptir, ancak kendi kendine birleşimin çıktısının ortak sütunları yoktur. Örneğin, df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş veri çerçevesi bazı sütunları Select, groupBy veya pencere aracılığıyla dışlar.
      • Birleştirilmiş veri çerçevesi, ortak olmayan sütunlara başvurur. Örneğin, df.join(df.drop("a"), df("a") === 1)
  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-33593][SQL] vektör okuyucu ikili bölüm değeri ile yanlış veri aldı
    • [Spark-33677][SQL] Eğer bir escapeChar içeriyorsa LikeSimplification kuralını atlayın
    • [Spark-33071][Spark-33536] [SQL] bir logicalplan dataset_id, JOIN () içinde DetectAmbiguousSelfJoin olmayan bir şekilde değiştirmekten kaçının
    1. ara, 2020
    • [Spark-27421][SQL] bölüm sütunu ayıklanması sırasında int sütunu ve değer sınıfı Java. lang. String Için filtreyi çözme
    • [Spark-33404][SQL] ifadede hatalı sonuçları düzeltir date_trunc
    • [Spark-33339][Python] pyspark uygulaması, özel durum olmayan hata nedeniyle askıda kalıyor
    • [Spark-33183][SQL] Iyileştirici kuralını giderme EliminateSorts ve gereksiz sıralamayı kaldırmak için bir fiziksel kural ekleyin
    • [Spark-33391][SQL] bir tabanlı dizine göre değil, createarray ile element_at.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Aralık 2020

    • [Spark-33306][SQL] zaman dilimine dönüştürme tarihi dizeye ayarlandığında gereklidir
  • 3 Kasım 2020

    • Java sürümü 1.8.0 _252 ' den 1.8.0 _265 ' e yükseltilir.
    • Usergroupınformation. getCurrentUser () ile ilgili olarak ABFS ve edb kilitlemeyi düzeltir
    • MAGıC bytes okunurken avro Reader 'ın sonsuz döngü hatasını düzeltir.
  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [Spark-32999][SQL] TreeNode Içinde hatalı biçimlendirilmiş sınıf adına vurmamak için Utils. getSimpleName kullanın
    • SIGORTA bağlamadaki, geçersiz XML karakterleri içeren dosya adlarını içeren sabit liste dizinleri
    • SIGORTASı bağlama artık Listmultipartyüklemelerini kullanmaz
  • 29 Eyl, 2020

    • [Spark-28863][SQL] [warmdüzeltmesini] V1FallbackWriters 'in yeniden analizini engellemek Için Alreadyoptimlanmış
    • [Spark-32635][SQL] çözüm katlayıp yayma
    • Yeni bir yapılandırma ekleyin spark.shuffle.io.decoder.consolidateThreshold . Yapılandırma değerini Long.MAX_VALUE , köşe durumlarında engel olan Netty FrameBuffers birleştirmeyi atlayacak şekilde ayarlayın java.lang.IndexOutOfBoundsException .
  • 24 Eylül 2020

    • [SPARK-32764][SQL] -0.0, 0,0'a eşit olmalı
    • [SPARK-32753][SQL] Planları dönüştürerek etiketleri yalnızca etiket olmayan düğümlere kopyalama
    • [SPARK-32659][SQL] Atomik olmayan türe eklenen Dinamik Bölüm Ayıklama veri sorunu giderildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Eylül 2020

    • Azure Synapse Analytics için yeni bir parametre maxbinlength oluşturuldu. Bu parametre, BinaryType sütunlarının sütun uzunluğunu kontrol etmek için kullanılır ve olarak VARBINARY(maxbinlength) çevrilir. 0 veya n < .option("maxbinlength", n) = 8000 <kullanılarak ayarlanır.
  • 25 Ağustos 2020

    • [SPARK-32159][SQL] ile arasındaki Aggregator[Array[_], _, _] tümleştirmeyi düzeltme UnresolvedMapObjects
    • [SPARK-32559][SQL] IÇINDE ASCII olmayan karakterleri doğru şekilde işlemeyen kırpma UTF8String.toInt/toLong mantığını düzeltme
    • [SPARK-32543][R] arrow::as_tibble SparkR'de kullanımı kaldırma
    • [SPARK-32091] [CORE]Kayıp yürütücüde blokları kaldıran zaman aşımı hatasını yoksay
    • MSI kimlik bilgileriyle Azure Synapse etkileyen bir sorun düzeltildi
    • Kendi kendine birleştirmede belirsiz öznitelik çözümlemesi düzeltildi
  • 18 Ağustos 2020

    • [SPARK-32594][SQL] Hive tablolarına eklenen tarihlerin serileştirmesi düzeltildi
    • [SPARK-32237][SQL] CTE'de ipucunu çözümleme
    • [SPARK-32431] [SQL]Yerleşik veri kaynaklarından okumada yinelenen iç içe sütunları denetleme
    • [SPARK-32467] [UI]HTTPS yeniden yönlendirmede URL kodlamasını iki kez önleme
    • Trigger.Once kullanırken AQS bağlayıcısı içinde yarış durumu düzeltildi.
  • 11 Ağustos 2020

    • [SPARK-32280][SPARK-32372] [SQL]ResolveReferences.dedupRight yalnızca çakışma planının üst düğümleri için öznitelikleri yeniden yazmalıdır
    • [SPARK-32234][SQL] Spark SQL komutları ORC tablolarını seçme konusunda başarısız oluyor
    • Artık geçiş özellikli bir kümede LDA dönüştürme işlevini kullanabilirsiniz.

Databricks Runtime 6.6 (Desteklenmiyor)

Bkz. Databricks Runtime 6.6 (Desteklenmiyor).

  • 1 Ara 2020

  • 3 Kasım 2020

    • Java sürümü 1.8.0_252'den 1.8.0_265'e yükseltildi.
    • UserGroupInformation.getCurrentUser() ile ilgili ABFS ve WASB kilitlemesi düzeltildi
    • MAGIC baytlarını okurken Avro okuyucuslarının sonsuz döngü hatası düzeltildi.
  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-32999][SQL][2.4] TreeNode'da Yanlış Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
    • Fuse bağlaması içinde geçersiz XML karakterleri içeren dosya adları içeren dizinlerin listelenmiş listesi düzeltildi
    • FUSE bağlaması artık ListMultipartUploads kullanmaz
  • 24 Eylül 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Eylül 2020

    • Azure Synapse Analytics için yeni bir parametre maxbinlength oluşturuldu. Bu parametre, BinaryType sütunlarının sütun uzunluğunu kontrol etmek için kullanılır ve olarak VARBINARY(maxbinlength) çevrilir. 0 veya n < .option("maxbinlength", n) = 8000 <kullanılarak ayarlanır.
    • Azure Depolama SDK'sı 8.6.4 sürümüne güncelleştirildi ve WASB sürücüsü tarafından yapılan bağlantılarda TCP etkin tutma özelliği etkinleştirildi
  • 25 Ağustos 2020

    • Kendi kendine birleştirmede belirsiz öznitelik çözümlemesi düzeltildi
  • 18 Ağustos 2020

    • [SPARK-32431] [SQL]Yerleşik veri kaynaklarından okumada yinelenen iç içe sütunları denetleme
    • Trigger.Once kullanırken AQS bağlayıcısı içinde yarış durumu düzeltildi.
  • 11 Ağustos 2020

    • [SPARK-28676][CORE] ContextCleaner'dan aşırı günlük kaydından kaçının
    • [SPARK-31967][UI] İşler kullanıcı arabirimi yükleme süresi regresyonunu düzeltmek için vis.js 4.21.0'a düşürme
  • 3 Ağustos 2020

    • Artık geçiş özellikli bir kümede LDA dönüştürme işlevini kullanabilirsiniz.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 6.5 (Desteklenmiyor)

Bkz. Databricks Runtime 6.5 (Desteklenmiyor).

  • 24 Eylül 2020
    • Standart kümede geçişin yine de dosya sistemi uygulama kullanıcılarının kullandığı kısıtlamaya neden olduğu bir sınırlama düzeltildi. Artık kullanıcılar kısıtlama olmadan yerel dosya sistemlerine erişime sahip olabilir.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Eylül 2020
    • Azure Synapse Analytics için yeni bir parametre maxbinlength oluşturuldu. Bu parametre, BinaryType sütunlarının sütun uzunluğunu kontrol etmek için kullanılır ve olarak VARBINARY(maxbinlength) çevrilir. 0 veya n < .option("maxbinlength", n) = 8000 <kullanılarak ayarlanır.
    • Azure Depolama SDK'sı 8.6.4 sürümüne güncelleştirildi ve WASB sürücüsü tarafından yapılan bağlantılarda TCP etkin tutma özelliği etkinleştirildi
  • 25 Ağustos 2020
    • Kendi kendine birleştirmede belirsiz öznitelik çözümlemesi düzeltildi
  • 18 Ağustos 2020
    • [SPARK-32431] [SQL]Yerleşik veri kaynaklarından okumada yinelenen iç içe sütunları denetleme
    • Trigger.Once kullanırken AQS bağlayıcısı içinde yarış durumu düzeltildi.
  • 11 Ağustos 2020
    • [SPARK-28676][CORE] ContextCleaner'dan aşırı günlük kaydından kaçının
  • 3 Ağustos 2020
    • Artık geçiş özellikli bir kümede LDA dönüştürme işlevini kullanabilirsiniz.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 7 Temmuz 2020
    • Java sürümü 1.8.0_242'den 1.8.0_252'ye yükseltildi.
  • 21 Nisan 2020
    • [SPARK-31312][SQL] HiveFunctionWrapper'da UDF örneği için Önbellek Sınıfı örneği

Databricks Runtime 6.3 (Desteklenmiyor)

Bkz. Databricks Runtime 6.3 (Desteklenmiyor).

  • 7 Temmuz 2020
    • Java sürümü 1.8.0_232'den 1.8.0_252'ye yükseltildi.
  • 21 Nisan 2020
    • [SPARK-31312][SQL] HiveFunctionWrapper'da UDF örneği için Önbellek Sınıfı örneği
  • 7 Nisan 2020
    • pandas udf'nin PyArrow 0.15.0 ve üzeri sürümlerle çalışmama sorununu çözmek için, bu PyArrow sürümleri için desteği etkinleştirmek üzere bir ortam değişkeni ( ARROW_PRE_0_15_IPC_FORMAT=1 ) ekledik. [SPARK-29367] içinde yönergelere bakın.
  • 10 Mart 2020
    • Databricks Runtime'a dahil edilen Snowflake bağlayıcısı ( spark-snowflake_2.11 ), 2.5.9 sürümüne güncelleştirilmiştir. snowflake-jdbc 3.12.0 sürümüne güncelleştirildi.
  • 18 Şubat 2020
    • ADLS istemci ADLS 2. Nesil etkinleştirildiğinde yanlış iş parçacığı yerel işleme nedeniyle kimlik bilgisi geçişinin performans düşüşü var. Bu sürüm, ADLS 2. Nesil düzeltmesi yapılana kadar kimlik bilgisi geçişi etkinleştirildiğinde önyüklenecek önyükleyi devre dışı bırakıyor.
  • 11 Şubat 2020
    • [SPARK-24783] [SQL]spark.sql.shuffle.partitions=0 özel durum oluşturmalı
    • [SPARK-30447][SQL] Sabit yayma null kullanılabilirliği sorunu
    • [SPARK-28152] [SQL]Eski MsSqlServerDialect sayısal eşlemesi için eski bir conf ekleme
    • MLModel'ler MLWriter'ın işlevini çağırarak genişletmesi için üzerine yazma işlevini izin verdi.

Databricks Runtime 6.2 (Desteklenmiyor)

Bkz. Databricks Runtime 6.2 (Desteklenmiyor).

  • 21 Nisan 2020
    • [SPARK-31312][SQL] HiveFunctionWrapper'da UDF örneği için Önbellek Sınıfı örneği
  • 7 Nisan 2020
    • pandas udf'nin PyArrow 0.15.0 ve üzeri sürümlerle çalışmama sorununu çözmek için, bu PyArrow sürümleri için desteği etkinleştirmek üzere bir ortam değişkeni ( ARROW_PRE_0_15_IPC_FORMAT=1 ) ekledik. [SPARK-29367] içinde yönergelere bakın.
  • 25 Mart 2020
    • stdout'a yayılan günlük çıkışı gibi iş çıktısı 20 MB boyut sınırına tabi olur. Toplam çıktının boyutu daha büyükse, çalıştırma iptal edilir ve başarısız olarak işaretlenir. Bu sınırla karşılaşmamak için, Spark yapılandırmasını olarak ayarerek stdout'ın sürücüden 'ye spark.databricks.driver.disableScalaOutput döndürülerek önüne true geçebilirsiniz. Varsayılan olarak bayrak değeri false olur. Bayrağı, Scala JAR işleri ve Scala not defterleri için hücre çıkışını kontrol eder. Bayrak etkinse Spark, istemciye iş yürütme sonuçları geri dönmez. bayrağı, kümenin günlük dosyalarında yazılan verileri etkilemez. Not defteri sonuçlarını devre dışı bırakmayacak olduğundan, bu bayrağın ayarı yalnızca JAR işleri için otomatik kümeler için önerilir.
  • 10 Mart 2020
    • Databricks Runtime'a dahil edilen Snowflake bağlayıcısı ( spark-snowflake_2.11 ), 2.5.9 sürümüne güncelleştirilmiştir. snowflake-jdbc 3.12.0 sürümüne güncelleştirildi.
  • 18 Şubat 2020
    • [SPARK-24783] [SQL]spark.sql.shuffle.partitions=0 özel durum oluşturmalı
    • ADLS istemci ADLS 2. Nesil etkinleştirildiğinde yanlış iş parçacığı yerel işleme nedeniyle kimlik bilgisi geçişinin performans düşüşü var. Bu sürüm, ADLS 2. Nesil düzeltmesi yapılana kadar kimlik bilgisi geçişi etkinleştirildiğinde önyüklenecek önyükleyi devre dışı bırakıyor.
  • 28 Ocak 2020
    • Model kaydetmenin kimlik bilgisi geçiş kümelerine üzerine yazma modunu kullana çalışması için kimlik bilgisi geçişi için etkinleştirilmiş kümeler için izin verli ml modeli yazıcıların üzerine yazma işlevi.
    • [SPARK-30447][SQL] Sabit yayma null kullanılabilirliği sorunu.
    • [SPARK-28152][SQL] Eski MsSqlServerDialect sayısal eşlemesi için eski bir conf ekleme.
  • 14 Ocak 2020
    • Java sürümü 1.8.0_222'den 1.8.0_232'ye yükseltildi.
  • 10 Ara 2019
    • [SPARK-29904][SQL] JSON/CSV veri kaynakları tarafından mikrosaniye duyarlığında zaman damgası ayrıştırıldı.

Databricks Runtime 6.1 (Desteklenmiyor)

Bkz. Databricks Runtime 6.1 (Desteklenmiyor).

  • 7 Nisan 2020
    • pandas udf'nin PyArrow 0.15.0 ve üzeri sürümlerle çalışmama sorununu çözmek için, bu PyArrow sürümleri için desteği etkinleştirmek üzere bir ortam değişkeni ( ARROW_PRE_0_15_IPC_FORMAT=1 ) ekledik. [SPARK-29367] içinde yönergelere bakın.
  • 25 Mart 2020
    • stdout'a yayılan günlük çıkışı gibi iş çıktısı 20 MB boyut sınırına tabi olur. Toplam çıktının boyutu daha büyükse, çalıştırma iptal edilir ve başarısız olarak işaretlenir. Bu sınırla karşılaşmamak için, Spark yapılandırmasını olarak ayarerek stdout'ın sürücüden 'ye spark.databricks.driver.disableScalaOutput döndürülerek önüne true geçebilirsiniz. Varsayılan olarak bayrak değeri false olur. Bayrağı, Scala JAR işleri ve Scala not defterleri için hücre çıkışını kontrol eder. Bayrak etkinse Spark, istemciye iş yürütme sonuçları geri dönmez. bayrağı, kümenin günlük dosyalarında yazılan verileri etkilemez. Not defteri sonuçlarını devre dışı bırakmayacak olduğundan, bu bayrağın ayarı yalnızca JAR işleri için otomatik kümeler için önerilir.
  • 10 Mart 2020
    • Databricks Runtime'a dahil edilen Snowflake bağlayıcısı ( spark-snowflake_2.11 ), 2.5.9 sürümüne güncelleştirilmiştir. snowflake-jdbc 3.12.0 sürümüne güncelleştirildi.
  • 18 Şubat 2020
    • [SPARK-24783] [SQL]spark.sql.shuffle.partitions=0 özel durum oluşturmalı
    • ADLS istemci ADLS 2. Nesil etkinleştirildiğinde yanlış iş parçacığı yerel işleme nedeniyle kimlik bilgisi geçişinin performans düşüşü var. Bu sürüm, ADLS 2. Nesil düzeltmesi yapılana kadar kimlik bilgisi geçişi etkinleştirildiğinde önyüklenecek önyükleyi devre dışı bırakıyor.
  • 28 Ocak 2020
    • [SPARK-30447][SQL] Sabit yayma null kullanılabilirliği sorunu.
    • [SPARK-28152][SQL] Eski MsSqlServerDialect sayısal eşlemesi için eski bir conf ekleme.
  • 14 Ocak 2020
    • Java sürümü 1.8.0_222'den 1.8.0_232'ye yükseltildi.
  • 7 Kasım 2019
  • 5 Kasım 2019
    • DBFS FUSE'de yolundaki bağlama noktalarını işlemeye neden olan // bir hata düzeltildi.
    • [SPARK-29081] Özelliklerde SerializationUtils.clone çağrılarını daha hızlı bir uygulamayla değiştirme
    • [SPARK-29244] [CORE]BytesToBytesMap'te boş sayfayı yeniden engelleme
    • (6.1 ML) Kitaplık mkl sürüm 2019.4, insoral olarak yüklendi. Anaconda Distribution 2019.03 ile eşleşmesi için mkl sürüm 2019.3'e düşürüldü.

Databricks Runtime 6.0 (Desteklenmiyor)

Bkz. Databricks Runtime 6.0 (Desteklenmiyor).

  • 25 Mart 2020
    • stdout'a yayılan günlük çıkışı gibi iş çıktısı 20 MB boyut sınırına tabi olur. Toplam çıktının boyutu daha büyükse, çalıştırma iptal edilir ve başarısız olarak işaretlenir. Bu sınırla karşılaşmamak için, Spark yapılandırmasını olarak ayarerek stdout'ın sürücüden 'ye spark.databricks.driver.disableScalaOutput döndürülerek önüne true geçebilirsiniz. Varsayılan olarak bayrak değeri false olur. Bayrağı, Scala JAR işleri ve Scala not defterleri için hücre çıkışını kontrol eder. Bayrak etkinse Spark, istemciye iş yürütme sonuçları geri dönmez. bayrağı, kümenin günlük dosyalarında yazılan verileri etkilemez. Not defteri sonuçlarını devre dışı bırakmayacak olduğundan, bu bayrağın ayarı yalnızca JAR işleri için otomatik kümeler için önerilir.
  • 18 Şubat 2020
    • ADLS istemci ADLS 2. Nesil etkinleştirildiğinde yanlış iş parçacığı yerel işleme nedeniyle kimlik bilgisi geçişinin performans düşüşü var. Bu sürüm, ADLS 2. Nesil düzeltmesi yapılana kadar kimlik bilgisi geçişi etkinleştirildiğinde önyüklenecek önyükleyi devre dışı bırakıyor.
  • 11 Şubat 2020
  • 28 Ocak 2020
    • [SPARK-30447][SQL] Sabit yayma null kullanılabilirliği sorunu.
    • [SPARK-28152][SQL] Eski MsSqlServerDialect sayısal eşlemesi için eski bir conf ekleme.
  • 14 Ocak 2020
    • Java sürümü 1.8.0_222'den 1.8.0_232'ye yükseltildi.
  • 19 Kasım 2019
    • [SPARK-29743] [SQL] örneğinde altta ihtiyacı doğruysa needCopyResult true olarak ayarlanmalıdır
  • 5 Kasım 2019
    • dbutils.tensorboard.start() artık TensorBoard 2.0'i destekliyor (el ile yüklüyse).
    • DBFS FUSE'de yolundaki bağlama noktalarını işlemeye neden olan // bir hata düzeltildi.
    • [SPARK-29081] Özelliklerde SerializationUtils.clone çağrılarını daha hızlı bir uygulamayla değiştirme
  • 23 Ekim 2019
  • 8 Ekim 2019
    • Sonuçları getirme sırasında bir bağlantı hatasından sonra SIBA Apache Spark ODBC sürücüsünün yeniden bağlanmasına ve devam etmesine izin veren sunucu tarafı değişiklikleri ( simba Apache Spark ODBC sürücüsü sürüm 2.6.10gerektirir).
    • OptimizeTablo ACL 'si etkinleştirilmiş kümeler ile komut kullanımı etkileyen bir sorun düzeltildi.
    • pyspark.mlTablo ACL 'sinde ve kimlik bilgisi geçiş etkinleştirilmiş kümelerinde Scala UDF yasak hatası nedeniyle kitaplıkların başarısız olduğu bir sorun düzeltildi.
    • Kimlik bilgisi geçişi için allowlistelenmiş SerDe/SerDeUtil yöntemleri.
    • ILB istemcisinde hata kodu denetlenirken sabit NullPointerException düzeltildi.
    • Kullanıcı kimlik bilgilerinin tarafından oluşturulan işlere iletilmeyen sorun düzeltildi dbutils.notebook.run() .

Databricks Runtime 5,4 ml ( desteklenmiyor)

Machine Learning için bkz. Databricks Runtime 5,4 (desteklenmeyen).

  • 18 Haz 2019
    • Hiperopt tümleştirmesinde MLflow etkin çalıştırmaları geliştirilmiş şekilde işleme
    • Hyperopt 'da geliştirilmiş iletiler
    • markdown3,1 'den 3.1.1 'e güncelleştirilmiş paket

Databricks Runtime 5,4 ( desteklenmiyor)

Bkz. Databricks Runtime 5,4 (desteklenmiyor).

  • 19 Kasım 2019
    • [Spark-29743] [SQL] örnek, alt öğesinin gerekli olan copyresult değeri true olduğunda, gereksiz copyresult değeri true olarak ayarlanmalıdır
  • 8 Ekim 2019
    • SIBA Apache Spark ODBC sürücüsünün sonuçları getirme sırasında bağlantı hatasından sonra yeniden bağlanmasına ve devam etmesine izin vermek için sunucu tarafı değişiklikleri (sürüm 2.6.10 için Simba Apache Spark ODBC sürücüsü güncelleştirmesi gerekir).
    • ILB istemcisinde hata kodu denetlenirken sabit NullPointerException düzeltildi.
  • 10 Eyl, 2019
    • BytesToBytesMap 'e iş parçacığı güvenli Yineleyici ekleme
    • Belirli genel toplama sorgularını etkileyen bir hata düzeltildi.
    • [Spark-27330][ss] foreach yazıcısında Görev iptali desteği
    • [Spark-28642] CREATE TABLE göster ' de kimlik bilgilerini gizle
    • [Spark-28699][SQL] spleexchangeexec için taban sıralaması kullanmayı yeniden bölümleme durumunda devre dışı bırak
    • [Spark-28699][Core] belirsiz aşamayı iptal etmek için bir köşe durumunu düzeltir
  • 27 Ağu 2019
    • Belirli ifadeleri etkileyen bir sorun düzeltildi transform
  • 13 Ağu, 2019
    • Delta akış kaynağı bir tablonun en son protokolünü denetlemelidir
    • [Spark-28489][ss] KafkaOffsetRangeCalculator. GetRanges 'in bırakma farklarını etkileyebilecek bir hatayı düzeltir
  • 30 Temmuz 2019
    • [Spark-28015][SQL] Check stringToDate (), yyyy ve yyyy-[d] d biçimleri için tüm girişi kullanır
    • [Spark-28308][Core] calendarınterval alt ikinci bölümü ayrıştırmadan önce doldurulmuştur
    • [Spark-27485] EnsureRequirements. yeniden düzenleme yinelenen ifadeleri düzgün şekilde işlemelidir
  • 2 Tem 2019
    • Snappy-Java, 1.1.7.1 'den 1.1.7.3 'e yükseltilir.
  • 18 Haz 2019
    • MLlib tümleştirmesinde MLflow etkin çalıştırmaları geliştirilmiş şekilde işleme
    • Delta önbelleğinin kullanılmasıyla ilgili iyileştirilmiş Databricks Advisor iletisi
    • Daha yüksek sıralı işlevleri kullanarak etkileyen bir hata düzeltildi
    • Delta meta veri sorgularını etkileyen bir hata düzeltildi

Databricks Runtime 5,3 ( desteklenmiyor)

Bkz. Databricks Runtime 5,3 (desteklenmiyor).

  • 7 Kasım 2019
    • [Spark-29743][SQL] örnek, alt öğesinin gerekli olan copyresult değeri true olduğunda, gereksiz copyresult değeri true olarak ayarlanmalıdır
  • 8 Ekim 2019
    • SIBA Apache Spark ODBC sürücüsünün sonuçları getirme sırasında bağlantı hatasından sonra yeniden bağlanmasına ve devam etmesine izin vermek için sunucu tarafı değişiklikleri (sürüm 2.6.10 için Simba Apache Spark ODBC sürücüsü güncelleştirmesi gerekir).
    • ILB istemcisinde hata kodu denetlenirken sabit NullPointerException düzeltildi.
  • 10 Eyl, 2019
    • BytesToBytesMap 'e iş parçacığı güvenli Yineleyici ekleme
    • Belirli genel toplama sorgularını etkileyen bir hata düzeltildi.
    • [Spark-27330][ss] foreach yazıcısında Görev iptali desteği
    • [Spark-28642] CREATE TABLE göster ' de kimlik bilgilerini gizle
    • [Spark-28699][SQL] spleexchangeexec için taban sıralaması kullanmayı yeniden bölümleme durumunda devre dışı bırak
    • [Spark-28699][Core] belirsiz aşamayı iptal etmek için bir köşe durumunu düzeltir
  • 27 Ağu 2019
    • Belirli ifadeleri etkileyen bir sorun düzeltildi transform
  • 13 Ağu, 2019
    • Delta akış kaynağı bir tablonun en son protokolünü denetlemelidir
    • [Spark-28489][ss] KafkaOffsetRangeCalculator. GetRanges 'in bırakma farklarını etkileyebilecek bir hatayı düzeltir
  • 30 Temmuz 2019
    • [Spark-28015][SQL] Check stringToDate (), yyyy ve yyyy-[d] d biçimleri için tüm girişi kullanır
    • [Spark-28308][Core] calendarınterval alt ikinci bölümü ayrıştırmadan önce doldurulmuştur
    • [Spark-27485] EnsureRequirements. yeniden düzenleme yinelenen ifadeleri düzgün şekilde işlemelidir
  • 18 Haz 2019
    • Delta önbelleğinin kullanılmasıyla ilgili iyileştirilmiş Databricks Advisor iletisi
    • Daha yüksek sıralı işlevleri kullanarak etkileyen bir hata düzeltildi
    • Delta meta veri sorgularını etkileyen bir hata düzeltildi
  • 28 Mayıs 2019
    • Delta kararlılığı geliştirildi
    • Delta LAST_CHECKPOINT dosyası okunurken ıoexceptions 'a tolerans yapın
      • Hatalı kitaplık yüklemesine kurtarma eklendi
  • 7 Mayıs 2019
    • Bağlantı noktası HADOOP-15778 (ABFS: okuma için istemci tarafı azaltmayı onarma) Azure Data Lake Storage 2. bağlayıcıya
    • Bağlantı noktası HADOOP-16040 (ABFS: Toleranateoobappuçlarını yapılandırması için hata çözümü) Azure Data Lake Storage 2. Bağlayıcısı
    • Tablo ACL 'Lerini etkileyen bir hata düzeltildi
    • Delta günlüğü sağlama dosyası yüklenirken yarış durumu düzeltildi
    • Saf "Append" işlemi olarak "INSERT + overwrite" olarak tanımlanmayacağı için düzeltilen Delta çakışma algılama mantığı
    • Tablo ACL 'Leri etkinleştirildiğinde Delta önbelleğinin devre dışı bırakılmadığından emin olun
    • [SPARK-27494] SS Null anahtarlar/değerler Kafka kaynak v2 'de çalışmıyor
    • [SPARK-27446] [R] varsa mevcut Spark conf kullanın.
    • [SPARK-27454] [SPARK-27454] ML SQL Spark görüntüsü veri kaynağı, bazı geçersiz görüntülerle karşılaştığında başarısız oluyor
    • [SPARK-27160] SQL Orc filtreleri derlerken DecimalType 'i çözme
    • [SPARK-27338] ÇEKIRDEĞIN Unsafeexternalsıralayıcı ve TaskMemoryManager arasındaki kilitlenmeyi çözme

Databricks Runtime 5,2 ( desteklenmiyor)

Bkz. Databricks Runtime 5,2 (desteklenmiyor).

  • 10 Eyl, 2019
    • BytesToBytesMap 'e iş parçacığı güvenli Yineleyici ekleme
    • Belirli genel toplama sorgularını etkileyen bir hata düzeltildi.
    • [Spark-27330][ss] foreach yazıcısında Görev iptali desteği
    • [Spark-28642] CREATE TABLE göster ' de kimlik bilgilerini gizle
    • [Spark-28699][SQL] spleexchangeexec için taban sıralaması kullanmayı yeniden bölümleme durumunda devre dışı bırak
    • [Spark-28699][Core] belirsiz aşamayı iptal etmek için bir köşe durumunu düzeltir
  • 27 Ağu 2019
    • Belirli ifadeleri etkileyen bir sorun düzeltildi transform
  • 13 Ağu, 2019
    • Delta akış kaynağı bir tablonun en son protokolünü denetlemelidir
    • [Spark-28489][ss] KafkaOffsetRangeCalculator. GetRanges 'in bırakma farklarını etkileyebilecek bir hatayı düzeltir
  • 30 Temmuz 2019
    • [Spark-28015][SQL] Check stringToDate (), yyyy ve yyyy-[d] d biçimleri için tüm girişi kullanır
    • [Spark-28308][Core] calendarınterval alt ikinci bölümü ayrıştırmadan önce doldurulmuştur
    • [Spark-27485] EnsureRequirements. yeniden düzenleme yinelenen ifadeleri düzgün şekilde işlemelidir
  • 2 Tem 2019
    • Delta LAST_CHECKPOINT dosyası okunurken ıoexceptions 'a tolerans yapın
  • 18 Haz 2019
    • Delta önbelleğinin kullanılmasıyla ilgili iyileştirilmiş Databricks Advisor iletisi
    • Daha yüksek sıralı işlevleri kullanarak etkileyen bir hata düzeltildi
    • Delta meta veri sorgularını etkileyen bir hata düzeltildi
  • 28 Mayıs 2019
    • Hatalı kitaplık yüklemesine kurtarma eklendi
  • 7 Mayıs 2019
    • Bağlantı noktası HADOOP-15778 (ABFS: okuma için istemci tarafı azaltmayı onarma) Azure Data Lake Storage 2. bağlayıcıya
    • Bağlantı noktası HADOOP-16040 (ABFS: Toleranateoobappuçlarını yapılandırması için hata çözümü) Azure Data Lake Storage 2. Bağlayıcısı
    • Delta günlüğü sağlama dosyası yüklenirken yarış durumu düzeltildi
    • Saf "Append" işlemi olarak "INSERT + overwrite" olarak tanımlanmayacağı için düzeltilen Delta çakışma algılama mantığı
    • Tablo ACL 'Leri etkinleştirildiğinde Delta önbelleğinin devre dışı bırakılmadığından emin olun
    • [SPARK-27494] SS Null anahtarlar/değerler Kafka kaynak v2 'de çalışmıyor
    • [SPARK-27454] [SPARK-27454] ML SQL Spark görüntüsü veri kaynağı, bazı geçersiz görüntülerle karşılaştığında başarısız oluyor
    • [SPARK-27160] SQL Orc filtreleri derlerken DecimalType 'i çözme
    • [SPARK-27338] ÇEKIRDEĞIN Unsafeexternalsıralayıcı ve TaskMemoryManager arasındaki kilitlenmeyi çözme
  • 26 Mar, 2019
    • Tam aşamalı üretilen koddaki platforma bağımlı uzaklıkları gömmeden kaçının
    • [Spark-26665][Core] BlockTransferService. fetchBlockSync 'in sonsuza kadar askıda kalmasına yönelik bir hatayı düzeltir.
    • [Spark-27134][SQL] array_distinct işlevi dizi dizisi içeren sütunlarla doğru çalışmıyor.
    • [Spark-24669][SQL] drop database Cascade durumunda tabloları geçersiz kılar.
    • [Spark-26572][SQL] toplu CodeGen sonuç değerlendirmesini düzeltir.
    • Belirli PythonUDFs etkileyen bir hata düzeltildi.
  • 26 Şub, 2019
    • [Spark-26864][SQL] sorgu, bir sol yarı ekleme koşulu olarak Python UDF kullanıldığında yanlış sonuç döndürebilir.
    • [Spark-26887][Python] ara veriler olarak datetime64 oluşturmak yerine DateTime. Date öğesini doğrudan oluşturun.
    • JDBC/ODBC sunucusunu etkileyen bir hata düzeltildi.
    • PySpark 'ı etkileyen bir hata düzeltildi.
    • HadoopRDD derlerken gizli dosyaları hariç tutun.
    • Delta 'da serileştirme sorunlarına neden olan bir hata düzeltildi.
  • 12 Şubat 2019
    • Azure ADLS 2. bağlama noktalarıyla Delta kullanımını etkileyen bir sorun düzeltildi.
    • Şifreleme etkin olan büyük RPC hata iletileri gönderilirken ( spark.network.crypto.enabled true olarak ayarlandığında) Spark düşük düzey ağ protokolünün kopuk olabileceği bir sorun düzeltildi.
  • 30 Ocak 2019
    • Önbelleğe alınan ilişkiye eğme ekleme ipucu yerleştirilerek StackOverflowError düzeltildi.
    • Bir SQL önbelleğinin önbelleğe alınmış RDD ve fiziksel planı arasındaki tutarsızlık düzeltildi, bu da yanlış sonuca neden olur.
    • [Spark-26706][SQL] illegalNumericPrecedence ByteType için düzeltir.
    • [Spark-26709][SQL] OptimizeMetadataOnlyQuery boş kayıtları doğru şekilde işlemiyor.
    • Şemayı kullanırken CSV/JSON veri kaynakları glob yollarından kaçınmalıdır.
    • Pencere işlecinde sabit kısıtlama çıkarımı.
    • Tablo ACL 'SI etkin olan kümelere yumurg kitaplıklarını yüklemeyi etkileyen bir sorun düzeltildi.

Databricks Runtime 5,1 ( desteklenmiyor)

Bkz. Databricks Runtime 5,1 (desteklenmiyor).

  • 13 Ağu, 2019
    • Delta akış kaynağı bir tablonun en son protokolünü denetlemelidir
    • [Spark-28489][ss] KafkaOffsetRangeCalculator. GetRanges 'in bırakma farklarını etkileyebilecek bir hatayı düzeltir
  • 30 Temmuz 2019
    • [Spark-28015][SQL] Check stringToDate (), yyyy ve yyyy-[d] d biçimleri için tüm girişi kullanır
    • [Spark-28308][Core] calendarınterval alt ikinci bölümü ayrıştırmadan önce doldurulmuştur
    • [Spark-27485] EnsureRequirements. yeniden düzenleme yinelenen ifadeleri düzgün şekilde işlemelidir
  • 2 Tem 2019
    • Delta LAST_CHECKPOINT dosyası okunurken ıoexceptions 'a tolerans yapın
  • 18 Haz 2019
    • Daha yüksek sıralı işlevleri kullanarak etkileyen bir hata düzeltildi
    • Delta meta veri sorgularını etkileyen bir hata düzeltildi
  • 28 Mayıs 2019
    • Hatalı kitaplık yüklemesine kurtarma eklendi
  • 7 Mayıs 2019
    • Bağlantı noktası HADOOP-15778 (ABFS: okuma için istemci tarafı azaltmayı onarma) Azure Data Lake Storage 2. bağlayıcıya
    • Bağlantı noktası HADOOP-16040 (ABFS: Toleranateoobappuçlarını yapılandırması için hata çözümü) Azure Data Lake Storage 2. Bağlayıcısı
    • Delta günlüğü sağlama dosyası yüklenirken yarış durumu düzeltildi
    • Saf "Append" işlemi olarak "INSERT + overwrite" olarak tanımlanmayacağı için düzeltilen Delta çakışma algılama mantığı
    • [SPARK-27494] SS Null anahtarlar/değerler Kafka kaynak v2 'de çalışmıyor
    • [SPARK-27454] [SPARK-27454] ML SQL Spark görüntüsü veri kaynağı, bazı geçersiz görüntülerle karşılaştığında başarısız oluyor
    • [SPARK-27160] SQL Orc filtreleri derlerken DecimalType 'i çözme
    • [SPARK-27338] ÇEKIRDEĞIN Unsafeexternalsıralayıcı ve TaskMemoryManager arasındaki kilitlenmeyi çözme
  • 26 Mar, 2019
    • Tam aşamalı üretilen koddaki platforma bağımlı uzaklıkları gömmeden kaçının
    • Belirli PythonUDFs etkileyen bir hata düzeltildi.
  • 26 Şub, 2019
    • [Spark-26864][SQL] sorgu, bir sol yarı ekleme koşulu olarak Python UDF kullanıldığında yanlış sonuç döndürebilir.
    • JDBC/ODBC sunucusunu etkileyen bir hata düzeltildi.
    • HadoopRDD derlerken gizli dosyaları hariç tutun.
  • 12 Şubat 2019
    • Tablo ACL 'SI etkin olan kümelere yumurg kitaplıklarını yüklemeyi etkileyen bir sorun düzeltildi.
    • Bir SQL önbelleğinin önbelleğe alınmış RDD ve fiziksel planı arasındaki tutarsızlık düzeltildi, bu da yanlış sonuca neden olur.
    • [Spark-26706][SQL] illegalNumericPrecedence ByteType için düzeltir.
    • [Spark-26709][SQL] OptimizeMetadataOnlyQuery boş kayıtları doğru şekilde işlemiyor.
    • Pencere işlecinde sabit kısıtlama çıkarımı.
    • Şifreleme etkin olan büyük RPC hata iletileri gönderilirken ( spark.network.crypto.enabled true olarak ayarlandığında) Spark düşük düzey ağ protokolünün kopuk olabileceği bir sorun düzeltildi.
  • 30 Ocak 2019
    • df.rdd.count()Udt 'nin belirli durumlar için yanlış yanıt döndürmesine neden olabilecek bir sorun düzeltildi.
    • Wheelleri yüklemeyi etkileyen bir sorun düzeltildi.
    • [Spark-26267] Kafka 'ten yanlış uzaklıkları algılayarak yeniden deneyin.
    • Akış sorgusunda birden çok dosya akışı kaynağını etkileyen bir hata düzeltildi.
    • Önbelleğe alınan ilişkiye eğme ekleme ipucu yerleştirilerek StackOverflowError düzeltildi.
    • Bir SQL önbelleğinin önbelleğe alınmış RDD ve fiziksel planı arasındaki tutarsızlık düzeltildi, bu da yanlış sonuca neden olur.
  • 8 Ocak 2019
    • Hataya neden olan sorun düzeltildi org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • [Spark-26352] birleştirmeyi yenidensıralama, çıkış özniteliklerinin sırasını değiştirmemelidir.
    • [Spark-26366] ReplaceExceptWithFilter NULL olarak NULL değerini kabul etmelidir.
    • Delta Gölü için kararlılık iyileştirmesi.
    • Delta Gölü etkin.
    • Azure Data Lake Storage 1. için Azure AD kimlik bilgisi geçişi etkinleştirildiğinde Azure Data Lake Storage 2. erişim nedeniyle başarısız olan sorun düzeltildi.
    • Databricks GÇ önbelleği artık tüm fiyatlandırma katmanları için LS Serisi çalışan örneği türleri için etkinleştirilmiştir.

Databricks Runtime 5,0 ( desteklenmiyor)

Bkz. Databricks Runtime 5,0 (desteklenmiyor).

  • 18 Haz 2019
    • Daha yüksek sıralı işlevleri kullanarak etkileyen bir hata düzeltildi
  • 7 Mayıs 2019
    • Delta günlüğü sağlama dosyası yüklenirken yarış durumu düzeltildi
    • Saf "Append" işlemi olarak "INSERT + overwrite" olarak tanımlanmayacağı için düzeltilen Delta çakışma algılama mantığı
    • [SPARK-27494] SS Null anahtarlar/değerler Kafka kaynak v2 'de çalışmıyor
    • [SPARK-27454] [SPARK-27454] ML SQL Spark görüntüsü veri kaynağı, bazı geçersiz görüntülerle karşılaştığında başarısız oluyor
    • [SPARK-27160] SQL Orc filtreleri derlerken DecimalType 'i çözme
      • [SPARK-27338] ÇEKIRDEĞIN Unsafeexternalsıralayıcı ve TaskMemoryManager arasındaki kilitlenmeyi çözme
  • 26 Mar, 2019
    • Tam aşamalı üretilen koddaki platforma bağımlı uzaklıkları gömmeden kaçının
    • Belirli PythonUDFs etkileyen bir hata düzeltildi.
  • 12 Mar, 2019
    • [Spark-26864][SQL] sorgu, bir sol yarı ekleme koşulu olarak Python UDF kullanıldığında yanlış sonuç döndürebilir.
  • 26 Şub, 2019
    • JDBC/ODBC sunucusunu etkileyen bir hata düzeltildi.
    • HadoopRDD derlerken gizli dosyaları hariç tutun.
  • 12 Şubat 2019
    • Bir SQL önbelleğinin önbelleğe alınmış RDD ve fiziksel planı arasındaki tutarsızlık düzeltildi, bu da yanlış sonuca neden olur.
    • [Spark-26706][SQL] illegalNumericPrecedence ByteType için düzeltir.
    • [Spark-26709][SQL] OptimizeMetadataOnlyQuery boş kayıtları doğru şekilde işlemiyor.
    • Pencere işlecinde sabit kısıtlama çıkarımı.
    • Şifreleme etkin olan büyük RPC hata iletileri gönderilirken ( spark.network.crypto.enabled true olarak ayarlandığında) Spark düşük düzey ağ protokolünün kopuk olabileceği bir sorun düzeltildi.
  • 30 Ocak 2019
    • df.rdd.count()Udt 'nin belirli durumlar için yanlış yanıt döndürmesine neden olabilecek bir sorun düzeltildi.
    • [Spark-26267] Kafka 'ten yanlış uzaklıkları algılayarak yeniden deneyin.
    • Akış sorgusunda birden çok dosya akışı kaynağını etkileyen bir hata düzeltildi.
    • Önbelleğe alınan ilişkiye eğme ekleme ipucu yerleştirilerek StackOverflowError düzeltildi.
    • Bir SQL önbelleğinin önbelleğe alınmış RDD ve fiziksel planı arasındaki tutarsızlık düzeltildi, bu da yanlış sonuca neden olur.
  • 8 Ocak 2019
    • Hataya neden olan sorun düzeltildi org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • [Spark-26352] birleştirmeyi yenidensıralama, çıkış özniteliklerinin sırasını değiştirmemelidir.
    • [Spark-26366] ReplaceExceptWithFilter NULL olarak NULL değerini kabul etmelidir.
    • Delta Gölü için kararlılık iyileştirmesi.
    • Delta Gölü etkin.
    • Databricks GÇ önbelleği artık tüm fiyatlandırma katmanları için LS Serisi çalışan örneği türleri için etkinleştirilmiştir.
  • 18 Aralık 2018
    • [Spark-26293] Alt sorguda Python UDF olduğunda cast özel durumu
    • JOIN ve limit kullanarak belirli sorguları etkileyen bir sorun düzeltildi.
    • Spark Kullanıcı arabirimindeki RDD adlarından Redaksiyonu yapılmış kimlik bilgileri
    1. ara, 2018
    • OrderBy kullanılırken, sıralama anahtarının önde gelen bölümü olarak Group By anahtarı ile groupBy tarafından hemen ardından, yanlış sorgu sonucuna neden olan bir sorun düzeltildi.
    • 2.4.9.2-spark_2.4_pre_release to 2.4.10 ' dan Spark için bir kar tanesi Bağlayıcısı yükseltildi.
    • spark.sql.files.ignoreCorruptFilesYa da bayrak etkinleştirildiğinde yalnızca bir veya daha fazla yeniden denemeden sonra bozuk dosyaları yoksay spark.sql.files.ignoreMissingFiles .
    • Belirli kendi kendine birleşim sorgularını etkileyen bir sorun düzeltildi.
    • Her zaman iptal edildiğinde, oturumların sızmış olduğu Thrift sunucusuyla bir hata düzeltildi.
    • [Spark-26307] Hive SerDe kullanılarak bölümlenmiş bir tablo eklerken düzeltilen CTAS 'lar.
    • [Spark-26147] JOIN 'in yalnızca bir tarafından sütunları kullanırken bile, JOIN koşulunda Python UDF 'Leri başarısız oluyor
    • [Spark-26211] Binary için Iç Içe ve struct ve Array ile null değerini düzeltir.
    • [Spark-26181] hasMinMaxStats metodu ColumnStatsMap doğru değil.
    • Internet erişimi olmayan ortamlarda Python tekerlekleri yüklemeyi etkileyen bir sorun düzeltildi.
  • 20 Kasım 2018
    • Akış sorgusu iptal edildikten sonra bir not defterine neden olmayan bir sorun düzeltildi.
    • Pencere işlevleri kullanılarak belirli sorguları etkileyen bir sorun düzeltildi.
    • Birden çok şema değişikliğiyle Delta 'dan bir akışı etkileyen bir sorun düzeltildi.
    • Sol yarı/ters birleştirmelere sahip belirli toplama sorgularını etkileyen bir sorun düzeltildi.

Databricks Runtime 4,3 ( desteklenmiyor)

Bkz. Databricks Runtime 4,3 (desteklenmiyor).

  • 9 Nis 2019

    • [Spark-26665][Core] BlockTransferService. fetchBlockSync 'in sonsuza kadar askıda kalmasına neden olabilecek bir hatayı düzeltir.
    • [Spark-24669][SQL] drop database Cascade durumunda tabloları geçersiz kılar.
  • 12 Mar, 2019

    • Kod üretimini etkileyen bir hata düzeltildi.
    • Delta etkileyen bir hata düzeltildi.
  • 26 Şub, 2019

    • JDBC/ODBC sunucusunu etkileyen bir hata düzeltildi.
  • 12 Şubat 2019

    • [Spark-26709][SQL] OptimizeMetadataOnlyQuery boş kayıtları doğru şekilde işlemiyor.
    • HadoopRDD derlerken gizli dosyalar dışlanıyor.
    • ' In ' değeri boş olduğunda koşul için sabit Parquet filtre dönüştürmesi.
    • Şifreleme etkin olan büyük RPC hata iletileri gönderilirken ( spark.network.crypto.enabled true olarak ayarlandığında) Spark düşük düzey ağ protokolünün kopuk olabileceği bir sorun düzeltildi.
  • 30 Ocak 2019

    • df.rdd.count()Udt 'nin belirli durumlar için yanlış yanıt döndürmesine neden olabilecek bir sorun düzeltildi.
    • Bir SQL önbelleğinin önbelleğe alınmış RDD ve fiziksel planı arasındaki tutarsızlık düzeltildi, bu da yanlış sonuca neden olur.
  • 8 Ocak 2019

    • Hataya neden olan sorun düzeltildi org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • Spark Kullanıcı arabirimindeki RDD adlarından Redaksiyonu yapılmış kimlik bilgileri
    • [Spark-26352] birleştirmeyi yenidensıralama, çıkış özniteliklerinin sırasını değiştirmemelidir.
    • [Spark-26366] ReplaceExceptWithFilter NULL olarak NULL değerini kabul etmelidir.
    • Delta Gölü etkin.
    • Databricks GÇ önbelleği artık tüm fiyatlandırma katmanları için LS Serisi çalışan örneği türleri için etkinleştirilmiştir.
  • 18 Aralık 2018

    • [Spark-25002] Avro: çıkış kaydı ad alanını gözden geçirin.
    • JOIN ve limit kullanarak belirli sorguları etkileyen bir sorun düzeltildi.
    • [Spark-26307] Hive SerDe kullanılarak bölümlenmiş bir tablo eklerken düzeltilen CTAS 'lar.
    • spark.sql.files.ignoreCorruptFilesYa da bayrak etkinleştirildiğinde yalnızca bir veya daha fazla yeniden denemeden sonra bozuk dosyaları yoksay spark.sql.files.ignoreMissingFiles .
    • [Spark-26181] hasMinMaxStats metodu ColumnStatsMap doğru değil.
    • Internet erişimi olmayan ortamlarda Python tekerlekleri yüklemeyi etkileyen bir sorun düzeltildi.
    • Sorgu Çözümleyicisi 'nde bir performans sorunu düzeltildi.
    • PySpark 'ta veri çerçevesi eylemlerine neden olan bir sorun düzeltildi, "bağlantı reddedildi" hatası ile başarısız oldu.
    • Belirli kendi kendine birleşim sorgularını etkileyen bir sorun düzeltildi.
  • 20 Kasım 2018

    • [Spark-17916][Spark-25241]NullValue ayarlandığında boş dizenin null olarak ayrıştırılmasını düzeltir.
    • [Spark-25387] Hatalı CSV girişi nedeniyle NPE için düzelme.
    • Sol yarı/ters birleştirmelere sahip belirli toplama sorgularını etkileyen bir sorun düzeltildi.
  • 6 Kasım, 2018

    • [Spark-25741] Uzun URL 'Ler Web Kullanıcı arabiriminde düzgün işlenmez.
    • [Spark-25714] Iyileştirici kuralı BooleanSimplification null Işlemeyi düzeltir.
    • SYNAPSE Analytics bağlayıcısında geçici nesneleri temizleme işlemini etkileyen bir sorun düzeltildi.
    • [Spark-25816] İç içe ayıklayıcıları içinde öznitelik çözünürlüğünü düzeltir.
  • 16 Eki, 2018

    • Delta tablolarında çalıştırmanın çıkışını etkileyen bir hata düzeltildi SHOW CREATE TABLE .
    • İşlem etkileyen bir hata düzeltildi Union .
  • 25 Eyl, 2018

    • [Spark-25368][SQL] yanlış kısıtlama çıkarımı yanlış sonuç döndürüyor.
    • [Spark-25402][SQL] BooleanSimplification içinde null işleme.
    • NotSerializableExceptionAvro veri kaynağında düzeltildi.
  • 11 Eyl, 2018

    • [Spark-25214][ss] Kafka v2 kaynağının yinelenen kayıtları döndürmesine neden olabilecek sorunu düzeltir failOnDataLoss=false .
    • [Spark-24987][ss] articlepartition için yeni bir uzaklık olmadığında Kafka Consumer sızıntısına çözüm.
    • Filtre azaltma null değeri doğru bir şekilde işlemelidir.
    • Yürütme altyapısının kararlılığı geliştirildi.
  • 28 Ağu, 2018

    • Delta Gölü silme komutunda, koşulun null olarak değerlendirilen satırları hatalı olarak silen bir hata düzeltildi.
    • [Spark-25142] Python Worker içinde yuva açmadığından hata iletileri ekleyin _load_from_socket .
  • 23 Ağu 2018

    • [Spark-23935]mapentry atar org.codehaus.commons.compiler.CompileException .
    • Parquet okuyucusunda null yapılabilir eşleme sorunu düzeltildi.
    • [Spark-25051][SQL] bir analysissnmak, analysisengel üzerinde durdurulmamalıdır.
    • [Spark-25081] Sıvı, bellek ayıramadığında karıştırılan bir bellek sayfasına erişebilen bir hata düzeltildi.
    • Databricks Delta ve Pyspark arasında, geçici okuma hatalarıyla neden olabilecek bir etkileşim düzeltildi.
    • [Spark-25084]"dağıtma ölçütü" birden çok sütuna (köşeli ayraç içinde sarın) CodeGen sorununa yol açabilir.
    • [Spark-25096] Atama zorla null atanabilir ise gevlebilirlik olabilir.
    • Delta Gölü en Iyileştirme komutu tarafından kullanılan varsayılan iş parçacığı sayısını düşürüyor, bellek yükünü azaltarak ve verileri daha hızlı bir şekilde yürütülüyor.
    • [Spark-25114] İki sözcük arasında çıkarma Integer.MAX_VALUE tarafından bölünemezse Recordbinarykarşılaştırıcı Tor 'ı düzeltir.
    • Komut kısmen başarılı olduğunda sabit gizli dizi Yöneticisi redaksiyon.

Databricks Runtime 4,2 ( desteklenmiyor)

Bkz. Databricks Runtime 4,2 (desteklenmiyor).

  • 26 Şub, 2019

    • JDBC/ODBC sunucusunu etkileyen bir hata düzeltildi.
  • 12 Şubat 2019

    • [Spark-26709][SQL] OptimizeMetadataOnlyQuery boş kayıtları doğru şekilde işlemiyor.
    • HadoopRDD derlerken gizli dosyalar dışlanıyor.
    • ' In ' değeri boş olduğunda koşul için sabit Parquet filtre dönüştürmesi.
    • Şifreleme etkin olan büyük RPC hata iletileri gönderilirken ( spark.network.crypto.enabled true olarak ayarlandığında) Spark düşük düzey ağ protokolünün kopuk olabileceği bir sorun düzeltildi.
  • 30 Ocak 2019

    • df.rdd.count()Udt 'nin belirli durumlar için yanlış yanıt döndürmesine neden olabilecek bir sorun düzeltildi.
  • 8 Ocak 2019

    • Hataya neden olan sorun düzeltildi org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • Spark Kullanıcı arabirimindeki RDD adlarından Redaksiyonu yapılmış kimlik bilgileri
    • [Spark-26352] birleştirmeyi yenidensıralama, çıkış özniteliklerinin sırasını değiştirmemelidir.
    • [Spark-26366] ReplaceExceptWithFilter NULL olarak NULL değerini kabul etmelidir.
    • Delta Gölü etkin.
    • Databricks GÇ önbelleği artık tüm fiyatlandırma katmanları için LS Serisi çalışan örneği türleri için etkinleştirilmiştir.
  • 18 Aralık 2018

    • [Spark-25002] Avro: çıkış kaydı ad alanını gözden geçirin.
    • JOIN ve limit kullanarak belirli sorguları etkileyen bir sorun düzeltildi.
    • [Spark-26307] Hive SerDe kullanılarak bölümlenmiş bir tablo eklerken düzeltilen CTAS 'lar.
    • spark.sql.files.ignoreCorruptFilesYa da bayrak etkinleştirildiğinde yalnızca bir veya daha fazla yeniden denemeden sonra bozuk dosyaları yoksay spark.sql.files.ignoreMissingFiles .
    • [Spark-26181] hasMinMaxStats metodu ColumnStatsMap doğru değil.
    • Internet erişimi olmayan ortamlarda Python tekerlekleri yüklemeyi etkileyen bir sorun düzeltildi.
    • Sorgu Çözümleyicisi 'nde bir performans sorunu düzeltildi.
    • PySpark 'ta veri çerçevesi eylemlerine neden olan bir sorun düzeltildi, "bağlantı reddedildi" hatası ile başarısız oldu.
    • Belirli kendi kendine birleşim sorgularını etkileyen bir sorun düzeltildi.
  • 20 Kasım 2018

    • [Spark-17916][Spark-25241]NullValue ayarlandığında boş dizenin null olarak ayrıştırılmasını düzeltir.
    • Sol yarı/ters birleştirmelere sahip belirli toplama sorgularını etkileyen bir sorun düzeltildi.
  • 6 Kasım, 2018

    • [Spark-25741] Uzun URL 'Ler Web Kullanıcı arabiriminde düzgün işlenmez.
    • [Spark-25714] Iyileştirici kuralı BooleanSimplification null Işlemeyi düzeltir.
  • 16 Eki, 2018

    • Delta tablolarında çalıştırmanın çıkışını etkileyen bir hata düzeltildi SHOW CREATE TABLE .
    • İşlem etkileyen bir hata düzeltildi Union .
  • 25 Eyl, 2018

    • [Spark-25368][SQL] yanlış kısıtlama çıkarımı yanlış sonuç döndürüyor.
    • [Spark-25402][SQL] BooleanSimplification içinde null işleme.
    • NotSerializableExceptionAvro veri kaynağında düzeltildi.
  • 11 Eyl, 2018

    • [Spark-25214][ss] Kafka v2 kaynağının yinelenen kayıtları döndürmesine neden olabilecek sorunu düzeltir failOnDataLoss=false .
    • [Spark-24987][ss] articlepartition için yeni bir uzaklık olmadığında Kafka Consumer sızıntısına çözüm.
    • Filtre azaltma null değeri doğru bir şekilde işlemelidir.
  • 28 Ağu, 2018

    • Delta Gölü silme komutunda, koşulun null olarak değerlendirilen satırları hatalı olarak silen bir hata düzeltildi.
  • 23 Ağu 2018

    • Delta anlık görüntüsü için NoClassDefError düzeltildi
    • [Spark-23935]mapentry atar org.codehaus.commons.compiler.CompileException .
    • [Spark-24957][SQL] ondalık ve ardından toplama tarafından izlenen ortalama değer yanlış sonuç döndürüyor. ORTALAMANıN yanlış sonuçları döndürülemeyebilir. Bölme sonucu, hangi tür tarafından yayınlandığından, ortalama işlecine eklenen atama atlanır.
    • [Spark-25081] Sıvı, bellek ayıramadığında karıştırılan bir bellek sayfasına erişebilen bir hata düzeltildi.
    • Databricks Delta ve Pyspark arasında, geçici okuma hatalarıyla neden olabilecek bir etkileşim düzeltildi.
    • [Spark-25114] İki sözcük arasında çıkarma Integer.MAX_VALUE tarafından bölünemezse Recordbinarykarşılaştırıcı Tor 'ı düzeltir.
    • [Spark-25084]"dağıtma ölçütü" birden çok sütuna (köşeli ayraç içinde sarın) CodeGen sorununa yol açabilir.
    • [Spark-24934][SQL] açık olarak, bellek içi bölüm ayıklama için büyük/alt limitlerde desteklenen türleri açıkça listeleyin. Önbelleğe alınmış verilere karşı sorgu filtrelerinde karmaşık veri türleri kullanıldığında Spark her zaman boş bir sonuç kümesi döndürür. Bellek içi istatistikler tabanlı ayıklama yanlış sonuçlar oluşturuyor, çünkü null, karmaşık türler için üst/alt sınır için ayarlanmıştır. Bu çözüm, karmaşık türler için bellek içi istatistikler tabanlı ayıklama kullanmamalıdır.
    • Komut kısmen başarılı olduğunda sabit gizli dizi Yöneticisi redaksiyon.
    • Parquet okuyucusunda null yapılabilir eşleme sorunu düzeltildi.
  • 2 Ağu, 2018

    • Python 'da writeStream. Table API 'SI eklendi.
    • Delta checkişaret 'nı etkileyen bir sorun düzeltildi.
    • [Spark-24867][SQL] DataFrameWriter 'A Analysisengelini ekleyin. Veri çerçevesini UDF ile yazmak için DataFrameWriter kullanılırken SQL önbelleği kullanılmıyor. Bu, tüm çözümleyici kuralları ıdempotent olmadığından, Analysisengeli 'nde yaptığımız değişikliklerden kaynaklanan bir gerileme.
    • mergeIntoKomutun hatalı sonuçlar üretmesine neden olabilecek bir sorun düzeltildi.
    • Azure Data Lake Storage 1. erişme konusunda iyileştirilmiş kararlılık.
    • [Spark-24809] Bir yürütücü içinde LongHashedRelation serileştirilmesinin veri hatasına neden olabilir.
    • [Spark-24878][SQL] null içeren temel türün dizi türü için ters işlevi düzeltir.
  • 11 Temmuz 2018

    • Sorgu yürütmesinde bir hata düzeltildi, ancak bazı durumlarda, farklı ön ekleri olan ondalık sütunlarda toplamaların yanlış sonuçlar döndürmesine neden olur.
    • NullPointerExceptionGruplandırma kümeleri gibi gelişmiş toplama işlemleri sırasında oluşan bir hata düzeltildi.

Databricks Runtime 4,1 ml ( desteklenmiyor)

Bkz. Databricks Runtime 4,1 ml (desteklenmeyen).

  • 31 Temmuz 2018
    • ML çalışma zamanına 4,1 Azure SYNAPSE Analytics eklendi
    • Bir koşulda kullanılan bir bölüm sütununun adı tablonun şemasında söz konusu sütunun dışında olduğunda hatalı sorgu sonuçlarına neden olabilecek bir hata düzeltildi.
    • Spark SQL yürütme altyapısını etkileyen bir hata düzeltildi.
    • Kod üretimini etkileyen bir hata düzeltildi.
    • Delta Gölü etkileyen bir hata düzeltildi java.lang.NoClassDefFoundError .
    • Delta Gölü üzerinde geliştirilmiş hata işleme.
    • 32 karakter veya daha büyük dize sütunları için yanlış veri atlama istatistiklerinin toplanmasına neden olan bir hata düzeltildi.

Databricks Runtime 4,1 ( desteklenmiyor)

Bkz. Databricks Runtime 4,1 (desteklenmiyor).

  • 8 Ocak 2019

    • [Spark-26366] ReplaceExceptWithFilter NULL olarak NULL değerini kabul etmelidir.
    • Delta Gölü etkin.
  • 18 Aralık 2018

    • [Spark-25002] Avro: çıkış kaydı ad alanını gözden geçirin.
    • JOIN ve limit kullanarak belirli sorguları etkileyen bir sorun düzeltildi.
    • [Spark-26307] Hive SerDe kullanılarak bölümlenmiş bir tablo eklerken düzeltilen CTAS 'lar.
    • spark.sql.files.ignoreCorruptFilesYa da bayrak etkinleştirildiğinde yalnızca bir veya daha fazla yeniden denemeden sonra bozuk dosyaları yoksay spark.sql.files.ignoreMissingFiles .
    • Internet erişimi olmayan ortamlarda Python tekerlekleri yüklemeyi etkileyen bir sorun düzeltildi.
    • PySpark 'ta veri çerçevesi eylemlerine neden olan bir sorun düzeltildi, "bağlantı reddedildi" hatası ile başarısız oldu.
    • Belirli kendi kendine birleşim sorgularını etkileyen bir sorun düzeltildi.
  • 20 Kasım 2018

    • [Spark-17916][Spark-25241]NullValue ayarlandığında boş dizenin null olarak ayrıştırılmasını düzeltir.
    • Sol yarı/ters birleştirmelere sahip belirli toplama sorgularını etkileyen bir sorun düzeltildi.
  • 6 Kasım, 2018

    • [Spark-25741] Uzun URL 'Ler Web Kullanıcı arabiriminde düzgün işlenmez.
    • [Spark-25714] Iyileştirici kuralı BooleanSimplification null Işlemeyi düzeltir.
  • 16 Eki, 2018

    • Delta tablolarında çalıştırmanın çıkışını etkileyen bir hata düzeltildi SHOW CREATE TABLE .
    • İşlem etkileyen bir hata düzeltildi Union .
  • 25 Eyl, 2018

    • [Spark-25368][SQL] yanlış kısıtlama çıkarımı yanlış sonuç döndürüyor.
    • [Spark-25402][SQL] BooleanSimplification içinde null işleme.
    • NotSerializableExceptionAvro veri kaynağında düzeltildi.
  • 11 Eyl, 2018

    • [Spark-25214][ss] Kafka v2 kaynağının yinelenen kayıtları döndürmesine neden olabilecek sorunu düzeltir failOnDataLoss=false .
    • [Spark-24987][ss] articlepartition için yeni bir uzaklık olmadığında Kafka Consumer sızıntısına çözüm.
    • Filtre azaltma null değeri doğru bir şekilde işlemelidir.
  • 28 Ağu, 2018

    • Delta Gölü silme komutunda, koşulun null olarak değerlendirilen satırları hatalı olarak silen bir hata düzeltildi.
    • [Spark-25084]"dağıtma ölçütü" birden çok sütuna (köşeli ayraç içinde sarın) CodeGen sorununa yol açabilir.
    • [Spark-25114] İki sözcük arasında çıkarma Integer.MAX_VALUE tarafından bölünemezse Recordbinarykarşılaştırıcı Tor 'ı düzeltir.
  • 23 Ağu 2018

    • Delta anlık görüntüsü için NoClassDefError düzeltildi.
    • [Spark-24957][SQL] ondalık ve ardından toplama tarafından izlenen ortalama değer yanlış sonuç döndürüyor. ORTALAMANıN yanlış sonuçları döndürülemeyebilir. Bölme sonucu, hangi tür tarafından yayınlandığından, ortalama işlecine eklenen atama atlanır.
    • Parquet okuyucusunda null yapılabilir eşleme sorunu düzeltildi.
    • [Spark-24934][SQL] açık olarak, bellek içi bölüm ayıklama için büyük/alt limitlerde desteklenen türleri açıkça listeleyin. Önbelleğe alınmış verilere karşı sorgu filtrelerinde karmaşık veri türleri kullanıldığında Spark her zaman boş bir sonuç kümesi döndürür. Bellek içi istatistikler tabanlı ayıklama yanlış sonuçlar oluşturuyor, çünkü null, karmaşık türler için üst/alt sınır için ayarlanmıştır. Bu çözüm, karmaşık türler için bellek içi istatistikler tabanlı ayıklama kullanmamalıdır.
    • [Spark-25081] Sıvı, bellek ayıramadığında karıştırılan bir bellek sayfasına erişebilen bir hata düzeltildi.
    • Databricks Delta ve Pyspark arasında, geçici okuma hatalarıyla neden olabilecek bir etkileşim düzeltildi.
    • Komut kısmen başarılı olduğunda sabit gizli yönetici redaksiyon
  • 2 Ağu, 2018

    • [Spark-24613][SQL] UDF ile önbellek, sonraki bağımlı önbellekler ile eşleştirilemedi. Planın yeniden çözümlenmesinden kaçınmak için, CacheManager 'daki yürütme planı derlemesi için bir Analysisbir engel ile mantıksal planı sarar. Bu aynı zamanda Spark 2,3 ' i de gerileme.
    • DateType verisi yazmak için saat dilimi dönüştürmeyi etkileyen bir Synapse Analytics bağlayıcı sorunu düzeltildi.
    • Delta checkişaret 'nı etkileyen bir sorun düzeltildi.
    • mergeIntoKomutun hatalı sonuçlar üretmesine neden olabilecek bir sorun düzeltildi.
    • [Spark-24867][SQL] DataFrameWriter 'A Analysisengelini ekleyin. Veri çerçevesini UDF ile yazmak için DataFrameWriter kullanılırken SQL önbelleği kullanılmıyor. Bu, tüm çözümleyici kuralları ıdempotent olmadığından, Analysisengeli 'nde yaptığımız değişikliklerden kaynaklanan bir gerileme.
    • [Spark-24809] Bir yürütücü içinde LongHashedRelation serileştirilmesinin veri hatasına neden olabilir.
  • 11 Temmuz 2018

    • Sorgu yürütmesinde bir hata düzeltildi, ancak bazı durumlarda, farklı ön ekleri olan ondalık sütunlarda toplamaların yanlış sonuçlar döndürmesine neden olur.
    • NullPointerExceptionGruplandırma kümeleri gibi gelişmiş toplama işlemleri sırasında oluşan bir hata düzeltildi.
  • 28 Haziran 2018

    • Bir koşulda kullanılan bir bölüm sütununun adı tablonun şemasında söz konusu sütunun dışında olduğunda hatalı sorgu sonuçlarına neden olabilecek bir hata düzeltildi.
  • 7 Haziran 2018

    • Spark SQL yürütme altyapısını etkileyen bir hata düzeltildi.
    • Kod üretimini etkileyen bir hata düzeltildi.
    • Delta Gölü etkileyen bir hata düzeltildi java.lang.NoClassDefFoundError .
    • Delta Gölü üzerinde geliştirilmiş hata işleme.
  • 17 Mayıs 2018

    • 32 karakter veya daha büyük dize sütunları için yanlış veri atlama istatistiklerinin toplanmasına neden olan bir hata düzeltildi.

Databricks Runtime 4,0 ( desteklenmiyor)

Bkz. Databricks Runtime 4,0 (desteklenmiyor).

  • 6 Kasım, 2018

    • [Spark-25714] Iyileştirici kuralı BooleanSimplification null Işlemeyi düzeltir.
  • 16 Eki, 2018

    • İşlem etkileyen bir hata düzeltildi Union .
  • 25 Eyl, 2018

    • [Spark-25368][SQL] yanlış kısıtlama çıkarımı yanlış sonuç döndürüyor.
    • [Spark-25402][SQL] BooleanSimplification içinde null işleme.
    • NotSerializableExceptionAvro veri kaynağında düzeltildi.
  • 11 Eyl, 2018

    • Filtre azaltma null değeri doğru bir şekilde işlemelidir.
  • 28 Ağu, 2018

    • Delta Gölü silme komutunda, koşulun null olarak değerlendirilen satırları hatalı olarak silen bir hata düzeltildi.
  • 23 Ağu 2018

    • Parquet okuyucusunda null yapılabilir eşleme sorunu düzeltildi.
    • Komut kısmen başarılı olduğunda sabit gizli yönetici redaksiyon
    • Databricks Delta ve Pyspark arasında, geçici okuma hatalarıyla neden olabilecek bir etkileşim düzeltildi.
    • [Spark-25081] Sıvı, bellek ayıramadığında karıştırılan bir bellek sayfasına erişebilen bir hata düzeltildi.
    • [Spark-25114] İki sözcük arasında çıkarma Integer.MAX_VALUE tarafından bölünemezse Recordbinarykarşılaştırıcı Tor 'ı düzeltir.
  • 2 Ağu, 2018

    • [Spark-24452] İnt Add veya Multiple içinde olası taşma kullanmaktan kaçının.
    • [Spark-24588] Akış birleştirme, alt öğelerinden diyez Kümeedbölümlendirme gerektirmelidir.
    • mergeIntoKomutun hatalı sonuçlar üretmesine neden olabilecek bir sorun düzeltildi.
    • [Spark-24867][SQL] DataFrameWriter 'A Analysisengelini ekleyin. Veri çerçevesini UDF ile yazmak için DataFrameWriter kullanılırken SQL önbelleği kullanılmıyor. Bu, tüm çözümleyici kuralları ıdempotent olmadığından, Analysisengeli 'nde yaptığımız değişikliklerden kaynaklanan bir gerileme.
    • [Spark-24809] Bir yürütücü içinde LongHashedRelation serileştirilmesinin veri hatasına neden olabilir.
  • 28 Haziran 2018

    • Bir koşulda kullanılan bir bölüm sütununun adı tablonun şemasında söz konusu sütunun dışında olduğunda hatalı sorgu sonuçlarına neden olabilecek bir hata düzeltildi.
  • 7 Haziran 2018

    • Spark SQL yürütme altyapısını etkileyen bir hata düzeltildi.
    • Delta Gölü üzerinde geliştirilmiş hata işleme.
  • 17 Mayıs 2018

    • Databricks gizli yönetimine yönelik hata düzeltmeleri.
    • Azure Data Lake Store depolanan verileri okurken iyileştirilmiş kararlılık.
    • RDD önbelleğini etkileyen bir hata düzeltildi.
    • Spark SQL 'de null güvenli eşit değeri etkileyen bir hata düzeltildi.
  • 24 Nis, 2018

    • Azure Data Lake Store erişiminin kararlılığını artırmak için Azure Data Lake Store SDK 'dan 2.2.8 'e yükseltilir.
    • Olduğunda bölümlenmiş Hive tablolarına yapılan üzerine yazma işlemini etkileyen bir hata düzeltildi spark.databricks.io.hive.fastwriter.enabled false .
    • Görev serileştirilmesi başarısız olan bir sorun düzeltildi.
    • İyileştirilmiş Delta Gölü kararlılığı.
  • 14 Mar, 2018

    • Delta Gölü içine yazarken gereksiz meta veri güncelleştirmelerini önleyin.
    • Nadir koşullarda bazı çıkış dosyalarının kaybedilmesine neden olabilecek bir yarış durumundan kaynaklanan bir sorun düzeltildi.

Databricks Runtime 3,5 LTS ( desteklenmiyor)

Bkz. Databricks Runtime 3,5 LTS (desteklenmeyen).

  • 7 Kasım 2019

    • [Spark-29743][SQL] örnek, alt öğesinin gerekli olan copyresult değeri true olduğunda, gereksiz copyresult değeri true olarak ayarlanmalıdır
  • 8 Ekim 2019

    • SIBA Apache Spark ODBC sürücüsünün sonuçları getirme sırasında bağlantı hatasından sonra yeniden bağlanmasına ve devam etmesine izin vermek için sunucu tarafı değişiklikleri (sürüm 2.6.10 için Simba Apache Spark ODBC sürücüsü güncelleştirmesi gerekir).
  • 10 Eyl, 2019

    • [Spark-28699][SQL] spleexchangeexec için taban sıralaması kullanmayı yeniden bölümleme durumunda devre dışı bırak
  • 9 Nis 2019

    • [Spark-26665][Core] BlockTransferService. fetchBlockSync 'in sonsuza kadar askıda kalmasına neden olabilecek bir hatayı düzeltir.
  • 12 Şubat 2019

    • Şifreleme etkin olan büyük RPC hata iletileri gönderilirken ( spark.network.crypto.enabled true olarak ayarlandığında) Spark düşük düzey ağ protokolünün kopuk olabileceği bir sorun düzeltildi.
  • 30 Ocak 2019

    • df.rdd.count()Udt 'nin belirli durumlar için yanlış yanıt döndürmesine neden olabilecek bir sorun düzeltildi.
  • 18 Aralık 2018

    • spark.sql.files.ignoreCorruptFilesYa da bayrak etkinleştirildiğinde yalnızca bir veya daha fazla yeniden denemeden sonra bozuk dosyaları yoksay spark.sql.files.ignoreMissingFiles .
    • Belirli kendi kendine birleşim sorgularını etkileyen bir sorun düzeltildi.
  • 20 Kasım 2018

    • [Spark-25816] İç içe ayıklayıcıları içinde düzeltilen öznitelik çözümlemesi.
  • 6 Kasım, 2018

    • [Spark-25714] Iyileştirici kuralı BooleanSimplification null Işlemeyi düzeltir.
  • 16 Eki, 2018

    • İşlem etkileyen bir hata düzeltildi Union .
  • 25 Eyl, 2018

    • [Spark-25402][SQL] BooleanSimplification içinde null işleme.
    • NotSerializableExceptionAvro veri kaynağında düzeltildi.
  • 11 Eyl, 2018

    • Filtre azaltma null değeri doğru bir şekilde işlemelidir.
  • 28 Ağu, 2018

    • Delta Gölü silme komutunda, koşulun null olarak değerlendirilen satırları hatalı olarak silen bir hata düzeltildi.
    • [Spark-25114] İki sözcük arasında çıkarma Integer.MAX_VALUE tarafından bölünemezse Recordbinarykarşılaştırıcı Tor 'ı düzeltir.
  • 23 Ağu 2018

    • [Spark-24809] Bir yürütücü içinde LongHashedRelation serileştirilmesinin veri hatasına neden olabilir.
    • Parquet okuyucusunda null yapılabilir eşleme sorunu düzeltildi.
    • [Spark-25081] Sıvı, bellek ayıramadığında karıştırılan bir bellek sayfasına erişebilen bir hata düzeltildi.
    • Databricks Delta ve Pyspark arasında, geçici okuma hatalarıyla neden olabilecek bir etkileşim düzeltildi.
  • 28 Haziran 2018

    • Bir koşulda kullanılan bir bölüm sütununun adı tablonun şemasında söz konusu sütunun dışında olduğunda hatalı sorgu sonuçlarına neden olabilecek bir hata düzeltildi.
  • 28 Haziran 2018

    • Bir koşulda kullanılan bir bölüm sütununun adı tablonun şemasında söz konusu sütunun dışında olduğunda hatalı sorgu sonuçlarına neden olabilecek bir hata düzeltildi.
  • 7 Haziran 2018

    • Spark SQL yürütme altyapısını etkileyen bir hata düzeltildi.
    • Delta Gölü üzerinde geliştirilmiş hata işleme.
  • 17 Mayıs 2018

    • Azure Data Lake Store depolanan verileri okurken iyileştirilmiş kararlılık.
    • RDD önbelleğini etkileyen bir hata düzeltildi.
    • Spark SQL 'de null güvenli eşit değeri etkileyen bir hata düzeltildi.
    • Akış sorgularında belirli toplamaları etkileyen bir hata düzeltildi.
  • 24 Nis, 2018

    • Azure Data Lake Store erişiminin kararlılığını artırmak için Azure Data Lake Store SDK 'dan 2.2.8 'e yükseltilir.
    • Olduğunda bölümlenmiş Hive tablolarına yapılan üzerine yazma işlemini etkileyen bir hata düzeltildi spark.databricks.io.hive.fastwriter.enabled false .
    • Görev serileştirilmesi başarısız olan bir sorun düzeltildi.
  • 09 Mar, 2018

    • Nadir koşullarda bazı çıkış dosyalarının kaybedilmesine neden olabilecek bir yarış durumundan kaynaklanan bir sorun düzeltildi.
  • 01 Mar, 2018

    • Durmak uzun sürebileceğiniz akışlarının işlenmesine yönelik verimlilik geliştirilmiştir.
    • Python otomatik tamamlamayı etkileyen bir sorun düzeltildi.
    • Ubuntu güvenlik düzeltme ekleri uygulandı.
    • Python UDF 'Leri ve pencere işlevlerini kullanarak belirli sorguları etkileyen bir sorun düzeltildi.
    • Tablo erişim denetimi etkinken bir kümede UDF 'Leri kullanmayı etkileyen bir sorun düzeltildi.
  • 29 Ocak 2018

    • Azure Blob depolama alanında depolanan tabloların işlenmesini etkileyen bir sorun düzeltildi.
    • Boş DataFrame üzerinde Dropduplilı_after öğesinden sonra sabit toplama.

Databricks Runtime 3,4 ( desteklenmiyor)

Bkz. Databricks Runtime 3,4 (desteklenmiyor).

  • 7 Haziran 2018

    • Spark SQL yürütme altyapısını etkileyen bir hata düzeltildi.
    • Delta Gölü üzerinde geliştirilmiş hata işleme.
  • 17 Mayıs 2018

    • Azure Data Lake Store depolanan verileri okurken iyileştirilmiş kararlılık.
    • RDD önbelleğini etkileyen bir hata düzeltildi.
    • Spark SQL 'de null güvenli eşit değeri etkileyen bir hata düzeltildi.
  • 24 Nis, 2018

    • Olduğunda bölümlenmiş Hive tablolarına yapılan üzerine yazma işlemini etkileyen bir hata düzeltildi spark.databricks.io.hive.fastwriter.enabled false .
  • 09 Mar, 2018

    • Nadir koşullarda bazı çıkış dosyalarının kaybedilmesine neden olabilecek bir yarış durumundan kaynaklanan bir sorun düzeltildi.
    1. ara, 2017
    • Scala 'da UDF 'Leri etkileyen bir sorun düzeltildi.
    • DBFS olmayan yollarda depolanan veri kaynağı tablolarında veri atlama dizininin kullanımını etkileyen bir sorun düzeltildi.
  • Dec 07, 2017

    • Geliştirilmiş karışık kararlılık.