Databricks Runtime bakım güncelleştirmeleri

Bu makalede desteklenen Databricks Runtime sürümleri için bakım güncelleştirmeleri listelenmektedir. Mevcut bir kümeye bakım güncelleştirmesi eklemek için kümeyi yeniden başlatın. Desteklenmeyen Databricks Runtime sürümlerindeki bakım güncelleştirmeleri için bkz . Databricks Runtime için bakım güncelleştirmeleri (arşivlenmiş)...

Not

Sürümler hazırlanır. Azure Databricks hesabınız ilk sürüm tarihinden sonra birkaç gün boyunca güncelleştirilmeyebilir.

Databricks Runtime sürümleri

Yayına göre bakım güncelleştirmeleri:

• Databricks Runtime 15.0
• Databricks Runtime 14.3
• Databricks Runtime 14.2
• Databricks Runtime 14.1
• Databricks Runtime 13.3 LTS
• Databricks Runtime 12.2 LTS
• Databricks Runtime 11.3 LTS
• Databricks Runtime 10.4 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 15.0

Bkz . Databricks Runtime 15.0.

• 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
  • [SPARK-47786] SELECT DISTINCT (), SELECT DISTINCT yapısı () olmamalıdır (önceki davranışa geri dön)
  • [SPARK-47802][SQL] () anlam yapısından() anlamlarına geri dön *
  • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
  • [SPARK-47722] Kapatmadan önce RocksDB arka plan çalışması bitene kadar bekleyin
  • [SPARK-47081][BAĞLAN] [TAKİP EDEMİ] İlerleme İşleyicisinin kullanılabilirliğini geliştirme
  • [SPARK-47694][BAĞLAN] en büyük ileti boyutunu istemci tarafında yapılandırılabilir hale getirme
  • [SPARK-47669][SQL] [BAĞLAN] [PYTHON] Ekle Column.try_cast
  • [SPARK-47664][PYTHON] [BAĞLAN] [Cherry-pick-15.0] Sütun adını önbelleğe alınmış şemayla doğrulama
  • [SPARK-47818][BAĞLAN] [Cherry-pick-15.0] Analiz isteklerinin performansını geliştirmek için Spark Bağlan Planner'da plan önbelleğini tanıtın
  • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
  • [SPARK-47755][BAĞLAN] Ayrı değerlerin sayısı çok fazla olduğunda Pivot başarısız olmalıdır
  • [SPARK-47713][SQL] [BAĞLAN] Kendi kendine birleştirme hatasını düzeltme
  • [SPARK-47812][BAĞLAN] ForEachBatch çalışanı için SparkSession Serileştirme desteği
  • [SPARK-47828][BAĞLAN] [PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
  • [SPARK-47862][PYTHON] [BAĞLAN] Proto dosyalarının oluşturulmasını düzeltme
  • [SPARK-47800][SQL] TableIdentifier dönüştürme tanımlayıcısı için yeni yöntem oluşturma
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 3 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
  • (Davranış değişikliği) İşlem türleri arasında tutarlı bir davranış sağlamak için, paylaşılan kümelerdeki PySpark UDF'leri artık yalıtımsız ve atanmış kümelerdeki UDF'lerin davranışıyla eşleşir. Bu güncelleştirme, mevcut kodu bozabilecek aşağıdaki değişiklikleri içerir:
    • Dönüş türüne sahip string UDF'ler artık örtük olarak olmayanstring değerleri değerlere string dönüştürmez. Daha önce, dönüş türüne str sahip UDF'ler döndürülen değerin gerçek veri türünden bağımsız olarak dönüş değerini bir str() işlevle sarmalardı.
    • Dönüş türlerine sahip timestamp UDF'ler artık ile timezoneöğesine örtük olarak bir dönüştürme timestamp uygulamaz.
    • Spark kümesi yapılandırmaları artık paylaşılan kümelerdeki spark.databricks.sql.externalUDF.* PySpark UDF'leri için geçerli değildir.
    • Spark kümesi yapılandırması spark.databricks.safespark.externalUDF.plan.limit artık PySpark UDF'lerini etkilemez ve PySpark UDF'leri için sorgu başına 5 UDF'nin Genel Önizleme sınırlamasını kaldırır.
    • Spark kümesi yapılandırması spark.databricks.safespark.sandbox.size.default.mib artık paylaşılan kümelerdeki PySpark UDF'leri için geçerli değildir. Bunun yerine, sistemdeki kullanılabilir bellek kullanılır. PySpark UDF'lerinin belleğini sınırlamak için en düşük değeriyle 100mkullanınspark.databricks.pyspark.udf.isolation.memoryLimit.
  • Veri TimestampNTZ türü artık sıvı kümeleme içeren bir kümeleme sütunu olarak desteklenmektedir. Bkz. Delta tabloları için sıvı kümeleme kullanma.
  • [SPARK-47218][SQL] XML: XML belirteç oluşturucusunda açıklama satırı etiketlerini yoksay
  • [SPARK-46990][SQL] event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltilir
  • [SPARK-47033][SQL] EXECUTE IMMEDIATE USING komutunun oturum değişkeni adlarını tanımaması sorununu düzeltme
  • [SPARK-47368][SQL] ParquetRowConverter'da inferTimestampNTZ yapılandırma denetimini kaldırma
  • [SPARK-47561][SQL] Diğer Ad hakkındaki çözümleyici kuralı sırası sorunlarını düzeltme
  • [SPARK-47638][PS] [BAĞLAN] PS'de sütun adı doğrulamayı atlama
  • [BACKPORT] [[SPARK-46906]]https://issues.apache.org/jira/browse/SPARK-46906) [SS] Akış için durum bilgisi olan işleç değişikliğini denetleme
  • [SPARK-47569][SQL] Değişken karşılaştırmaya izin verme.
  • [SPARK-47241][SQL] ExtractGenerator için kural sırası sorunlarını düzeltme
  • [SPARK-47218] [SQL] XML: SchemaOfXml DROPMALFORMED modunda başarısız olacak şekilde değiştirildi
  • [SPARK-47300][SQL] quoteIfNeeded tırnak tanımlayıcısı basamaklarla başlar
  • [SPARK-47009][SQL] [Harmanlama] Harmanlama için tablo oluşturma desteğini etkinleştirme
  • [SPARK-47322][PYTHON] [BAĞLAN] Sütun adlarını yineleme işlemeyi ile tutarlı hale getirme withColumnsRenamedwithColumnRenamed
  • [SPARK-47544][PYTHON] SparkSession builder yöntemi visual studio code intellisense ile uyumsuz
  • [SPARK-47511][SQL] Kimlikleri yeniden atayarak İfadelerle Kurallı Hale Getirin
  • [SPARK-47385] Seçenek girişleri ile tanımlama grubu kodlayıcılarını düzeltin.
  • [SPARK-47200][SS] Foreach toplu havuz kullanıcı işlevi hatası için hata sınıfı
  • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
  • [SPARK-38708][SQL] Hive Meta Veri Deposu İstemcisini Hive 3.1 için 3.1.3'e yükseltme
  • [SPARK-47305][SQL] Plan hem toplu hem de akışa sahip olduğunda LocalRelation'ın isStreaming bayrağını doğru etiketlemek için PruneFilters'ı düzeltin
  • [SPARK-47380][BAĞLAN] Sunucu tarafında SparkSession'ın aynı olduğundan emin olun
  • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 14.3

Bkz. Databricks Runtime 14.3 LTS.

• 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
  • [SPARK-47543][BAĞLAN] [PYTHON] DataFrame oluşturmaya izin vermek için Pandas DataFrame'den olarak MapType çıkarım dict
  • [SPARK-47694][BAĞLAN] en büyük ileti boyutunu istemci tarafında yapılandırılabilir hale getirme
  • [SPARK-47664][PYTHON] [BAĞLAN] [Cherry-pick-14.3] Sütun adını önbelleğe alınmış şemayla doğrulama
  • [SPARK-47862][PYTHON] [BAĞLAN] Proto dosyalarının oluşturulmasını düzeltme
  • "[SPARK-47543][CONNECT][PYTHON] Inferring dict from MapType Pandas DataFrame to allow DataFrame creation"
  • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
  • [SPARK-47812][BAĞLAN] ForEachBatch çalışanı için SparkSession Serileştirme desteği
  • [SPARK-47818][BAĞLAN] [Cherry-pick-14.3] Analiz isteklerinin performansını geliştirmek için Spark Bağlan Planner'da plan önbelleğini tanıtın
  • [SPARK-47828][BAĞLAN] [PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 6 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
  • (Davranış değişikliği) İşlem türleri arasında tutarlı bir davranış sağlamak için, paylaşılan kümelerdeki PySpark UDF'leri artık yalıtımsız ve atanmış kümelerdeki UDF'lerin davranışıyla eşleşir. Bu güncelleştirme, mevcut kodu bozabilecek aşağıdaki değişiklikleri içerir:
    • Dönüş türüne sahip string UDF'ler artık örtük olarak olmayanstring değerleri değerlere string dönüştürmez. Daha önce, dönüş türüne str sahip UDF'ler döndürülen değerin gerçek veri türünden bağımsız olarak dönüş değerini bir str() işlevle sarmalardı.
    • Dönüş türlerine sahip timestamp UDF'ler artık ile timezoneöğesine örtük olarak bir dönüştürme timestamp uygulamaz.
    • Spark kümesi yapılandırmaları artık paylaşılan kümelerdeki spark.databricks.sql.externalUDF.* PySpark UDF'leri için geçerli değildir.
    • Spark kümesi yapılandırması spark.databricks.safespark.externalUDF.plan.limit artık PySpark UDF'lerini etkilemez ve PySpark UDF'leri için sorgu başına 5 UDF'nin Genel Önizleme sınırlamasını kaldırır.
    • Spark kümesi yapılandırması spark.databricks.safespark.sandbox.size.default.mib artık paylaşılan kümelerdeki PySpark UDF'leri için geçerli değildir. Bunun yerine, sistemdeki kullanılabilir bellek kullanılır. PySpark UDF'lerinin belleğini sınırlamak için en düşük değeriyle 100mkullanınspark.databricks.pyspark.udf.isolation.memoryLimit.
  • Veri TimestampNTZ türü artık sıvı kümeleme içeren bir kümeleme sütunu olarak desteklenmektedir. Bkz. Delta tabloları için sıvı kümeleme kullanma.
  • [SPARK-47511][SQL] Kimlikleri yeniden atayarak İfadelerle Kurallı Hale Getirin
  • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
  • [SPARK-46990][SQL] event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltilir
  • [SPARK-47638][PS] [BAĞLAN] PS'de sütun adı doğrulamayı atlama
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 3 Ocak 2024, Saat 2024
  • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
  • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
  • [SPARK-46954] XML: BufferedReader ile InputStreamReader sarmalama.
  • [SPARK-46655] Yöntemlerde sorgu bağlamı yakalamayı DataFrame atlayın.
  • [SPARK-44815] Fazla RPC'yi önlemek için df.schema dosyasını önbelleğe alın.
  • [SPARK-46952] XML: Bozuk kaydın boyutunu sınırlayın.
  • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
  • [SPARK-46736] protobuf bağlayıcısında boş ileti alanını korur.
  • [SPARK-45182] Sağlama toplamı tarafından belirlenen üst belirsiz aşamayı yeniden denedikten sonra eski aşamadan görev tamamlanmasını yoksayın.
  • [SPARK-46414] javascript içeri aktarmalarını işlemek için prependBaseUri kullanın.
  • [SPARK-46383] Kullanım Ömrünü TaskInfo.accumulables()Azaltarak Sürücü Yığını Kullanımını Azaltın.
  • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
  • [SPARK-46954] XML: Şema dizini aramalarını iyileştirin.
  • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
  • [SPARK-46644] ISZero kullanmak için SQLMetric'de ekleme ve birleştirmeyi değiştirin.
  • [SPARK-46731] Durum deposu sağlayıcısı örneğini durum veri kaynağına göre yönetme - okuyucu.
  • [SPARK-46677] Çözümü düzeltin dataframe["*"] .
  • [SPARK-46610] Tablo oluşturma, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
  • [SPARK-46941] BoyutBasedWindowFunction içeriyorsa üst k hesaplama için pencere grubu sınır düğümü eklenemez.
  • [SPARK-45433] Zaman damgaları belirtilen timestampFormat ile eşleşmediğinde CSV/JSON şema çıkarımı düzeltildi.
  • [SPARK-46930] Avro'da Birleşim türü alanları için özel ön ek desteği ekleyin.
  • [SPARK-46227] 14.3'e geri bağlantı noktası.
  • [SPARK-46822] jdbc türünü jdbc'de katalizör türüne yazarken spark.sql.legacy.charVarcharAsString'e saygı gösterin.
  • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 14.2

Bkz . Databricks Runtime 14.2.

• 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
  • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
  • [SPARK-47828][BAĞLAN] [PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 9 Nisan 2024, Temmuz 2024, Saat 20:00
  • Hiçbiri
  • [SPARK-47309][SQL] [XML] Şema çıkarım birimi testleri ekleme
  • [SPARK-46990][SQL] event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltilir
  • [SPARK-47638][PS] [BAĞLAN] PS'de sütun adı doğrulamayı atlama
  • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
  • [SPARK-38708][SQL] Hive Meta Veri Deposu İstemcisini Hive 3.1 için 3.1.3'e yükseltme
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 8 Şubat 2024, İstanbul
  • Unity Kataloğu'nda gerçekleştirilmiş görünümlerde değişiklik veri akışı (CDF) sorguları desteklenmez ve Unity Kataloğu gerçekleştirilmiş görünümüyle bir CDF sorgusu çalıştırma girişimi bir hata döndürür. Unity Kataloğu akış tabloları, Databricks Runtime 14.1 ve sonraki sürümlerde olmayan tablolarda CDF sorgularınıAPPLY CHANGES destekler. CDF sorguları, Databricks Runtime 14.0 ve önceki sürümlerde Unity Kataloğu akış tablolarında desteklenmez.
  • [SPARK-46930] Avro'da Birleşim türü alanları için özel ön ek desteği ekleyin.
  • [SPARK-46822] jdbc türünü jdbc'de katalizör türüne yazarken spark.sql.legacy.charVarcharAsString'e saygı gösterin.
  • [SPARK-46952] XML: Bozuk kaydın boyutunu sınırlayın.
  • [SPARK-46644] ISZero kullanmak için SQLMetric'de ekleme ve birleştirmeyi değiştirin.
  • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
  • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
  • [SPARK-46941] BoyutBasedWindowFunction içeriyorsa üst k hesaplama için pencere grubu sınır düğümü eklenemez.
  • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
  • [SPARK-46382] XML: için ignoreSurroundingSpacesbelgeyi güncelleştirin.
  • [SPARK-46382] XML: Öğeler arasında kesişen değerleri yakalayın.
  • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
  • Revert [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımı daraltın.
  • [SPARK-46677] Çözümü düzeltin dataframe["*"] .
  • [SPARK-46382] XML: Varsayılan ignoreSurroundingSpaces değeri true olarak ayarlanır.
  • [SPARK-46633] Avro okuyucusu sıfır uzunluklu blokları işleyecek şekilde düzeltildi.
  • [SPARK-45964] Katalizör paketi altındaki XML ve JSON paketindeki özel SQL erişimcisini kaldırın.
  • [SPARK-46581] AccumulatorV2'de isZero ile ilgili açıklamayı güncelleştirin.
  • [SPARK-45912] XSDToSchema API'sinin geliştirilmesi: Bulut depolama erişilebilirliği için HDFS API'sine geçin.
  • [SPARK-45182] Sağlama toplamı tarafından belirlenen üst belirsiz aşamayı yeniden denedikten sonra eski aşamadan görev tamamlanmasını yoksayın.
  • [SPARK-46660] ReattachExecute, SessionHolder'ın canlılığını güncelleştirir.
  • [SPARK-46610] Tablo oluşturma, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
  • [SPARK-46383] Kullanım Ömrünü TaskInfo.accumulables()Azaltarak Sürücü Yığını Kullanımını Azaltın.
  • [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımlarını daraltma.
  • [SPARK-46684] Bağımsız değişkenleri düzgün geçirmek için CoGroup.applyInPandas/Arrow dosyasını düzeltin.
  • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
  • [SPARK-45962] XML yerine kaldır treatEmptyValuesAsNulls ve kullan seçeneğini kullanın nullValue .
  • [SPARK-46541] Kendi kendine birleştirmede belirsiz sütun başvurularını düzeltin.
  • [SPARK-46599] XML: Uyumluluk denetimi için TypeCoercion.findTightestCommonType kullanın.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 17 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
  • shuffle Bir Photon sorgusu tarafından döndürülen açıklama planının düğümü, yayın birleştirme işleminin causedBroadcastJoinBuildOOM=true parçası olan bir karıştırma sırasında bellek yetersiz hatası oluştuğunda bayrağını ekleyecek şekilde güncelleştirilir.
  • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
  • [SPARK-46261]DataFrame.withColumnsRenamed , dikte/harita sıralamasını korumalıdır.
  • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
  • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
  • [SPARK-46484] Yardımcı işlevlerin plan kimliğini korumasını sağlayın resolveOperators .
  • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
  • [SPARK-46609] PartitioningPreservingUnaryExecNode'da üstel patlamadan kaçının.
  • [SPARK-46446] Doğruluk hatasını düzeltmek için bağıntılı OFFSET ile alt sorguları devre dışı bırakın.
  • [SPARK-46152] XML: XML şeması çıkarımına DecimalType desteği ekleyin.
  • [SPARK-46602]allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
  • [SPARK-45814] Bellek sızıntısını önlemek için ArrowConverters.createEmptyArrowBatch çağrısı close() yapın.
  • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
  • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
  • [SPARK-46600] Paylaşılan kodu SqlConf ile SqlApiConf arasında SqlApiConfHelper'a taşıyın.
  • [SPARK-46478] Dize için oracle varchar(255) kullanmak için SPARK-43049'ı geri alın.
  • [SPARK-46417] hive.getTable çağrılırken başarısız olmaz ve throwException false olur.
  • [SPARK-46153] XML: TimestampNTZType desteği ekleyin.
  • [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) ByteArrayDecimalType varsayılan değeriyle Parquet vektörleştirilmiş okuma NPE'sı düzeltildi.
  • [SPARK-46466] Vektörleştirilmiş parke okuyucu asla zaman damgası ntz için yeniden temel almamalıdır.
  • [SPARK-46260]DataFrame.withColumnsRenamed dikte düzenine uygun olmalıdır.
  • [SPARK-46036] hata sınıfı raise_error işlevinden kaldırılıyor.
  • [SPARK-46294] init ile sıfır değerinin semantiğini temizleyin.
  • [SPARK-46173] Tarih ayrıştırma sırasında trimTüm çağrı atlanıyor.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46587] XML: XSD büyük tamsayı dönüştürmeyi düzeltin.
  • [SPARK-46396] Zaman damgası çıkarımı özel durum oluşturmamalıdır.
  • [SPARK-46241] Sonsuz özyinelemeye düşmemesi için hata işleme yordamı düzeltildi.
  • [SPARK-46355] XML: Okuma tamamlandığında InputStreamReader'ı kapatın.
  • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
  • [SPARK-46265] AddArtifact RPC'deki onaylar, bağlantı istemcisini eski kümelerle uyumsuz hale getirir.
  • [SPARK-46308] Özyinelemeli hata işlemeyi yasaklar.
  • [SPARK-46337] öğesinin saklamasını sağlayın CTESubstitutionPLAN_ID_TAG.
• 14 Aralık 2023, Cumartesi
  • [SPARK-46141] spark.sql.legacy.ctePrecedencePolicy için varsayılan değeri DÜZELTİlDİ olarak değiştirin.
  • [SPARK-45730] ReloadingX509TrustManagerSuite'ı daha az flaky yapın.
  • [SPARK-45852] Günlüğe kaydetme sırasında özyineleme hatasıyla düzgün bir şekilde ilgilenin.
  • [SPARK-45808] SQL Özel Durumları için daha iyi hata işleme.
  • [SPARK-45920] sıralı gruplandırma bir kez etkili olmalıdır.
  • "[SPARK-45649] " için OffsetWindowFunctionFramehazırlama çerçevesini birleştirin.
  • [SPARK-45733] Birden çok yeniden deneme ilkesi desteği.
  • [SPARK-45509] Spark Bağlan için df sütun başvurusu davranışı düzeltildi.
  • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
  • [SPARK-45905] Ondalık türler arasındaki en az yaygın tür önce tam sayı basamaklarını tutmalıdır.
  • [SPARK-45136] Ammonite desteği ile ClosureCleaner'ı geliştirin.
  • [SPARK-46255] Karmaşık tür desteği -> dize dönüştürme.
  • [SPARK-45859] ml.functions içindeki UDF nesnelerini gecikmeli hale getirin.
  • [SPARK-46028] Giriş sütununu kabul et yapın Column.__getitem__ .
  • [SPARK-45798] Sunucu tarafı oturum kimliğini onaylama.
  • [SPARK-45892] ve validateExprIdUniquenessöğesini ayrıştırmak validateSchemaOutput için iyileştirici planı doğrulamasını yeniden düzenleme.
  • [SPARK-45844] XML için büyük/küçük harf duyarlılığı uygulama.
  • [SPARK-45770] için Dataframe.dropplanı DataFrameDropColumns tanıtın.
  • [SPARK-44790] XML: Python, connect ve SQL için uygulama ve bağlamaları to_xml.
  • [SPARK-45851] Scala istemcisinde birden çok ilkeyi destekleyin.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
  • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
  • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
  • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
  • [SPARK-45852] Spark Bağlan için Python istemcisi artık metin dönüştürme sırasında özyineleme hataları yakalıyor.
  • [SPARK-45808] SQL özel durumları için geliştirilmiş hata işleme.
  • [SPARK-45920]GROUP BY sıra, sıranın yerini almaz.
  • [SPARK-45649] öğesini geri döndür.
  • [SPARK-45733] Birden çok yeniden deneme ilkesi için destek eklendi.
  • [SPARK-45509] Spark Bağlan için sütun başvurusu davranışı düzeltildidf.
  • [SPARK-45655] içinde AggregateFunctionsCollectMetricsbelirleyici olmayan ifadelere izin ver.
  • [SPARK-45905] Ondalık türleri arasındaki en az yaygın tür artık önce tam sayı basamaklarını korur.
  • [SPARK-45136] Ammonite desteğiyle geliştirin ClosureCleaner .
  • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
  • [SPARK-46028]Column.__getitem__ giriş sütunlarını kabul eder.
  • [SPARK-45798] Sunucu tarafı oturum kimliğini onaylama.
  • [SPARK-45892] ve validateExprIdUniquenessöğesini ayrıştırmak validateSchemaOutput için iyileştirici planı doğrulamasını yeniden düzenleme.
  • [SPARK-45844] XML için büyük/küçük harf duyarlılığı uygulama.
  • [SPARK-45770] için Dataframe.dropile DataFrameDropColumns sütun çözünürlüğü düzeltildi.
  • [SPARK-44790] Python, Spark Bağlan ve SQL için uygulama ve bağlamalar eklendito_xml.
  • [SPARK-45851] Scala istemcisinde birden çok ilke için destek eklendi.
  • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 14.1

Bkz . Databricks Runtime 14.1.

• 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
  • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
  • [SPARK-47828][BAĞLAN] [PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 9 Nisan 2024, Temmuz 2024, Saat 20:00
  • Hiçbiri
  • [SPARK-47638][PS] [BAĞLAN] PS'de sütun adı doğrulamayı atlama
  • [SPARK-38708][SQL] Hive Meta Veri Deposu İstemcisini Hive 3.1 için 3.1.3'e yükseltme
  • [SPARK-47309][SQL] [XML] Şema çıkarım birimi testleri ekleme
  • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
  • [SPARK-46990][SQL] event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltilir
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 8 Şubat 2024, İstanbul
  • Unity Kataloğu'nda gerçekleştirilmiş görünümlerde değişiklik veri akışı (CDF) sorguları desteklenmez ve Unity Kataloğu gerçekleştirilmiş görünümüyle bir CDF sorgusu çalıştırma girişimi bir hata döndürür. Unity Kataloğu akış tabloları, Databricks Runtime 14.1 ve sonraki sürümlerde olmayan tablolarda CDF sorgularınıAPPLY CHANGES destekler. CDF sorguları, Databricks Runtime 14.0 ve önceki sürümlerde Unity Kataloğu akış tablolarında desteklenmez.
  • [SPARK-46952] XML: Bozuk kaydın boyutunu sınırlayın.
  • [SPARK-45182] Sağlama toplamı tarafından belirlenen üst belirsiz aşamayı yeniden denedikten sonra eski aşamadan görev tamamlanmasını yoksayın.
  • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
  • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
  • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
  • [SPARK-45582] Çıkış modu akış toplama içinde işleme çağrıldıktan sonra depolama örneğinin kullanılmadığından emin olun.
  • [SPARK-46930] Avro'da Birleşim türü alanları için özel ön ek desteği ekleyin.
  • [SPARK-46941] BoyutBasedWindowFunction içeriyorsa üst k hesaplama için pencere grubu sınır düğümü eklenemez.
  • [SPARK-46396] Zaman damgası çıkarımı özel durum oluşturmamalıdır.
  • [SPARK-46822] jdbc türünü jdbc'de katalizör türüne yazarken spark.sql.legacy.charVarcharAsString'e saygı gösterin.
  • [SPARK-45957] Yürütülemeyen komutlar için yürütme planı oluşturmaktan kaçının.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
  • [SPARK-46684] Bağımsız değişkenleri düzgün geçirmek için CoGroup.applyInPandas/Arrow dosyasını düzeltin.
  • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
  • [SPARK-45498] İzleme: Eski aşama girişimlerinden görev tamamlanmasını yoksayın.
  • [SPARK-46382] XML: için ignoreSurroundingSpacesbelgeyi güncelleştirin.
  • [SPARK-46383] Kullanım Ömrünü TaskInfo.accumulables()Azaltarak Sürücü Yığını Kullanımını Azaltın.
  • [SPARK-46382] XML: Varsayılan ignoreSurroundingSpaces değeri true olarak ayarlanır.
  • [SPARK-46677] Çözümü düzeltin dataframe["*"] .
  • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
  • [SPARK-46633] Avro okuyucusu sıfır uzunluklu blokları işleyecek şekilde düzeltildi.
  • [SPARK-45912] XSDToSchema API'sinin geliştirilmesi: Bulut depolama erişilebilirliği için HDFS API'sine geçin.
  • [SPARK-46599] XML: Uyumluluk denetimi için TypeCoercion.findTightestCommonType kullanın.
  • [SPARK-46382] XML: Öğeler arasında kesişen değerleri yakalayın.
  • [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımlarını daraltma.
  • [SPARK-46610] Tablo oluşturma, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
  • [SPARK-45964] Katalizör paketi altındaki XML ve JSON paketindeki özel SQL erişimcisini kaldırın.
  • Revert [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımı daraltın.
  • [SPARK-45962] XML yerine kaldır treatEmptyValuesAsNulls ve kullan seçeneğini kullanın nullValue .
  • [SPARK-46541] Kendi kendine birleştirmede belirsiz sütun başvurularını düzeltin.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 17 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
  • shuffle Bir Photon sorgusu tarafından döndürülen açıklama planının düğümü, yayın birleştirme işleminin causedBroadcastJoinBuildOOM=true parçası olan bir karıştırma sırasında bellek yetersiz hatası oluştuğunda bayrağını ekleyecek şekilde güncelleştirilir.
  • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
  • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
  • [SPARK-46417] hive.getTable çağrılırken başarısız olmaz ve throwException false olur.
  • [SPARK-46484] Yardımcı işlevlerin plan kimliğini korumasını sağlayın resolveOperators .
  • [SPARK-46153] XML: TimestampNTZType desteği ekleyin.
  • [SPARK-46152] XML: XML şeması çıkarımına DecimalType desteği ekleyin.
  • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
  • [SPARK-46478] Dize için oracle varchar(255) kullanmak için SPARK-43049'ı geri alın.
  • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
  • [SPARK-46337] öğesinin saklamasını sağlayın CTESubstitutionPLAN_ID_TAG.
  • [SPARK-46466] Vektörleştirilmiş parke okuyucu asla zaman damgası ntz için yeniden temel almamalıdır.
  • [SPARK-46587] XML: XSD büyük tamsayı dönüştürmeyi düzeltin.
  • [SPARK-45814] Bellek sızıntısını önlemek için ArrowConverters.createEmptyArrowBatch çağrısı close() yapın.
  • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
  • [SPARK-46602]allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
  • [SPARK-46173] Tarih ayrıştırma sırasında trimTüm çağrı atlanıyor.
  • [SPARK-46355] XML: Okuma tamamlandığında InputStreamReader'ı kapatın.
  • [SPARK-46600] Paylaşılan kodu SqlConf ile SqlApiConf arasında SqlApiConfHelper'a taşıyın.
  • [SPARK-46261]DataFrame.withColumnsRenamed , dikte/harita sıralamasını korumalıdır.
  • [SPARK-46056] ByteArrayDecimalType varsayılan değeriyle Parquet vektörleştirilmiş okuma NPE'sı düzeltildi.
  • [SPARK-46260]DataFrame.withColumnsRenamed dikte düzenine uygun olmalıdır.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
  • [SPARK-46609] PartitioningPreservingUnaryExecNode'da üstel patlamadan kaçının.
  • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
• 14 Aralık 2023, Cumartesi
  • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
  • [SPARK-45509] Spark Bağlan için df sütun başvurusu davranışı düzeltildi.
  • [SPARK-45844] XML için büyük/küçük harf duyarlılığı uygulama.
  • [SPARK-46141] spark.sql.legacy.ctePrecedencePolicy için varsayılan değeri DÜZELTİlDİ olarak değiştirin.
  • [SPARK-46028] Giriş sütununu kabul et yapın Column.__getitem__ .
  • [SPARK-46255] Karmaşık tür desteği -> dize dönüştürme.
  • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
  • [SPARK-45433] Zaman damgaları belirtilen timestampFormat ile eşleşmediğinde CSV/JSON şema çıkarımı düzeltildi.
  • [SPARK-45316] ve NewHadoopRDDöğesine HadoopRDD yeni parametreler ignoreCorruptFiles/ignoreMissingFiles ekleyin.
  • [SPARK-45852] Günlüğe kaydetme sırasında özyineleme hatasıyla düzgün bir şekilde ilgilenin.
  • [SPARK-45920] sıralı gruplandırma bir kez etkili olmalıdır.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
  • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
  • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
  • Otomatik Yükleyici veya Akış Tabloları kullanılarak CSV verileri alınırken, büyük CSV dosyaları artık bölünebilir ve hem şema çıkarımı hem de veri işleme sırasında paralel olarak işlenebilir.
  • [SPARK-45892] ve validateExprIdUniquenessöğesini ayrıştırmak validateSchemaOutput için iyileştirici planı doğrulamasını yeniden düzenleme.
  • [SPARK-45620] Python UDF ile ilgili API'ler artık camelCase kullanıyor.
  • [SPARK-44790] Python, Spark Bağlan ve SQL için uygulama ve bağlamalar eklendito_xml.
  • [SPARK-45770] için Dataframe.dropile DataFrameDropColumns sütun çözünürlüğü düzeltildi.
  • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
  • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
  • [SPARK-44784] Hermetik SBT testi yapıldı.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 10 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
  • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
  • [SPARK-45250] Dinamik ayırma kapatıldığında yarn kümeleri için aşama düzeyinde görev kaynak profili desteği eklendi.
  • [SPARK-44753] PySpark SQL için XML DataFrame okuyucu ve yazıcı eklendi.
  • [SPARK-45396] Modül için PySpark.ml.connect bir belge girdisi eklendi.
  • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
  • [SPARK-45541] SSLFactory eklendi.
  • [SPARK-45577] Adlandırılmış bağımsız değişkenlerden katlanmış değerleri geçirmek için düzeltildi UserDefinedPythonTableFunctionAnalyzeRunner .
  • [SPARK-45562] 'rowTag' gerekli bir seçenek haline getirildi.
  • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
  • [SPARK-43380] Avro okumada yavaşlama düzeltildi.
  • [SPARK-45430]FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
  • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
  • [SPARK-45386] Yanlış 0 döndürdüğü StorageLevel.NONE bir sorun düzeltildi.
  • [SPARK-44219] İyileştirme yeniden yazma işlemleri için kural başına doğrulama denetimleri eklendi.
  • [SPARK-45543] Diğer pencere işlevlerinin derece benzeri işlevlerle aynı pencere çerçevesine sahip olmadığı durumlarda soruna neden olan bir sorun InferWindowGroupLimit düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 27 Eylül 2023, Cumartesi
  • [SPARK-44823] 23.9.1 sürümüne güncelleştirildi ve hatalı denetim düzeltildi black .
  • [SPARK-45339] PySpark artık yeniden denenen hataları günlüğe kaydeder.
  • Geri döndür [SPARK-42946] Değişken değiştirmeleri altında iç içe yerleştirilmiş hassas veriler düzeltildi.
  • [SPARK-44551] OSS ile eşitlenecek açıklamalar düzenlendi.
  • [SPARK-45360] Spark oturum oluşturucusu' ndan SPARK_REMOTEbaşlatmayı destekler.
  • [SPARK-45279] Tüm mantıksal planlara eklenir plan_id .
  • [SPARK-45425] için MsSqlServerDialectöğesine eşlendi.TINYINTShortType
  • [SPARK-45419] Sst dosya kimliklerinin yeniden kullanılmaması rocksdb için daha büyük sürümlerin dosya sürümü eşleme girdisi kaldırıldı.
  • [SPARK-45488] öğesindeki rowTag değer için destek eklendi.
  • [SPARK-42205] Olay günlüklerindeki başlatma olaylarının Task/StageJsonProtocol günlüğü Accumulables kaldırıldı.
  • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
  • [SPARK-45256]DurationWriter ilk kapasiteden daha fazla değer yazarken başarısız oluyor.
  • [SPARK-43380] Performans regresyonu oluşturmadan veri türü dönüştürme sorunları düzeltildi Avro .
  • [SPARK-45182] Aşama çıktısı belirsiz olduğunda tüm aşama görevlerinin yeniden denenebilmesi için eşleme aşamasını geri döndürme desteği eklendi.
  • [SPARK-45399] kullanılarak newOptionXML Seçenekleri eklendi.
  • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 13.3 LTS

Bkz . Databricks Runtime 13.3 LTS.

• 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
  • [SPARK-44653][SQL] Önemsiz olmayan DataFrame birleşimleri önbelleğe almayı kesmemelidir
  • Çeşitli hata düzeltmeleri.
• 9 Nisan 2024, Temmuz 2024, Saat 20:00
  • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 8 Şubat 2024, İstanbul
  • Unity Kataloğu'nda gerçekleştirilmiş görünümlerde değişiklik veri akışı (CDF) sorguları desteklenmez ve Unity Kataloğu gerçekleştirilmiş görünümüyle bir CDF sorgusu çalıştırma girişimi bir hata döndürür. Unity Kataloğu akış tabloları, Databricks Runtime 14.1 ve sonraki sürümlerde olmayan tablolarda CDF sorgularınıAPPLY CHANGES destekler. CDF sorguları, Databricks Runtime 14.0 ve önceki sürümlerde Unity Kataloğu akış tablolarında desteklenmez.
  • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
  • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
  • [SPARK-45582] Çıkış modu akış toplama içinde işleme çağrıldıktan sonra depolama örneğinin kullanılmadığından emin olun.
  • [SPARK-46396] Zaman damgası çıkarımı özel durum oluşturmamalıdır.
  • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
  • [SPARK-46941] BoyutBasedWindowFunction içeriyorsa üst k hesaplama için pencere grubu sınır düğümü eklenemez.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
  • [SPARK-46610] Tablo oluşturma, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
  • [SPARK-46383] TaskInfo.accumulables() dosyasının Kullanım Süresini Azaltarak Sürücü Yığını Kullanımını Azaltın.
  • [SPARK-46600] Paylaşılan kodu SqlConf ile SqlApiConf arasında SqlApiConfHelper'a taşıyın.
  • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
  • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 17 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
  • shuffle Bir Photon sorgusu tarafından döndürülen açıklama planının düğümü, yayın birleştirme işleminin causedBroadcastJoinBuildOOM=true parçası olan bir karıştırma sırasında bellek yetersiz hatası oluştuğunda bayrağını ekleyecek şekilde güncelleştirilir.
  • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
  • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
  • [SPARK-46173] Tarih ayrıştırma sırasında trimTüm çağrı atlanıyor.
  • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
  • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
  • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
  • [SPARK-46609] PartitioningPreservingUnaryExecNode'da üstel patlamadan kaçının.
  • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
  • [SPARK-46602]allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
  • [SPARK-46249] Arka plan işlemleriyle yarışı önlemek için RocksDB ölçümlerini almak için örnek kilidi gerektir.
  • [SPARK-46417] hive.getTable çağrılırken başarısız olmaz ve throwException false olur.
  • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
  • [SPARK-46478] Dize için oracle varchar(255) kullanmak için SPARK-43049'ı geri alın.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
  • [SPARK-46056] ByteArrayDecimalType varsayılan değeriyle Parquet vektörleştirilmiş okuma NPE'sı düzeltildi.
  • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
  • [SPARK-46466] Vektörleştirilmiş parke okuyucu asla zaman damgası ntz için yeniden temel almamalıdır.
• 14 Aralık 2023, Cumartesi
  • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
  • [SPARK-45920] sıralı gruplandırma bir kez etkili olmalıdır.
  • [SPARK-44582] Temizlendiyse SMJ'de yineleyiciyi atlayın.
  • [SPARK-45433] Zaman damgaları belirtilen timestampFormat ile eşleşmediğinde CSV/JSON şema çıkarımı düzeltildi.
  • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
  • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
  • Spark-snowflake bağlayıcısı 2.12.0 sürümüne yükseltilir.
  • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
  • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
  • [SPARK-45892] ve validateExprIdUniquenessöğesini ayrıştırmak validateSchemaOutput için iyileştirici planı doğrulamasını yeniden düzenleme.
  • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
  • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 10 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
  • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
  • Unity Kataloğu Akış Tabloları ve Gerçekleştirilmiş Görünümler'de veri akışı sorguları, hata iletilerini görüntüleyecek şekilde değiştirildi.
  • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
  • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
  • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
  • [SPARK-45541] eklendi SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
  • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
  • [SPARK-44219] İyileştirme yeniden yazma işlemleri için kural başına ek doğrulamalar eklendi.
  • [SPARK-45543] Diğer pencere işlevlerinin derece benzeri işlevlerle aynı pencere çerçevesine sahip olmadığı durumlarda soruna neden olan bir sorun InferWindowGroupLimit düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 23 Ekim 2023, Cumartesi
  • [SPARK-45256] İlk kapasiteden daha fazla değer yazılırken başarısız olması DurationWriter sorunu düzeltildi.
  • [SPARK-45419] Daha büyük sürümlerin rocksdb sst dosya sürümü eşleme girdilerini kaldırarak farklı rocksdb bir örnekteki dosyaları yeniden kullanmaktan kaçının.
  • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
  • Çeşitli düzeltmeler.
• 13 Ekim 2023, Cumartesi
  • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
  • İşlev array_insert , pozitif ve negatif dizinler için 1 tabanlıyken, daha önce negatif dizinler için 0 tabanlıydı. Şimdi -1 dizini için giriş dizilerinin sonuna yeni bir öğe ekler. Önceki davranışı geri yüklemek için olarak trueayarlayınspark.sql.legacy.negativeIndexInArrayInsert.
  • Otomatik Yükleyici ile CSV şeması çıkarımı sırasında etkinleştirildiğinde ignoreCorruptFiles bozuk dosyaları yoksaymamayla ilgili bir sorun düzeltildi.
  • [SPARK-42946] öğesini geri döndür.
  • [SPARK-42205] JSON protokolü, bir görevde veya aşama başlangıç olaylarında Biriktirilebilirler günlüğünü kaldıracak şekilde güncelleştirildi.
  • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
  • [SPARK-45316] ve ignoreMissingFilesHadoopRDD öğesine yeni parametreler ignoreCorruptFiles ve NewHadoopRDDekleyin.
  • [SPARK-44740] Yapıtlar için meta veri değerleri düzeltildi.
  • [SPARK-45360] Spark oturum oluşturucu yapılandırmasından SPARK_REMOTEbaşlatıldı.
  • [SPARK-44551] OSS ile eşitlenecek açıklamalar düzenlendi.
  • [SPARK-45346] Parquet şema çıkarımı artık şema birleştirildiğinde büyük/küçük harfe duyarlı bayraklara saygı gösterir.
  • [SPARK-44658]ShuffleStatus.getMapStatus şimdi yerine Some(null)döndürürNone.
  • [SPARK-44840] Negatif dizinler için 1 tabanlı yapıldı array_insert() .
• 14 Eylül 2023, Cumartesi
  • [SPARK-44873] Hive istemcisinde iç içe sütunlar ile desteği alter view eklendi.
  • [SPARK-44878] Önbellekte ekleme özel durumunun tamamlanmasını önlemek için yazma yöneticisi için RocksDB katı sınır kapatıldı.
• 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • dbutils cp komutu (dbutils.fs.cp) daha hızlı kopyalama için iyileştirilmiştir. Bu geliştirmeyle, dosya boyutuna bağlı olarak kopyalama işlemleri 100'e kadar daha az zaman alabilir. Bu özellik, Unity Katalog Birimleri ve DBFS bağlamaları dahil olmak üzere Databricks'te erişilebilen tüm Bulutlarda ve dosya sistemlerinde kullanılabilir.
  • [SPARK-44455] Sonuçta arka uçları olan tırnak tanımlayıcıları SHOW CREATE TABLE .
  • [SPARK-44763] İkili aritmetikte bir dizeyi aralıklı çift olarak gösteren bir sorun düzeltildi.
  • [SPARK-44871] Sabit percentile_disc davranış.
  • [SPARK-44714] Sorgular ile ilgili LCA çözümlemesi kısıtlamasını kolaylaştırma.
  • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
  • [SPARK-44505] DSv2 taramasında sütun desteği için geçersiz kılma eklendi.
  • [SPARK-44479] Boş bir yapı türünden protobuf dönüştürmesi düzeltildi.
  • [SPARK-44718] Bellek modu yapılandırması varsayılan olarak yapılandırma değeriyle OffHeapMemoryMode eşleşColumnVector.
  • [SPARK-42941] Python'da için StreamingQueryListener destek eklendi.
  • [SPARK-44558] PySpark'ın Spark Bağlan Günlük Düzeyini dışarı aktarın.
  • [SPARK-44464] İlk sütun değeri Null olan çıkış satırlarına düzeltildi applyInPandasWithStatePythonRunner .
  • [SPARK-44643] Alan boş bir satır olduğunda düzeltildi Row.__repr__ .
  • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 12.2 LTS

Bkz . Databricks Runtime 12.2 LTS.

• 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 9 Nisan 2024, Temmuz 2024, Saat 20:00
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 13 Şubat 2024, Saat 2024, Şubat 2024, Saat 20:00
  • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
  • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
  • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 25 Aralık 2023, Cumartesi
  • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
  • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
  • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
  • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
  • [SPARK-46417] hive.getTable çağrılırken başarısız olmaz ve throwException false olur.
  • [SPARK-43067] Kafka bağlayıcısında hata sınıfı kaynak dosyasının konumunu düzeltin.
  • [SPARK-46249] Arka plan işlemleriyle yarışı önlemek için RocksDB ölçümlerini almak için örnek kilidi gerektir.
  • [SPARK-46602]allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
  • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
  • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
  • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
  • [SPARK-42852] NamedLambdaVariable ile ilgili değişiklikleri EquivalentExpressions'tan geri alın.
• 14 Aralık 2023, Cumartesi
  • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
  • [SPARK-44582] Temizlendiyse SMJ'de yineleyiciyi atlayın.
  • [SPARK-45920] sıralı gruplandırma bir kez etkili olmalıdır.
  • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
  • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
  • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
  • [SPARK-42205] ve başlatma olaylarında StageTask günlük akümülalatörleri kaldırıldı.
  • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
  • [SPARK-43718] Birleştirmelerdeki USING anahtarlar için null atanabilirlik düzeltildi.
  • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
  • [SPARK-43973] Yapılandırılmış Akış kullanıcı arabirimi artık başarısız sorguları doğru şekilde görüntülüyor.
  • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
  • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 14 Kasım 2023, Saat 2023
  • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
  • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
  • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
  • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
  • [SPARK-45541] eklendi SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
  • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 24 Ekim 2023, Cumartesi
  • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
  • Çeşitli düzeltmeler.
• 13 Ekim 2023, Cumartesi
  • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
  • [SPARK-42553] Aralık sonrasında en az bir zaman birimi olduğundan emin olun.
  • [SPARK-45346] Parquet şema çıkarımı, şema birleştirildiğinde büyük/küçük harfe duyarlı bayrağı dikkate alır.
  • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
  • [SPARK-45084]StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
• 12 Eylül 2023, Cumartesi
  • [SPARK-44873] Hive istemcisinde iç içe sütunlar ile desteği alter view eklendi.
  • [SPARK-44718] Bellek modu yapılandırması varsayılan olarak yapılandırma değeriyle OffHeapMemoryMode eşleşColumnVector.
  • [SPARK-43799] PySpark Protobuf API'sine tanımlayıcı ikili seçeneği eklendi.
  • Çeşitli düzeltmeler.
• 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • [SPARK-44485] İyileştirilmiş TreeNode.generateTreeString.
  • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
  • [11.3-13.0] [[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) Sabit percentile_disc davranış.
  • [SPARK-44714] Sorgular ile ilgili LCA çözümlemesi kısıtlaması kolaylaştırıldı.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • [SPARK-44504] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
  • [SPARK-44464] İlk sütun değeri olan Null çıkış satırlarına düzeltildiapplyInPandasWithStatePythonRunner.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
  • Diğer dış veya yönetilen depolama konumuyla çakıştırılan bir depolama konumu yolu için çağrıldığında döndürülen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP bir sorun dbutils.fs.ls() düzeltildi.
  • [SPARK-44199]CacheManager artık gereksiz yere yenilenmez fileIndex .
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 24 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
  • [SPARK-44337] Herhangi bir alanın ayrıştırma hatalarına neden olduğu Any.getDefaultInstance bir sorun düzeltildi.
  • [SPARK-44136] içindeki sürücü FlatMapGroupsWithStateExecyerine yürütücüde gerçekleştirilmesine neden olan StateManager bir sorun düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
  • Fotoğraflandı approx_count_distinct.
  • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
  • [SPARK-43779]ParseToDate şimdi ana iş parçacığına yüklenir EvalMode .
  • [SPARK-43156][SPARK-43098] Kapalı olarak genişletilmiş skaler alt sorgu sayısı hata testi decorrelateInnerQuery .
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 2 Haziran 2023, Ağustos 2023
  • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
  • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirmelerin performansını geliştirin.
  • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
  • [SPARK-43404] Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
  • [SPARK-43413][11.3-13.0] Sabit IN alt sorgu ListQuery null atanabilirliği.
  • [SPARK-43522] Dizi diziniyle yapı sütun adı oluşturma düzeltildi.
  • [SPARK-43541] İfadeleri ve eksik sütunları çözümlemek için tüm Project etiketleri yayma.
  • [SPARK-43527] PySpark'ta düzeltildi catalog.listCatalogs .
  • [SPARK-43123] İç alan meta verileri artık kataloglara sızmaz.
  • [SPARK-43340] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.
  • [SPARK-42444]DataFrame.drop artık yinelenen sütunları doğru şekilde işler.
  • [SPARK-42937]PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
  • [SPARK-43286] Rastgele IV'ler oluşturmak için CBC modu güncelleştirildi aes_encrypt .
  • [SPARK-43378] içindeki deserializeFromChunkedBufferakış nesnelerini düzgün bir şekilde kapatın.
• 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00
  • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu iş boyutunu önceden düşürecek şekilde analiz edilir ve son güvenlik ağı olarak görev yeniden denemelerinde yeniden indirilir.
  • Bir Avro dosyası yalnızca failOnUnknownFields\ seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns\ ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata atmak yerine okunur null\ . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn\ önerir.
  • Otomatik Yükleyici şimdi aşağıdakileri yapar.
  • • Bu veri türlerinden biri sağlanmışsa , Shortve türlerini doğru okur ve Byte artık kurtarmazInteger, ancak Avro dosyası diğer iki türden birini önerir.
  • • Bozuk tarihlerin oluşmasını önlemek için okuma aralığı türlerini tarih veya saat damgası türleri olarak önler.
  • • Okuma Decimal türlerini daha düşük duyarlıkla önler.
  • [SPARK-43172] Spark connect istemcisinden konağı ve belirteci kullanıma sunar.
  • [SPARK-43293]__qualified_access_only normal sütunlarda yoksayılır.
  • [SPARK-43098] Skaler alt sorgu yan tümcesine göre gruplandırıldığında düzeltilen doğruluk COUNT hatası.
  • [SPARK-43085] Çok parçalı tablo adları için sütun DEFAULT atama desteği.
  • [SPARK-43190]ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
  • [SPARK-43192] Kullanıcı aracısı karakter kümesi doğrulaması kaldırıldı.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz
  • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine okunur null . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn önerir.
  • Otomatik Yükleyici artık bu veri türlerinden biri sağlanmışsa , Shortve türlerini doğru şekilde okur ve Byte artık kurtarmazInteger. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kaydedilmesine neden olur.
  • [SPARK-43009] Sabitlerle Any parametreli sql()
  • [SPARK-42406] Alanı bırakarak Protobuf özyinelemeli alanlarını sonlandırma
  • [SPARK-43038] CBC modunu destekleyen aes_encrypt()/aes_decrypt()
  • [SPARK-42971] Çalışan işleyicisi WorkDirCleanup olayı olduğunda null olduğunda appDirs yazdırılacak workdir şekilde değiştirin
  • [SPARK-43018] Zaman damgası değişmez değerleri olan INSERT komutları için hata düzeltildi
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 11 Nisan 2023, Saat 2023, Temmuz 2023, Saat 20:00
  • komutunda eski veri kaynağı biçimlerini destekleyin SYNC .
  • Depo dışındaki not defterlerinde %autoreload davranışındaki bir sorunu düzeltir.
  • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
  • [SPARK-42928] Eşitlenmiş yapar resolvePersistentFunction .
  • [SPARK-42936] Yan tümcesi doğrudan alt toplam tarafından çözümlenebildiğinde LCan sorununu düzeltir.
  • [SPARK-42967] Aşama iptal edildikten sonra bir görev başlatıldığında düzeltilir SparkListenerTaskStart.stageAttemptId .
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat

  • Databricks SQL artık Delta Lake tablolarının sütunları için tablo oluşturma zamanında veya sonrasında varsayılan değerleri belirtmeyi destekliyor. Sonraki INSERT, UPDATE, DELETEve MERGE komutları, açık DEFAULT anahtar sözcüğünü kullanarak herhangi bir sütunun varsayılan değerine başvurabilir. Buna ek olarak, herhangi INSERT bir atamanın hedef tablodan daha az sütun içeren açık bir listesi varsa, karşılık gelen sütun varsayılan değerleri kalan sütunlar (veya varsayılan belirtilmemişse NULL) ile değiştirilir.

    Örneğin:

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    \> 0, 2023-03-28
    1, 2023-03-28z
    

  • Otomatik Yükleyici artık denetim noktasının hızlı çalışan Otomatik Yükleyici akışları için düzenli olarak temizlenebildiğini denetlemek üzere Trigger.AvailableNow akışlar için en az bir zaman uyumlu RocksDB günlük temizleme işlemi başlatıyor. Bu, bazı akışların kapanmadan önce daha uzun sürmesine neden olabilir, ancak gelecekteki çalıştırmalarda depolama maliyetlerinden tasarruf etmenizi ve Otomatik Yükleyici deneyimini geliştirmenizi sağlar.

  • Artık kullanarak bir Delta tablosunu tablo özelliklerine DeltaTable.addFeatureSupport(feature_name)destek eklemek için değiştirebilirsiniz.

  • [SPARK-42794] Yapı Akışı'nda RocksDB durum depounu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin

  • [SPARK-42521] Kullanıcı tarafından belirtilen listelerde hedef tablodan daha az sütun bulunan INSERT'ler için NUL'ler ekleme

  • [SPARK-42702][SPARK-42623] Alt sorgu ve CTE'de parametreli sorguyu destekleme

  • [SPARK-42668] HDFSStateStoreProvider durağında sıkıştırılmış akışı kapatmaya çalışırken özel durumu yakalama

  • [SPARK-42403] JsonProtocol null JSON dizelerini işlemelidir

• 8 Mart 2023, Saat 2023
  • "Yapılandırma başlatılamadı" hata iletisi, müşteri için daha fazla bağlam sağlayacak şekilde geliştirilmiştir.
  • Tablo özelliğini kullanarak Delta tablosuna özellik eklemek için bir terminoloji değişikliği vardır. Tercih edilen söz dizimi artık 'delta.feature.featureName'='supported' yerine 'delta.feature.featureName'='enabled'kullanılır. Geriye dönük uyumluluk için kullanmaya 'delta.feature.featureName'='enabled' devam eder ve çalışmaya devam eder.
  • Bu sürümden başlayarak, varsayılan okuyucu ve yazıcı sürümlerini ve varsayılan olarak desteklenen tablo özelliklerini içeren protokolle ilgili Spark yapılandırmalarını yoksaymak için bir tablo oluşturmak/başka bir tablo özelliğiyle delta.ignoreProtocolDefaults değiştirmek mümkündür.
  • [SPARK-42070] Mask işlevinin bağımsız değişkeninin varsayılan değerini -1 yerine NULL olarak değiştirin
  • [SPARK-41793] Önemli ondalıklarda aralık yan tümcesi tarafından tanımlanan pencere çerçeveleri için yanlış sonuç
  • [SPARK-42484] UnsafeRowUtils better hata iletisi
  • [SPARK-42516] Görünüm oluştururken her zaman oturum saat dilimi yapılandırmasını yakalayın
  • [SPARK-42635] TimestampAdd ifadesini düzeltin.
  • [SPARK-42622] Değerlerde değiştirme devre dışı
  • [SPARK-42534] DB2Dialect Limit yan tümcesini düzeltme
  • [SPARK-42121] Yerleşik tablo değerli posexplode, posexplode_outer, json_tuple ve yığın işlevleri ekleme
  • [SPARK-42045] ANSI SQL modu: Yuvarlama/Yuvarlama küçük/küçük/önemli tamsayı taşmasında hata döndürmelidir
  • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 11.3 LTS

Bkz . Databricks Runtime 11.3 LTS.

• 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 9 Nisan 2024, Temmuz 2024, Saat 20:00
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 13 Şubat 2024, Saat 2024, Şubat 2024, Saat 20:00
  • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
  • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 25 Aralık 2023, Cumartesi
  • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
  • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
  • [SPARK-46602]allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
  • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
  • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
  • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
  • [SPARK-46249] Arka plan işlemleriyle yarışı önlemek için RocksDB ölçümlerini almak için örnek kilidi gerektir.
  • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
• 14 Aralık 2023, Cumartesi
  • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
  • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
  • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
  • [SPARK-43973] Yapılandırılmış Akış kullanıcı arabirimi artık başarısız sorguları doğru şekilde görüntülüyor.
  • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
  • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
  • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
  • [SPARK-43718] Birleştirmelerdeki USING anahtarlar için null atanabilirlik düzeltildi.
  • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 14 Kasım 2023, Saat 2023
  • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
  • [SPARK-42205] Aşama ve Görev başlatma olaylarında günlük akümülalatörleri kaldırıldı.
  • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
  • Geri döndür [SPARK-33861].
  • [SPARK-45541] eklendi SSLFactory.
  • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
  • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
  • [SPARK-45430]FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
  • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 24 Ekim 2023, Cumartesi
  • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
  • Çeşitli düzeltmeler.
• 13 Ekim 2023, Cumartesi
  • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
  • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
  • [SPARK-45084]StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
  • [SPARK-45346] Parquet şema çıkarımı artık bir şemayı birleştirirken büyük/küçük harfe duyarlı bayrağı dikkate alır.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 10 Eylül 2023, Cumartesi
  • Çeşitli düzeltmeler.
• 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
  • [SPARK-44871][11.3-13.0] Sabit percentile_disc davranış.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • [SPARK-44485] İyileştirilmiş TreeNode.generateTreeString.
  • [SPARK-44504] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
  • [SPARK-44464] İlk sütun değeri olan Null çıkış satırlarına düzeltildiapplyInPandasWithStatePythonRunner.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 27 Temmuz 2023, Saat 2023, Temmuz 2023, Saat 20:00
  • Diğer dış veya yönetilen depolama konumuyla çakıştırılan bir depolama konumu yolu için çağrıldığında döndürülen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP bir sorun dbutils.fs.ls() düzeltildi.
  • [SPARK-44199]CacheManager artık gereksiz yere yenilenmez fileIndex .
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 24 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
  • [SPARK-44136] StateManager'ın FlatMapGroupsWithStateExec sürücüsü yerine yürütücüde gerçekleştirilmesine neden olan bir sorun düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
  • Fotoğraflandı approx_count_distinct.
  • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
  • [SPARK-43779]ParseToDate şimdi ana iş parçacığına yüklenir EvalMode .
  • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleme
  • [SPARK-43156][SPARK-43098] Kapalı olarak genişletilmiş skaler alt sorgu sayısı hata testi decorrelateInnerQuery .
  • [SPARK-43098] Skaler alt sorguda group by yan tümcesi olduğunda doğruluk COUNT hatası düzeltildi
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 2 Haziran 2023, Ağustos 2023
  • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
  • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirmelerin performansını geliştirin.
  • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
  • [SPARK-43404]Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
  • [SPARK-43527] PySpark'ta düzeltildi catalog.listCatalogs .
  • [SPARK-43413][11.3-13.0] Sabit IN alt sorgu ListQuery null atanabilirliği.
  • [SPARK-43340] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.

Databricks Runtime 10.4 LTS

Bkz . Databricks Runtime 10.4 LTS.

• 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 6 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 13 Şubat 2024, Saat 2024, Şubat 2024, Saat 20:00
  • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 25 Aralık 2023, Cumartesi
  • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
  • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
  • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
  • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
  • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
• 14 Aralık 2023, Cumartesi
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
  • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
  • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
  • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
  • [SPARK-43718] Birleştirmelerdeki USING anahtarlar için null atanabilirlik düzeltildi.
  • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
  • [SPARK-42205] Aşama ve Görev başlatma olaylarında günlük akümülalatörleri kaldırıldı.
  • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 14 Kasım 2023, Saat 2023
  • [SPARK-45541] eklendi SSLFactory.
  • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
  • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
  • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
  • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
  • Geri döndür [SPARK-33861].
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 24 Ekim 2023, Cumartesi
  • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 13 Ekim 2023, Cumartesi
  • [SPARK-45084]StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
  • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 10 Eylül 2023, Cumartesi
  • Çeşitli düzeltmeler.
• 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • [SPARK-44504] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
  • [SPARK-43973] Yapılandırılmış Akış kullanıcı arabirimi artık başarısız sorgular doğru görünüyor.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
  • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
  • [SPARK-43098] Skaler alt sorguda group by yan tümcesi olduğunda doğruluk COUNT hatası düzeltildi
  • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleme
  • [SPARK-43156][SPARK-43098] Kapalı olarak decorrelateInnerQuery genişletilmiş skaler alt sorgu sayısı testi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 2 Haziran 2023, Ağustos 2023
  • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
  • önlemek için UnknownFieldExceptionJSON tarafından kurtarılan veri ayrıştırma ile ilgili bir sorun düzeltildi.
  • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
  • [SPARK-43404] Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
  • [SPARK-43413] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00
  • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu iş boyutunu önceden düşürecek şekilde analiz edilir ve son güvenlik ağı olarak görev yeniden denemelerinde yeniden indirilir.
  • [SPARK-41520] ve öğesini ayırmak ANDORiçin ağaç deseni bölünAND_OR.
  • [SPARK-43190]ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz
  • [SPARK-42928] Eşitlenmiş yap resolvePersistentFunction .
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 11 Nisan 2023, Saat 2023, Temmuz 2023, Saat 20:00
  • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
  • [SPARK-42937]PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
  • [SPARK-42967] Aşama iptal edildikten sonra bir görev başlatıldığında SparkListenerTaskStart.stageAttemptId dosyasını düzeltin.
• 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat
  • [SPARK-42668] HDFSStateStoreProvider durağında sıkıştırılmış akışı kapatmaya çalışırken özel durumu yakalama
  • [SPARK-42635] Düzelt...
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 14 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Mart
  • [SPARK-41162] Toplamalarla kendi kendine birleşim için anti-ve yarı birleştirmeyi düzeltme
  • [SPARK-33206] Küçük dizin dosyaları için karışık dizin önbelleği ağırlık hesaplamasını düzeltme
  • [SPARK-42484]UnsafeRowUtils Hata iletisi geliştirildi
  • Çeşitli düzeltmeler.
• 28 Şubat 2023, Saat 2023
  • y-MM-dd date_format için oluşturulan sütun desteği. Bu değişiklik, oluşturulan sütunlarda date_format olarak yyyy-MM-dd için bölüm ayıklamayı destekler.
  • Kullanıcılar artık Databricks Runtime 9.1 LTS veya üzerini kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren belirli Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
  • y-MM-dd date_format için oluşturulan sütun desteği. Bu değişiklik, oluşturulan sütunlarda date_format olarak yyyy-MM-dd için bölüm ayıklamayı destekler.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20
  • [SPARK-30220] Filtre düğümünün dışında Exists/In alt sorgularını kullanarak etkinleştirme
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
  • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.
• 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
  • Azure Synapse bağlayıcısı, sütun adında boşluklar veya noktalı virgüller gibi geçerli karakterler olmadığında daha açıklayıcı bir hata iletisi döndürür. Böyle durumlarda aşağıdaki ileti döndürülür: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
  • [SPARK-38277] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizleme
  • [SPARK-41199] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
  • [SPARK-41198] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltin.
  • [SPARK-41339] Yalnızca temizleme yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun.
  • [SPARK-41732] SessionWindowing kuralı için ağaç deseni tabanlı budama uygulayın.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
  • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
    • csvignoreleadingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden baştaki boşluklar kaldırılır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
    • csvignoretrailingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden sondaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
  • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış veya ayarlanmamış false) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir sorun düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
  • Apache commons-text 1.10.0 sürümüne yükseltildi.
  • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. Geliştirilmiş davranışı kabul etmek için olarak ayarlayın spark.sql.json.enablePartialResultstrue. Özgün davranışı korumak için bayrak varsayılan olarak kapalıdır.
  • [SPARK-40292] dizilere iç içe yapılardan başvurulduğunda işlevdeki arrays_zip sütun adlarını düzeltme
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 1 Kasım 2022, İstanbul
  • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir seçeneği kapalıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
  • Otomatik Yükleyici'de bir dosyanın etkinleştirildiğinde allowOverwrites aynı mikro toplu işlemde çoğaltılabilmesine neden olan bir sorun düzeltildi
  • [SPARK-40697] Dış veri dosyalarını kapsayacak şekilde okuma tarafı karakter doldurma ekleme
  • [SPARK-40596] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 18 Ekim 2022, Cumartesi
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 5 Ekim 2022, Cumartesi
  • [SPARK-40468] Seçildiğinde CSV'de _corrupt_record sütun ayıklamayı düzeltin.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 22 Eylül 2022, Cumartesi
  • Kullanıcılar spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) öğesini ADLS 2. Nesil'de Otomatik Yükleyici için yerleşik listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerleşik liste daha önce performans sorunları nedeniyle kapatılmıştı ancak müşteriler için depolama maliyetlerinin artmasına neden olabilir.
  • [SPARK-40315] ArrayBasedMapData Değişmez Değeri için hashCode() ekleme
  • [SPARK-40213] Latin-1 karakterleri için ASCII değer dönüştürme desteği
  • [SPARK-40380] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
  • [SPARK-38404] İç içe bir CTE dış CTE'ye başvurduğunda CTE çözünürlüğünü geliştirme
  • [SPARK-40089] Bazı Ondalık türleri için sıralamayı düzeltme
  • [SPARK-39887] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
• 6 Eylül 2022, Cumartesi
  • [SPARK-40235] Executor.updateDependencies() içinde eşitlenmek yerine kesilebilir kilidi kullanın.
  • [SPARK-40218] GRUPLANDıRMA KÜMESİ, gruplandırma sütunlarını korumalıdır.
  • [SPARK-39976] ArrayIntersect, sol ifadede null değerini doğru işlemelidir.
  • [SPARK-40053] Python çalışma zamanı ortamı gerektiren dinamik iptal durumlarına ekleyin assume .
  • [SPARK-35542] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor.
  • [SPARK-40079] Boş giriş olayı için Imputer inputCols doğrulaması ekleyin.
• 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos
  • [SPARK-39983] Seri durumda olmayan yayın ilişkilerini sürücüde önbelleğe alma.
  • [SPARK-39775] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakın.
  • [SPARK-39962] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
  • [SPARK-37643] charVarcharAsString true olduğunda, char veri türü koşul sorgusu rpadding kuralını atlamalıdır.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 9 Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
  • [SPARK-39847] Çağıran iş parçacığı kesintiye uğrarsa RocksDBLoader.loadLibrary() içindeki yarış durumu düzeltildi
  • [SPARK-39731] TARIHLERI DÜZELTilmiş zaman ayrıştırıcı ilkesiyle "yyMdd" biçiminde ayrıştırırken CSV ve JSON veri kaynaklarında oluşan sorun düzeltildi
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 27 Temmuz 2022, Saat 20:00
  • [SPARK-39625] Dataset.as(StructType) ekleyin.
  • [SPARK-39689]CSV veri kaynağında 2 karakter desteği lineSep .
  • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded iş parçacığı güvenli olmalıdır.
  • [SPARK-39570] Satır içi tablo diğer ad içeren ifadelere izin vermelidir.
  • [SPARK-39702] Paylaşılan bir byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın.
  • [SPARK-39575] Add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer.
  • [SPARK-39476] Long'dan Float/Double'a veya Integer'dan Float'a dönüştürme sırasında Unwrap dönüştürme iyileştirmesini devre dışı bırakın.
  • [SPARK-38868] Dış birleşimleri iyileştirirken filtre koşulundan özel durumları yaymayın.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 20 Temmuz 2022, Saat 20:00
  • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
  • [SPARK-39355] Tek sütun UnresolvedAttribute oluşturmak için quoted kullanır.
  • [SPARK-39548] Window yan tümcesi sorgusuyla CreateView Komutu yanlış bir pencere tanımı bulunamadı sorununa basın.
  • [SPARK-39419] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi.
  • Azure'da dizin listesi için Otomatik Yükleyici'nin yerleşik bulut API'lerini kullanma özelliği kapatıldı.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 5 Temmuz 2022, Ağustos 2022, Saat 20:00
  • [SPARK-39376] Doğal/USING JOIN alt sorgu diğer adının yıldız genişletmesinde yinelenen sütunları gizleme
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Haziran 2022, Saat 2022, Temmuz 2022, Saat 20:00
  • [SPARK-39283] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi.
  • [SPARK-39285] Spark, dosyaları okurken alan adlarını denetlememelidir.
  • [SPARK-34096] Uzaklık penceresi üzerinde null değerleri yoksaymak nth_value için performansı geliştirin.
  • [SPARK-36718]isExtractOnly CollapseProject denetimi düzeltildi.
• 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
  • [SPARK-39093] Yıl-ay aralıklarını veya gün/saat aralıklarını bir integrale bölerken kod oluşturma hatasından kaçının.
  • [SPARK-38990] date_trunc/trunc biçimini ilişkili başvuru olarak değerlendirirken NullPointerException kullanmaktan kaçının.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
  • Otomatik Yükleyici'deki olası yerleşik bellek sızıntısını düzeltir.
  • [SPARK-38918] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir.
  • [SPARK-37593] G1GC ve ON_HEAP kullanılıyorsa varsayılan sayfa boyutunu LONG_ARRAY_OFFSET küçültün.
  • [SPARK-39084] Görev tamamlandığında yineleyiciyi durdurmak için TaskContext kullanarak df.rdd.isEmpty() sorununu düzeltin.
  • [SPARK-32268] injectBloomFilter içine ColumnPruning ekleyin.
  • [SPARK-38974] Liste işlevlerinde belirli bir veritabanı adıyla kayıtlı işlevleri filtreleyin.
  • [SPARK-38931] 1. denetim noktasında bilinmeyen sayıda anahtarla RocksDBFileManager için kök dfs dizini oluşturun.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
  • Java AWS SDK'sı 1.11.655 sürümünden 1.12.1899 sürümüne yükseltildi.
  • Toplu akış işlerinde not defteri kapsamlı kitaplıkların çalışmamasıyla ilgili bir sorun düzeltildi.
  • [SPARK-38616] Catalyst TreeNode'da SQL sorgu metnini izleme
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 6 Nisan 2022, İstanbul
  • Bu sürümde aşağıdaki Spark SQL işlevleri kullanıma sunulmuştur:
    • timestampadd() ve dateadd(): Belirtilen bir ünitede zaman damgası ifadesine bir zaman süresi ekleyin.
    • timestampdiff() ve datediff(): Belirtilen bir ünitedeki iki zaman damgası ifadeleri arasındaki zaman farkını hesaplayın.
  • Parquet-MR 1.12.2 sürümüne yükseltildi
  • Parquet dosyalarında kapsamlı şemalar için geliştirilmiş destek
  • [SPARK-38631] Utils.unpack'te tarring'i açmak için Java tabanlı uygulamayı kullanır.
  • [SPARK-38509][SPARK-38481] Kiraz seç üç timestmapadd/diff değişiklik.
  • [SPARK-38523] CSV'den bozuk kayıt sütununa başvuruda bulunarak düzeltme.
  • [SPARK-38237] Tam kümeleme anahtarları gerektirmeye izin ver ClusteredDistribution .
  • [SPARK-38437] Veri kaynağından datetime'ın geçici seri hale getirilmesi.
  • [SPARK-38180] Bağıntılı eşitlik koşullarında güvenli yukarı atama ifadelerine izin verin.
  • [SPARK-38155] Desteklenmeyen koşullarla yanal alt sorgularda ayrı toplamaya izin verme.
  • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 9.1 LTS

Bkz . Databricks Runtime 9.1 LTS.

• 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
  • Çeşitli hata düzeltmeleri.
• 9 Nisan 2024, Temmuz 2024, Saat 20:00
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 13 Şubat 2024, Saat 2024, Şubat 2024, Saat 20:00
  • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 25 Aralık 2023, Cumartesi
  • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
  • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
  • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
  • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
• 14 Aralık 2023, Cumartesi
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
  • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
  • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
  • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
  • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 14 Kasım 2023, Saat 2023
  • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
  • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
  • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
  • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
  • [SPARK-45541] eklendi SSLFactory.
  • [SPARK-42205] Aşama ve Görev başlatma olaylarında günlük akümülalatörleri kaldırıldı.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 24 Ekim 2023, Cumartesi
  • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 13 Ekim 2023, Cumartesi
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 10 Eylül 2023, Cumartesi
  • Çeşitli düzeltmeler.
• 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
  • [SPARK-43098] Skaler alt sorguda group by yan tümcesi olduğunda count hatası düzeltildi.
  • [SPARK-43156][SPARK-43098] Skaler alt sorgu sayısı hata testlerini kapalı olarak decorrelateInnerQuery genişletin.
  • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleyin.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 2 Haziran 2023, Ağustos 2023
  • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
  • önlemek için UnknownFieldExceptionJSON tarafından kurtarılan veri ayrıştırma ile ilgili bir sorun düzeltildi.
  • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
  • [SPARK-37520]startswith() ve endswith() dize işlevlerini ekleme
  • [SPARK-43413] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 11 Nisan 2023, Saat 2023, Temmuz 2023, Saat 20:00
  • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
  • [SPARK-42967] Aşama iptal edildikten sonra bir görev başlatıldığında SparkListenerTaskStart.stageAttemptId dosyasını düzeltin.
• 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 14 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Mart
  • [SPARK-42484] için UnsafeRowUtilsgeliştirilmiş hata iletisi.
  • Çeşitli düzeltmeler.
• 28 Şubat 2023, Saat 2023
  • Kullanıcılar artık Databricks Runtime 9.1 LTS veya üzerini kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren belirli Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
  • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.
• 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
  • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış veya ayarlanmamış false) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir sorun düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
  • Apache commons-text 1.10.0 sürümüne yükseltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
  • Çeşitli düzeltmeler.
• 1 Kasım 2022, İstanbul
  • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir seçeneği kapalıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
  • Otomatik Yükleyici'de bir dosyanın etkinleştirildiğinde allowOverwrites aynı mikro toplu işlemde çoğaltılabilmesine neden olan bir sorun düzeltildi
  • [SPARK-40596] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 18 Ekim 2022, Cumartesi
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 5 Ekim 2022, Cumartesi
  • Çeşitli düzeltmeler.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 22 Eylül 2022, Cumartesi
  • Kullanıcılar, ADLS 2. Nesil'de Otomatik Yükleyici için yerleşik listeyi yeniden etkinleştirmek için spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") ayarlayabilir. Yerleşik liste daha önce performans sorunları nedeniyle kapatılmıştı ancak müşteriler için depolama maliyetlerinin artmasına neden olabilir.
  • [SPARK-40315] ArrayBasedMapData Değişmez Değeri için hashCode() ekleme
  • [SPARK-40089] Bazı Ondalık türleri için sıralamayı düzeltme
  • [SPARK-39887] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
• 6 Eylül 2022, Cumartesi
  • [SPARK-40235] Executor.updateDependencies() içinde eşitlenmiş yerine kesilebilir kilit kullanın
  • [SPARK-35542] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
  • [SPARK-40079] Boş giriş olayı için Imputer inputCols doğrulaması ekleme
• 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos
  • [SPARK-39666] ExpressionEncoder'da dikkate spark.sql.codegen.factoryMode almak için UnsafeProjection.create kullanın
  • [SPARK-39962] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 9 Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 27 Temmuz 2022, Saat 20:00
  • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
  • [SPARK-39689] CSV veri kaynağında 2 karakter lineSep desteği
  • [SPARK-39575] içinde sonra ByteBuffer#getAvroDeserializereklendiByteBuffer#rewind.
  • [SPARK-37392] Katalizör iyileştiricisinin performans hatası düzeltildi.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 13 Temmuz 2022, Saat 2022, Temmuz 2022, Saat 20:00
  • [SPARK-39419]ArraySort karşılaştırıcı null döndürdüğünde bir özel durum oluşturur.
  • Azure'da dizin listesi için Otomatik Yükleyici'nin yerleşik bulut API'lerini kullanma özelliği kapatıldı.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 5 Temmuz 2022, Ağustos 2022, Saat 20:00
  • İşletim sistemi güvenlik güncelleştirmeleri.
  • Çeşitli düzeltmeler.
• 15 Haziran 2022, Saat 2022, Temmuz 2022, Saat 20:00
  • [SPARK-39283] ve UnsafeExternalSorter.SpillableIteratorarasındaki TaskMemoryManager kilitlenme düzeltildi.
• 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
  • [SPARK-34554]copy() yöntemini içinde ColumnarMapuygulayın.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
  • Otomatik Yükleyici'de olası yerleşik bellek sızıntısı düzeltildi.
  • AWS SDK sürümünü 1.11.655 sürümünden 1.11.678 sürümüne yükseltin.
  • [SPARK-38918] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir
  • [SPARK-39084] Görev tamamlandığında yineleyiciyi durdurmak için kullanarak TaskContext düzeltme df.rdd.isEmpty()
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
  • İşletim sistemi güvenlik güncelleştirmeleri.
  • Çeşitli düzeltmeler.
• 6 Nisan 2022, İstanbul
  • [SPARK-38631] Utils.unpack'te tarring'i açmak için Java tabanlı uygulamayı kullanır.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 22 Mart 2022, Saat 20:00
  • Yüksek Eşzamanlılık kümelerindeki not defterlerinin geçerli çalışma dizini, kullanıcının giriş dizininde tablo erişim denetimi veya kimlik bilgisi geçişi etkinleştirilerek değiştirildi. Daha önce active directory'ydi /databricks/driver.
  • [SPARK-38437] Veri kaynağından datetime'ın geçici seri hale getirilmesi
  • [SPARK-38180] Bağıntılı eşitlik koşullarında güvenli yukarı atama ifadelerine izin ver
  • [SPARK-38155] Desteklenmeyen koşullarla yanal alt sorgularda ayrı toplamaya izin verme
  • [SPARK-27442] Bir parkedeki verileri okurken veya yazarken bir onay alanı kaldırıldı.
• 14 Mart 2022, Saat 2022, Şubat 2022, Saat 20:00
  • [SPARK-38236] Create/alter tablosunda belirtilen mutlak dosya yolları göreli olarak değerlendirilir
  • [SPARK-34069] Yerel özellik SPARK_JOB_INTERRUPT_ON_CANCEL true olarak ayarlandıysa görev iş parçacığını kesme.
• 23 Şubat 2022, Saat 2022, Şubat 2022, Saat 20:00
  • [SPARK-37859] Spark 3.1 ile JDBC ile oluşturulan SQL tabloları Spark 3.2 ile okunamaz.
• 8 Şubat 2022, İstanbul
  • [SPARK-27442] Bir parkedeki verileri okurken veya yazarken bir onay alanı kaldırıldı.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 1 Şubat 2022, İstanbul
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 26 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
  • Delta tablolarındaki eşzamanlı işlemlerin bazı nadir koşullarda seri hale getirilemez bir sırada işlemesi sorunu düzeltildi.
  • ANSI SQL diyalekt etkinleştirildiğinde komutun başarısız olmasına neden olan bir sorun OPTIMIZE düzeltildi.
• 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
  • Küçük düzeltmeler ve güvenlik geliştirmeleri.
  • İşletim sistemi güvenlik güncelleştirmeleri.
• 4 Kasım 2021, Kasım 2021, Saat 20:00
  • Yapılandırılmış Akış akışlarının ile başarısız olmasına neden olabilen bir ArrayIndexOutOfBoundsExceptionsorun düzeltildi.
  • IoException gibi java.io.IOException: No FileSystem for scheme bir sorgu hatasına veya değişikliklerin sorgularda etkili olmamasına sparkContext.hadoopConfiguration neden olabilen bir yarış durumu düzeltildi.
  • Delta Sharing için Apache Spark Bağlan or 0.2.0 sürümüne yükseltildi.
• 20 Ekim 2021, Cumartesi
  • BigQuery bağlayıcısı 0.18.1'den 0.22.2'ye yükseltildi. Bu, BigNumeric türü için destek ekler.