Aktualizace údržby Databricks Runtime

Tento článek obsahuje seznam aktualizací údržby podporovaných verzí databricks Runtime. Pokud chcete přidat aktualizaci údržby do existujícího clusteru, restartujte cluster. Informace o aktualizacích údržby v nepodporovaných verzích Databricks Runtime najdete v tématu Aktualizace údržby pro Databricks Runtime (archivované).

Poznámka:

Verze jsou připraveny. Váš účet Azure Databricks se nemusí aktualizovat několik dní po počátečním datu vydání.

Verze Databricks Runtime

Aktualizace údržby podle verze:

• Databricks Runtime 15.0
• Databricks Runtime 14.3
• Databricks Runtime 14.2
• Databricks Runtime 14.1
• Databricks Runtime 13.3 LTS
• Databricks Runtime 12.2 LTS
• Databricks Runtime 11.3 LTS
• Databricks Runtime 10.4 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 15.0

Viz Databricks Runtime 15.0.

• 3. dubna 2024
  • (Změna chování) Aby se zajistilo konzistentní chování napříč typy výpočetních prostředků, budou funkce PySpark UDF ve sdílených clusterech nyní odpovídat chování funkcí definovaných uživatelem v clusterech bez izolace a přiřazených clusterů. Tato aktualizace zahrnuje následující změny, které by mohly narušit stávající kód:
    • Funkce definované uživatelem s návratovým typem string už implicitně nepřevádějí hodnoty na stringstring hodnoty. Dříve by funkce UDF s návratovým typem str zabalila návratovou hodnotu funkcí str() bez ohledu na skutečný datový typ vrácené hodnoty.
    • UDF s návratovými timestamp typy již implicitně nepoužijí převod s timestamptimezone.
    • Konfigurace clusteru spark.databricks.sql.externalUDF.* Spark se už nevztahují na uživatelem definované funkce PySpark ve sdílených clusterech.
    • Konfigurace spark.databricks.safespark.externalUDF.plan.limit clusteru Spark už nemá vliv na uživatelem definované funkce PySpark a odebere omezení verze Public Preview 5 definovaných uživatelem na dotaz pro uživatelem definované uživatelem PySpark.
    • Konfigurace spark.databricks.safespark.sandbox.size.default.mib clusteru Spark už neplatí pro uživatelem definované funkce PySpark ve sdílených clusterech. Místo toho se používá dostupná paměť v systému. Chcete-li omezit paměť UDF PySpark, použijte spark.databricks.pyspark.udf.isolation.memoryLimit s minimální hodnotou 100m.
  • Datový TimestampNTZ typ se teď podporuje jako sloupec clusteringu s clusteringem s clusteringem liquid. Viz Použití liquid clusteringu pro tabulky Delta.
  • [SPARK-47218][SQL] XML: Ignorování značek okomentovaných řádků v tokenizátoru XML
  • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
  • [SPARK-47033][SQL] Oprava příkazu EXECUTE IMMEDIATE USING nerozpozná názvy proměnných relace
  • [SPARK-47368][SQL] Odebrání konfigurace inferTimestampNTZ v parquetRowConverter
  • [SPARK-47561][SQL] Oprava problémů s pořadím pravidel analyzátoru u aliasu
  • [SPARK-47638][PS] [CONNECT] Přeskočení ověření názvu sloupce v PS
  • [BACKPORT] [[SPARK-46906]]https://issues.apache.org/jira/browse/SPARK-46906) [SS] Přidání změny stavového operátoru pro streamování
  • [SPARK-47569][SQL] Nepovoluje porovnání varianty.
  • [SPARK-47241][SQL] Oprava problémů s pořadím pravidel pro ExtractGenerator
  • [SPARK-47218] [SQL] XML: Změna schématuOfXml na selhání v režimu DROPMALFORMED
  • [SPARK-47300][SQL] quoteIfNeeded by měl identifikátor uvozovek začíná číslicemi
  • [SPARK-47009][SQL] [Kolace] Povolení podpory vytváření tabulek pro kolaci
  • [SPARK-47322][PYTHON] [CONNECT] Zdvojování withColumnsRenamed názvů sloupců konzistentně withColumnRenamed
  • [SPARK-47544][PYTHON] Metoda SparkSession Builder není kompatibilní s intellisense editoru Visual Studio Code
  • [SPARK-47511][SQL] Canonicalize With expressions by re-assigning ID
  • [SPARK-47385] Opravte kodéry řazené kolekce členů pomocí vstupů Option.
  • [SPARK-47200][SS] Chyba třídy chyby pro uživatelskou funkci dávkové jímky Foreach
  • [SPARK-47135][SS] Implementace tříd chyb pro výjimky ztráty dat Kafka
  • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
  • [SPARK-47305][SQL] Oprava Funkce PruneFilters pro označení příznaku isStreaming localRelation správně, pokud má plán dávku i streamování
  • [SPARK-47380][CONNECT] Ujistěte se, že na straně serveru je sparksession stejný.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.3

Viz Databricks Runtime 14.3 LTS.

• 6. dubna 2024
  • (Změna chování) Aby se zajistilo konzistentní chování napříč typy výpočetních prostředků, budou funkce PySpark UDF ve sdílených clusterech nyní odpovídat chování funkcí definovaných uživatelem v clusterech bez izolace a přiřazených clusterů. Tato aktualizace zahrnuje následující změny, které by mohly narušit stávající kód:
    • Funkce definované uživatelem s návratovým typem string už implicitně nepřevádějí hodnoty na stringstring hodnoty. Dříve by funkce UDF s návratovým typem str zabalila návratovou hodnotu funkcí str() bez ohledu na skutečný datový typ vrácené hodnoty.
    • UDF s návratovými timestamp typy již implicitně nepoužijí převod s timestamptimezone.
    • Konfigurace clusteru spark.databricks.sql.externalUDF.* Spark se už nevztahují na uživatelem definované funkce PySpark ve sdílených clusterech.
    • Konfigurace spark.databricks.safespark.externalUDF.plan.limit clusteru Spark už nemá vliv na uživatelem definované funkce PySpark a odebere omezení verze Public Preview 5 definovaných uživatelem na dotaz pro uživatelem definované uživatelem PySpark.
    • Konfigurace spark.databricks.safespark.sandbox.size.default.mib clusteru Spark už neplatí pro uživatelem definované funkce PySpark ve sdílených clusterech. Místo toho se používá dostupná paměť v systému. Chcete-li omezit paměť UDF PySpark, použijte spark.databricks.pyspark.udf.isolation.memoryLimit s minimální hodnotou 100m.
  • Datový TimestampNTZ typ se teď podporuje jako sloupec clusteringu s clusteringem s clusteringem liquid. Viz Použití liquid clusteringu pro tabulky Delta.
  • [SPARK-47511][SQL] Canonicalize With expressions by re-assigning ID
  • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
  • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
  • [SPARK-47638][PS] [CONNECT] Přeskočení ověření názvu sloupce v PS
  • Aktualizace zabezpečení operačního systému.
• 3. ledna 2024
  • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
  • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
  • [SPARK-46954] XML: Zabalení InputStreamReader s BufferedReader.
  • [SPARK-46655] Přeskočte kontext dotazu zachytávání v DataFrame metodách.
  • [SPARK-44815] Mezipaměť df.schema, abyste se vyhnuli dodatečnému rpc.
  • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu
  • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
  • [SPARK-46736] zachovat prázdné pole zprávy v konektoru protobuf.
  • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
  • [SPARK-46414] K vykreslení importů javascriptu použijte prependBaseUri.
  • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-46954] XML: Optimalizace vyhledávání indexu schématu
  • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
  • [SPARK-46644] Změna přidání a sloučení v SQLMetric pro použití jeZero.
  • [SPARK-46731] Správa instance zprostředkovatele úložiště stavu podle zdroje dat stavu – čtenář.
  • [SPARK-46677] Opravte dataframe["*"] řešení.
  • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud žádná hodnota klíče v možnostech.
  • [SPARK-46941] Uzel limitu skupiny oken nelze vložit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
  • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové razítka neodpovídají zadanému časovému razítkuFormat.
  • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
  • [SPARK-46227] Backport to 14.3.
  • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.2

Viz Databricks Runtime 14.2.

• 9. dubna 2024
  • Nic
  • [SPARK-47309][SQL] [XML] Přidání testů jednotek odvození schématu
  • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
  • [SPARK-47638][PS] [CONNECT] Přeskočení ověření názvu sloupce v PS
  • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
  • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
  • Aktualizace zabezpečení operačního systému.
• 8. února 2024
  • Dotazy kanálu dat (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány a pokus o spuštění dotazu CDF s materializovaným zobrazením katalogu Unity vrátí chybu. Streamovací tabulky Služby Unity podporují dotazy CDF na tabulky mimoAPPLY CHANGES tabulky v Databricks Runtime 14.1 a novějších. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
  • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
  • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
  • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu
  • [SPARK-46644] Změna přidání a sloučení v SQLMetric pro použití jeZero.
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
  • [SPARK-46941] Uzel limitu skupiny oken nelze vložit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
  • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • [SPARK-46382] XML: Aktualizace dokumentu pro ignoreSurroundingSpaces.
  • [SPARK-46382] XML: Zachytávání hodnot interspersed mezi elementy.
  • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
  • Vrátit zpět [SPARK-46769] Upřesnit časové razítko související s odvozováním schématu.
  • [SPARK-46677] Opravte dataframe["*"] řešení.
  • [SPARK-46382] XML: Výchozí ignorovatSurroundingSpaces na true.
  • [SPARK-46633] Opravte čtečku Avro pro zpracování bloků nulové délky.
  • [SPARK-45964] Odeberte privátní přístupové objekty SQL v balíčku XML a JSON v rámci balíčku s katalyzátorem.
  • [SPARK-46581] Komentář k aktualizaci jeZero v akumulátoruV2.
  • [SPARK-45912] Vylepšení rozhraní API XSDToSchema: Změna rozhraní API HDFS pro usnadnění přístupu ke cloudovému úložišti
  • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
  • [SPARK-46660] ReattachExecute requests updates aliveness of SessionHolder.
  • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud žádná hodnota klíče v možnostech.
  • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
  • [SPARK-46769] Upřesněte odvození schématu související s časovým razítkem.
  • [SPARK-46684] Oprava funkce CoGroup.applyInPandas/Arrow pro správné předávání argumentů
  • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
  • [SPARK-45962] Místo toho odeberte treatEmptyValuesAsNulls a použijte nullValue možnost v JAZYCE XML.
  • [SPARK-46541] Opravte nejednoznačný odkaz na sloupec ve spojení sebe sama.
  • [SPARK-46599] XML: Pro kontrolu kompatibility použijte TypeCoercion.findTightestCommonType.
  • Aktualizace zabezpečení operačního systému.
• 17. ledna 2024
  • Uzel shuffle plánu vysvětlení vráceného dotazem Photon se aktualizuje a přidá causedBroadcastJoinBuildOOM=true příznak, když dojde k chybě nedostatku paměti během náhodného náhodného prohazování, které je součástí spojení vysílání.
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46261]DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
  • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
  • [SPARK-46145] Spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
  • [SPARK-46484] Nastavení resolveOperators pomocných funkcí zachová ID plánu.
  • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
  • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
  • [SPARK-46446] Pokud chcete opravit chybu správnosti, zakažte poddotazy s korelovaným posunem.
  • [SPARK-46152] XML: Přidání podpory DecimalType v odvození schématu XML
  • [SPARK-46602]allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
  • [SPARK-45814] Make ArrowConverters.createEmptyArrowBatch volání close(), aby nedošlo k nevrácení paměti.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
  • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
  • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
  • [SPARK-46153] XML: Přidání podpory TimestampNTZType
  • [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
  • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
  • [SPARK-46260]DataFrame.withColumnsRenamed by měla respektovat řazení diktů.
  • [SPARK-46036] Odebrání třídy chyb z funkce raise_error
  • [SPARK-46294] Vyčistěte sémantiku inicializační hodnoty vs. nula.
  • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46587] XML: Oprava velkého celočíselného převodu XSD
  • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
  • [SPARK-46241] Opravte rutinu zpracování chyb, aby nepřešla do nekonečné rekurze.
  • [SPARK-46355] XML: Ukončete InputStreamReader při dokončování čtení.
  • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
  • [SPARK-46265] Kontrolní výrazy v addArtifact RPC činí klienta pro připojení nekompatibilní se staršími clustery.
  • [SPARK-46308] Zakázat rekurzivní zpracování chyb.
  • [SPARK-46337] Zachovejte CTESubstitution .PLAN_ID_TAG
• 14. prosince 2023
  • [SPARK-46141] Změňte výchozí hodnotu pro spark.sql.legacy.ctePrecedencePolicy na OPRAVENO.
  • [SPARK-45730] Načtěte reloadingX509TrustManagerSuite méně flaky.
  • [SPARK-45852] Během protokolování můžete bez problémů řešit chybu rekurze.
  • [SPARK-45808] Lepší zpracování chyb pro výjimky SQL
  • [SPARK-45920] skupina podle řad by měla být idempotentní.
  • Vraťte se na [SPARK-45649] Sjednocení architektury přípravy pro OffsetWindowFunctionFrame".
  • [SPARK-45733] Podpora více zásad opakování
  • [SPARK-45509] Oprava chování odkazu na sloupec df pro Spark Připojení
  • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
  • [SPARK-45905] Nejméně společný typ mezi desetinnými typy by měl jako první zachovat integrální číslice.
  • [SPARK-45136] Vylepšení uzavřeníCleaner s podporou Ammonite.
  • [SPARK-46255] Podpora komplexního typu –> převod řetězců
  • [SPARK-45859] Nastavit objekty UDF v ml.functions opožděně.
  • [SPARK-46028] Přijměte Column.__getitem__ vstupní sloupec.
  • [SPARK-45798] Id relace na straně serveru.
  • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
  • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
  • [SPARK-45770] Zavést plán DataFrameDropColumns pro Dataframe.drop.
  • [SPARK-44790] XML: to_xml implementaci a vazby pro Python, připojení a SQL.
  • [SPARK-45851] Podpora více zásad v klientovi scala
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-45852] Klient Pythonu pro Spark Připojení teď během převodu textu zachytává chyby rekurze.
  • [SPARK-45808] Vylepšené zpracování chyb pro výjimky SQL
  • [SPARK-45920]GROUP BY pořadové číslo není nahrazeno pořadovým pořadovým řádem.
  • Vrátit [SPARK-45649].
  • [SPARK-45733] Přidání podpory pro více zásad opakování
  • [SPARK-45509] Oprava df chování odkazu na sloupec pro Spark Připojení
  • [SPARK-45655] Povolit ne deterministické výrazy uvnitř AggregateFunctions souboru CollectMetrics.
  • [SPARK-45905] Nejmenší společný typ mezi desetinnými typy nyní zachovává integrální číslice jako první.
  • [SPARK-45136] Vylepšení ClosureCleaner pomocí podpory Ammonite
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • [SPARK-46028]Column.__getitem__ přijímá vstupní sloupce.
  • [SPARK-45798] Id relace na straně serveru.
  • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
  • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
  • [SPARK-45770] Opravené rozlišení sloupců pro DataFrameDropColumnsDataframe.drop.
  • [SPARK-44790] Přidání to_xml implementace a vazeb pro Python, Spark Připojení a SQL
  • [SPARK-45851] Přidání podpory více zásad v klientovi Scala
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 14.1

Viz Databricks Runtime 14.1.

• 9. dubna 2024
  • Nic
  • [SPARK-47638][PS] [CONNECT] Přeskočení ověření názvu sloupce v PS
  • [SPARK-38708][SQL] Upgrade klienta metastoru Hive na 3.1.3 pro Hive 3.1
  • [SPARK-47309][SQL] [XML] Přidání testů jednotek odvození schématu
  • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
  • [SPARK-46990][SQL] Oprava načítání prázdných souborů Avro vygenerovaných centrem událostí
  • Aktualizace zabezpečení operačního systému.
• 8. února 2024
  • Dotazy kanálu dat (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány a pokus o spuštění dotazu CDF s materializovaným zobrazením katalogu Unity vrátí chybu. Streamovací tabulky Služby Unity podporují dotazy CDF na tabulky mimoAPPLY CHANGES tabulky v Databricks Runtime 14.1 a novějších. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
  • [SPARK-46952] XML: Omezení velikosti poškozeného záznamu
  • [SPARK-45182] Po opakovaném pokusu o neurčitou dílčí fázi úkolu podle kontrolního součtu ignorujte dokončení úkolu ze staré fáze.
  • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
  • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
  • [SPARK-46930] Přidání podpory vlastní předpony pro pole typu Sjednocení v Avro
  • [SPARK-46941] Uzel limitu skupiny oken nelze vložit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
  • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
  • [SPARK-46822] Respektovat spark.sql.legacy.charVarcharAsString při přetypování typu jdbc na typ katalyzátoru v jdbc.
  • [SPARK-45957] Vyhněte se generování plánu provádění pro nespustitelné příkazy.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • [SPARK-46684] Oprava funkce CoGroup.applyInPandas/Arrow pro správné předávání argumentů
  • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
  • [SPARK-45498] Sledování: Přeskočení dokončení úkolu ze starých pokusů o fázi
  • [SPARK-46382] XML: Aktualizace dokumentu pro ignoreSurroundingSpaces.
  • [SPARK-46383] Snížit využití haldy řidiče snížením životnosti TaskInfo.accumulables().
  • [SPARK-46382] XML: Výchozí ignorovatSurroundingSpaces na true.
  • [SPARK-46677] Opravte dataframe["*"] řešení.
  • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
  • [SPARK-46633] Opravte čtečku Avro pro zpracování bloků nulové délky.
  • [SPARK-45912] Vylepšení rozhraní API XSDToSchema: Změna rozhraní API HDFS pro usnadnění přístupu ke cloudovému úložišti
  • [SPARK-46599] XML: Pro kontrolu kompatibility použijte TypeCoercion.findTightestCommonType.
  • [SPARK-46382] XML: Zachytávání hodnot interspersed mezi elementy.
  • [SPARK-46769] Upřesněte odvození schématu související s časovým razítkem.
  • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud žádná hodnota klíče v možnostech.
  • [SPARK-45964] Odeberte privátní přístupové objekty SQL v balíčku XML a JSON v rámci balíčku s katalyzátorem.
  • Vrátit zpět [SPARK-46769] Upřesnit časové razítko související s odvozováním schématu.
  • [SPARK-45962] Místo toho odeberte treatEmptyValuesAsNulls a použijte nullValue možnost v JAZYCE XML.
  • [SPARK-46541] Opravte nejednoznačný odkaz na sloupec ve spojení sebe sama.
  • Aktualizace zabezpečení operačního systému.
• 17. ledna 2024
  • Uzel shuffle plánu vysvětlení vráceného dotazem Photon se aktualizuje a přidá causedBroadcastJoinBuildOOM=true příznak, když dojde k chybě nedostatku paměti během náhodného náhodného prohazování, které je součástí spojení vysílání.
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
  • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
  • [SPARK-46484] Nastavení resolveOperators pomocných funkcí zachová ID plánu.
  • [SPARK-46153] XML: Přidání podpory TimestampNTZType
  • [SPARK-46152] XML: Přidání podpory DecimalType v odvození schématu XML
  • [SPARK-46145] Spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
  • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
  • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
  • [SPARK-46337] Zachovejte CTESubstitution .PLAN_ID_TAG
  • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
  • [SPARK-46587] XML: Oprava velkého celočíselného převodu XSD
  • [SPARK-45814] Make ArrowConverters.createEmptyArrowBatch volání close(), aby nedošlo k nevrácení paměti.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • [SPARK-46602]allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
  • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
  • [SPARK-46355] XML: Ukončete InputStreamReader při dokončování čtení.
  • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
  • [SPARK-46261]DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
  • [SPARK-46056] Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
  • [SPARK-46260]DataFrame.withColumnsRenamed by měla respektovat řazení diktů.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
  • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
• 14. prosince 2023
  • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
  • [SPARK-45509] Oprava chování odkazu na sloupec df pro Spark Připojení
  • [SPARK-45844] Implementujte rozlišování velkých a malých písmen pro XML.
  • [SPARK-46141] Změňte výchozí hodnotu pro spark.sql.legacy.ctePrecedencePolicy na OPRAVENO.
  • [SPARK-46028] Přijměte Column.__getitem__ vstupní sloupec.
  • [SPARK-46255] Podpora komplexního typu –> převod řetězců
  • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
  • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové razítka neodpovídají zadanému časovému razítkuFormat.
  • [SPARK-45316] Přidání nových parametrů ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
  • [SPARK-45852] Během protokolování můžete bez problémů řešit chybu rekurze.
  • [SPARK-45920] skupina podle řad by měla být idempotentní.
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
  • Při ingestování dat CSV pomocí automatického zavaděče nebo streamovaných tabulek jsou teď velké soubory CSV rozdělené a je možné je zpracovávat paralelně během odvozování schématu i zpracování dat.
  • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
  • [SPARK-45620] Rozhraní API související s uživatelem definovaného uživatelem Pythonu teď používají camelCase.
  • [SPARK-44790] Přidání to_xml implementace a vazeb pro Python, Spark Připojení a SQL
  • [SPARK-45770] Opravené rozlišení sloupců pro DataFrameDropColumnsDataframe.drop.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-44784] Bylo provedeno testování hermetiky SBT.
  • Aktualizace zabezpečení operačního systému.
• 10. listopadu 2023
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45250] Přidání podpory pro profil prostředků úloh na úrovni fáze pro clustery yarn, když je dynamické přidělování vypnuté.
  • [SPARK-44753] Přidání čtečky a zapisovače datových rámců XML pro PySpark SQL
  • [SPARK-45396] Přidání položky dokumentu pro PySpark.ml.connect modul
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • [SPARK-45541] Přidání SSLFactory
  • [SPARK-45577] Opraveno UserDefinedPythonTableFunctionAnalyzeRunner předání přeložených hodnot z pojmenovaných argumentů.
  • [SPARK-45562] Nasadili jsme požadovanou možnost rowTag.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-43380] Opravili jsme zpomalení čtení Avro.
  • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-45386] Opravili jsme problém, kdy StorageLevel.NONE se nesprávně vrátilo číslo 0.
  • [SPARK-44219] Přidání kontrol ověření jednotlivých pravidel pro přepsání optimalizace
  • [SPARK-45543] Opravili jsme problém, který InferWindowGroupLimit způsoboval problém, pokud ostatní funkce oken neměly stejný rámec okna jako funkce podobné pořadí.
  • Aktualizace zabezpečení operačního systému.
• 27. září 2023
  • [SPARK-44823] Aktualizováno black na verzi 23.9.1 a opravili jsme chybnou kontrolu.
  • [SPARK-45339] PySpark teď protokoluje chyby, které opakuje.
  • Vraťte [SPARK-42946] Redacted sensitive data vnořená do proměnných substitucí.
  • [SPARK-44551] Upravované komentáře pro synchronizaci s operačním systémem
  • [SPARK-45360] Tvůrce relací Sparku podporuje inicializaci z SPARK_REMOTE.
  • [SPARK-45279] Připojeno plan_id ke všem logickým plánům.
  • [SPARK-45425] Namapováno TINYINT na MsSqlServerDialectShortType .
  • [SPARK-45419] Odebrání položky mapování verzí souboru větších verzí, aby se zabránilo opakovanému použití rocksdb ID souborů sst.
  • [SPARK-45488] Přidání podpory pro hodnotu v rowTag elementu
  • [SPARK-42205] Odebrali jsme protokolování při Task/Stage počátečních Accumulables událostech v JsonProtocol protokolech událostí.
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • [SPARK-45256]DurationWriter selže při zápisu více hodnot než počáteční kapacita.
  • [SPARK-43380] Opravili jsme Avro problémy s převodem datových typů, aniž by to způsobilo regresi výkonu.
  • [SPARK-45182] Byla přidána podpora pro vrácení fáze pro přehazování map, aby se všechny úkoly fáze mohly opakovat, když je výstup fáze neurčitý.
  • [SPARK-45399] Přidání možností XML pomocí newOption.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 13.3 LTS

Viz Databricks Runtime 13.3 LTS.

• 9. dubna 2024
  • [SPARK-47509][SQL] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
  • Aktualizace zabezpečení operačního systému.
• 8. února 2024
  • Dotazy kanálu dat (CDF) v materializovaných zobrazeních katalogu Unity nejsou podporovány a pokus o spuštění dotazu CDF s materializovaným zobrazením katalogu Unity vrátí chybu. Streamovací tabulky Služby Unity podporují dotazy CDF na tabulky mimoAPPLY CHANGES tabulky v Databricks Runtime 14.1 a novějších. Dotazy CDF nejsou podporovány v tabulkách streamování katalogu Unity v Databricks Runtime 14.0 a starších verzích.
  • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
  • [SPARK-46933] Přidejte metriku doby provádění dotazů do konektorů, které používají JDBCRDD.
  • [SPARK-45582] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
  • [SPARK-46396] Odvození časového razítka by nemělo vyvolat výjimku.
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-46941] Uzel limitu skupiny oken nelze vložit pro výpočet top-k, pokud obsahuje SizeBasedWindowFunction.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • [SPARK-46610] Vytvoření tabulky by mělo vyvolat výjimku, pokud žádná hodnota klíče v možnostech.
  • [SPARK-46383] Snižte využití haldy ovladačů snížením životnosti TaskInfo.accumulables().
  • [SPARK-46600] Přesun sdíleného kódu mezi SqlConf a SqlApiConf do SqlApiConfHelper.
  • [SPARK-46676] dropDuplicatesWithinWatermark by neměl selhat při kanonizaci plánu.
  • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
  • Aktualizace zabezpečení operačního systému.
• 17. ledna 2024
  • Uzel shuffle plánu vysvětlení vráceného dotazem Photon se aktualizuje a přidá causedBroadcastJoinBuildOOM=true příznak, když dojde k chybě nedostatku paměti během náhodného náhodného prohazování, které je součástí spojení vysílání.
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-46173] Přeskočení volání trimAll během analýzy kalendářních dat
  • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
  • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
  • [SPARK-46370] Opravte chybu při dotazování z tabulky po změně výchozích hodnot sloupců.
  • [SPARK-46609] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • [SPARK-46602]allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
  • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
  • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
  • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
  • [SPARK-46478] Vraťte spark-43049 k použití orákula varchar(255) pro řetězec.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
  • [SPARK-46056] Oprava vektorizovaného souboru NPE parquet s výchozí hodnotou byteArrayDecimalType.
  • [SPARK-46145] Spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
  • [SPARK-46466] Vektorizovaná čtečka parquet by nikdy neměla provádět rebase pro časové razítko ntz.
• 14. prosince 2023
  • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
  • [SPARK-45920] skupina podle řad by měla být idempotentní.
  • [SPARK-44582] Pokud byl iterátor v SMJ vyčištěný, přeskočte ho.
  • [SPARK-45433] Oprava odvození schématu CSV/JSON, pokud časové razítka neodpovídají zadanému časovému razítkuFormat.
  • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • Konektor Spark-snowflake se upgraduje na verzi 2.12.0.
  • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-45892] Refaktoring ověřování plánu optimalizátoru validateSchemaOutput pro oddělení a validateExprIdUniqueness.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • Aktualizace zabezpečení operačního systému.
• 10. listopadu 2023
  • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
  • Změněné dotazy datového kanálu v tabulkách streamování katalogu Unity a materializovaných zobrazeních tak, aby zobrazovaly chybové zprávy.
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-44219] Přidání dalších ověření podle pravidel pro přepsání optimalizace
  • [SPARK-45543] Opravili jsme problém, který InferWindowGroupLimit způsoboval problém, pokud ostatní funkce oken neměly stejný rámec okna jako funkce podobné pořadí.
  • Aktualizace zabezpečení operačního systému.
• 23. října 2023
  • [SPARK-45256] Opravili jsme problém, kdy DurationWriter se při zápisu více hodnot než počáteční kapacity nezdařilo.
  • [SPARK-45419] Vyhněte se opakovanému použití rocksdb sst souborů v jiné rocksdb instanci odebráním položek mapování verzí souborů větších verzí.
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Různé opravy.
• 13. října 2023
  • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
  • Funkce array_insert je založená na 1 pro kladné a záporné indexy, zatímco předtím byla pro záporné indexy 0. Teď vloží nový prvek na konec vstupních polí pro index -1. Chcete-li obnovit předchozí chování, nastavte spark.sql.legacy.negativeIndexInArrayInsert hodnotu true.
  • Opravili jsme problém způsobující, že ignoreCorruptFiles se při odvozování schématu CSV s automatickým zavaděčem neignorují poškozené soubory.
  • Vrátit [SPARK-42946].
  • [SPARK-42205] Aktualizovali jsme protokol JSON tak, aby odebral protokolování Accumulables v událostech zahájení úkolu nebo fáze.
  • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
  • [SPARK-45316] Přidat nové parametry ignoreCorruptFiles a ignoreMissingFiles do HadoopRDD a NewHadoopRDD.
  • [SPARK-44740] Opravili jsme hodnoty metadat pro artefakty.
  • [SPARK-45360] Inicializovaná konfigurace tvůrce relací Sparku z SPARK_REMOTE.
  • [SPARK-44551] Upravované komentáře pro synchronizaci s operačním systémem
  • [SPARK-45346] Odvozování schématu Parquet teď při slučování schématu respektuje příznaky citlivé na malá a velká písmena.
  • [SPARK-44658]ShuffleStatus.getMapStatus nyní vrátí místo NoneSome(null).
  • [SPARK-44840] Vytvořili array_insert() jsme 1 pro záporné indexy.
• 14. září 2023
  • [SPARK-44873] Přidání podpory pro alter view vnořené sloupce v klientovi Hive
  • [SPARK-44878] Vypnutí přísného limitu pro správce zápisu, RocksDB aby se zabránilo výjimce vložení do mezipaměti dokončeno.
• 30. srpna 2023
  • Příkaz dbutils cp (dbutils.fs.cp) byl optimalizován pro rychlejší kopírování. Díky tomuto vylepšení můžou operace kopírování v závislosti na velikosti souboru trvat až 100krát. Tato funkce je dostupná ve všech cloudech a souborových systémech přístupných v Databricks, včetně svazků katalogu Unity a připojení DBFS.
  • [SPARK-44455] Identifikátory uvozovek s backticks ve výsledku SHOW CREATE TABLE .
  • [SPARK-44763] Opravili jsme problém, který v binární aritmetice s intervalem zobrazoval řetězec jako dvojitý řetězec.
  • [SPARK-44871] Opravené percentile_disc chování.
  • [SPARK-44714] Snadné omezení překladu LCA v souvislosti s dotazy.
  • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
  • [SPARK-44505] Přidání přepsání pro podporu sloupcových dat v nástroji Scan for DSv2
  • [SPARK-44479] Oprava převodu protobuf z prázdného typu struktury.
  • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
  • [SPARK-42941] Přidání podpory pro StreamingQueryListener v Pythonu
  • [SPARK-44558] Export úrovně protokolu sparku PySpark Připojení
  • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají hodnotu Null jako první hodnotu sloupce.
  • [SPARK-44643] Opraveno Row.__repr__ , když je pole prázdný řádek.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 12.2 LTS

Viz Databricks Runtime 12.2 LTS.

• 9. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 13. února 2024
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • [SPARK-46763] Oprava selhání kontrolního výrazu v replaceDeduplicateWithAggregate pro duplicitní atributy.
  • Aktualizace zabezpečení operačního systému.
• 25. prosince 2023
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
  • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
  • [SPARK-46417] Při volání hive.getTable a throwException se nezdaří.
  • [SPARK-43067] Opravte umístění souboru prostředků třídy chyb v konektoru Kafka.
  • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
  • [SPARK-46602]allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-46145] Spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde.
  • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
  • [SPARK-42852] Revert NamedLambdaVariable související změny z EquivalentExpressions.
• 14. prosince 2023
  • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
  • [SPARK-44582] Pokud byl iterátor v SMJ vyčištěný, přeskočte ho.
  • [SPARK-45920] skupina podle řad by měla být idempotentní.
  • [SPARK-45655] Povolte ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics.
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
  • [SPARK-42205] Odebrané protokolování je možné v Stage událostech a Task zahájit je.
  • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
  • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • Aktualizace zabezpečení operačního systému.
• 14. listopadu 2023
  • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • Aktualizace zabezpečení operačního systému.
• 24. října 2023
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Různé opravy.
• 13. října 2023
  • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
  • [SPARK-42553] Zajistěte alespoň jednu časovou jednotku po intervalu.
  • [SPARK-45346] Odvozování schématu Parquet respektuje příznak rozlišující malá a velká písmena při slučování schématu.
  • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
  • [SPARK-45084]StateOperatorProgress použít přesné, odpovídající číslo oddílu náhodného náhodného prohazu.
• 12. září 2023
  • [SPARK-44873] Přidání podpory pro alter view vnořené sloupce v klientovi Hive
  • [SPARK-44718] Porovná ColumnVector konfiguraci v režimu paměti s OffHeapMemoryMode výchozí hodnotou konfigurace.
  • [SPARK-43799] Přidání binární možnosti popisovače do rozhraní API PySpark Protobuf
  • Různé opravy.
• 30. srpna 2023
  • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
  • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
  • [11.3-13.0] [[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) Opravené percentile_disc chování.
  • [SPARK-44714] Zmírnění omezení překladu LCA v souvislosti s dotazy
  • Aktualizace zabezpečení operačního systému.
• 15. srpna 2023
  • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele při chybě zastavení.
  • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají Null hodnotu prvního sloupce.
  • Aktualizace zabezpečení operačního systému.
• 29. července 2023
  • Opravili jsme problém, kdy dbutils.fs.ls() se vrátila INVALID_PARAMETER_VALUE.LOCATION_OVERLAP výzva k cestě umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
  • [SPARK-44199]CacheManager už se zbytečně neaktualizuje fileIndex .
  • Aktualizace zabezpečení operačního systému.
• 24. července 2023
  • [SPARK-44337] Opravili jsme problém, kdy jakákoli sada Any.getDefaultInstance polí způsobovala chyby analýzy.
  • [SPARK-44136] Opravili jsme problém, kdy StateManager se materializoval v exekutoru místo ovladače v FlatMapGroupsWithStateExec.
  • Aktualizace zabezpečení operačního systému.
• 23. června 2023
  • Aktualizace zabezpečení operačního systému.
• 15. června 2023
  • Fotonizovaná approx_count_distinct.
  • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
  • [SPARK-43779]ParseToDate nyní se načte EvalMode do hlavního vlákna.
  • [SPARK-43156][SPARK-43098] Rozšířený skalární test počtu poddotazů s vypnutým vypnutým testem decorrelateInnerQuery počtu poddotazů
  • Aktualizace zabezpečení operačního systému.
• 2. června 2023
  • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
  • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
  • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
  • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
  • [SPARK-43413][11.3-13.0] Opravili jsme IN nulovou hodnotu poddotaznosti ListQuery .
  • [SPARK-43522] Opravili jsme vytvoření názvu sloupce struktury s indexem pole.
  • [SPARK-43541] Rozšíří všechny Project značky při překladu výrazů a chybějících sloupců.
  • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
  • [SPARK-43123] Interní metadata polí už nedochází k únikům do katalogů.
  • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.
  • [SPARK-42444]DataFrame.drop nyní zpracovává duplicitní sloupce správně.
  • [SPARK-42937]PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
  • [SPARK-43286] Aktualizace aes_encrypt režimu CBC pro generování náhodných IV.
  • [SPARK-43378] Správně zavřete objekty streamu v deserializeFromChunkedBufferobjektu .
• 17. května 2023
  • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
  • Pokud byl soubor Avro přečtený pouze failOnUnknownFields\ s možností nebo automatickým zavaděčem v failOnNewColumns\ režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null\ místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn\ .
  • Auto Loader teď provede následující kroky.
  • • Správně čte a již nezachrání Integer, Shorta Byte typy, pokud je jeden z těchto datových typů k dispozici, ale soubor Avro navrhne jeden z dalších dvou typů.
  • • Zabraňuje čtení typů intervalů jako typů kalendářních dat nebo časových razítek, aby nedocházelo k poškození kalendářních dat.
  • • Zabraňuje typům čtení Decimal s nižší přesností.
  • [SPARK-43172] Zpřístupňuje hostitele a token z klienta pro připojení Sparku.
  • [SPARK-43293]__qualified_access_only se ignoruje v normálních sloupcích.
  • [SPARK-43098] Opravili jsme chybu správnosti COUNT při seskupení skalárních poddotazů podle klauzule.
  • [SPARK-43085] Podpora přiřazení sloupců DEFAULT pro názvy tabulek s více částmi
  • [SPARK-43190]ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
  • [SPARK-43192] Odebrání ověření znakové sady uživatelského agenta
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2023
  • Pokud byl soubor Parquet přečtený pouze failOnUnknownFields s možností nebo automatickým zavaděčem v failOnNewColumns režimu vývoje schématu, sloupce s různými datovými typy by se četly jako null místo vyvolání chyby oznamující, že soubor nelze přečíst. Tato čtení teď selžou a doporučí uživatelům, aby tuto možnost používali rescuedDataColumn .
  • Auto Loader nyní správně čte a již nezachrání IntegerShort, a Byte typy, pokud je k dispozici jeden z těchto datových typů. Soubor Parquet navrhuje jeden z dalších dvou typů. Když byl dříve povolený datový sloupec, způsobila by neshoda datových typů sloupce, i když byly čitelné.
  • [SPARK-43009] Parametrizované sql() s Any konstantami
  • [SPARK-42406] Ukončení rekurzivních polí Protobuf přetažením pole
  • [SPARK-43038] Podpora režimu CBC podle aes_encrypt()/aes_decrypt()
  • [SPARK-42971] Změna tisku workdir , pokud appDirs má při události zpracování pracovního procesu WorkDirCleanup hodnotu null
  • [SPARK-43018] Oprava chyby pro příkazy INSERT s literály časového razítka
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2023
  • Podpora starších formátů zdroje dat v SYNC příkazu
  • Řeší problém v chování %automatického načítání v poznámkových blocích mimo úložiště.
  • Opravili jsme problém, kdy vývoj schématu automatického zavaděče mohl při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky selhání.
  • [SPARK-42928] Provede resolvePersistentFunction synchronizaci.
  • [SPARK-42936] Opraví problém LCan, když je možné klauzuli vyřešit přímo podřízenou agregací.
  • [SPARK-42967] Opravuje SparkListenerTaskStart.stageAttemptId , kdy se úkol spustí po zrušení fáze.
  • Aktualizace zabezpečení operačního systému.
• 29. března 2023

  • Databricks SQL teď podporuje zadávání výchozích hodnot pro sloupce tabulek Delta Lake, a to buď při vytváření tabulky, nebo potom. Následující INSERTpříkazy , , UPDATEDELETEa MERGE příkazy mohou odkazovat na výchozí hodnotu libovolného sloupce pomocí explicitního DEFAULT klíčového slova. Kromě toho platí, že pokud má jakékoli INSERT přiřazení explicitní seznam méně sloupců než cílová tabulka, nahradí se výchozí hodnoty odpovídajících sloupců zbývajícím sloupcům (nebo null, pokud není zadána žádná výchozí hodnota).

    Příklad:

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    \> 0, 2023-03-28
    1, 2023-03-28z
    

  • Auto Loader teď zahájí alespoň jeden synchronní vyčištění protokolů RocksDB pro Trigger.AvailableNow streamy a zkontroluje, že kontrolní bod se může pravidelně vyčistit pro rychlé automatické zavaděče datových proudů. To může způsobit, že některé datové proudy budou trvat déle, než se vypnou, ale ušetříte náklady na úložiště a zlepšíte prostředí automatického zavaděče v budoucích spuštěních.

  • Teď můžete upravit tabulku Delta a přidat podporu funkcí tabulek pomocí DeltaTable.addFeatureSupport(feature_name).

  • [SPARK-42794] Zvýšení lockAcquireTimeoutMs na 2 minuty pro získání úložiště stavů RocksDB ve streamování struktury

  • [SPARK-42521] Přidání seznamů NUL pro insert s uživatelsky zadanými seznamy méně sloupců než cílová tabulka

  • [SPARK-42702][SPARK-42623] Podpora parametrizovaného dotazu v poddotazech a CTE

  • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider

  • [SPARK-42403] JsonProtocol by měl zpracovávat řetězce JSON s hodnotou null

• 8. března 2023
  • Chybová zpráva "Selhání inicializace konfigurace" byla vylepšena tak, aby poskytovala zákazníkovi více kontextu.
  • Existuje změna terminologie pro přidání funkcí do tabulky Delta pomocí vlastnosti tabulky. Upřednostňovaná syntaxe je nyní 'delta.feature.featureName'='supported' namísto 'delta.feature.featureName'='enabled'. V případě zpětné kompatibility stále funguje používání 'delta.feature.featureName'='enabled' a bude fungovat i nadále.
  • Od této verze je možné vytvořit nebo nahradit tabulku další vlastností delta.ignoreProtocolDefaults tabulky, která ignoruje konfigurace Sparku související s protokolem, která zahrnuje výchozí verze čtečky a zapisovací verze a funkce tabulek podporované ve výchozím nastavení.
  • [SPARK-42070] Změna výchozí hodnoty argumentu funkce Mask z -1 na NULL
  • [SPARK-41793] Nesprávný výsledek pro rámečky oken definované klauzulí rozsahu u významných desetinných míst
  • [SPARK-42484] Nebezpečná službaRowUtils – lepší chybová zpráva
  • [SPARK-42516] Při vytváření zobrazení vždy zachyťte konfiguraci časového pásma relace.
  • [SPARK-42635] Oprava výrazu TimestampAdd
  • [SPARK-42622] Vypnutí nahrazení v hodnotách
  • [SPARK-42534] Oprava klauzule DB2Dialect Limit
  • [SPARK-42121] Přidání předdefinovaných funkcí hodnot tabulky posexplode, posexplode_outer, json_tuple a zásobníku
  • [SPARK-42045] Režim ANSI SQL: Zaokrouhlení nebo Bround by mělo vrátit chybu u malého, malého nebo významného celočíselného přetečení
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 11.3 LTS

Viz Databricks Runtime 11.3 LTS.

• 9. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 13. února 2024
  • [SPARK-46794] Odeberte poddotaz z omezení logickéhordd.
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • Aktualizace zabezpečení operačního systému.
• 25. prosince 2023
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-46602]allowExisting Šíření při vytváření zobrazení, pokud zobrazení nebo tabulka neexistuje.
  • [SPARK-46394] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
  • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
  • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
  • [SPARK-46249] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
• 14. prosince 2023
  • Opravili jsme problém, kdy se nesprávně zpracovávaly řídicí podtržítka v operacích getColumns pocházejících z klientů JDBC nebo ODBC a interpretovaly se jako zástupné znaky.
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • Opravili jsme problém, kdy se řídicí podtržítka v getColumns operacích pocházejících z klientů JDBC nebo ODBC nesprávně interpretovaly jako zástupné znaky.
  • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování teď zobrazuje neúspěšné dotazy správně.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
  • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
  • Aktualizace zabezpečení operačního systému.
• 14. listopadu 2023
  • Filtry oddílů u dotazů streamování Delta Lake se před omezením rychlosti odsunou dolů, aby se dosáhlo lepšího využití.
  • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • Vrátit [SPARK-33861].
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • [SPARK-45430]FramelessOffsetWindowFunction již selhává, pokud IGNORE NULLS a offset > rowCount.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • Aktualizace zabezpečení operačního systému.
• 24. října 2023
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Různé opravy.
• 13. října 2023
  • Závislost Snowflake-jdbc se upgradovala z verze 3.13.29 na verzi 3.13.33.
  • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
  • [SPARK-45084]StateOperatorProgress použít přesné, odpovídající číslo oddílu náhodného náhodného prohazu.
  • [SPARK-45346] Odvozování schématu Parquet teď při slučování schématu respektuje příznak rozlišující malá a velká písmena.
  • Aktualizace zabezpečení operačního systému.
• 10. září 2023
  • Různé opravy.
• 30. srpna 2023
  • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
  • [SPARK-44871][11.3-13.0] Opravené percentile_disc chování.
  • Aktualizace zabezpečení operačního systému.
• 15. srpna 2023
  • [SPARK-44485] Optimalizované TreeNode.generateTreeString.
  • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele při chybě zastavení.
  • [SPARK-44464] Opraveno applyInPandasWithStatePythonRunner pro výstupní řádky, které mají Null hodnotu prvního sloupce.
  • Aktualizace zabezpečení operačního systému.
• 27. července 2023
  • Opravili jsme problém, kdy dbutils.fs.ls() se vrátila INVALID_PARAMETER_VALUE.LOCATION_OVERLAP výzva k cestě umístění úložiště, která kolidovala s jiným externím nebo spravovaným umístěním úložiště.
  • [SPARK-44199]CacheManager už se zbytečně neaktualizuje fileIndex .
  • Aktualizace zabezpečení operačního systému.
• 24. července 2023
  • [SPARK-44136] Opravili jsme problém, kdy StateManager mohl místo ovladače v FlatMapGroupsWithStateExec získat materializaci v exekutoru.
  • Aktualizace zabezpečení operačního systému.
• 23. června 2023
  • Aktualizace zabezpečení operačního systému.
• 15. června 2023
  • Fotonizovaná approx_count_distinct.
  • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
  • [SPARK-43779]ParseToDate nyní se načte EvalMode do hlavního vlákna.
  • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
  • [SPARK-43156][SPARK-43098] Test chyby rozšířeného poddotazového poddotazu s decorrelateInnerQuery vypnutým.
  • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
  • Aktualizace zabezpečení operačního systému.
• 2. června 2023
  • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
  • Zvýšení výkonu přírůstkových aktualizací pomocí SHALLOW CLONE Icebergu a Parquetu
  • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
  • [SPARK-43404]Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
  • [SPARK-43527] Opraveno catalog.listCatalogs v PySparku.
  • [SPARK-43413][11.3-13.0] Opravili jsme IN nulovou hodnotu poddotaznosti ListQuery .
  • [SPARK-43340] Opravili jsme chybějící pole trasování zásobníku v protokolech událostí.

Databricks Runtime 10.4 LTS

Viz Databricks Runtime 10.4 LTS.

• 6. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 13. února 2024
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • Aktualizace zabezpečení operačního systému.
• 25. prosince 2023
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-46538] Opravte problém s nejednoznačným odkazem na sloupec v ALSModel.transformsouboru .
  • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
• 14. prosince 2023
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • [SPARK-43718] Opravili jsme hodnotu null pro klíče ve USING spojeních.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
  • [SPARK-44846] Odebrali jsme komplexní seskupovací výrazy za RemoveRedundantAggregates.
  • Aktualizace zabezpečení operačního systému.
• 14. listopadu 2023
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • Vrátit [SPARK-33861].
  • Aktualizace zabezpečení operačního systému.
• 24. října 2023
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Aktualizace zabezpečení operačního systému.
• 13. října 2023
  • [SPARK-45084]StateOperatorProgress použít přesné, odpovídající číslo oddílu náhodného náhodného prohazu.
  • [SPARK-45178] Náhradní spuštění jedné dávky pro Trigger.AvailableNow nepodporované zdroje místo použití obálky.
  • Aktualizace zabezpečení operačního systému.
• 10. září 2023
  • Různé opravy.
• 30. srpna 2023
  • [SPARK-44818] Byla opravena doba trvání čekání na přerušení úkolu vystavená před taskThread inicializována.
  • Aktualizace zabezpečení operačního systému.
• 15. srpna 2023
  • [SPARK-44504] Úloha údržby vyčistí načtené zprostředkovatele při chybě zastavení.
  • [SPARK-43973] Uživatelské rozhraní strukturovaného streamování se teď zobrazuje jako neúspěšné dotazy správně.
  • Aktualizace zabezpečení operačního systému.
• 23. června 2023
  • Aktualizace zabezpečení operačního systému.
• 15. června 2023
  • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
  • [SPARK-43098] Oprava chyby POČET správnosti, pokud skalární poddotaz má klauzuli group by
  • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery
  • [SPARK-43156][SPARK-43098] Test počtu rozšířených skalárních poddotazů s decorrelateInnerQuery vypnutým vypnutým.
  • Aktualizace zabezpečení operačního systému.
• 2. června 2023
  • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
  • Opravili jsme problém v analýze dat o záchraně JSON, aby se zabránilo .UnknownFieldException
  • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
  • [SPARK-43404] Pokud se chcete vyhnout chybě neshody ID, přeskočte opakované použití souboru sst pro stejnou verzi úložiště stavů RocksDB.
  • [SPARK-43413] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
  • Aktualizace zabezpečení operačního systému.
• 17. května 2023
  • Kontroly Parquet jsou nyní robustní vůči OOM při prohledávání mimořádně strukturovaných souborů dynamickým přizpůsobením velikosti dávky. Metadata souborů se analyzují tak, aby se předem snížila velikost dávky a při opakovaných pokusech o úkol je znovu nižší jako konečná bezpečnostní síť.
  • [SPARK-41520] Rozdělte AND_OR stromový vzor tak, aby se oddělil AND a OR.
  • [SPARK-43190]ListQuery.childOutput je teď konzistentní se sekundárním výstupem.
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2023
  • [SPARK-42928] Proveďte resolvePersistentFunction synchronizaci.
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2023
  • Opravili jsme problém, kdy vývoj schématu automatického zavaděče mohl při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky selhání.
  • [SPARK-42937]PlanSubqueries teď se nastaví InSubqueryExec#shouldBroadcast na true.
  • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
• 29. března 2023
  • [SPARK-42668] Zachycení výjimky při pokusu o zavření komprimovaného streamu v zastavení HDFSStateStoreProvider
  • [SPARK-42635] Opravte ...
  • Aktualizace zabezpečení operačního systému.
• 14. března 2023
  • [SPARK-41162] Oprava anti-a polo-join pro samoobslužné spojení s agregacemi
  • [SPARK-33206] Oprava výpočtu váhy mezipaměti indexu náhodného prohazování u malých indexových souborů
  • [SPARK-42484] Vylepšená UnsafeRowUtils chybová zpráva
  • Různé opravy.
• 28. února 2023
  • Podpora generovaného sloupce pro date_format yyyy-MM-dd. Tato změna podporuje vyřezávání oddílů pro yyyy-MM-dd jako date_format ve generovaných sloupcích.
  • Uživatelé teď můžou číst a zapisovat konkrétní tabulky Delta vyžadující Čtečku verze 3 a Writer verze 7 pomocí Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
  • Podpora generovaného sloupce pro date_format yyyy-MM-dd. Tato změna podporuje vyřezávání oddílů pro yyyy-MM-dd jako date_format ve generovaných sloupcích.
  • Aktualizace zabezpečení operačního systému.
• 16. února 2023
  • [SPARK-30220] Povolení použití poddotazů mimo uzel filtru
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2023
  • Ve výchozím nastavení jsou typy tabulek JDBC externí.
• 18. ledna 2023
  • Konektor Azure Synapse vrátí popisnější chybovou zprávu, když název sloupce obsahuje neplatné znaky, jako jsou prázdné znaky nebo středníky. V takových případech se vrátí následující zpráva: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
  • [SPARK-38277] Vymazání dávky zápisu po potvrzení úložiště stavů RocksDB
  • [SPARK-41199] Oprava potíží s metrikami při spoluužívaném zdroji streamování DSv1 a zdroje streamování DSv2
  • [SPARK-41198] Oprava metrik v dotazu streamování se zdrojem streamování CTE a DSv1
  • [SPARK-41339] Místo pouhého vymazání zavřete a znovu vytvořte dávku zápisu RocksDB.
  • [SPARK-41732] Použití vyřezávání založeného na stromové struktuře pro pravidlo SessionWindowing
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2022
  • Uživatelé můžou při zápisu dat pomocí konektoru Redshift nakonfigurovat počáteční a koncové chování prázdných znaků. Byly přidány následující možnosti pro řízení zpracování prázdných znaků:
    • csvignoreleadingwhitespace, pokud je nastavena na truehodnotu , odebere počáteční prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV hodnotu nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
    • csvignoretrailingwhitespace, pokud je nastaveno na truehodnotu , odebere koncové prázdné znaky z hodnot při zápisu, pokud tempformat je nastavena na CSV hodnotu nebo CSV GZIP. Prázdné znaky se zachovají, když je konfigurace nastavena na false. Výchozí hodnota je true.
  • Opravili jsme problém s parsováním JSON v automatickém zavaděče, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly nastaveny nebo nastaveny na false) a json obsahoval vnořené objekty.
  • Aktualizace zabezpečení operačního systému.
• 15. listopadu 2022
  • Upgradovali jsme Apache commons-text na verzi 1.10.0.
  • [SPARK-40646] Analýza JSON pro struktury, mapy a pole byla opravena, takže pokud část záznamu neodpovídá schématu, zbytek záznamu se dá dál správně analyzovat místo vrácení hodnot null. Pokud chcete vyjádřit výslovný souhlas s vylepšeným chováním, nastavte spark.sql.json.enablePartialResults hodnotu true. Příznak je ve výchozím nastavení vypnutý, aby se zachovalo původní chování.
  • [SPARK-40292] Oprava názvů sloupců ve arrays_zip funkci při odkazování polí z vnořených struktur
  • Aktualizace zabezpečení operačního systému.
• 1. listopadu 2022
  • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla vypnuta možnost Změnit datový kanál , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL.
  • Opravili jsme problém s automatickým zavaděčem, kdy se soubor mohl duplikovat ve stejné mikrodávce, když allowOverwrites je povolený.
  • [SPARK-40697] Přidání odsazení znaku na straně čtení pro pokrytí externích datových souborů
  • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
  • Aktualizace zabezpečení operačního systému.
• 18. října 2022
  • Aktualizace zabezpečení operačního systému.
• 5. října 2022
  • [SPARK-40468] Opravte vyřezávání sloupců ve sdíleném svazku clusteru, když _corrupt_record je vybráno.
  • Aktualizace zabezpečení operačního systému.
• 22. září 2022
  • Uživatelé můžou nastavit spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) a znovu povolit předdefinovaný výpis automatického zavaděče v ADLS Gen2. Předdefinovaný výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky.
  • [SPARK-40315] Přidání hashCode() pro literál ArrayBasedMapData
  • [SPARK-40213] Podpora převodu hodnot ASCII pro znaky latinky-1
  • [SPARK-40380] Oprava konstantního posouvání InvokeLike, aby se zabránilo ne serializovatelný literál vložený do plánu
  • [SPARK-38404] Vylepšení překladu CTE, když vnořený CTE odkazuje na vnější CTE
  • [SPARK-40089] Oprava řazení u některých typů desetinných míst
  • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
• 6. září 2022
  • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
  • [SPARK-40218] SESKUPOVACÍ SADY by měly zachovat sloupce seskupení.
  • [SPARK-39976] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
  • [SPARK-40053] Přidejte assume do dynamických případů zrušení, které vyžadují prostředí runtime Pythonu.
  • [SPARK-35542] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení.
  • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
• 24. srpna 2022
  • [SPARK-39983] Neuklášejte do mezipaměti neserializované relace vysílání na ovladači.
  • [SPARK-39775] Při analýze schémat Avro zakažte ověřování výchozích hodnot.
  • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
  • [SPARK-37643] Pokud je parametr charVarcharAsString pravdivý, měl by dotaz predikátu datového typu char přeskočit pravidlo rpadding.
  • Aktualizace zabezpečení operačního systému.
• 9. srpna 2022
  • [SPARK-39847] Oprava stavu časování v RocksDBLoader.loadLibrary(), pokud je vlákno volajícího přerušeno
  • [SPARK-39731] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
  • Aktualizace zabezpečení operačního systému.
• 27. července 2022
  • [SPARK-39625] Přidat Dataset.as(StructType).
  • [SPARK-39689]Podpora 2 znaků lineSep ve zdroji dat CSV
  • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded by měl být bezpečný pro přístup z více vláken.
  • [SPARK-39570] Vložená tabulka by měla umožňovat výrazy s aliasem.
  • [SPARK-39702] Snižte režii paměti transportCipher$EncryptedMessage pomocí sdíleného byteRawChannel.
  • [SPARK-39575] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer.
  • [SPARK-39476] Zakažte optimalizaci přetypování unwrap při přetypování z dlouhé na plovoucí nebo dvojitou nebo celočíselnou hodnotu na plovoucí.
  • [SPARK-38868] Při optimalizaci vnějších spojení nešíření výjimek z predikátu filtru.
  • Aktualizace zabezpečení operačního systému.
• 20. července 2022
  • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
  • [SPARK-39355] Jeden sloupec používá uvozování k vytvoření UnresolvedAttribute.
  • [SPARK-39548] Příkaz CreateView s dotazem klauzule okna stiskněte nesprávný problém s definicí okna.
  • [SPARK-39419] Oprava ArraySort vyvolá výjimku, když srovnávací program vrátí hodnotu null.
  • Vypnuli jste používání integrovaných cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
  • Aktualizace zabezpečení operačního systému.
• 5. července 2022
  • [SPARK-39376] Skrytí duplicitních sloupců v rozšíření poddotazového aliasu z natural/USING JOIN
  • Aktualizace zabezpečení operačního systému.
• 15. června 2022
  • [SPARK-39283] Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator.
  • [SPARK-39285] Spark by při čtení souborů neměl kontrolovat názvy polí.
  • [SPARK-34096] Zvýšení výkonu nth_value ignorovat hodnoty null nad oknem posunu.
  • [SPARK-36718] Opravte vrácení se změnami isExtractOnly sbalit projekt.
• 2. června 2022
  • [SPARK-39093] Vyhněte se chybě kompilace codegen při dělení intervalů rok-měsíc nebo denních intervalů integrálem.
  • [SPARK-38990] Při vyhodnocování formátu date_trunc/trunc jako vázaného odkazu se vyhněte výjimce NullPointerException.
  • Aktualizace zabezpečení operačního systému.
• 18. května 2022
  • Opravuje potenciální nevracení paměti v automatickém zavaděče.
  • [SPARK-38918] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
  • [SPARK-37593] Pokud se používají G1GC a ON_HEAP, zmenšete výchozí velikost stránky LONG_ARRAY_OFFSET.
  • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext k zastavení iterátoru při dokončení úkolu.
  • [SPARK-32268] Přidání columnPruningu v nástroji injectBloomFilter
  • [SPARK-38974] Filtrujte registrované funkce s daným názvem databáze ve funkcích seznamu.
  • [SPARK-38931] Vytvořte kořenový adresář dfs pro RocksDBFileManager s neznámým počtem klíčů na 1. kontrolním bodu.
  • Aktualizace zabezpečení operačního systému.
• 19. dubna 2022
  • Upgradovali jsme sadu Java AWS SDK z verze 1.11.655 na verzi 1.12.1899.
  • Opravili jsme problém s nefunkčními knihovnami s vymezenými poznámkovými bloky v úlohách dávkového streamování.
  • [SPARK-38616] Sledování textu dotazu SQL ve Catalyst TreeNode
  • Aktualizace zabezpečení operačního systému.
• 6. dubna 2022
  • V této verzi jsou nyní k dispozici následující funkce Spark SQL:
    • timestampadd() and dateadd(): Do výrazu časového razítka přidejte dobu trvání v zadané jednotce.
    • timestampdiff() and datediff(): Výpočet časového rozdílu mezi výrazy dvou časových razítek v zadané jednotce.
  • Parquet-MR byl upgradován na verzi 1.12.2
  • Vylepšená podpora komplexních schémat v souborech parquet
  • [SPARK-38631] Používá implementaci založenou na Javě pro zrušení tarringu v souboru Utils.unpack.
  • [SPARK-38509][SPARK-38481] Cherry-pick tři timestmapadd/diff změny.
  • [SPARK-38523] Opravte odkaz na sloupec poškozených záznamů ze souboru CSV.
  • [SPARK-38237] Povolit ClusteredDistribution vyžadování úplných klíčů clusteringu
  • [SPARK-38437] Lenient serializace datetime ze zdroje dat.
  • [SPARK-38180] Povolte bezpečné přetypování výrazů v korelovaných predikátech rovnosti.
  • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty.
  • Aktualizace zabezpečení operačního systému.

Databricks Runtime 9.1 LTS

Viz Databricks Runtime 9.1 LTS.

• 9. dubna 2024
  • Aktualizace zabezpečení operačního systému.
• 13. února 2024
  • [SPARK-46861] Vyhněte se zablokování v DAGScheduler.
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2024
  • Aktualizace zabezpečení operačního systému.
• 25. prosince 2023
  • Aby se zabránilo zvýšené latenci při komunikaci přes TLSv1.3, obsahuje tato verze údržby opravu instalace sady JDK 8, která opraví chybu JDK JDK-8293562.
  • [SPARK-46058] Přidejte samostatný příznak pro privateKeyPassword.
  • [SPARK-39440] Přidejte konfiguraci pro zakázání časové osy událostí.
  • [SPARK-46132] Heslo klíče podpory pro klíče JKS pro PROTOKOL RPC SSL.
• 14. prosince 2023
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2023
  • Nainstalovali jsme nový balíček, pyarrow-hotfix který opraví ohrožení zabezpečení PyArrow RCE.
  • [SPARK-45859] Objekty definované uživatelem ml.functions byly opožděné.
  • [SPARK-45544] Integrovaná podpora SSL do TransportContext.
  • [SPARK-45730] Vylepšená časová omezení pro ReloadingX509TrustManagerSuite.
  • Aktualizace zabezpečení operačního systému.
• 14. listopadu 2023
  • [SPARK-45545]SparkTransportConf dědí SSLOptions při vytváření.
  • [SPARK-45429] Přidání pomocných tříd pro komunikaci SSL RPC
  • [SPARK-45427] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf.
  • [SPARK-45584] Oprava selhání spuštění poddotazů s chybou TakeOrderedAndProjectExec.
  • [SPARK-45541] Přidáno SSLFactory.
  • [SPARK-42205] Odebrané protokolování je možné v událostech zahájení fáze a úkolu.
  • Aktualizace zabezpečení operačního systému.
• 24. října 2023
  • [SPARK-45426] Přidání podpory pro ReloadingX509TrustManager.
  • Aktualizace zabezpečení operačního systému.
• 13. října 2023
  • Aktualizace zabezpečení operačního systému.
• 10. září 2023
  • Různé opravy.
• 30. srpna 2023
  • Aktualizace zabezpečení operačního systému.
• 15. srpna 2023
  • Aktualizace zabezpečení operačního systému.
• 23. června 2023
  • Knihovna Snowflake-jdbc se upgraduje na verzi 3.13.29, aby se vyřešil problém se zabezpečením.
  • Aktualizace zabezpečení operačního systému.
• 15. června 2023
  • [SPARK-43098] Oprava chyby počet správnosti, pokud skalární poddotaz má klauzuli group by.
  • [SPARK-43156][SPARK-43098] Rozšíření testu chyb počtu poddotazů skalárních poddotazů s decorrelateInnerQuery vypnutým.
  • [SPARK-40862] Podpora neagregovaných poddotazů v rewriteCorrelatedScalarSubquery.
  • Aktualizace zabezpečení operačního systému.
• 2. června 2023
  • Analyzátor JSON v failOnUnknownFields režimu zahodí záznam v DROPMALFORMED režimu a selže přímo v FAILFAST režimu.
  • Opravili jsme problém v analýze dat o záchraně JSON, aby se zabránilo .UnknownFieldException
  • Opravili jsme problém v automatickém zavaděči, kdy různé formáty zdrojového souboru byly nekonzistentní, když zadané schéma neobsálo odvozené oddíly. Tento problém může způsobit neočekávané chyby při čtení souborů s chybějícími sloupci ve schématu odvozeného oddílu.
  • [SPARK-37520]startswith() Přidání funkcí a endswith() řetězců
  • [SPARK-43413] Byla opravena IN možnost nulové hodnoty poddotaznosti ListQuery .
  • Aktualizace zabezpečení operačního systému.
• 17. května 2023
  • Aktualizace zabezpečení operačního systému.
• 25. dubna 2023
  • Aktualizace zabezpečení operačního systému.
• 11. dubna 2023
  • Opravili jsme problém, kdy vývoj schématu automatického zavaděče mohl při zjištění nového sloupce ve schématu vnořeného objektu JSON přecházet do nekonečné smyčky selhání.
  • [SPARK-42967] Oprava SparkListenerTaskStart.stageAttemptId při spuštění úlohy po zrušení fáze.
• 29. března 2023
  • Aktualizace zabezpečení operačního systému.
• 14. března 2023
  • [SPARK-42484] Vylepšená chybová zpráva pro UnsafeRowUtils.
  • Různé opravy.
• 28. února 2023
  • Uživatelé teď můžou číst a zapisovat konkrétní tabulky Delta vyžadující Čtečku verze 3 a Writer verze 7 pomocí Databricks Runtime 9.1 LTS nebo novější. Aby bylo možné uspět, musí být funkce tabulek uvedené v protokolu tabulek podporovány aktuální verzí databricks Runtime.
  • Aktualizace zabezpečení operačního systému.
• 16. února 2023
  • Aktualizace zabezpečení operačního systému.
• 31. ledna 2023
  • Ve výchozím nastavení jsou typy tabulek JDBC externí.
• 18. ledna 2023
  • Aktualizace zabezpečení operačního systému.
• 29. listopadu 2022
  • Opravili jsme problém s parsováním JSON v automatickém zavaděče, když byly všechny sloupce ponechány jako řetězce (cloudFiles.inferColumnTypes nebyly nastaveny nebo nastaveny na false) a json obsahoval vnořené objekty.
  • Aktualizace zabezpečení operačního systému.
• 15. listopadu 2022
  • Upgradovali jsme Apache commons-text na verzi 1.10.0.
  • Aktualizace zabezpečení operačního systému.
  • Různé opravy.
• 1. listopadu 2022
  • Opravili jsme problém, kdy pokud tabulka Delta měla uživatelem definovaný sloupec s názvem _change_type, ale v této tabulce byla vypnuta možnost Změnit datový kanál , data v tomto sloupci by při spuštění MERGEnesprávně vyplnila hodnoty NULL.
  • Opravili jsme problém s automatickým zavaděčem, kdy se soubor mohl duplikovat ve stejné mikrodávce, když allowOverwrites je povolený.
  • [SPARK-40596] Naplnění příkazu ExecutorDecommission zprávami v ExecutorDecommissionInfo
  • Aktualizace zabezpečení operačního systému.
• 18. října 2022
  • Aktualizace zabezpečení operačního systému.
• 5. října 2022
  • Různé opravy.
  • Aktualizace zabezpečení operačního systému.
• 22. září 2022
  • Uživatelé můžou nastavit spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") a znovu povolit integrovaný výpis automatického zavaděče v ADLS Gen2. Předdefinovaný výpis byl dříve vypnutý kvůli problémům s výkonem, ale mohl vést ke zvýšení nákladů na úložiště pro zákazníky.
  • [SPARK-40315] Přidání hashCode() pro literál ArrayBasedMapData
  • [SPARK-40089] Oprava řazení u některých typů desetinných míst
  • [SPARK-39887] RemoveRedundantAliases by měly uchovávat aliasy, které tvoří výstup uzlů projekce jedinečným
• 6. září 2022
  • [SPARK-40235] Místo synchronizace v Executor.updateDependencies() použijte přerušitelný zámek.
  • [SPARK-35542] Oprava: Bucketizer vytvořený pro více sloupců s parametry splitsArray, inputCols a outputCols nelze načíst po uložení
  • [SPARK-40079] Přidání ověření Imputer inputCols pro prázdný vstupní případ
• 24. srpna 2022
  • [SPARK-39666] Použití UnsafeProjection.create k respektu spark.sql.codegen.factoryMode ve výrazuEncoder
  • [SPARK-39962] Použít projekci, pokud jsou atributy skupiny prázdné
  • Aktualizace zabezpečení operačního systému.
• 9. srpna 2022
  • Aktualizace zabezpečení operačního systému.
• 27. července 2022
  • Zajistit konzistenci výsledků operace Delta MERGE, pokud zdroj není deterministický.
  • [SPARK-39689] Podpora 2 znaků lineSep ve zdroji dat CSV
  • [SPARK-39575] Přidáno ByteBuffer#rewind za ByteBuffer#get .AvroDeserializer
  • [SPARK-37392] Opravili jsme chybu výkonu pro optimalizátor katalyzátoru.
  • Aktualizace zabezpečení operačního systému.
• 13. července 2022
  • [SPARK-39419]ArraySort vyvolá výjimku, pokud srovnávací program vrátí hodnotu null.
  • Vypnuli jste používání integrovaných cloudových rozhraní API automatického zavaděče pro výpis adresářů v Azure.
  • Aktualizace zabezpečení operačního systému.
• 5. července 2022
  • Aktualizace zabezpečení operačního systému.
  • Různé opravy.
• 15. června 2022
  • [SPARK-39283] Opravte vzájemné zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator.
• 2. června 2022
  • [SPARK-34554] Implementujte metodu copy() v ColumnarMap.
  • Aktualizace zabezpečení operačního systému.
• 18. května 2022
  • Opravili jsme potenciální nevracení paměti v automatickém zavaděče.
  • Upgradujte verzi sady AWS SDK z verze 1.11.655 na verzi 1.11.678.
  • [SPARK-38918] Vyřazení vnořených sloupců by mělo vyfiltrovat atributy, které nepatří do aktuální relace.
  • [SPARK-39084] Oprava df.rdd.isEmpty() pomocí TaskContext zastavení iterátoru při dokončení úkolu
  • Aktualizace zabezpečení operačního systému.
• 19. dubna 2022
  • Aktualizace zabezpečení operačního systému.
  • Různé opravy.
• 6. dubna 2022
  • [SPARK-38631] Používá implementaci založenou na Javě pro zrušení tarringu v souboru Utils.unpack.
  • Aktualizace zabezpečení operačního systému.
• 22. března 2022
  • Změna aktuálního pracovního adresáře poznámkových bloků v clusterech s vysokou souběžností s podporou řízení přístupu k tabulce nebo předáváním přihlašovacích údajů do domovského adresáře uživatele. Dříve byla /databricks/driverslužba Active Directory .
  • [SPARK-38437] Lenient serializace datetime ze zdroje dat
  • [SPARK-38180] Povolit bezpečné přetypování výrazů v korelovaných predikátech rovnosti
  • [SPARK-38155] Zakázat jedinečné agregace v laterálních poddotazech s nepodporovanými predikáty
  • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
• 14. března 2022
  • [SPARK-38236] Absolutní cesty k souborům zadané v tabulce create/alter se považují za relativní.
  • [SPARK-34069] Přeruší vlákno úkolu, pokud je místní vlastnost SPARK_JOB_INTERRUPT_ON_CANCEL nastavena na true.
• 23. února 2022
  • [SPARK-37859] Tabulky SQL vytvořené pomocí JDBC se Sparkem 3.1 se nedají číst pomocí Sparku 3.2.
• 8. února 2022
  • [SPARK-27442] Při čtení nebo zápisu dat do parquetu se odebralo zaškrtávací pole.
  • Aktualizace zabezpečení operačního systému.
• 1. února 2022
  • Aktualizace zabezpečení operačního systému.
• 26. ledna 2022
  • Opravili jsme problém, kdy se souběžné transakce v tabulkách Delta mohly za určitých výjimečných podmínek potvrdit v ne serializovatelném pořadí.
  • Opravili jsme problém, kdy OPTIMIZE příkaz mohl selhat, když byl povolen dialekt ANSI SQL.
• 19. ledna 2022
  • Menší opravy a vylepšení zabezpečení
  • Aktualizace zabezpečení operačního systému.
• 4. listopadu 2021
  • Opravili jsme problém, který mohl způsobit selhání datových proudů strukturovaného streamování s chybou ArrayIndexOutOfBoundsException.
  • Opravili jsme stav časování, který mohl způsobit selhání dotazu s objektem IOException java.io.IOException: No FileSystem for scheme , nebo který by mohl způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.
  • Apache Spark Připojení or pro rozdílové sdílení byl upgradován na verzi 0.2.0.
• 20. října 2021
  • Upgradovali jsme konektor BigQuery z verze 0.18.1 na 0.22.2. Tím se přidá podpora pro typ BigNumeric.