Databricks Runtime 14.3 LTS

  • Článek

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 14.3 LTS, který využívá Apache Spark 3.5.0.

Databricks tyto image vydal v únoru 2024.

Nové funkce a vylepšení

Podpora optimalizace vektorů MERGE odstranění bez Photonu

Photon se už nevyžaduje, MERGE aby operace využívaly optimalizace vektorů odstranění. Podívejte se, co jsou vektory odstranění?

Rozhraní API katalogu Spark jsou teď plně podporovaná v režimu sdíleného přístupu.

Teď můžete používat všechny funkce v rozhraní API v Pythonu spark.catalog i scalě na výpočetních prostředcích nakonfigurovaných pomocí režimu sdíleného přístupu.

Delta UniForm je teď obecně dostupný.

UniForm je nyní obecně dostupný a používá IcebergCompatV2 funkci tabulky. U existujících tabulek teď můžete povolit nebo upgradovat UniForm. Viz Použití uniformu ke čtení tabulek Delta s klienty Iceberg.

Nová funkce SQL EXECUTE IMMEDIATE

Syntaxi EXECUTE IMMEDIATE teď můžete použít k podpoře parametrizovaných dotazů v SQL. Viz SPUSTIT OKAMŽITĚ.

Přepočítání statistiky vynechání dat pro tabulky Delta

Statistiky uložené v protokolu Delta teď můžete překompilovat po změně sloupců používaných pro přeskočení dat. Viz Určení sloupců statistiky Delta.

Informace o stavu dotazu pro stavové dotazy streamování

Teď se můžete dotazovat na data stavu strukturovaného streamování a metadata. Viz Informace o stavu strukturovaného streamování.

Použití Microsoft Entra ID (dříve Azure Active Directory) pro ověřování Kafka ve sdílených clusterech

Služby Event Hubs teď můžete ověřovat prostřednictvím OAuth s ID Microsoft Entra na výpočetních prostředcích nakonfigurovaných pomocí režimu sdíleného přístupu. Viz ověřování instančního objektu pomocí Microsoft Entra ID (dříve Azure Active Directory) a Azure Event Hubs.

Přidání podpory pro vyřazení souborů a oddílů za účelem zlepšení výkonu dotazů

Abychom urychlili některé dotazy, které v podmínkách JOIN spoléhají na rovnost odolné proti hodnotě null, podporujeme operátora DynamicFilePruning v sítích JOIN a DynamicPartitionPruning pro EqualNullSafe něj.

Deklarace dočasných proměnných v relaci SQL

Tato verze zavádí možnost deklarovat dočasné proměnné v relaci, kterou je možné nastavit a následně na to odkazovat v rámci dotazů. Viz proměnné.

Aktualizace thriftserveru pro odebrání nepoužívaných funkcí

Kód serveru Thrift byl aktualizován tak, aby odebral kód pro zastaralé funkce. Vzhledem k těmto změnám se už nepodporují následující konfigurace:

  • Pomocné žádosti o přijetí změn Hive nakonfigurované pomocí hive.aux.jars.path této vlastnosti už nejsou podporovány pro hive-thriftserver připojení.
  • Globální inicializační soubor Hive (.hiverc), jehož umístění je nakonfigurováno pomocí hive.server2.global.init.file.location vlastnosti nebo HIVE_CONF_DIR proměnné prostředí, už není podporováno pro hive-thriftserver připojení.

Použití úložiště důvěryhodnosti a souborů úložiště klíčů ve svazcích katalogu Unity

Teď můžete použít úložiště důvěryhodnosti a soubory úložiště klíčů ve svazcích katalogu Unity k ověření v registru schématu Confluent pro data vyrovnávací paměti avro nebo protokolu. Viz dokumentace k vyrovnávací paměti avro nebo protokolu.

Podpora nativního formátu souborů XML (Public Preview)

Podpora nativního formátu souborů XML je teď ve verzi Public Preview. Podpora formátu souboru XML umožňuje příjem dat, dotazování a analýzu dat XML pro dávkové zpracování nebo streamování. Může automaticky odvodit a vyvíjet schémata a datové typy, podporuje výrazy SQL jako from_xmla může generovat dokumenty XML. Nevyžaduje externí soubory JAR a bezproblémově funguje s automatickým zavaděčem, read_filesa COPY INTOdynamickými tabulkami Delta. Viz Čtení a zápis souborů XML.

Podpora úložiště Cloudflare R2 (Public Preview)

Cloudflare R2 teď můžete použít jako cloudové úložiště pro data zaregistrovaná v katalogu Unity. Cloudflare R2 je určen především pro případy použití rozdílového sdílení, ve kterých se chcete vyhnout poplatkům za výchozí přenos dat účtovaným poskytovateli cloudu při přechodu mezi oblastmi. Úložiště R2 podporuje všechna data Databricks a prostředky AI podporované v AWS S3, Azure Data Lake Storage Gen2 a Google Cloud Storage. Viz Použití replik Cloudflare R2 nebo migrace úložiště do R2 a vytvoření přihlašovacích údajů úložiště pro připojení ke Cloudflare R2.

Přístup Sparku a dbutils k souborům pracovního prostoru v clusterech s katalogem Unity sdíleného přístupu

Spark a dbutils přístup pro čtení a zápis k souborům pracovního prostoru se teď podporuje v clusterech katalogu Unity v režimu sdíleného přístupu. Viz Práce se soubory pracovního prostoru.

Podpora inicializačních skriptů a knihoven clusterů u clusterů Katalogu Unity sdíleného přístupu

Instalace inicializačních skriptů s oborem clusteru a knihoven Python a JAR v clusterech Katalogu Unity v režimu sdíleného přístupu, včetně instalace pomocí zásad clusteru, je teď obecně dostupná. Databricks doporučuje instalovat inicializační skripty a knihovny ze svazků katalogu Unity.

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • fastjsonschema od 2.19.0 do 2.19.1
    • filelock od 3.12.4 do 3.13.1
    • googleapis-common-protos od 1.61.0 do 1.62.0
    • balení od 22.0 do 23.2
  • Upgradované knihovny jazyka R:
    • cizí od 0.8-82 do 0.8-85
    • nlme od 3.1-162 do 3.1-163
    • rpart from 4.1.19 to 4.1.21
  • Upgradované knihovny Java:
    • com.databricks.databricks-sdk-java od 0.7.0 do 0.13.0
    • org.apache.orc.orc-core od 1.9.1-shaded-protobuf na 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce z verze 1.9.1-shaded-protobuf až 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims od 1.9.1 do 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 od 2.9.0 do 2.11.0

Apache Spark

Databricks Runtime 14.3 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 14.2, a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-46541] [SC-153546] [SQL] [CONNECT] Oprava nejednoznačného odkazu na sloupec ve spojení s vlastním spojením
  • [SPARK-45433] Vrátit zpět "[SC-145163][SQL] Oprava schématu CSV/JSON odvozené...
  • [SPARK-46723] [14.3] [SASP-2792] [SC-153425] [CONNECT] [SCALA] Opětovné opakování addArtifact
  • [SPARK-46660] [SC-153391] [CONNECT] Opětovné připojeníExecute vyžaduje aktualizace naživotnosti sessionHolderu
  • [SPARK-46670] [SC-153273] [PYTHON] [SQL] Nastavení objektu DataSourceManager jako samoobslužného klonování oddělením statických a runtime zdrojů dat Pythonu
  • [SPARK-46720] [SC-153410] [SQL] [PYTHON] Refaktoring zdroje dat Pythonu tak, aby odpovídal ostatním integrovaným zdrojům dat DSv2
  • [SPARK-46684] [SC-153275] [PYTHON] [CONNECT] Oprava souboru CoGroup.applyInPandas/Arrow pro správné předávání argumentů
  • [SPARK-46667] [SC-153271] [SC-153263] [SQL] XML: Vyvolání chyby u více zdrojů dat XML
  • [SPARK-46382] [SC-151881] [SQL] XML: Výchozí ignorovatSurroundingSpaces na true
  • [SPARK-46382] [SC-153178] [SQL] XML: Aktualizace dokumentu pro ignoreSurroundingSpaces
  • [SPARK-45292] Vrátit zpět [SC-151609][SQL][HIVE] Odebrat Guava ze sdílených tříd z IsolatedClientLoader
  • [SPARK-45292] [SC-151609] [SQL] [HIVE] Odebrání Guava ze sdílených tříd z IsolatedClientLoaderu
  • [SPARK-46311] [SC-150137] [JÁDRO] Zaznamenání konečného stavu ovladačů během Master.removeDriver
  • [SPARK-46413] [SC-151052] [PYTHON] Ověření návratového typu šipky v Pythonu UDF
  • [SPARK-46633] [WARMFIX] [SC-153092] [SQL] Oprava čtečky Avro pro zpracování bloků nulové délky
  • [SPARK-46537] [SC-151286] [SQL] Převod NPE a kontrolních výrazů z příkazů na vnitřní chyby
  • [SPARK-46179] [SC-151678] [SQL] Přidejte CrossDbmsQueryTestSuites, který spouští ostatní DBMS proti zlatým souborům s jinými DBMS počínaje Postgresem.
  • [SPARK-44001] [SC-151413] [PROTOBUF] Přidání možnosti pro povolení rozbalení známých typů obálky protobuf
  • [SPARK-40876] [SC-151786] [SQL] Rozšíření povýšení typu pro desetinné čárky s větším měřítkem u čteček Parquet
  • [SPARK-46605] [SC-151769] [CONNECT] Vytvoření lit/typedLit funkce v podpoře modulu connect s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005] [SQL] Ověření literálu by nemělo procházet k podrobnostem polí s hodnotou null.
  • [SPARK-37039] [SC-153094] [PS] Oprava Series.astype správné práce s chybějící hodnotou
  • [SPARK-46312] [SC-150163] [JÁDRO] Použít lower_camel_case v store_types.proto
  • [SPARK-46630] [SC-153084] [SQL] XML: Ověření názvu elementu XML při zápisu
  • [SPARK-46627] [SC-152981] [SS] [UŽIVATELSKÉ ROZHRANÍ] Oprava obsahu popisu časové osy v uživatelském rozhraní streamování
  • [SPARK-46248] [SC-151774] [SQL] XML: Podpora pro ignoreCorruptFiles a ignorovat MožnostiMissingFiles
  • [SPARK-46386] [SC-150766] [PYTHON] Zlepšení kontrolních výrazů pozorování (pyspark.sql.observace)
  • [SPARK-46581] [SC-151789] [JÁDRO] Komentář k aktualizaci isZero v akumulátoruV2
  • [SPARK-46601] [SC-151785] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
  • [SPARK-46568] [SC-151685] [PYTHON] Nastavení možností zdroje dat v Pythonu jako slovník nerozlišující velká a malá písmena
  • [SPARK-46611] [SC-151783] [JÁDRO] Odebrání ThreadLocal nahrazením SimpleDateFormat dateTimeFormatter
  • [SPARK-46604] [SC-151768] [SQL] Podpora Literal.applys.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223] [SQL] [PYTHON] Oprava názvu výstupu pyspark.sql.functions.user a session_user
  • [SPARK-46621] [SC-151794] [PYTHON] Adresa null z Exception.getMessage v Py4J zachycená výjimka
  • [SPARK-46598] [SC-151767] [SQL] OrcColumnarBatchReader by měl při vytváření vektorů sloupců pro chybějící sloupec respektovat režim paměti.
  • [SPARK-46613] [SC-151778] [SQL] [PYTHON] Protokolování úplné výjimky, když se nepodařilo vyhledat zdroje dat Pythonu
  • [SPARK-46559] [SC-151364] [MLLIB] Zabalení export názvu balíčku pomocí backticks
  • [SPARK-46522] [SC-151784] [PYTHON] Blokování registrace zdroje dat Pythonu s konflikty názvů
  • [SPARK-45580] [SC-149956] [SQL] Zpracování případu, kdy se vnořený poddotaz stane spojením existence
  • [SPARK-46609] [SC-151714] [SQL] Vyhněte se exponenciální exploze v PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288] [SQL] Oprava NPE při popisu rozšířeného sloupce bez statistik sloupců
  • [SPARK-46599] [SC-147661] [SC-151770] [SQL] XML: Pro kontrolu kompatibility použijte TypeCoercion.findTightestCommonType.
  • [SPARK-40876] [SC-151129] [SQL] Rozšíření povýšení typů v čtenářích Parquet
  • [SPARK-46179] [SC-151069] [SQL] Stažení kódu do opakovaně použitelných funkcí v SQLQueryTestSuite
  • [SPARK-46586] [SC-151679] [SQL] Podpora s.c.immutable.ArraySeq jako customCollectionCls v MapObjects
  • [SPARK-46585] [SC-151622] [JÁDRO] Přímo konstruováno metricPeaks jako místo immutable.ArraySeq použití mutable.ArraySeq.toSeqExecutor
  • [SPARK-46488] [SC-151173] [SQL] Přeskočení volání trimAll během analýzy časového razítka
  • [SPARK-46231] [SC-149724] [PYTHON] Migrace všech zbývajících chyb & NotImplementedErrorTypeError do architektury chyb PySpark
  • [SPARK-46348] [SC-150281] [JÁDRO] Podporu spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164] [JÁDRO] Doba trvání obnovení protokolu Spark HA
  • [SPARK-46358] [SC-150307] [CONNECT] Zjednodušení kontroly podmínky v ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078] [SQL] Před vyhodnocením vložených výrazů tabulky nahraďte aktuální čas a datum.
  • [SPARK-46563] [SC-151441] [SQL] Zobrazení simpleString není sledovat conf spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211] [JÁDRO] [SQL] [MLLIB] [SS] [R] [CONNCT] [GRAPHX] Zmenšete hloubku zásobníku nahrazením (řetězec|pole).size za (řetězec|pole).length
  • [SPARK-46539] [SC-151469] [SQL] SELECT * EXCEPT(všechna pole ze struktury) způsobí selhání kontrolního výrazu.
  • [SPARK-46565] [SC-151414] [PYTHON] Upřesnění tříd chyb a chybových zpráv pro zdroje dat Pythonu
  • [SPARK-46576] [SC-151614] [SQL] Vylepšení chybových zpráv pro nepodporovaný režim ukládání zdroje dat
  • [SPARK-46540] [SC-151355] [PYTHON] Respektovat názvy sloupců, když zdroj dat Pythonu přečte výstup funkce s názvem Objekty řádku
  • [SPARK-46577] [SC-151448] [SQL] HiveMetastoreLazyInitializationSuite leaks hive SessionState
  • [SPARK-44556] [SC-151562] [SQL] Opakované použití OrcTail při povolení vectorizedReader
  • [SPARK-46587] [SC-151618] [SQL] XML: Oprava velkého celočíselného převodu XSD
  • [SPARK-46382] [SC-151297] [SQL] XML: Zachycení hodnot propletených mezi prvky
  • [SPARK-46567] [SC-151447] [JÁDRO] Odebrání ThreadLocal pro ReadAheadInputStream
  • [SPARK-45917] [SC-151269] [PYTHON] [SQL] Automatická registrace zdroje dat Pythonu při spuštění
  • [SPARK-28386] [SC-151014] [SQL] Nelze přeložit sloupce ORDER BY pomocí funkce GROUP BY a HAVING.
  • [SPARK-46524] [SC-151446] [SQL] Vylepšení chybových zpráv pro neplatný režim ukládání
  • [SPARK-46294] [SC-150672] [SQL] Vyčištění sémantiky inicializační vs. nulové hodnoty
  • [SPARK-46301] [SC-150100] [JÁDRO] Podporu spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324] [SQL] Odeberte kontrolu c>=0 , ExternalCatalogUtils#needsEscaping protože je vždy pravdivá.
  • [SPARK-46553] [SC-151360] [PS] FutureWarning for interpolate with object dtype
  • [SPARK-45914] [SC-151312] [PYTHON] Podpora zápisu a přerušení rozhraní API pro zápis zdroje dat Pythonu
  • [SPARK-46543] [SC-151350] [PYTHON] [CONNECT] Vyvolání json_tuple chyby PySparkValueError pro prázdná pole
  • [SPARK-46520] [SC-151227] [PYTHON] Podpora režimu přepsání pro zápis zdroje dat Pythonu
  • [SPARK-46502] [SC-151235] [SQL] Podpora typů časových razítek v UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279] [CONNECT] Předání parametrů zprávy v metadatech ErrorInfo
  • [SPARK-46397] Vrátit zpět "[SC-151311][PYTHON][CONNECT] Funkce sha2 by měla vyvolat PySparkValueError neplatnou numBits"
  • [SPARK-46170] [SC-149472] [SQL] Podpora vkládání pravidel strategie adaptivního dotazu post planneru ve SparkSessionExtensions
  • [SPARK-46444] [SC-151195] [SQL] V2SessionCatalog#createTable by neměla načíst tabulku.
  • [SPARK-46397] [SC-151311] [PYTHON] [CONNECT] Funkce by měla vyvolat PySparkValueError neplatnou hodnotusha2.numBits
  • [SPARK-46145] [SC-149471] [SQL] spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde
  • [SPARK-46272] [SC-151012] [SQL] Podpora CTAS s využitím zdrojů DSv2
  • [SPARK-46480] [SC-151127] [JÁDRO] [SQL] Oprava NPE při pokusu o úlohu mezipaměti tabulky
  • [SPARK-46100] [SC-149051] [JÁDRO] [PYTHON] Zmenšete hloubku zásobníku nahrazením (řetězec|pole).size za (řetězec|pole).length
  • [SPARK-45795] [SC-150764] [SQL] DS V2 podporuje režim push down
  • [SPARK-46485] [SC-151133] [SQL] V1Write by neměl přidat řazení, pokud není potřeba
  • [SPARK-46468] [SC-151121] [SQL] Zpracování chyby COUNT u poddotazů EXISTS s agregací bez seskupování klíčů
  • [SPARK-46246] [SC-150927] [SQL] SPUŠTĚNÍ PODPORY OKAMŽITÉHO SQL
  • [SPARK-46498] [SC-151199] [JÁDRO] Odebrat shuffleServiceEnabled z o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807] [SQL] Ve výchozím nastavení nastavte konfigurace rebase do CORRECTED režimu.
  • [SPARK-45525] [SC-151120] [SQL] [PYTHON] Podpora zápisu zdroje dat v Pythonu pomocí DSv2
  • [SPARK-46505] [SC-151187] [CONNECT] Nastavení prahové hodnoty bajtů konfigurovatelné v ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025] [SQL] Odebrání starší verze konfigurace SQL data a času
  • [SPARK-46443] [SC-151123] [SQL] Přesnost a měřítko desetinných míst by mělo rozhodnout dialekt H2.
  • [SPARK-46384] [SC-150694] [SPARK-46404] [SS] [UŽIVATELSKÉ ROZHRANÍ] Oprava zásobníku doby trvání operace na stránce strukturovaného streamování
  • [SPARK-46207] [SC-151068] [SQL] Podpora MergeInto v DataFrameWriterV2
  • [SPARK-46452] [SC-151018] [SQL] Přidání nového rozhraní API v objektu DataWriter pro zápis iterátoru záznamů
  • [SPARK-46273] [SC-150313] [SQL] Podpora FUNKCE INSERT INTO/OVERWRITE pomocí zdrojů DSv2
  • [SPARK-46344] [SC-150267] [JÁDRO] Upozornění správně, pokud ovladač existuje úspěšně, ale hlavní server je odpojen
  • [SPARK-46284] [SC-149944] [PYTHON] [CONNECT] Přidání session_user funkce do Pythonu
  • [SPARK-46043] [SC-149786] [SQL] Podpora vytváření tabulek pomocí zdrojů DSv2
  • [SPARK-46323] [SC-150191] [PYTHON] Oprava názvu výstupu pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059] [PYTHON] [CONNECT] Přidat Column.isNaN v PySparku
  • [SPARK-46456] [SC-151050] [JÁDRO] Přidání spark.ui.jettyStopTimeout pro nastavení časového limitu zastavení serveru Jetty pro odblokování vypnutí SparkContextu
  • [SPARK-43427] [SC-150356] [PROTOBUF] Spark protobuf: Povolit přetypování bez znaménka celočíselné typy
  • [SPARK-46399] [SC-151013] [14.x] [Jádro] Přidání stavu ukončení do události Konec aplikace pro použití naslouchacího procesu Sparku
  • [SPARK-46423] [SC-150752] [PYTHON] [SQL] Vytvoření instance zdroje dat Pythonu na dataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765] [PYTHON] [SQL] Podpora metrik Pythonu ve zdroji dat Pythonu
  • [SPARK-46330] [SC-151015] Načítání bloků uživatelského rozhraní Sparku po dlouhou dobu, když je povolený HybridStore
  • [SPARK-46378] [SC-150397] [SQL] Po převodu agregace na projekt stále odeberte řazení.
  • [SPARK-45506] [SC-146959] [CONNECT] Přidání podpory identifikátoru URI ivy do Sparku Připojení addArtifact
  • [SPARK-45814] [SC-147871] [CONNECT] [SQL] Make ArrowConverters.createEmptyArrowBatch call close(), aby nedošlo k nevracení paměti
  • [SPARK-46427] [SC-150759] [PYTHON] [SQL] Změňte popis zdroje dat Pythonu tak, aby byl docela vysvětlovat
  • [SPARK-45597] [SC-150730] [PYTHON] [SQL] Podpora vytváření tabulek pomocí zdroje dat Pythonu v SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700] [PYTHON] Přidání getMessageParameters a podpora getQueryContext
  • [SPARK-46453] [SC-150897] [CONNECT] Vyvolání výjimky z internalError()SessionHolder
  • [SPARK-45758] [SC-147454] [SQL] Zavedení mapperu pro kodeky komprese hadoop
  • [SPARK-46213] [PYTHON] Zavedení PySparkImportError pro architekturu chyb
  • [SPARK-46230] [SC-149960] [PYTHON] Chyba migrace RetriesExceeded do PySparku
  • [SPARK-45035] [SC-145887] [SQL] Oprava ignoreCorruptFiles/ignoreMissingFiles s víceřádkovým souborem CSV/JSON oznámí chybu
  • [SPARK-46289] [SC-150846] [SQL] Podpora řazení UDT v interpretovaném režimu
  • [SPARK-46229] [SC-150798] [PYTHON] [CONNECT] Přidání applyInArrow do groupBy a cogroup ve Sparku Připojení
  • [SPARK-46420] [SC-150847] [SQL] Odebrání nepoužívaného přenosu v SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Migrace všech zbývajících RuntimeError do architektury chyb PySpark
  • [SPARK-45796] [SC-150613] [SQL] REŽIM podpory () V RÁMCI SKUPINY (ORDER BY col)
  • [SPARK-40559] [SC-149686] [PYTHON] [14.X] Přidání applyInArrow do groupBy a cogroup
  • [SPARK-46069] [SC-149672] [SQL] Podpora typu unwrap timestamp to date type
  • [SPARK-46406] [SC-150770] [SQL] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782] [SS] Převod IllegalStateException na internalError iterátory relací
  • [SPARK-45807] [SC-150751] [SQL] Vylepšení rozhraní Api ViewCatalog
  • [SPARK-46009] [SC-149771] [SQL] [CONNECT] Sloučení pravidla analýzy percentileCont a PercentileDisc do functionCall
  • [SPARK-46403] [SC-150756] [SQL] Dekódování binárního souboru parquet pomocí metody getBytesUnsafe
  • [SPARK-46389] [SC-150779] [JÁDRO] Ruční zavření RocksDB/LevelDB instance při checkVersion vyvolání výjimky
  • [SPARK-46360] [SC-150376] [PYTHON] Vylepšení ladění chybových zpráv pomocí nového getMessage rozhraní API
  • [SPARK-46233] [SC-149766] [PYTHON] Migrace všech zbývajících AttributeError do architektury chyb PySpark
  • [SPARK-46394] [SC-150599] [SQL] Oprava problémů se spark.catalog.listDatabases() ve schématech se speciálními znaky při spark.sql.legacy.keepCommandOutputSchema nastavení na hodnotu true
  • [SPARK-45964] [SC-148484] [SQL] Odebrání privátního přístupového objektu SQL v balíčku XML a JSON v rámci balíčku s katalyzátorem
  • [SPARK-45856] [SC-148691] Přesun ArtifactManageru ze Sparku Připojení do SparkSession (sql/core)
  • [SPARK-46409] [SC-150714] [CONNECT] Oprava spouštěcího skriptu spark-connect-scala-client
  • [SPARK-46416] [SC-150699] [JÁDRO] Přidat @tailrec do HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154] [SQL] Omezení znakových sad v encode()
  • [SPARK-46253] [SC-150416] [PYTHON] Plánování čtení zdroje dat Pythonu pomocí MapInArrow
  • [SPARK-46339] [SC-150266] [SS] Adresář s názvem dávkového čísla by neměl být považován za protokol metadat.
  • [SPARK-46353] [SC-150396] [JÁDRO] Refaktoring pro zlepšení RegisterWorker pokrytí testů jednotek
  • [SPARK-45826] [SC-149061] [SQL] Přidání konfigurace SQL pro trasování zásobníku v kontextu dotazu datového rámce
  • [SPARK-45649] [SC-150300] [SQL] Sjednocení architektury přípravy pro OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282] [JÁDRO] Oprava hlavního serveru pro aktualizaci pracovního procesu z UNKNOWN na ALIVERegisterWorker msg
  • [SPARK-46388] [SC-150496] [SQL] HiveAnalysis vynechá vzor ochrany query.resolved
  • [SPARK-46401] [SC-150609] [JÁDRO] Používejte !isEmpty() místo RoaringBitmap v getCardinality() > 0RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603] [SQL] Klasifikace výjimek v katalogu tabulek JDBC
  • [SPARK-45798] [SC-150513] [CONNECT] Postup: Přidání serverSessionId do SessionHolderInfo
  • [SPARK-46153] [SC-146564] [SC-150508] [SQL] XML: Přidání podpory TimestampNTZType
  • [SPARK-46075] [SC-150393] [CONNECT] Vylepšení Spark Připojení SessionManager
  • [SPARK-46357] [SC-150596] Nahrazení nesprávné dokumentace použití setConf s conf.set
  • [SPARK-46202] [SC-150420] [CONNECT] Zveřejnění nových rozhraní API ArtifactManager pro podporu vlastních cílových adresářů
  • [SPARK-45824] [SC-147648] [SQL] Vynucení třídy chyby v ParseException
  • [SPARK-45845] [SC-148163] [SS] [UŽIVATELSKÉ ROZHRANÍ] Přidání počtu vyřazených řádků stavu do uživatelského rozhraní streamování
  • [SPARK-46316] [SC-150181] [JÁDRO] Povolení buf-lint-action v core modulu
  • [SPARK-45816] [SC-147656] [SQL] Vrácení NULL při přetečení během přetypování z časového razítka na celá čísla
  • [SPARK-46333] [SC-150263] [SQL] Nahradit IllegalStateException v katalyzátoru SparkException.internalError
  • [SPARK-45762] [SC-148486] [JÁDRO] Podpora správců náhodného prohazování definovaných v uživatelských souborech JAR změnou pořadí spuštění
  • [SPARK-46239] [SC-149752] [JÁDRO] Skrýt Jetty informace
  • [SPARK-45886] [SC-148089] [SQL] Výstup úplného trasování zásobníku v callSite kontextu datového rámce
  • [SPARK-46290] [SC-150059] [PYTHON] Změna saveMode na logický příznak pro DataSourceWriter
  • [SPARK-45899] [SC-148097] [CONNECT] Nastavení chybyClass v errorInfoToThrowable
  • [SPARK-45841] [SC-147657] [SQL] Zveřejnění trasování zásobníku podle DataFrameQueryContext
  • [SPARK-45843] [SC-147721] [JÁDRO] Podpora killall v rozhraní REST Submission API
  • [SPARK-46234] [SC-149711] [PYTHON] Zavedení PySparkKeyError architektury chyb PySpark
  • [SPARK-45606] [SC-147655] [SQL] Omezení vydaných verzí u filtru modulu runtime s více vrstvami
  • [SPARK-45725] [SC-147006] [SQL] Odebrání jiného než výchozího filtru modulu runtime poddotazů IN
  • [SPARK-45694] [SC-147314] [SPARK-45695] [SQL] Vyčištění zastaralého využití View.force rozhraní API a ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488] [SQL] Obecnější nastavení withOrigin
  • [SPARK-46292] [SC-150086] [JÁDRO] [UŽIVATELSKÉ ROZHRANÍ] Zobrazení souhrnu pracovních procesů v MasterPage
  • [SPARK-45685] [SC-146881] [JÁDRO] [SQL] Používejte LazyList místo Stream
  • [SPARK-45888] [SC-149945] [SS] Použití architektury tříd chyb na zdroj dat State (Metadata)
  • [SPARK-46261] [SC-150111] [CONNECT] DataFrame.withColumnsRenamed by mělo zachovat pořadí diktování a mapování.
  • [SPARK-46263] [SC-149933] [SQL] [SS] [ML] [MLLIB] [UŽIVATELSKÉ ROZHRANÍ] Vyčištění SeqOps.view a ArrayOps.view převody
  • [SPARK-46029] [SC-149255] [SQL] Uvozovku uvozovek uvozovek _ a % pro DS V2 pushdown
  • [SPARK-46275] [SC-150189] Protobuf: Vrátí hodnotu null v režimu permissive v případě selhání deserializace.
  • [SPARK-46320] [SC-150187] [JÁDRO] Podporu spark.master.rest.host
  • [SPARK-46092] [SC-149658] [SQL] Nenasdílejte filtry skupin řádků Parquet, které přeteče
  • [SPARK-46300] [SC-150097] [PYTHON] [CONNECT] Porovnávání menšího chování ve sloupci s úplným pokrytím testu
  • [SPARK-46298] [SC-150092] [PYTHON] [CONNECT] Shoda s upozorněním na vyřazení, testovacím případem a chybou Catalog.createExternalTable
  • [SPARK-45689] [SC-146898] [SPARK-45690] [SPARK-45691] [JÁDRO] [SQL] Vyčištění zastaralého využití rozhraní API související s používáním StringContext/StringOps/RightProjection/LeftProjection/Either a typem použití BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407] [SQL] Podpora SHOW TABLE EXTENDED v 2
  • [SPARK-45737] [SC-147011] [SQL] Odebrání nepotřebných v .toArray[InternalRow]SparkPlan#executeTake
  • [SPARK-46249] [SC-149797] [SS] Vyžadovat zámek instance pro získání metrik RocksDB, aby se zabránilo rase s operacemi na pozadí
  • [SPARK-46260] [SC-149940] [PYTHON] [SQL] DataFrame.withColumnsRenamed by měla respektovat pořadí diktování.
  • [SPARK-46274] [SC-150043] [SQL] Oprava výpočetních statistik operátoru Range() pro kontrolu dlouhé platnosti před převodem
  • [SPARK-46040] [SC-149767] [SQL] [Python] Aktualizace rozhraní API UDTF pro analýzu nebo řazení sloupců pro podporu obecných výrazů
  • [SPARK-46287] [SC-149949] [PYTHON] [CONNECT] DataFrame.isEmpty by měly fungovat se všemi datovými typy.
  • [SPARK-45678] [SC-146825] [JÁDRO] Cover BufferReleasingInputStream.available/reset v rámci tryOrFetchFailedException
  • [SPARK-45667] [SC-146716] [JÁDRO] [SQL] [CONNECT] Vyčistěte zastaralé využití rozhraní API související s IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992] [SQL] Představuje select * except syntaxi.
  • [SPARK-46269] [SC-149816] [PS] Povolení více testů funkcí kompatibility NumPy
  • [SPARK-45807] [SC-149851] [SQL] Přidání createOrReplaceView(..) / replaceView(..) do ViewCatalogu
  • [SPARK-45742] [SC-147212] [JÁDRO] [CONNECT] [MLLIB] [PYTHON] Představuje implicitní funkci pro Scala Array, která se má zabalit do immutable.ArraySeq.
  • [SPARK-46205] [SC-149655] [JÁDRO] Zlepšení PersistenceEngine výkonu s využitím KryoSerializer
  • [SPARK-45746] [SC-149359] [Python] Vrácení konkrétních chybových zpráv, pokud metoda UDTF analyze nebo eval přijímá nebo vrací nesprávné hodnoty
  • [SPARK-46186] [SC-149707] [CONNECT] Oprava neplatného přechodu stavu při přerušení ExecuteThreadRunneru před spuštěním
  • [SPARK-46262] [SC-149803] [PS] Povolte test pro np.left_shift objekt Pandas-on-Spark.
  • [SPARK-45093] [SC-149679] [CONNECT] [PYTHON] Správná podpora zpracování a převodu chyb pro AddArtifactHandler
  • [SPARK-46188] [SC-149571] [Doc] [3.5] Oprava šablon stylů CSS vygenerovaných tabulek dokumentace Sparku
  • [SPARK-45940] [SC-149549] [PYTHON] Přidání InputPartition do rozhraní DataSourceReader
  • [SPARK-43393] [SC-148301] [SQL] Chyba přetečení výrazu posloupnosti adres
  • [SPARK-46144] [SC-149466] [SQL] Selhat INSERT INTO ... Příkaz REPLACE, pokud podmínka obsahuje poddotaz
  • [SPARK-46118] [SC-149096] [SQL] [SS] [CONNECT] Místo SparkSession.sessionState.conf a SQLContext.conf označení SQLContext.conf jako zastaralé
  • [SPARK-45760] [SC-147550] [SQL] Přidání pomocí výrazu, aby se zabránilo duplikování výrazů
  • [SPARK-43228] [SC-149670] [SQL] Klíče spojení také odpovídají PartitioningCollection v CoalesceBucketsInJoinJoin
  • [SPARK-46223] [SC-149691] [PS] Test SparkPandasNotImplementedError s vyčištěním nepoužívaného kódu
  • [SPARK-46119] [SC-149205] [SQL] Metoda Override toString pro UnresolvedAlias
  • [SPARK-46206] [SC-149674] [PS] Použití výjimky užšího oboru pro procesor SQL
  • [SPARK-46191] [SC-149565] [JÁDRO] Vylepšení FileSystemPersistenceEngine.persist chyby msg v případě existujícího souboru
  • [SPARK-46036] [SC-149356] [SQL] Odebrání třídy chyb z funkce raise_error
  • [SPARK-46055] [SC-149254] [SQL] Přepsání implementace rozhraní API databáze katalogu
  • [SPARK-46152] [SC-149454] [SQL] XML: Přidání podpory decimalType v odvození schématu XML
  • [SPARK-45943] [SC-149452] [SQL] Přesunutí funkce DetermineTableStats do pravidel překladu
  • [SPARK-45887] [SC-148994] [SQL] Zarovnání implementace codegenu a jiného typu než codegen Encode
  • [SPARK-45022] [SC-147158] [SQL] Poskytnutí kontextu pro chyby rozhraní API datové sady
  • [SPARK-45469] [SC-145135] [JÁDRO] [SQL] [CONNECT] [PYTHON] iterator Nahradit toIterator zaIterableOnce
  • [SPARK-46141] [SC-149357] [SQL] Změna výchozí hodnoty pro spark.sql.legacy.ctePrecedencePolicy na CORRECTED
  • [SPARK-45663] [SC-146617] [JÁDRO] [MLLIB] Nahradit IterableOnceOps#aggregate čím IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493] [SQL] Opětovné použití literálových objektů v pravidle ComputeCurrentTime
  • [SPARK-45803] [SC-147489] [JÁDRO] Odeberte už nepoužívané RpcAbortException
  • [SPARK-46148] [SC-149350] [PS] Oprava testu pyspark.pandas.mlflow.load_model (Python 3.12)
  • [SPARK-46110] [SC-149090] [PYTHON] Použití tříd chyb v katalogu, conf, connect, observ, pandas modulech
  • [SPARK-45827] [SC-149203] [SQL] Opravy variant se zakázaným codegenem a vektorizovanými čtečkami
  • [SPARK-46080] Vraťte se na [SC-149012][PYTHON] Upgrade Cloudpickle na verzi 3.0.0.
  • [SPARK-45460] [SC-144852] [SQL] Nahradit scala.collection.convert.ImplicitConversions na scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019] [SQL] Odebrání speciálního rozlišení UnresolvedNamespace pro určité příkazy
  • [SPARK-45600] [SC-148976] [PYTHON] Nastavení úrovně relace registrace zdroje dat v Pythonu
  • [SPARK-46074] [SC-149063] [CONNECT] [SCALA] Nedostatek podrobností v chybové zprávě o selhání UDF
  • [SPARK-46114] [SC-149076] [PYTHON] Přidání chyby PySparkIndexError pro architekturu chyb
  • [SPARK-46120] [SC-149083] [CONNECT] [PYTHON] Odebrání pomocné funkce DataFrame.withPlan
  • [SPARK-45927] [SC-148660] [PYTHON] Aktualizace zpracování cesty pro zdroj dat Pythonu
  • [SPARK-46062] [14.x] [SC-148991] [SQL] Synchronizace příznaku isStreaming mezi definicí CTE a odkazem
  • [SPARK-45698] [SC-146736] [JÁDRO] [SQL] [SS] Vyčištění zastaralého využití rozhraní API související s Buffer
  • [SPARK-46064] [SC-148984] [SQL] [SS] Přesuňte se na analyzátor eliminovatEventTimeWatermark a změňte se, aby se projevily pouze na vyřešené podřízené
  • [SPARK-45922] [SC-149038] [CONNECT] [KLIENT] Menší refaktoring opakování (následná úprava více zásad)
  • [SPARK-45851] [SC-148419] [CONNECT] [SCALA] Podpora více zásad v klientovi scala
  • [SPARK-45974] [SC-149062] [SQL] Přidání scan.filterAttributes neprázdného úsudku pro RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049] [CONNECT] Dataset.groupingSets in Scala Spark Připojení client
  • [SPARK-45136] [SC-146607] [CONNECT] Vylepšení uzavřeníCleaner s podporou Ammonite
  • [SPARK-46084] [SC-149020] [PS] Refaktoring operace přetypování datového typu pro kategorický typ
  • [SPARK-46083] [SC-149018] [PYTHON] Nastavit SparkNoSuchElementException jako kanonické rozhraní API chyb
  • [SPARK-46048] [SC-148982] [PYTHON] [CONNECT] Podpora sad DataFrame.groupingSet v Python Sparku Připojení
  • [SPARK-46080] [SC-149012] [PYTHON] Upgrade Cloudpickle na verzi 3.0.0
  • [SPARK-46082] [SC-149015] [PYTHON] [CONNECT] Oprava reprezentace řetězců protobuf pro rozhraní API služby Pandas Functions s využitím Sparku Připojení
  • [SPARK-46065] [SC-148985] [PS] Refaktoring (DataFrame|Series).factorize() pro použití create_map.
  • [SPARK-46070] [SC-148993] [SQL] Kompilace vzoru regulárních výrazů ve SparkDateTimeUtils.getZoneId mimo horkou smyčku
  • [SPARK-46063] [SC-148981] [PYTHON] [CONNECT] Vylepšení chybových zpráv souvisejících s typy argumentů v roztomilé, souhrnné, seskupit a pivot
  • [SPARK-44442] [SC-144120] [MESOS] Odebrání podpory Mesosu
  • [SPARK-45555] [SC-147620] [PYTHON] Zahrnuje laditelný objekt pro neúspěšný kontrolní výraz.
  • [SPARK-46048] [SC-148871] [PYTHON] [SQL] Podpora sad DataFrame.groupingSets v PySpark
  • [SPARK-45768] [SC-147304] [SQL] [PYTHON] Nastavení konfigurace modulu runtime obslužné rutiny selhání pro spouštění Pythonu v SQL
  • [SPARK-45996] [SC-148586] [PYTHON] [CONNECT] Zobrazení správných zpráv požadavků na závislost pro Spark Připojení
  • [SPARK-45681] [SC-146893] [UŽIVATELSKÉ ROZHRANÍ] Klonování js verze UIUtils.errorMessageCell pro konzistentní vykreslování chyb v uživatelském rozhraní
  • [SPARK-45767] [SC-147225] [JÁDRO] Odstranění TimeStampedHashMap a jeho UT
  • [SPARK-45696] [SC-148864] [JÁDRO] Oprava metody tryCompleteWith in trait Promise je zastaralá
  • [SPARK-45503] [SC-146338] [SS] Přidání souboru Conf pro nastavení komprese RocksDB
  • [SPARK-45338] [SC-143934] [JÁDRO] [SQL] Nahradit scala.collection.JavaConverters na scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804] [SQL] Oprava ArrayIndexOutOfBoundsException v conv()
  • [SPARK-45912] [SC-144982] [SC-148467] [SQL] Vylepšení rozhraní API XSDToSchema: Změna rozhraní HDFS API pro usnadnění přístupu ke cloudovému úložišti
  • [SPARK-45819] [SC-147570] [JÁDRO] Podpora clear v rozhraní REST Submission API
  • [SPARK-45552] [14.x] [SC-146874] [PS] Zavedení flexibilních parametrů pro assertDataFrameEqual
  • [SPARK-45815] [SC-147877] [SQL] [Streamování] [14.x] [CHERRY-PICK] Poskytnutí rozhraní pro další zdroje streamování pro přidání _metadata sloupců
  • [SPARK-45929] [SC-148692] [SQL] Podpora operace seskupování Sad v rozhraní API datového rámce
  • [SPARK-46012] [SC-148693] [JÁDRO] EventLogFileReader by neměl číst kumulativní protokoly, pokud chybí soubor stavu aplikace.
  • [SPARK-45965] [SC-148575] [SQL] Přesunutí výrazů dělení DSv2 do functions.partitioning
  • [SPARK-45971] [SC-148541] [JÁDRO] [SQL] Oprava názvu SparkCollectionUtils balíčku na org.apache.spark.util
  • [SPARK-45688] [SC-147356] [SPARK-45693] [JÁDRO] Vyčištění zastaralého využití rozhraní API související s MapOps a opravou method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645] [SC-148497] [SQL] Odebrání treatEmptyValuesAsNulls a použití nullValue možnosti místo toho v XML
  • [SPARK-45988] [SC-148580] [SPARK-45989] [PYTHON] Oprava popisů typů pro zpracování list obecnýchalias v Pythonu 3.11 nebo novější
  • [SPARK-45999] [SC-148595] [PS] Použití vyhrazeného PandasProduct v cumprod
  • [SPARK-45986] [SC-148583] [ML] [PYTHON] Oprava pyspark.ml.torch.tests.test_distributor v Pythonu 3.11
  • [SPARK-45994] [SC-148581] [PYTHON] Změnit description-file na description_file
  • [SPARK-45575] [SC-146713] [SQL] Možnosti časového cestování podpory pro rozhraní API pro čtení df
  • [SPARK-45747] [SC-148404] [SS] Použití informací o klíči předpony v metadatech stavu ke zpracování stavu čtení pro agregaci okna relace
  • [SPARK-45898] [SC-148213] [SQL] Přepsání rozhraní API tabulky katalogu pro použití nevyřešeného logického plánu
  • [SPARK-45828] [SC-147663] [SQL] Odebrání zastaralé metody v dsl
  • [SPARK-45990] [SC-148576] [SPARK-45987] [PYTHON] [CONNECT] Upgrade protobuf na verzi 4.25.1 na podporu Python 3.11
  • [SPARK-45911] [SC-148226] [JÁDRO] Nastavení protokolu TLS1.3 jako výchozí pro PROTOKOL RPC SSL
  • [SPARK-45955] [SC-148429] [UŽIVATELSKÉ ROZHRANÍ] Sbalit podporu pro Podrobnosti výpisu vláken a Flamegraphu
  • [SPARK-45936] [SC-148392] [PS] Optimalizovat Index.symmetric_difference
  • [SPARK-45389] [SC-144834] [SQL] [3.5] Správné pravidlo porovnávání metaexceptionu při získávání metadat oddílů
  • [SPARK-45655] [SC-148085] [SQL] [SS] Povolit ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics
  • [SPARK-45946] [SC-148448] [SS] Oprava použití zastaralého zápisu FileUtils k předání výchozí znakové sady v RocksDBSuite
  • [SPARK-45511] [SC-148285] [SS] Zdroj dat stavu – čtenář
  • [SPARK-45918] [SC-148293] [PS] Optimalizovat MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288] [CONNECT] [PYTHON] Vrácení pozorovaných metrik z příkazů
  • [SPARK-45867] [SC-147916] [JÁDRO] Podporu spark.worker.idPattern
  • [SPARK-45945] [SC-148418] [CONNECT] Přidání pomocné funkce pro parser
  • [SPARK-45930] [SC-148399] [SQL] Podpora ne deterministických funkcí definovaných uživatelem v MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356] [Python] Vytvoření rozhraní API UDTF v Pythonu pro zastavení využívání řádků ze vstupní tabulky
  • [SPARK-45731] [SC-147929] [SQL] Aktualizujte také statistiky oddílů pomocí ANALYZE TABLE příkazu
  • [SPARK-45868] [SC-148355] [CONNECT] Ujistěte se, že spark.table používáte stejný analyzátor s vanilkovým sparkem.
  • [SPARK-45882] [SC-148161] [SQL] BroadcastHashJoinExec šíření dělení by mělo respektovat CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428] [SQL] Přiřazení názvů k chybě _LEGACY_ERROR_TEMP_21[59 60,61,62]
  • [SPARK-45915] [SC-148306] [SQL] Považovat decimal(x; 0) za stejný jako IntegralType v PromoteStrings
  • [SPARK-45786] [SC-147552] [SQL] Oprava nepřesných výsledků násobení desetinných míst a dělení
  • [SPARK-45871] [SC-148084] [CONNECT] Optimalizace převodu kolekcí souvisejících s .toBuffer moduly connect
  • [SPARK-45822] [SC-147546] [CONNECT] Spark Připojení SessionManager může vyhledat zastavený sparkcontext
  • [SPARK-45913] [SC-148289] [PYTHON] Nastavení interních atributů jako soukromé z chyb PySpark
  • [SPARK-45827] [SC-148201] [SQL] Přidání datového typu Variant ve Sparku
  • [SPARK-44886] [SC-147876] [SQL] Zavedení klauzule CLUSTER BY pro CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959] [JÁDRO] Podporu spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956] [CONNECT] ID relace na straně serveru assert
  • [SPARK-45896] [SC-148091] [SQL] Konstrukce ValidateExternalType se správným očekávaným typem
  • [SPARK-45902] [SC-148123] [SQL] Odebrání nepoužívané funkce resolvePartitionColumns z DataSource
  • [SPARK-45909] [SC-148137] [SQL] Pokud ho lze bezpečně přetypovat, odeberte NumericType přetypování. IsNotNull
  • [SPARK-42821] [SC-147715] [SQL] Odebrání nepoužívaných parametrů v metodách splitFiles
  • [SPARK-45875] [SC-148088] [JÁDRO] Odebrat MissingStageTableRowData z core modulu
  • [SPARK-45783] [SC-148120] [PYTHON] [CONNECT] Vylepšení chybových zpráv v případě, že je povolený režim Spark Připojení, ale vzdálená adresa URL není nastavená
  • [SPARK-45804] [SC-147529] [UŽIVATELSKÉ ROZHRANÍ] Přidání konfigurace spark.ui.threadDump.flamegraphEnabled pro zapnutí nebo vypnutí grafu plamene
  • [SPARK-45664] [SC-146878] [SQL] Zavedení mapperu pro komprimační kodeky orc
  • [SPARK-45481] [SC-146715] [SQL] Zavedení mapperu pro kodeky komprese parquet
  • [SPARK-45752] [SC-148005] [SQL] Zjednodušení kódu pro kontrolu neodkazovaných relací CTE
  • [SPARK-44752] [SC-146262] [SQL] XML: Aktualizace dokumentace Sparku
  • [SPARK-45752] [SC-147869] [SQL] Zrušení odvozu CTE by mělo být zaškrtnuté nástrojem CheckAnalysis0.
  • [SPARK-45842] [SC-147853] [SQL] Refaktoring rozhraní API funkcí katalogu pro použití analyzátoru
  • [SPARK-45639] [SC-147676] [SQL] [PYTHON] Podpora načítání zdrojů dat Pythonu v DataFrameReader
  • [SPARK-45592] [SC-146977] [SQL] Problém s správností v AQE s inMemoryTableScanExec
  • [SPARK-45794] [SC-147646] [SS] Zavedení zdroje metadat stavu pro dotazování na informace o metadatech stavu streamování
  • [SPARK-45739] [SC-147059] [PYTHON] Zachycení výjimky IOException místo samotné výjimky EOFException pro obslužnou rutinu chyb
  • [SPARK-45677] [SC-146700] Lepší protokolování chyb pro rozhraní API pro pozorování
  • [SPARK-45544] [SC-146873] [JÁDRO] Integrace podpory SSL do TransportContextu
  • [SPARK-45654] [SC-147152] [PYTHON] Přidání rozhraní API pro zápis zdroje dat v Pythonu
  • [SPARK-45771] [SC-147270] [JÁDRO] Povolit spark.eventLog.rolling.enabled ve výchozím nastavení
  • [SPARK-45713] [SC-146986] [PYTHON] Podpora registrace zdrojů dat Pythonu
  • [SPARK-45656] [SC-146488] [SQL] Oprava pozorování při pojmenovaných pozorováních se stejným názvem u různých datových sad
  • [SPARK-45808] [SC-147571] [CONNECT] [PYTHON] Lepší zpracování chyb pro výjimky SQL
  • [SPARK-45774] [SC-147353] [JÁDRO] [UŽIVATELSKÉ ROZHRANÍ] Podpora spark.master.ui.historyServerUrl v ApplicationPage
  • [SPARK-45776] [SC-147327] [JÁDRO] Odebrání obranné kontroly null pro MapOutputTrackerMaster#unregisterShuffle přidání do SPARK-39553
  • [SPARK-45780] [SC-147410] [CONNECT] Rozšíření všech vláken klienta Spark Připojení v zděděnéThread
  • [SPARK-45785] [SC-147419] [JÁDRO] Podpora spark.deploy.appNumberModulo obměna čísla aplikace
  • [SPARK-45793] [SC-147456] [JÁDRO] Vylepšení integrovaných kodeků komprese
  • [SPARK-45757] [SC-147282] [ML] Vyhněte se opakovanému výpočtu NNZ v binarizeru.
  • [SPARK-45209] [SC-146490] [JÁDRO] [UŽIVATELSKÉ ROZHRANÍ] Podpora grafu Plamen pro stránku výpisu vlákna exekutoru
  • [SPARK-45777] [SC-147319] [JÁDRO] Podpora spark.test.appId v LocalSchedulerBackend
  • [SPARK-45523] [SC-146331] [PYTHON] Refaktoring kontroly null tak, aby měl zástupce
  • [SPARK-45711] [SC-146854] [SQL] Zavedení mapperu pro kodeky komprese avro
  • [SPARK-45523] [SC-146077] [Python] Vrátí užitečnou chybovou zprávu, pokud funkce UDTF vrátí hodnotu None pro libovolný sloupec, který nemá hodnotu null.
  • [SPARK-45614] [SC-146729] [SQL] Přiřazení názvů k chybě _LEGACY_ERROR_TEMP_215[6;7;8]
  • [SPARK-45755] [SC-147164] [SQL] Vylepšení Dataset.isEmpty() použitím globálního limitu 1
  • [SPARK-45569] [SC-145915] [SQL] Přiřazení názvu k chybě _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153] [JÁDRO] [WEBI] Oprava Spark History Server správného řazení Duration sloupce
  • [SPARK-45754] [SC-147169] [JÁDRO] Podporu spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880] [SQL] Zjednodušení DataFrameStatFunctions.countMinSketch s využitím CountMinSketchAgg
  • [SPARK-45753] [SC-147167] [JÁDRO] Podporu spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177] [JÁDRO] [UŽIVATELSKÉ ROZHRANÍ] Vylepšení MasterPage zobrazení Resource sloupce pouze v případech, kdy existuje
  • [SPARK-45112] [SC-143259] [SQL] Použití rozlišení založeného na UnresolvedFunction ve funkcích datové sady SQL

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 14.3. Toto je okomentováno v počáteční verzi.

Prostředí systému

  • Operační systém: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
krásnásoup4 4.11.1 Černé 22.6.0 Bělidla 4.1.0
blikač 1.4 boto3 1.24.28 botocore 1.27.96
Certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknutí 8.0.4 Komunikace 0.1.2
obrysová křivka 1.0.5 Kryptografie 39.0.1 Cyklovač 0.11.0
Cython 0.29.32 Databricks-sdk 0.1.6 dbus-python 1.2.18
ladění 1.6.7 Dekoratér 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 vstupní body 0,4
Provádění 0.8.3 přehled omezujících vlastností 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgety 1.0.0 Klíčenku 23.5.0
verizonsolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 Revize Sejf 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
špatně zamyšlení 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
poznámkový blok 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 Obalu 23.2 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Polštář 9.4.0 Pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
žádosti 2.28.1 Lano 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
Šest 1.16.0 sniffio 1.2.0 polévky 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
Houževnatost 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
Tornádo 6.1 vlastnosti 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 bezobslužné upgrady 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
Kolo 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku CRAN Správce balíčků Posit 2023-02-10.

Knihovna Verze Knihovna Verze Knihovna Verze
šipka 12.0.1 askpass 1,1 assertthat 0.2.1
Backports 1.4.1 base 4.3.1 base64enc 0.1-3
bitové 4.0.5 bit64 4.0.5 blob 1.2.4
startování 1.3-28 Vařit 1.0-8 Brio 1.1.3
Koště 1.0.5 bslib 0.5.0 cachem 1.0.8
volající 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 Rozhraní příkazového řádku 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 barevný prostor 2.1-0 commonmark 1.9.0
– kompilátor 4.3.1 config 0.3.1 Rozporu 1.2.0
cpp11 0.4.4 Pastelka 1.5.2 přihlašovací údaje 1.3.2
Curl 5.0.1 data.table 1.14.8 Power BI 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
devtools 2.4.5 Diagramu 1.6.5 diffobj 0.3.5
Digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 tři tečky 0.3.2
evaluate 0.21 fanynky 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Zahraniční 0.8-85 Forge 0.2.0
Fs 1.6.2 Budoucnosti 1.33.0 future.apply 1.11.0
Kloktadlo 1.5.1 Generik 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Lepidlo 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Grafika 4.3.1 grDevices 4.3.1 Mřížky 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 Útočiště 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Id 1.0.1 Ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iterátory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 pletení 1,43
Označování 0.4.2 Později 1.3.1 Mříže 0.21-8
Láva 1.7.2.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASS 7.3-60 Matice 1.5-4.1 memoise 2.0.1
metody 4.3.1 mgcv 1.8-42 Mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
paralelně 1.36.0 Pilíř 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Chvála 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Průběh 1.2.2
progressr 0.13.0 Sliby 1.2.0.1 proto 1.0.0
Proxy 0.4-27 Ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 Analýza rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recepty 1.0.6
Zápas 1.0.1 rematch2 2.1.2 vzdálená zařízení 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 Váhy 1.2.1
selektor 0.4-2 sessioninfo 1.2.2 Obrazec 1.4.6
Lesklé 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
Prostorové 7.3-15 Křivky 4.3.1 sqldf 0.4-11
ČTVEREC 2021.1 Statistiky 4.3.1 Statistiky 4 4.3.1
stringi 1.7.12 stringr 1.5.0 Přežití 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
časový interval 0.2.0 timeDate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
Uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 Waldo 0.5.1 vousa 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
Zip 2.3.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws podpora aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofein Kofein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java Nativní verze 1.1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics metriky anotace 4.2.19
io.dropwizard.metrics metriky – jádro 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriky – kontroly stavu 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metriky – servlety 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty- common 4.1.96.Final
io.netty obslužná rutina netty 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolekcí 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Lák 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus cílové skupiny a poznámky 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty pokračování jetty 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket – společné 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core žerzejové společné 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Poznámky 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Podložky 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1