Databricks Runtime 14.0 (nepodporované)

  • Článek

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 14.0, který využívá Apache Spark 3.5.0.

Databricks vydala tyto image v září 2023.

Nové funkce a vylepšení

Prediktivní vstupně-výstupní operace pro aktualizace jsou obecně dostupné.

Prediktivní vstupně-výstupní operace pro aktualizace jsou teď obecně dostupné. Podívejte se, co je prediktivní vstupně-výstupní operace?

Vektory odstranění jsou obecně dostupné.

Vektory odstranění jsou teď obecně dostupné. Podívejte se, co jsou vektory odstranění?

Spark 3.5.0 je ga

Apache Spark 3.5.0 je teď obecně dostupný. Viz Spark Release 3.5.0.

Public Preview pro uživatelem definované funkce tabulek pro Python

Uživatelem definované funkce tabulek (UDTFs) umožňují registrovat funkce, které vracejí tabulky místo skalárních hodnot. Podívejte se, co jsou uživatelem definované funkce tabulek v Pythonu?

Public Preview pro souběžnost na úrovni řádků

Souběžnost na úrovni řádků snižuje konflikty mezi souběžnými operacemi zápisu tím, že detekuje změny na úrovni řádku a automaticky přeloží konkurenční změny v souběžných zápisech, které aktualizují nebo odstraní různé řádky ve stejném datovém souboru. Viz Konflikty zápisu se souběžností na úrovni řádků.

Výchozí aktuální pracovní adresář se změnil.

Výchozí aktuální pracovní adresář (CWD) pro kód spuštěný místně je teď adresář obsahující poznámkový blok nebo skript, který se spouští. To zahrnuje kód, jako %sh je python nebo kód R, který nepoužívá Spark. Podívejte se, co je výchozí aktuální pracovní adresář?

Známý problém s sparklyr

Nainstalovaná verze sparklyr balíčku (verze 1.8.1) není kompatibilní s Modulem Databricks Runtime 14.0. Pokud chcete použít sparklyr, nainstalujte verzi 1.8.3 nebo vyšší.

Představujeme Spark Připojení v architektuře sdíleného clusteru

S Modulem Databricks Runtime 14.0 a novějším teď sdílené clustery ve výchozím nastavení používají Spark Připojení s ovladačem Spark z Python REPL. Interní rozhraní API Sparku už nejsou přístupná z uživatelského kódu.

Spark Připojení teď komunikuje s ovladačem Spark z REPL místo starší integrace REPL.

Výpis dostupných aktualizací rozhraní API pro verze Sparku

Povolte Photon nastavením runtime_engine = PHOTONa povolte aarch64 tak, že zvolíte typ instance gravitonu. Azure Databricks nastaví správnou verzi Databricks Runtime. Rozhraní API verze Sparku dříve vrátilo moduly runtime specifické pro implementaci pro každou verzi. Viz GET /api/2.0/clusters/spark-versions v referenčních informacích k rozhraní REST API.

Změny způsobující chyby

V Databricks Runtime 14.0 a novějších používají clustery s režimem sdíleného přístupu ke komunikaci mezi klientem a serverem spark Připojení. To zahrnuje následující změny.

Další informace o omezeních režimu sdíleného přístupu najdete v tématu Omezení režimu přístupu compute pro Katalog Unity.

Python v clusterech s režimem sdíleného přístupu

  • sqlContext není k dispozici. Azure Databricks doporučuje použít proměnnou sparkSparkSession pro instanci.
  • Kontext Sparku (sc) už není k dispozici v poznámkových blocích nebo při použití služby Databricks Připojení v clusteru s režimem sdíleného přístupu. sc Následující funkce už nejsou k dispozici:
    • emptyRDD, range, , , pickleFileuiWebUrlnewAPIHadoopFilesequenceFilenewAPIHadoopRDDrunJobunionsetSystemPropertyhadoopRDDstopsetJobGroupparallelizewholeTextFilessetLocalPropertytextFilebinaryFilesbinaryRecordshadoopFileinit_batched_serializergetConf
  • Funkce Informace o datové sadě se už nepodporuje.
  • Při dotazování Apache Sparku a v důsledku toho se interní rozhraní API související s prostředím JVM, jako _jscje například , , , _jconf_jvm, _jseq_jc_jsparkSession_jreader, _jdf_jmap_jcols a už nejsou podporovány.
  • Při přístupu k hodnotám konfigurace pomocí spark.conf pouze dynamických hodnot konfigurace modulu runtime jsou přístupné.
  • Příkazy analýzy Delta Live Tables se zatím ve sdílených clusterech nepodporují.

Rozdíl v clusterech s režimem sdíleného přístupu

  • V Pythonu už při dotazování Apache Sparku není závislost na prostředí JVM. Interní rozhraní API související s prostředím JVM, například DeltaTable._jdt, DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder, a DeltaOptimizeBuilder._jbuilder již nejsou podporována.

SQL v clusterech s režimem sdíleného přístupu

  • DBCACHE a DBUNCACHE příkazy se už nepodporují.
  • Vzácné případy použití, jako cache table db as show databases jsou, se už nepodporují.

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • asttokens od 2.2.1 do 2.0.5
    • attrs od 21.4.0 do 22.1.0
    • botocore od 1.27.28 do 1.27.96
    • certifi od 2022.9.14 do 2022.12.7
    • kryptografie od 37.0.1 do 39.0.1
    • debugpy od 1.6.0 do 1.6.7
    • docstring-to-markdown od 0.12 do 0.11
    • provádění od 1.2.0 do 0.8.3
    • přehled omezujících aspektů od 1.0.3 do 1.1.1
    • googleapis-common-protos od 1.56.4 do 1.60.0
    • grpcio od 1.48.1 do 1.48.2
    • idna od 3.3 do 3.4
    • ipykernel od 6.17.1 do 6.25.0
    • ipython od 8.10.0 do 8.14.0
    • Jinja2 od 2.11.3 do 3.1.2
    • jsonschema od 4.16.0 do 4.17.3
    • jupyter_core od 4.11.2 do 5.2.0
    • verizonsolver od 1.4.2 do 1.4.4
    • Revize Sejf od 2.0.1 do 2.1.1
    • matplotlib od 3.5.2 do 3.7.0
    • nbconvert od 6.4.4 do 6.5.4
    • nbformat od 5.5.0 do 5.7.0
    • nest-asyncio od 1.5.5 do 1.5.6
    • poznámkový blok od 6.4.12 do 6.5.2
    • numpy od 1.21.5 do 1.23.5
    • balení od 21.3 do 22.0
    • pandas od 1.4.4 do 1.5.3
    • pathspec od 0.9.0 do 0.10.3
    • patsy od 0.5.2 do 0.5.3
    • Polštář od 9.2.0 do 9.4.0
    • pip od 22.2.2 do 22.3.1
    • protobuf od 3.19.4 do 4.24.0
    • pytoolconfig od 1.2.2 do 1.2.5
    • pytz od 2022.1 do 2022.7
    • s3transfer z 0.6.0 do 0.6.1
    • seaborn od 0.11.2 do 0.12.2
    • instalační nástroje od 63.4.1 do 65.6.3
    • polévky od 2.3.1 do 2.3.2.post1
    • stack-data from 0.6.2 to 0.2.0
    • statsmodels from 0.13.2 to 0.13.5
    • terminado od 0.13.1 do 0.17.1
    • vlastnosti od 5.1.1 do 5.7.1
    • typing_extensions od 4.3.0 do 4.4.0
    • urllib3 od 1.26.11 do 1.26.14
    • virtualenv od 20.16.3 do 20.16.7
    • kolo od 0.37.1 do 0.38.4
  • Upgradované knihovny jazyka R:
    • šipka od 10.0.1 do 12.0.1
    • základ od 4.2.2 do 4.3.1
    • objekt blob od 1.2.3 do 1.2.4
    • koště od 1.0.3 do 1.0.5
    • bslib od 0.4.2 do 0.5.0
    • mezipaměť od 1.0.6 do 1.0.8
    • stříšku od 6.0-93 do 6.0-94
    • Chron od 2.3-59 do 2.3-61
    • třída od 7.3-21 do 7.3-22
    • cli od 3.6.0 do 3.6.1
    • hodiny od 0.6.1 do 0.7.0
    • commonmark from 1.8.1 to 1.9.0
    • kompilátor z verze 4.2.2 do 4.3.1
    • cpp11 od 0.4.3 do 0.4.4
    • curl od 5.0.0 do 5.0.1
    • data.table od 1.14.6 do 1.14.8
    • datové sady od 4.2.2 do 4.3.1
    • dbplyr od 2.3.0 do 2.3.3
    • digest od 0.6.31 do 0.6.33
    • downlit od 0.4.2 do 0.4.3
    • dplyr od 1.1.0 do 1.1.2
    • dtplyr od 1.2.2 do 1.3.1
    • vyhodnocení z 0.20 na 0.21
    • fastmap od 1.1.0 do 1.1.1
    • fontawesome od 0.5.0 do 0.5.1
    • fs od 1.6.1 do 1.6.2
    • budoucí od 1.31.0 do 1.33.0
    • future.apply from 1.10.0 to 1.11.0
    • gargle od 1.3.0 do 1.5.1
    • ggplot2 od 3.4.0 do 3.4.2
    • gh od 1.3.1 do 1.4.0
    • glmnet od 4.1-6 do 4.1-7
    • googledrive od 2.0.0 do 2.1.1
    • googlesheets4 od 1.0.1 do 1.1.1
    • grafika od 4.2.2 do 4.3.1
    • grDevices od 4.2.2 do 4.3.1
    • mřížka od 4.2.2 do 4.3.1
    • od 0.3.1 do 0.3.3
    • hardhat od 1.2.0 do 1.3.0
    • haven from 2.5.1 to 2.5.3
    • hms od 1.1.2 do 1.1.3
    • htmltools od 0.5.4 do 0.5.5
    • htmlwidgets od 1.6.1 do 1.6.2
    • httpuv od 1.6.8 do 1.6.11
    • httr od 1.4.4 do 1.4.6
    • ipred z 0.9-13 do 0.9-14
    • jsonlite od 1.8.4 do 1.8.7
    • KernSmooth od 2.23-20 do 2.23-21
    • Pletení od 1.42 do 1.43
    • později od 1.3.0 do 1.3.1
    • lattice od 0.20-45 do 0.21-8
    • láva od 1.7.1 do 1.7.2.1
    • lubridate od 1.9.1 do 1.9.2
    • markdown od 1,5 do 1,7
    • HMOTNOST od 7.3-58.2 do 7.3-60
    • Matice od 1,5-1 do 1,5-4.1
    • metody od 4.2.2 do 4.3.1
    • mgcv od 1,8-41 do 1,8-42
    • modelr od 0.1.10 do 0.1.11
    • nnet od 7.3-18 do 7.3-19
    • openssl od 2.0.5 do 2.0.6
    • paralelní od 4.2.2 do 4.3.1
    • paralelně od 1.34.0 do 1.36.0
    • pilíř od 1.8.1 do 1.9.0
    • pkgbuild od 1.4.0 do 1.4.2
    • pkgload od 1.3.2 do 1.3.2.1
    • pROC od 1.18.0 do 1.18.4
    • processx od 3.8.0 do 3.8.2
    • prodlim od 2019.11.13 do 2023.03.31
    • profvis od 0.3.7 do 0.3.8
    • ps od 1.7.2 do 1.7.5
    • Rcpp od 1.0.10 do 1.0.11
    • readr od 2.1.3 do 2.1.4
    • readxl od 1.4.2 do 1.4.3
    • recepty od 1.0.4 do 1.0.6
    • rlang od 1.0.6 do 1.1.1
    • rmarkdown od 2.20 do 2.23
    • Rserve od 1.8-12 do 1.8-11
    • RSQLite od 2.2.20 do 2.3.1
    • rstudioapi od 0.14 do 0.15.0
    • sass od 0.4.5 do 0.4.6
    • lesklý od 1.7.4 do 1.7.4.1
    • sparklyr od 1.7.9 do 1.8.1
    • SparkR od 3.4.1 do 3.5.0
    • splines od 4.2.2 do 4.3.1
    • Statistiky od 4.2.2 do 4.3.1
    • Statistiky 4 od 4.2.2 do 4.3.1
    • přežití od 3,5-3 do 3,5-5
    • sys z 3.4.1 do 3.4.2
    • tcltk od 4.2.2 do 4.3.1
    • test, že od 3.1.6 do 3.1.10
    • tibble od 3.1.8 do 3.2.1
    • Tidyverse od 1.3.2 do 2.0.0
    • tinytex od 0,44 do 0,45
    • nástroje od 4.2.2 do 4.3.1
    • tzdb od 0.3.0 do 0.4.0
    • usethis from 2.1.6 to 2.2.2
    • nástroje od 4.2.2 do 4.3.1
    • vctrs od 0.5.2 do 0.6.3
    • viridisLite od 0.4.1 do 0.4.2
    • vroom od 1.6.1 do 1.6.3
    • waldo od 0.4.0 do 0.5.1
    • xfun od 0.37 do 0.39
    • xml2 od 1.3.3 do 1.3.5
    • zip od 2.2.2 do 2.3.0
  • Upgradované knihovny Java:
    • com.fasterxml.jackson.core.jackson-annotations from 2.14.2 to 2.15.2
    • com.fasterxml.jackson.core.jackson-core od 2.14.2 do 2.15.2
    • com.fasterxml.jackson.core.jackson-databind od 2.14.2 do 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor od 2.14.2 do 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda od 2.14.2 do 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 od 2.13.4 do 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer od 2.14.2 do 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 od 2.14.2 do 2.15.2
    • com.github.luben.zstd-jni od 1.5.2-5 do 1.5.5-4
    • com.google.code.gson.gson od 2.8.9 do 2.10.1
    • com.google.crypto.tink.tink od 1.7.0 do 1.9.0
    • commons-codec.commons-codec-codec od 1.15 do 1.16.0
    • commons-io.commons-io od 2.11.0 do 2.13.0
    • io.airlift.aircompressor od 0.21 do 0.24
    • io.dropwizard.metrics.metrics-core od 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-graphite od 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks from 4.2.10 to 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 od 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-jmx od 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-json od 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-jvm od 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-servlets from 4.2.10 to 4.2.19
    • io.netty.netty-all od 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-buffer od 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-codec od 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-codec-http od 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-codec-http2 od 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-codec-socks od 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-common od 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-obslužná rutina z verze 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-handler-proxy z verze 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-resolver od 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-transport z verze 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-transport-classes-epoll od 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue od 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-transport-native-epoll od 4.1.87.Final-linux-x86_64 do 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue from 4.1.87.Final-osx-x86_64 to 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common od 4.1.87.Final do 4.1.93.Final
    • org.apache.arrow.arrow-format from 11.0.0 to 12.0.1
    • org.apache.arrow.arrow-memory-core od 11.0.0 do 12.0.1
    • org.apache.arrow.arrow-memory-netty od 11.0.0 do 12.0.1
    • org.apache.arrow.arrow-vector od 11.0.0 do 12.0.1
    • org.apache.avro.avro od 1.11.1 do 1.11.2
    • org.apache.avro.avro-ipc od 1.11.1 do 1.11.2
    • org.apache.avro.avro-mapred od 1.11.1 do 1.11.2
    • org.apache.commons.commons-compress from 1.21 to 1.23.0
    • org.apache.hadoop.hadoop-client-runtime od 3.3.4 do 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api od 2.19.0 do 2.20.0
    • org.apache.logging.log4j.log4j-api od 2.19.0 do 2.20.0
    • org.apache.logging.log4j.log4j-core od 2.19.0 do 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl od 2.19.0 do 2.20.0
    • org.apache.orc.orc-core od 1.8.4-shaded-protobuf do 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce z verze 1.8.4-shaded-protobuf až 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims od 1.8.4 do 1.9.0
    • org.apache.xbean.xbean-asm9-shaded od 4.22 do 4.23
    • org.checkerframework.checker-qual od 3.19.0 do 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet od 2.36 do 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core od 2.36 do 2.40
    • org.glassfish.jersey.core.jersey-client od 2.36 do 2.40
    • org.glassfish.jersey.core.jersey-common od 2.36 do 2.40
    • org.glassfish.jersey.core.jersey-server od 2.36 do 2.40
    • org.glassfish.jersey.inject.jersey-hk2 od 2.36 do 2.40
    • org.javassist.javassist od 3.25.0-GA do verze 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client od 2.7.4 do 2.7.9
    • org.postgresql.postgresql od 42.3.8 do 42.6.0
    • org.roaringbitmap.RoaringBitmap od 0.9.39 do 0.9.45
    • org.roaringbitmap.shims od 0.9.39 do 0.9.45
    • org.rocksdb.rocksdbjni od 7.8.3 do 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 od 2.4.3 do 2.9.0
    • org.slf4j.jcl-over-slf4j od 2.0.6 do 2.0.7
    • org.slf4j.jul-to-slf4j od 2.0.6 do 2.0.7
    • org.slf4j.slf4j-api od 2.0.6 do 2.0.7
    • org.xerial.snappy.snappy-java od 1.1.10.1 do 1.1.10.3
    • org.yaml.snakeyaml od 1.33 do 2.0

Apache Spark

Databricks Runtime 14.0 Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 13.3 LTS, a také následující další opravy chyb a vylepšení Sparku:

  • Teď můžete nastavit proměnnou SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 prostředí clusteru tak, aby používala konektor Spark-snowflake v2.12.0.
  • [SPARK-44877] [DBRRM-482] [SC-140437] [CONNECT] [PYTHON] Podpora funkcí protobuf Pythonu pro Spark Připojení
  • [SPARK-44882] [DBRRM-463] [SC-140430] [PYTHON] [CONNECT] Odebrání funkce uuid/random/chr z PySpark
  • [SPARK-44740] [DBRRM-462] [SC-140320] [CONNECT] [SLEDOVAT] Oprava hodnot metadat pro artefakty
  • [SPARK-44822] [DBRRM-464] [PYTHON] [SQL] Nastavení uživatelem definovaných funkcí Pythonu ve výchozím nastavení bez deterministické
  • [SPARK-44836] [DBRRM-468] [SC-140228] [PYTHON] Refaktoring šipky PythonU UDTF
  • [SPARK-44738] [DBRRM-462] [SC-139347] [PYTHON] [CONNECT] Přidání chybějících metadat klienta do volání
  • [SPARK-44722] [DBRRM-462] [SC-139306] [CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: Objekt NoneType nemá žádný atribut message.
  • [SPARK-44625] [DBRRM-396] [SC-139535] [CONNECT] Spark Připojení ExecutionManager ke sledování všech spuštění
  • [SPARK-44663] [SC-139020] [DBRRM-420] [PYTHON] Zakázat optimalizaci šipky ve výchozím nastavení pro uživatelem definované uživatelem Pythonu
  • [SPARK-44709] [DBRRM-396] [SC-139250] [CONNECT] Spuštění execute ExecuteGrpcResponseSender v opětovném připojení spustit v novém vlákně pro opravu řízení toku
  • [SPARK-44656] [DBRRM-396] [SC-138924] [CONNECT] Nastavit všechny iterátory s blízkou znaky
  • [SPARK-44671] [DBRRM-396] [SC-138929] [PYTHON] [CONNECT] Opakování příkazu ExecutePlan v případě, že se počáteční požadavek nedošel na server v klientovi Pythonu
  • [SPARK-44624] [DBRRM-396] [SC-138919] [CONNECT] Opakování příkazu ExecutePlan v případě, že se počáteční požadavek nedotášel na server
  • [SPARK-44574] [DBRRM-396] [SC-138288] [SQL] [CONNECT] Chyby přesunuté do rozhraní sq/api by také měly používat funkci AnalysisException.
  • [SPARK-44613] [DBRRM-396] [SC-138473] [CONNECT] Přidání objektu Kodéry
  • [SPARK-44626] [DBRRM-396] [SC-138828] [SS] [CONNECT] Sledování ukončení dotazu streamování při vypršení časového limitu relace klienta pro Spark Připojení
  • [SPARK-44642] [DBRRM-396] [SC-138882] [CONNECT] ReleaseExecute v ExecutePlanResponseReattachableIterator po získání chyby ze serveru
  • [SPARK-41400] [DBRRM-396] [SC-138287] [CONNECT] Odebrání závislosti Připojení klient Catalyst
  • [SPARK-44664] [DBRRM-396] [PYTHON] [CONNECT] Uvolnění spuštění při zavření iterátoru v klientovi Pythonu
  • [SPARK-44631] [DBRRM-396] [SC-138823] [CONNECT] [JÁDRO] [14.0.0] Odebrání adresáře založeného na relacích při vyřazení mezipaměti izolované relace
  • [SPARK-42941] [DBRRM-396] [SC-138389] [SS] [CONNECT] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396] [SC-138570] [CONNECT] Nechejte žádné prokláněné iterátory.
  • [SPARK-44424] [DBRRM-396] [CONNECT] [PYTHON] [14.0.0] Klient Pythonu pro opětovné připojení k existujícímu spuštění ve Sparku Připojení
  • [SPARK-44637] [SC-138571] Synchronizace přístupu k ExecuteResponseObserver
  • [SPARK-44538] [SC-138178] [CONNECT] [SQL] Obnovit Row.jsonValue a přátelé
  • [SPARK-44421] [SC-138434] [SPARK-44423] [CONNECT] Opětovné připojení spuštění ve Sparku Připojení
  • [SPARK-44418] [SC-136807] [PYTHON] [CONNECT] Upgrade protobuf z verze 3.19.5 na verzi 3.20.3
  • [SPARK-44587] [SC-138315] [SQL] [CONNECT] Zvýšení limitu rekurze protobuf marshaller
  • [SPARK-44591] [SC-138292] [CONNECT] [SQL] Přidání značek úloh do SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368] [SQL] Odstranění duplicitních dat by při vytváření nové instance měly uchovávat metadata aliasů.
  • [SPARK-44542] [SC-138323] [JÁDRO] Dychtivá načtení třídy SparkExitCode v obslužné rutině výjimek
  • [SPARK-44264] [SC-138143] [PYTHON] Testování E2E pro Deepspeed
  • [SPARK-43997] [SC-138347] [CONNECT] Přidánípodporych
  • [SPARK-44507] [SQL] [CONNECT] [14.x] [14.0] Přesun analýzyexception do sql/api
  • [SPARK-44453] [SC-137013] [PYTHON] Použití difflib k zobrazení chyb v assertDataFrameEqual
  • [SPARK-44394] [SC-138291] [CONNECT] [WEBI] [14.0] Přidání stránky uživatelského rozhraní Sparku pro Spark Připojení
  • [SPARK-44611] [SC-138415] [CONNECT] Nevylučujte scala-xml
  • [SPARK-44531] [SC-138044] [CONNECT] [SQL] [14.x] [14.0] Přesun odvození kodéru do sql/api
  • [SPARK-43744] [SC-138289] [CONNECT] [14.x] [14.0] Oprava problému načítání třídy cau...
  • [SPARK-44590] [SC-138296] [SQL] [CONNECT] Odebrání limitu dávkového záznamu šipky pro SqlCommandResult
  • [SPARK-43968] [SC-138115] [PYTHON] Vylepšení chybových zpráv pro uživatelem definované uživatelem Pythonu s nesprávným počtem výstupů
  • [SPARK-44432] [SC-138293] [SS] [CONNECT] Ukončete dotazy streamování, když vyprší časový limit relace ve Sparku Připojení
  • [SPARK-44584] [SC-138295] [CONNECT] Nastavení informací o client_type pro AddArtifactsRequest a ArtifactStatusesRequest v klientovi Scala
  • [SPARK-44552] [14.0] [SC-138176] [SQL] Odebrat private object ParseState definici z IntervalUtils
  • [SPARK-43660] [SC-136183] [CONNECT] [PS] Povolení resample s Připojení Sparku
  • [SPARK-44287] [SC-136223] [SQL] Použijte rozhraní API PartitionEvaluatoru v operátorech RowToColumnarExec & ColumnarToRowExec SQL.
  • [SPARK-39634] [SC-137566] [SQL] Povolit rozdělení souboru v kombinaci s generováním indexu řádků
  • [SPARK-44533] [SC-138058] [PYTHON] Přidání podpory pro akumulátory, všesměrové vysílání a soubory Spark v analýze pythonu UDTF
  • [SPARK-44479] [SC-138146] [PYTHON] Oprava prvku ArrowStreamPandasUDFSerializer pro přijetí datového rámce pandas bez sloupce
  • [SPARK-44425] [SC-138177] [CONNECT] Ověřte, že id relace zadané uživatelem je UUID.
  • [SPARK-44535] [SC-138038] [CONNECT] [SQL] Přesun požadovaného rozhraní API pro streamování do sql/api
  • [SPARK-44264] [SC-136523] [ML] [PYTHON] Zápis distribuovaného Učení DeepspeedTorchDistributor třídy Deepspeed
  • [SPARK-42098] [SC-138164] [SQL] Oprava ResolveInlineTables nemůže zpracovat s výrazem RuntimeReplaceable
  • [SPARK-44060] [SC-135693] [SQL] Code-Gen pro vnější náhodné spojení hash na straně sestavení
  • [SPARK-44496] [SC-137682] [SQL] [CONNECT] Přesun rozhraní potřebných SCSC do sql/api
  • [SPARK-44532] [SC-137893] [CONNECT] [SQL] Přesunout nástroje ArrowUtils do sql/api
  • [SPARK-44413] [SC-137019] [PYTHON] Objasnění chyby pro nepodporovaný datový typ arg v assertDataFrameEqual
  • [SPARK-44530] [SC-138036] [JÁDRO] [CONNECT] Přesun SparkBuildInfo do common/util
  • [SPARK-36612] [SC-133071] [SQL] Podpora sestavení levého vnějšího spojení doleva nebo pravého vnějšího spojení v náhodném spojení hash
  • [SPARK-44519] [SC-137728] [CONNECT] Spark Připojení ServerUtils vygeneroval nesprávné parametry pro soubory JAR
  • [SPARK-44449] [SC-137818] [CONNECT] Upcasting for direct Arrow Deserialization
  • [SPARK-44131] [SC-136346] [SQL] Přidání call_function a vyřazení call_udf pro rozhraní Scala API
  • [SPARK-44541] [SQL] Odebrání zbytečné funkce hasRangeExprAgainstEventTimeCol z UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859] [SQL] Hodnota maxRows/maxRowsPerPartition filtru je 0, pokud je podmínka FalseLiteral.
  • [SPARK-44540] [SC-137873] [UŽIVATELSKÉ ROZHRANÍ] Odebrání nepoužívaných souborů šablon stylů a javascriptových souborů jsonFormatter
  • [SPARK-44466] [SC-137856] [SQL] Vyloučení konfigurací začínajících SPARK_DRIVER_PREFIX a SPARK_EXECUTOR_PREFIX změněných konfigurací
  • [SPARK-44477] [SC-137508] [SQL] Považovat TYPE_CHECK_FAILURE_WITH_HINT za podtřídu chyby
  • [SPARK-44509] [SC-137855] [PYTHON] [CONNECT] Přidání sady rozhraní API pro zrušení úlohy v klientovi Sparku Připojení Pythonu
  • [SPARK-44059] [SC-137023] Přidání podpory analyzátoru pojmenovaných argumentů pro předdefinované funkce
  • [SPARK-38476] [SC-136448] [JÁDRO] Použití třídy chyb v org.apache.spark.storage
  • [SPARK-44486] [SC-137817] [PYTHON] [CONNECT] Implementace funkce PyArrow self_destruct pro toPandas
  • [SPARK-44361] [SC-137200] [SQL] Použití rozhraní API PartitionEvaluatoru v MapInBatchExec
  • [SPARK-44510] [SC-137652] [UŽIVATELSKÉ ROZHRANÍ] Aktualizace datových tabulek na verzi 1.13.5 a odebrání některých nerozpoznaných souborů PNG
  • [SPARK-44503] [SC-137808] [SQL] Přidání gramatiky SQL pro PARTITION BY a ORDER BY za argumenty TABLE pro volání TVF
  • [SPARK-38477] [SC-136319] [JÁDRO] Použití třídy chyb v org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088] [SQL] Přiřazení názvů ke třídě chyb _LEGACY_ERROR_TEMP_227[4-6;8]
  • [SPARK-44422] [SC-137567] [CONNECT] Přerušení Připojení Sparku jemně odstupňované
  • [SPARK-44380] [SC-137415] [SQL] [PYTHON] Podpora pythonu UDTF pro analýzu v Pythonu
  • [SPARK-43923] [SC-137020] [CONNECT] Události Post listenerBus durin...
  • [SPARK-44303] [SC-136108] [SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885] [UŽIVATELSKÉ ROZHRANÍ] Oprava sloupce HeapHistogram zobrazuje neočekávaně s polem select-all-box
  • [SPARK-44409] [SC-136975] [SQL] Zpracování znaku/varcharu v Dataset.to, aby byl konzistentní s ostatními
  • [SPARK-44334] [SC-136576] [SQL] [UŽIVATELSKÉ ROZHRANÍ] Stav v odpovědi rozhraní REST API pro neúspěšný DDL/DML bez úloh by neměl být neúspěšný, a ne dokončeno.
  • [SPARK-42309] [SC-136703] [SQL] Zavedení INCOMPATIBLE_DATA_TO_TABLE a podtudy
  • [SPARK-44367] [SC-137418] [SQL] [UŽIVATELSKÉ ROZHRANÍ] Zobrazit chybovou zprávu v uživatelském rozhraní pro každý neúspěšný dotaz
  • [SPARK-44474] [SC-137195] [CONNECT] Opětovné spuštění odpovědi testovat pozorování ve Sparku Připojení ServiceSuite
  • [SPARK-44320] [SC-136446] [SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055] [CONNECT] Spouštěcí protokol Připojení Serveru by měl zobrazovat název hostitele a port.
  • [SPARK-44309] [SC-136193] [UŽIVATELSKÉ ROZHRANÍ] Zobrazení času přidání nebo odebrání exekutorů na kartě Exekutory
  • [SPARK-42898] [SC-137556] [SQL] Označení řetězce nebo přetypování kalendářních dat nepotřebuje ID časového pásma.
  • [SPARK-44475] [SC-137422] [SQL] [CONNECT] Přemístění datového typu a analyzátoru do sql/api
  • [SPARK-44484] [SC-137562] [SS] Přidání batchDuration do metody JSON StreamingQueryProgress
  • [SPARK-43966] [SC-137559] [SQL] [PYTHON] Podpora ne deterministických funkcí s hodnotami tabulky
  • [SPARK-44439] [SC-136973] [CONNECT] [SS] Oprava seznamůListeners pro odesílání ID pouze zpět klientovi
  • [SPARK-44341] [SC-137054] [SQL] [PYTHON] Definování výpočetní logiky prostřednictvím rozhraní PARTITIONEvaluator API a jeho použití v okně WindowExec a WindowInPandasExec
  • [SPARK-43839] [SC-132680] [SQL] Převést _LEGACY_ERROR_TEMP_1337 na UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703] [SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778] [CONNECT] [SS] Přidání podpory pro naslouchací proces streamování v jazyce Scala pro Spark Připojení
  • [SPARK-44260] [SC-135618] [SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[1215-1245-2329] a použití checkError() k vrácení výjimky do _CharVarchar_Suite
  • [SPARK-42454] [SC-136913] [SQL] SPJ: Zapouzdření všech parametrů souvisejících s aktualizací SPJ ve službě BatchScanExec
  • [SPARK-44292] [SC-135844] [SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221] [Připojení] Přímá deserializace šipky
  • [SPARK-44324] [SC-137172] [SQL] [CONNECT] Přesun CaseInsensitiveMap do sql/api
  • [SPARK-44395] [SC-136744] [SQL] Přidání testu zpět do StreamingTableSuite
  • [SPARK-44481] [SC-137401] [CONNECT] [PYTHON] Nastavení rozhraní API pyspark.sql.is_remote
  • [SPARK-44278] [SC-137400] [CONNECT] Implementace zachytávání serveru GRPC, který vyčistí místní vlastnosti vlákna
  • [SPARK-44264] [SC-137211] [ML] [PYTHON] Podpora distribuovaného trénování funkcí pomocí Deepspeed
  • [SPARK-44430] [SC-136970] [SQL] Přidání příčiny, kdy AnalysisException je možnost neplatná
  • [SPARK-44264] [SC-137167] [ML] [PYTHON] Začlenění FunctionPickler do torchDistributoru
  • [SPARK-44216] [SC-137046] [PYTHON] Veřejné rozhraní API assertSchemaEqual
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-43203] [SC-134528] [SQL] Přesunout všechna velká písmena tabulky do Zdroje dat V2
  • [SPARK-43755] [SC-137171] [CONNECT] [PODVERZE] Otevřít AdaptiveSparkPlanHelper.allChildren místo použití kopírování v MetricGenerator
  • [SPARK-44264] [SC-137187] [ML] [PYTHON] Refaktoring TorchDistributor to allow for custom "run_training_on_file" function pointer
  • [SPARK-43755] [SC-136838] [CONNECT] Přesunutí provádění mimo SparkExecutePlanStreamHandler a do jiného vlákna
  • [SPARK-44411] [SC-137198] [SQL] Použití rozhraní API PartitionEvaluatoru v arrowEvalPythonExec a BatchEvalPythonExec
  • [SPARK-44375] [SC-137197] [SQL] Použití rozhraní API PartitionEvaluatoru v DebugExec
  • [SPARK-43967] [SC-137057] [PYTHON] Podpora běžných funkcí definovaných uživatelem Pythonu s prázdnými návratovými hodnotami
  • [SPARK-43915] [SC-134766] [SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929] [PYTHON] [CONNECT] Podpora UDTF Pythonu ve Sparku Připojení
  • [SPARK-44154] [SC-137050] [SQL] Přidání dalších testů jednotek do BitmapExpressionUtilsSuite a provedl menší vylepšení Bitmap Aggregate Expressions
  • [SPARK-44169] [SC-135497] [SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578] [CONNECT] [SQL] Odebrání StructType.toAttributes
  • [SPARK-43964] [SC-136676] [SQL] [PYTHON] Podpora šipek optimalizovaných pro uživatele v Pythonu
  • [SPARK-44321] [SC-136308] [CONNECT] Oddělení parseException od analysisException
  • [SPARK-44348] [SAS-1910] [SC-136644] [JÁDRO] [CONNECT] [PYTHON] Opětovné povolení test_artifact s relevantními změnami
  • [SPARK-44145] [SC-136698] [SQL] Zpětné volání, když je připraveno ke spuštění
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [CONNECT] Povolení testu estimátoru křížového validátoru
  • [SPARK-44399] [SC-136669] [PYHTON] [CONNECT] Import SparkSession v UDF v Pythonu pouze v případech, kdy useArrow je None
  • [SPARK-43631] [SC-135300] [CONNECT] [PS] Povolení Series.interpolate s Připojení Sparku
  • [SPARK-44374] [SC-136544] [PYTHON] [ML] Přidání ukázkového kódu pro distribuované strojové učení pro připojení Sparku
  • [SPARK-44282] [SC-135948] [CONNECT] Příprava analýzy datového typu pro použití v klientovi Spark Připojení Scala
  • [SPARK-44052] [SC-134469] [CONNECT] [PS] Přidejte util pro získání správné třídy Column nebo DataFrame pro Spark Připojení.
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [CONNECT] Implementace estimátoru křížového validátoru
  • [SPARK-44290] [SC-136300] [CONNECT] Soubory a archivy založené na relacích ve Sparku Připojení
  • [SPARK-43710] [SC-134860] [PS] [CONNECT] Podpora functions.date_part sparkových Připojení
  • [SPARK-44036] [SC-134036] [CONNECT] [PS] Vyčištění a konsolidace lístků pro zjednodušení úloh
  • [SPARK-44150] [SC-135790] [PYTHON] [CONNECT] Explicitní přetypování šipek pro neshodný návratový typ v UDF v Pythonu
  • [SPARK-43903] [SC-134754] [PYTHON] [CONNECT] Vylepšení podpory vstupu ArrayType v UDF se šipkou v Pythonu
  • [SPARK-44250] [SC-135819] [ML] [PYTHON] [CONNECT] Implementace vyhodnocovače klasifikace
  • [SPARK-44255] [SC-135704] [SQL] Přemístění úrovně úložiště do běžných /utilů
  • [SPARK-42169] [SC-135735] [SQL] Implementace generování kódu pro funkci to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] Refaktoring PythonUDTFRunneru pro odeslání návratového typu samostatně
  • [SPARK-43353] [SC-132734] [PYTHON] Migrace zbývajících chyb relace do třídy chyb
  • [SPARK-44133] [SC-134795] [PYTHON] Upgrade MyPy z verze 0.920 na 0.982
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener – Událost Serde ve formátu JSON
  • [SPARK-43353] Vrátit zpět "[SC-132734][ES-729763][PYTHON] Migrovat zbývající chyby relace do třídy chyb"
  • [SPARK-44100] [SC-134576] [ML] [CONNECT] [PYTHON] Přesunout obor názvů z pyspark.mlv2 do pyspark.ml.connect
  • [SPARK-44220] [SC-135484] [SQL] Přesun StringConcat do sql/api
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [CONNECT] Přidání volitelného vzoru pro Catalog.listFunctions
  • [SPARK-43982] [SC-134529] [ML] [PYTHON] [CONNECT] Implementace estimátoru kanálů pro ML v připojení Sparku
  • [SPARK-43888] [SC-132893] [JÁDRO] Přemístění protokolování do běžných /utilů
  • [SPARK-42941] Vrátit zpět "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Event Serde ve formátu JSON"
  • [SPARK-43624] [SC-134557] [PS] [CONNECT] Přidat EWM do Sparku Připojení Planner
  • [SPARK-43981] [SC-134137] [PYTHON] [ML] Základní ukládání a načítání implementace ml v připojení Sparku
  • [SPARK-43205] [SC-133371] [SQL] oprava SQLQueryTestSuite
  • [SPARK-43376] Vraťte se zpět "[SC-130433][SQL] Zlepšení opakovaného použití poddotazů s mezipamětí tabulky"
  • [SPARK-44040] [SC-134366] [SQL] Oprava výpočetních statistik při agregačním uzlu AggregateExec nad QueryStageExec
  • [SPARK-43919] [SC-133374] [SQL] Extrahování funkcí JSON z řádku
  • [SPARK-42618] [SC-134433] [PYTHON] [PS] Upozornění na změny chování související s knihovnou pandas v příští hlavní verzi
  • [SPARK-43893] [SC-133381] [PYTHON] [CONNECT] Podpora ne atomických datových typů v UDF optimalizovaném pro Šipku
  • [SPARK-43627] [SC-134290] [SPARK-43626] [PS] [CONNECT] Povolte pyspark.pandas.spark.functions.{kurt, skew} v Připojení Sparku.
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Podpora uživatelem definovaných tabulkových funkcí v Pythonu
  • [SPARK-43616] [SC-133849] [PS] [CONNECT] Povolení pyspark.pandas.spark.functions.mode v Připojení Sparku
  • [SPARK-43133] [SC-133728] Podpora scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107] [SPARK-43685] [SPARK-43686] [SPARK-43691] [CONNECT] [PS] Oprava (NullOps|NumOps).(eq|ne) Připojení Sparku
  • [SPARK-43645] [SC-134151] [SPARK-43622] [PS] [CONNECT] Povolení pyspark.pandas.spark.functions.{var, stddev} v Připojení Sparku
  • [SPARK-43617] [SC-133893] [PS] [CONNECT] Povolení pyspark.pandas.spark.functions.product v Připojení Sparku
  • [SPARK-43610] [SC-133832] [CONNECT] [PS] Povolte InternalFrame.attach_distributed_column v Připojení Sparku.
  • [SPARK-43621] [SC-133852] [PS] [CONNECT] Povolení pyspark.pandas.spark.functions.repeat v Připojení Sparku
  • [SPARK-43921] [SC-133461] [PROTOBUF] Generování souborů popisovače Protobuf v době sestavení
  • [SPARK-43613] [SC-133727] [PS] [CONNECT] Povolení pyspark.pandas.spark.functions.covar v Připojení Sparku
  • [SPARK-43376] [SC-130433] [SQL] Zlepšení opakovaného použití poddotazů s mezipamětí tabulky
  • [SPARK-43612] [SC-132011] [CONNECT] [PYTHON] Implementace SparkSession.addArtifact(s) v klientovi Pythonu
  • [SPARK-43920] [SC-133611] [SQL] [CONNECT] Vytvoření modulu SQL/API
  • [SPARK-43097] [SC-133372] [ML] Nový logistická regresní regresní regrese pyspark ML implementovaný nad distributorem
  • [SPARK-43783] [SC-133240] [SPARK-43784] [SPARK-43788] [ML] Make MLv2 (ML on Spark Connect) podporuje knihovnu pandas >= 2.0.
  • [SPARK-43024] [SC-132716] [PYTHON] Upgrade knihovny pandas na verzi 2.0.0
  • [SPARK-43881] [SC-133140] [SQL] [PYTHON] [CONNECT] Přidání volitelného vzoru pro Catalog.listDatabases
  • [SPARK-39281] [SC-131422] [SQL] Zrychlení odvození typu časového razítka ve starším formátu ve zdroji dat JSON/CSV
  • [SPARK-43792] [SC-132887] [SQL] [PYTHON] [CONNECT] Přidání volitelného vzoru pro Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378] [SQL] [PYTHON] Podpora vnořeného typu časového razítka
  • [SPARK-43353] [SC-132734] [PYTHON] Migrace zbývajících chyb relace do třídy chyb
  • [SPARK-43304] [SC-129969] [CONNECT] [PYTHON] Migrace NotImplementedError do PySparkNotImplementedError
  • [SPARK-43516] [SC-132202] [ML] [PYTHON] [CONNECT] Základní rozhraní SparkML pro Spark3.5: odhadovač/transformátor/model/vyhodnocovač
  • [SPARK-43128] Vrátit zpět "[SC-131628][CONNECT][SS] Provést recentProgress a lastProgress vrátit konzistentní StreamingQueryProgress s nativním rozhraním Scala API
  • [SPARK-43543] [SC-131839] [PYTHON] Oprava chování vnořeného typu MapType v knihovně Pandas UDF
  • [SPARK-38469] [SC-131425] [JÁDRO] Použití třídy chyb v org.apache.spark.network
  • [SPARK-43309] [SC-129746] [SPARK-38461] [JÁDRO] Rozšíření INTERNAL_ERROR kategoriemi a přidání třídy chyb INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Přesun architektury chyb do běžného modulu nástrojů
  • [SPARK-43440] [SC-131229] [PYTHON] [CONNECT] Podpora registrace uživatelem definovaného uživatelem Pythonu optimalizovaného pro šipky
  • [SPARK-43528] [SC-131531] [SQL] [PYTHON] Podpora duplicitních názvů polí v createDataFrame s datovým rámcem pandas
  • [SPARK-43412] [SC-130990] [PYTHON] [CONNECT] Představení SQL_ARROW_BATCHED_UDF EvalType pro uživatelem definované uživatelem Pythonu optimalizované pro šipky
  • [SPARK-40912] [SC-130986] [JÁDRO] Režie výjimek v KryoDeserializationStream
  • [SPARK-39280] [SC-131206] [SQL] Zrychlení odvozování typu časového razítka pomocí uživatelského formátu ve zdroji dat JSON/CSV
  • [SPARK-43473] [SC-131372] [PYTHON] Podpora typu struktury v createDataFrame z datového rámce pandas
  • [SPARK-43443] [SC-131024] [SQL] Přidání srovnávacího testu pro odvození typu časového razítka při použití neplatné hodnoty
  • [SPARK-41532] [SC-130523] [CONNECT] [KLIENT] Přidání kontroly operací, které zahrnují více datových rámců
  • [SPARK-43296] [SC-130627] [CONNECT] [PYTHON] Migrace chyb relace Sparku Připojení do třídy chyb
  • [SPARK-43324] [SC-130455] [SQL] Zpracování příkazů UPDATE pro rozdílové zdroje
  • [SPARK-43347] [SC-130148] [PYTHON] Odebrání podpory Pythonu 3.7
  • [SPARK-43292] [SC-130525] [JÁDRO] [CONNECT] Přechod ExecutorClassLoader na core modul a zjednodušení Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Přidání zavaděče dat distributora torch, který načítá data z dat oddílů Sparku
  • [SPARK-43331] [SC-130061] [CONNECT] Přidání Sparku Připojení SparkSession.interruptAll
  • [SPARK-43306] [SC-130320] [PYTHON] Migrace ValueError z typů Spark SQL do třídy chyb
  • [SPARK-43261] [SC-129674] [PYTHON] Migrace TypeError z typů Spark SQL do třídy chyb
  • [SPARK-42992] [SC-129465] [PYTHON] Představení chyby PySparkRuntimeError
  • [SPARK-16484] [SC-129975] [SQL] Přidání podpory pro Datasketches HllSketch
  • [SPARK-43165] [SC-128823] [SQL] Přesunout canWrite do DataTypeUtils
  • [SPARK-43082] [SC-129112] [CONNECT] [PYTHON] Definované uživatelem Pythonu optimalizované šipkami ve Sparku Připojení
  • [SPARK-43084] [SC-128654] [SS] Přidání podpory applyInPandasWithState pro připojení Sparku
  • [SPARK-42657] [SC-128621] [CONNECT] Podpora vyhledání a přenosu souborů tříd REPL na straně klienta na server jako artefakty
  • [SPARK-43098] [SC-77059] [SQL] Oprava chyby POČET správnosti, pokud skalární poddotaz obsahuje klauzuli group by
  • [SPARK-42884] [SC-126662] [CONNECT] Přidání integrace Ammonite REPL
  • [SPARK-42994] [SC-128333] [ML] [CONNECT] PyTorch Distributor podporuje místní režim
  • [SPARK-41498] [SC-125343] Vrátit zpět "Šíření metadat prostřednictvím sjednocení"
  • [SPARK-42993] [SC-127829] [ML] [CONNECT] Zajištění kompatibility distributora PyTorch se Sparkem Připojení
  • [SPARK-42683] [LC-75] Automatické přejmenování konfliktních sloupců metadat
  • [SPARK-42874] [SC-126442] [SQL] Povolení nové architektury pro testování zlatých souborů pro analýzu pro všechny vstupní soubory
  • [SPARK-42779] [SC-126042] [SQL] Povolit zápisům v2 indikovat velikost oddílu pro náhodné prohazovací operace
  • [SPARK-42891] [SC-126458] [CONNECT] [PYTHON] Implementace rozhraní API pro mapování CoGrouped
  • [SPARK-42791] [SC-126134] [SQL] Vytvoření nové architektury pro testování zlatých souborů pro analýzu
  • [SPARK-42615] [SC-124237] [CONNECT] [PYTHON] Refaktoring rpc AnalyzePlan a přidání session.version
  • [SPARK-41302] Vrátit zpět [VŠECHNY TESTY][SC-122423][SQL] Přiřadit název _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652] [PYTHON] Vylepšené chybové zprávy pro použitíInPandas pro neshodu schématu
  • [SPARK-40770] Vrátit zpět [VŠECHNY TESTY][SC-122652][PYTHON] Vylepšené chybové zprávy pro použitíInPandas pro neshodu schématu
  • [SPARK-42398] [SC-123500] [SQL] Upřesnění výchozí hodnoty sloupce DS v2 – rozhraní
  • [SPARK-40770] [VŠECHNY TESTY] [SC-122652] [PYTHON] Vylepšené chybové zprávy pro použitíInPandas pro neshodu schématu
  • [SPARK-40770] Vrátit zpět "[SC-122652][PYTHON] Vylepšené chybové zprávy pro použitíInPandas pro neshodu schématu"
  • [SPARK-40770] [SC-122652] [PYTHON] Vylepšené chybové zprávy pro použitíInPandas pro neshodu schématu
  • [SPARK-42038] [VŠECHNY TESTY] Vrátit zpět "[SC-122533][SQL] SPJ: Podpora částečně clusterované distribuce"
  • [SPARK-42038] Vrátit zpět [SC-1225333][SQL] SPJ: Podpora částečně clusterované distribuce
  • [SPARK-42038] [SC-122533] [SQL] SPJ: Podpora částečně clusterované distribuce
  • [SPARK-40550] [SC-120989] [SQL] Zdroj dat V2: Zpracování příkazů DELETE pro rozdílové zdroje
  • [SPARK-40770] Vrátit zpět "[SC-122652][PYTHON] Vylepšené chybové zprávy pro použitíInPandas pro neshodu schématu"
  • [SPARK-40770] [SC-122652] [PYTHON] Vylepšené chybové zprávy pro použitíInPandas pro neshodu schématu
  • [SPARK-41302] Vrátit zpět "[SC-122423][SQL] Přiřadit název _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40550] Vrátit zpět "[SC-120989][SQL] Zdroj dat V2: Zpracování příkazů DELETE pro rozdílové zdroje
  • [SPARK-42123] Vrátit zpět "[SC-121453][SQL] Zahrnout výchozí hodnoty sloupce do funkce DESCRIBE a SHOW CREATE TABLE output"
  • [SPARK-42146] [SC-121172] [JÁDRO] Refaktoring Utils#setStringField pro předání sestavení Maven při použití této metody modulu SQL
  • [SPARK-42119] Vrátit zpět "[SC-121342][SQL] Přidání předdefinovaných funkcí s hodnotami tabulky a inline_outer

Nejzajímavější body

Spark Připojení

  • Refaktoring modulu SQL do sql a sql-api za účelem vytvoření minimální sady závislostí, které je možné sdílet mezi klientem Scala Spark Připojení klientem a Sparkem a vyhnout se vyžádání všech tranzitivních závislostí Sparku. SPARK-44273
  • Představujeme klienta Scala pro Spark Připojení SPARK-42554
  • Podpora rozhraní Pandas API pro Python Spark Připojení Client SPARK-42497
  • Podpora distribuovaného strojového učení založeného na PyTorchu pro Spark Připojení SPARK-42471
  • Podpora strukturovaného streamování pro Spark Připojení v Pythonu a Scala SPARK-42938
  • Počáteční verze klienta Go SPARK-43351
  • Hodně vylepšení kompatibility mezi nativním Sparkem a klienty Sparku Připojení napříč Pythonem a Scalou
  • Vylepšené ladění a zpracování požadavků pro klientské aplikace (asynchronní zpracování, opakování, dlouhotrvající dotazy)

Spark SQL

Funkce

Functions

  • Přidání podpory pro Datasketches HllSketch SPARK-16484
  • Podpora režimu CBC pomocí aes_encrypt()/aes_decrypt() SPARK-43038
  • Podpora pravidla analyzátoru argumentů TABLE pro TableValuedFunction SPARK-44200
  • Implementace rastrových funkcí SPARK-44154
  • Přidání funkce try_aes_decrypt() SPARK-42701
  • array_insert by měl selhat s 0 indexem SPARK-43011
  • Přidání aliasu to_varchar pro to_char SPARK-43815
  • Funkce s vysokým pořadím: array_compact implementace SPARK-41235
  • Přidání podpory analyzátoru pojmenovaných argumentů pro předdefinované funkce SPARK-44059
  • Přidání seznamů NUL pro INSERT s uživatelsky zadanými seznamy méně sloupců než cílová tabulka SPARK-42521
  • Přidává podporu pro aes_encrypt IV a AAD SPARK-43290
  • Funkce DECODE vrací nesprávné výsledky při předání NULL SPARK-41668
  • Podpora udf 'luhn_check' SPARK-42191
  • Podpora implicitního překladu aliasů laterálního sloupce v Aggregate SPARK-41631
  • Podpora implicitního laterálního aliasu sloupce v dotazech s Windows SPARK-42217
  • Přidání aliasů funkcí 3 args DATE_ADD a DATE_DIFF SPARK-43492

Zdroje dat

  • Podpora char/varchar pro JDBC Catalog SPARK-42904
  • Podpora dynamického získání klíčových slov SQL prostřednictvím rozhraní JDBC API a TVF SPARK-43119
  • Zdroj dat V2: Zpracování příkazů MERGE pro rozdílové zdroje SPARK-43885
  • Zdroj dat V2: Zpracování příkazů MERGE pro zdroje založené na skupinách SPARK-43963
  • Zdroj dat V2: Zpracování příkazů UPDATE pro zdroje založené na skupinách SPARK-43975
  • Zdroj dat V2: Povolit reprezentaci aktualizací jako odstranění a vložení SPARK-43775
  • Povolit dialektům jdbc přepsat dotaz použitý k vytvoření tabulky SPARK-41516
  • SPJ: Podpora částečně clusterované distribuce SPARK-42038
  • DSv2 umožňuje CTAS/RTAS rezervovat schéma nullability SPARK-43390
  • Přidání spark.sql.files.maxPartitionNum SPARK-44021
  • Zpracování příkazů UPDATE pro rozdílové zdroje SPARK-43324
  • Povolení zápisů v2 indikuje, že poradce prohazuje velikost oddílu SPARK-42779
  • Podpora kodeku komprese lz4raw pro Parquet SPARK-43273
  • Avro: Psaní složitých sjednocení SPARK-25050
  • Zrychlení odvozování typu časového razítka pomocí uživatelského formátu ve zdroji dat JSON/CSV SPARK-39280
  • Avro pro podporu vlastního desítkového typu založeného na Long SPARK-43901
  • Vyhněte se náhodnému náhodnému zamíchání v dělení na oddíly v případě neshody klíčů oddílů, ale výrazy spojení jsou kompatibilní se spark-41413
  • Změna binárního souboru na nepodporovaný datový typ ve formátu CSV SPARK-42237
  • Povolit Avru převést sjednocovací typ na SQL se stabilním názvem pole s typem SPARK-43333
  • Zrychlení odvození typu časového razítka ve starším formátu ve zdroji dat JSON/CSV SPARK-39281

Optimalizace dotazů

  • Odstranění dílčího výrazu podporuje zkratkový výraz SPARK-42815
  • Zlepšení odhadu statistik spojení, pokud jedna strana může zachovat jedinečnost SPARK-39851
  • Zavedení limitu skupiny pro filtr založený na pořadí za účelem optimalizace výpočtů SPARK-37099
  • Oprava chování null IN (prázdný seznam) v pravidlech optimalizace SPARK-44431
  • Odvození a nasdílení limitu okna přes okno, pokud je partitionSpec prázdný SPARK-41171
  • Odebrání vnějšího spojení, pokud jsou všechny odlišné agregační funkce SPARK-42583
  • Sbalení dvou sousedních oken se stejným oddílem nebo pořadím v poddotadu SPARK-42525
  • Nasdílení limitu snížení kapacity prostřednictvím definovaných funkcí Pythonu SPARK-42115
  • Optimalizace pořadí filtrování predikátů SPARK-40045

Generování kódu a spouštění dotazů

  • Filtr modulu runtime by měl podporovat spojení s více úrovněmi jako vytvoření filtru SPARK-41674.
  • Podpora Codegenu pro HiveSimpleUDF SPARK-42052
  • Podpora Codegenu pro HiveGenericUDF SPARK-42051
  • Podpora Codegenu pro vnější zamíchané hodnoty hash na straně sestavení spark-44060
  • Implementace generování kódu pro funkci to_csv (StructsToCsv) SPARK-42169
  • Podpora AQE InMemoryTableScanExec SPARK-42101
  • Podpora sestavení levého vnějšího spojení doleva nebo pravého vnějšího spojení v zamíchaném spojení hash SPARK-36612
  • Respekt vyžadujeDistributionAndOrdering v CTAS/RTAS SPARK-43088
  • Kontejnery ve spojení použité ve spojení na straně streamu všesměrového spojení SPARK-43107
  • Správně nastavte hodnotu null u sloučeného spojovacího klíče v plném vnějším připojení USING join SPARK-44251.
  • Oprava in subquery ListQuery nullability SPARK-43413

Další velmi vhodné změny

  • Správně nastavit hodnotu null pro klíče ve spojeníCH SPARK-43718
  • Oprava chyby COUNT(*) je null v korelovaném skalárním poddotazu SPARK-43156
  • Objekt Dataframe.joinWith outer-join by měl vrátit hodnotu null pro chybějící řádek SPARK-37829.
  • Automatické přejmenování konfliktních sloupců metadat SPARK-42683
  • Zdokumentujte třídy chyb Spark SQL v uživatelské dokumentaci SPARK-42706

PySpark

Funkce

Další velmi vhodné změny

  • Přidání podpory automatického dokončování pro df[|] v pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Vyřazení a odebrání rozhraní API, která budou odebrána v knihovně pandas 2.0 [SPARK-42593]
  • Vytvoření první karty Pythonu pro příklady kódu – Průvodce SPARK-42493 sparkem SQL, datovými rámci a datovými sadami
  • Aktualizace zbývajících příkladů kódu dokumentace Sparku pro zobrazení Pythonu ve výchozím nastavení SPARK-42642
  • Použití názvů polí s odstraněním duplicit při vytváření šipek RecordBatch [SPARK-41971]
  • Podpora duplicitních názvů polí v createDataFrame s datovým rámcem pandas [SPARK-43528]
  • Povolit parametr sloupců při vytváření datového rámce s řadou [SPARK-42194]

Základ

  • Naplánovat sloučeníFinalize při opakovaném pokusu o vložení sloučení shuffleMapStage, ale žádné spuštěné úlohy SPARK-40082
  • Zavedení partitionEvaluatoru pro operátor SQL spouštění SPARK-43061
  • Povolení funkce ShuffleDriverComponent deklarovat, jestli jsou data náhodného prohazování spolehlivě uložená ve Sparku 42689
  • Přidání maximálního omezení počtu pokusů o fáze, aby se zabránilo potenciálnímu nekonečnému opakování SPARK-42577
  • Podpora konfigurace na úrovni protokolu pomocí statické konfigurace Spark Conf SPARK-43782
  • Optimalizace percentilHeap SPARK-42528
  • Přidání argumentu důvodu do TaskScheduler.cancelTasks SPARK-42602
  • Pokud migrovaná data spark-41469 migrovala data náhodného prohazování, vyhněte se opakovanému spuštění nepotřebných úloh při vyřazení exekutoru.
  • Oprava snížení počtu akumulátorů v případě úlohy opakování se spark-41497 mezipaměti rdd
  • Použití RocksDB pro spark.history.store.hybridStore.diskBackend ve výchozím nastavení SPARK-42277
  • Obálka NonFateSharingCache pro Guava Cache SPARK-43300
  • Vylepšení výkonu MapOutputTracker.updateMapOutput SPARK-43043
  • Povolení aplikací řídit, jestli se jejich metadata ukládají do databáze externí službou Shuffle Service SPARK-43179
  • Přidání proměnné SPARK_DRIVER_POD_IP env do podů exekutoru SPARK-42769
  • Připojí mapu konfigurace hadoop na pod exekutoru SPARK-43504.

Strukturované streamování

ML

Uživatelské rozhraní

  • Přidání stránky uživatelského rozhraní Sparku pro Spark Připojení SPARK-44394
  • Sloupec Histogram haldy na kartě Exekutory SPARK-44153
  • Zobrazit chybovou zprávu v uživatelském rozhraní pro každý neúspěšný dotaz SPARK-44367
  • Zobrazení času přidání nebo odebrání exekutorů na kartě Exekutory SPARK-44309

Vytváření a další

Odebrání, změny chování a vyřazení

Nadcházející odebrání

Následující funkce se odeberou v příští hlavní verzi Sparku.

  • Podpora pro Javu 8 a Javu 11 a minimální podporovaná verze Javy bude Java 17.
  • Podpora pro Scala 2.12 a minimální podporovaná verze Scala bude 2.13

Průvodci migrací

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Prostředí systému

  • Operační systém: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
krásnásoup4 4.11.1 Černé 22.6.0 Bělidla 4.1.0
blikač 1.4 boto3 1.24.28 botocore 1.27.96
Certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknutí 8.0.4 Komunikace 0.1.2
obrysová křivka 1.0.5 Kryptografie 39.0.1 Cyklovač 0.11.0
Cython 0.29.32 Databricks-sdk 0.1.6 dbus-python 1.2.18
ladění 1.6.7 Dekoratér 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 vstupní body 0,4
Provádění 0.8.3 přehled omezujících vlastností 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 fonttools 4.25.0 Knihovna modulu runtime GCC 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgety 1.0.0
Klíčenku 23.5.0 verizonsolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
Revize Sejf 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 špatně zamyšlení 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 poznámkový blok 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 Obalu 22.0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Polštář 9.4.0 Pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
čistý-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
žádosti 2.28.1 Lano 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 Šest 1.16.0
sniffio 1.2.0 polévky 2.3.2.post1 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.13.5 Houževnatost 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 Tornádo 6.1
vlastnosti 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
bezobslužné upgrady 0,1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 Kolo 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku CRAN Správce balíčků Posit na 13. 7. 2023.

Knihovna Verze Knihovna Verze Knihovna Verze
šipka 12.0.1 askpass 1,1 assertthat 0.2.1
Backports 1.4.1 base 4.3.1 base64enc 0.1-3
bitové 4.0.5 bit64 4.0.5 blob 1.2.4
startování 1.3-28 Vařit 1.0-8 Brio 1.1.3
Koště 1.0.5 bslib 0.5.0 cachem 1.0.8
volající 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 Rozhraní příkazového řádku 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 barevný prostor 2.1-0 commonmark 1.9.0
– kompilátor 4.3.1 config 0.3.1 Rozporu 1.2.0
cpp11 0.4.4 Pastelka 1.5.2 přihlašovací údaje 1.3.2
Curl 5.0.1 data.table 1.14.8 Power BI 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
devtools 2.4.5 Diagramu 1.6.5 diffobj 0.3.5
Digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 tři tečky 0.3.2
evaluate 0.21 fanynky 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Zahraniční 0.8-82 Forge 0.2.0
Fs 1.6.2 Budoucnosti 1.33.0 future.apply 1.11.0
Kloktadlo 1.5.1 Generik 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Lepidlo 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Grafika 4.3.1 grDevices 4.3.1 Mřížky 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 Útočiště 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Id 1.0.1 Ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iterátory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 pletení 1,43
Označování 0.4.2 Později 1.3.1 Mříže 0.21-8
Láva 1.7.2.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASS 7.3-60 Matice 1.5-4.1 memoise 2.0.1
metody 4.3.1 mgcv 1.8-42 Mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
paralelně 1.36.0 Pilíř 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Chvála 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Průběh 1.2.2
progressr 0.13.0 Sliby 1.2.0.1 proto 1.0.0
Proxy 0.4-27 Ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 Analýza rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recepty 1.0.6
Zápas 1.0.1 rematch2 2.1.2 vzdálená zařízení 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 Váhy 1.2.1
selektor 0.4-2 sessioninfo 1.2.2 Obrazec 1.4.6
Lesklé 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 Prostorové 7.3-15 Křivky 4.3.1
sqldf 0.4-11 ČTVEREC 2021.1 Statistiky 4.3.1
Statistiky 4 4.3.1 stringi 1.7.12 stringr 1.5.0
Přežití 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 časový interval 0.2.0 timeDate 4022.108
tinytex 0,45 tools 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
utils 4.3.1 Uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 Waldo 0.5.1
vousa 0.4.1 withr 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 Zip 2.3.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws podpora aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofein Kofein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java Nativní verze 1.1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metriky anotace 4.2.19
io.dropwizard.metrics metriky – jádro 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriky – kontroly stavu 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metriky – servlety 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty- common 4.1.93.Final
io.netty obslužná rutina netty 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolekcí 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Lák 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus cílové skupiny a poznámky 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty pokračování jetty 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket – společné 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core žerzejové společné 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Poznámky 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Podložky 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1