Share via

Databricks Runtime 14.0 (nieobsługiwane)

  • Artykuł

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 14.0 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks opublikowała te obrazy we wrześniu 2023 roku.

Nowe funkcje i ulepszenia

Predykcyjne we/wy dla aktualizacji to ogólna dostępność

Predykcyjne we/wy dla aktualizacji są teraz ogólnie dostępne. Zobacz Co to jest predykcyjne we/wy?

Wektory usuwania są ogólnie dostępne

Wektory usuwania są teraz ogólnie dostępne. Zobacz Co to są wektory usuwania?.

Platforma Spark 3.5.0 jest ogólnie dostępna

Platforma Apache Spark 3.5.0 jest teraz ogólnie dostępna. Zobacz Spark Release 3.5.0 (Wersja platformy Spark 3.5.0).

Publiczna wersja zapoznawcza funkcji tabel zdefiniowanych przez użytkownika dla języka Python

Funkcje tabeli zdefiniowane przez użytkownika (UDTFs) umożliwiają rejestrowanie funkcji, które zwracają tabele zamiast wartości skalarnych. Zobacz Co to są funkcje tabeli zdefiniowane przez użytkownika w języku Python?.

Publiczna wersja zapoznawcza współbieżności na poziomie wiersza

Współbieżność na poziomie wiersza zmniejsza konflikty między współbieżnych operacji zapisu, wykrywając zmiany na poziomie wiersza i automatycznie rozwiązując konkurencyjne zmiany w współbieżnych zapisach, które aktualizują lub usuwają różne wiersze w tym samym pliku danych. Zobacz Konflikty zapisu ze współbieżnością na poziomie wiersza.

Domyślny bieżący katalog roboczy został zmieniony

Domyślny bieżący katalog roboczy (CWD) dla kodu wykonywanego lokalnie to teraz katalog zawierający notes lub skrypt, który jest uruchamiany. Obejmuje to kod, taki jak %sh python lub R, który nie korzysta z platformy Spark. Zobacz Co to jest domyślny bieżący katalog roboczy?.

Znany problem z interfejsem sparklyr

Zainstalowana wersja sparklyr pakietu (wersja 1.8.1) nie jest zgodna z środowiskiem Databricks Runtime 14.0. Aby użyć sparklyrprogramu , zainstaluj wersję 1.8.3 lub nowszą.

Wprowadzenie do usługi Spark Połączenie w architekturze klastra udostępnionego

W przypadku środowiska Databricks Runtime 14.0 lub nowszego udostępnione klastry domyślnie używają platformy Spark Połączenie ze sterownikiem Spark ze środowiska REPL języka Python. Wewnętrzne interfejsy API platformy Spark nie są już dostępne z poziomu kodu użytkownika.

Platforma Spark Połączenie teraz współdziała ze sterownikiem Spark z wersji REPL zamiast starszej integracji REPL.

Lista dostępnych aktualizacji interfejsu API wersji platformy Spark

Włącz funkcję Photon, ustawiając runtime_engine = PHOTONwartość i włącz aarch64 , wybierając typ wystąpienia graviton. Usługa Azure Databricks ustawia poprawną wersję środowiska Databricks Runtime. Wcześniej interfejs API wersji platformy Spark zwracał środowiska uruchomieniowe specyficzne dla implementacji dla każdej wersji. Zobacz GET /api/2.0/clusters/spark-versions w dokumentacji interfejsu API REST.

Zmiany powodujące niezgodność

W środowisku Databricks Runtime 14.0 lub nowszym klastry z trybem dostępu współużytkowanego używają platformy Spark Połączenie do komunikacji klient-serwer. Obejmuje to następujące zmiany.

Aby uzyskać więcej informacji na temat ograniczeń trybu dostępu współdzielonego, zobacz Ograniczenia trybu dostępu obliczeniowego dla wykazu aparatu Unity.

Język Python w klastrach z trybem dostępu współdzielonego

  • sqlContext jest niedostępny. Usługa Azure Databricks zaleca używanie zmiennej sparkSparkSession dla wystąpienia.
  • Kontekst platformy Spark (sc) nie jest już dostępny w notesach lub w przypadku korzystania z usługi Databricks Połączenie w klastrze z trybem dostępu współdzielonego. Następujące sc funkcje nie są już dostępne:
    • emptyRDD, range, , parallelizeinit_batched_serializerpickleFiletextFilewholeTextFilesbinaryFilesbinaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
  • Funkcja Informacje o zestawie danych nie jest już obsługiwana.
  • Nie istnieje już zależność od maszyny JVM podczas wykonywania zapytań względem platformy Apache Spark i w związku z tym wewnętrzne interfejsy API związane z maszyną wirtualną JVM, takie jak _jsc, _jseq_jreader_jvm_jconf_jc_jdf_jsparkSession, _jmapi _jcols nie są już obsługiwane.
  • Podczas uzyskiwania dostępu do wartości konfiguracji przy użyciu spark.conf tylko dynamicznych wartości konfiguracji środowiska uruchomieniowego są dostępne.
  • Polecenia analizy tabel na żywo funkcji delta nie są jeszcze obsługiwane w udostępnionych klastrach.

Funkcja delta w klastrach z trybem dostępu współdzielonego

  • W języku Python nie istnieje już zależność od maszyny wirtualnej JVM podczas wykonywania zapytań dotyczących platformy Apache Spark. Wewnętrzne interfejsy API związane z maszyną wirtualną JVM, takie jak DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilderi DeltaOptimizeBuilder._jbuilder nie są już obsługiwane.

Sql w klastrach z trybem dostępu współdzielonego

  • DBCACHE polecenia i DBUNCACHE nie są już obsługiwane.
  • Rzadkie przypadki użycia, takie jak cache table db as show databases , nie są już obsługiwane.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • asttokens z 2.2.1 do 2.0.5
    • attrs z 21.4.0 do 22.1.0
    • botocore z wersji 1.27.28 do 1.27.96
    • certifi od 2022.9.14 do 2022.12.7
    • Kryptografia z wersji 37.0.1 do 39.0.1
    • debugpy z wersji 1.6.0 do 1.6.7
    • docstring-to-markdown z 0.12 do 0.11
    • wykonywanie z wersji 1.2.0 do 0.8.3
    • facets-overview from 1.0.3 to 1.1.1
    • googleapis-common-protos z 1.56.4 do 1.60.0
    • grpcio z 1.48.1 do 1.48.2
    • idna od 3.3 do 3.4
    • ipykernel z 6.17.1 do 6.25.0
    • ipython z 8.10.0 do 8.14.0
    • Jinja2 z wersji 2.11.3 do 3.1.2
    • jsonschema z wersji 4.16.0 do 4.17.3
    • jupyter_core z wersji 4.11.2 do 5.2.0
    • kiwisolver z 1.4.2 do 1.4.4
    • Adiustacja Sejf z wersji 2.0.1 do 2.1.1
    • matplotlib z wersji 3.5.2 do 3.7.0
    • nbconvert z 6.4.4 do 6.5.4
    • nbformat z wersji 5.5.0 do 5.7.0
    • nest-asyncio z wersji 1.5.5 do 1.5.6
    • notes z wersji 6.4.12 do 6.5.2
    • numpy z wersji 1.21.5 do 1.23.5
    • opakowania z 21.3 do 22.0
    • Biblioteka pandas z wersji 1.4.4 do 1.5.3
    • pathspec z 0.9.0 do 0.10.3
    • patsy z 0.5.2 do 0.5.3
    • Poduszka z 9.2.0 do 9.4.0
    • pip z 22.2.2 do 22.3.1
    • protobuf z wersji 3.19.4 do 4.24.0
    • pytoolconfig z wersji 1.2.2 do 1.2.5
    • pytz od 2022.1 do 2022.7
    • s3transfer z 0.6.0 do 0.6.1
    • seaborn od 0.11.2 do 0.12.2
    • setuptools z 63.4.1 do 65.6.3
    • zupy od 2.3.1 do 2.3.2.post1
    • stack-data z wersji 0.6.2 do 0.2.0
    • statsmodels z 0.13.2 do 0.13.5
    • terminado z 0.13.1 do 0.17.1
    • cechy z wersji 5.1.1 do 5.7.1
    • typing_extensions z wersji 4.3.0 do 4.4.0
    • urllib3 z 1.26.11 do 1.26.14
    • virtualenv z wersji 20.16.3 do 20.16.7
    • od 0.37.1 do 0.38.4
  • Uaktualnione biblioteki języka R:
    • strzałka z zakresu od 10.0.1 do 12.0.1
    • od 4.2.2 do 4.3.1
    • Obiekt blob z wersji 1.2.3 do 1.2.4
    • miotła od 1.0.3 do 1.0.5
    • bslib z 0.4.2 do 0.5.0
    • pamięć podręczna z wersji 1.0.6 do 1.0.8
    • karetki od 6.0-93 do 6.0-94
    • chron z 2.3-59 do 2.3-61
    • klasa z 7.3-21 do 7.3-22
    • interfejs wiersza polecenia z wersji 3.6.0 do 3.6.1
    • zegar od 0.6.1 do 0.7.0
    • commonmark z wersji 1.8.1 do 1.9.0
    • kompilator z wersji 4.2.2 do 4.3.1
    • cpp11 z 0.4.3 do 0.4.4
    • curl z 5.0.0 do 5.0.1
    • data.table z wersji 1.14.6 do 1.14.8
    • zestawy danych z wersji 4.2.2 do 4.3.1
    • dbplyr z wersji 2.3.0 do 2.3.3
    • skrót z 0.6.31 do 0.6.33
    • z 0.4.2 do 0.4.3
    • dplyr z wersji 1.1.0 do 1.1.2
    • dtplyr z wersji 1.2.2 do 1.3.1
    • ocena z zakresu od 0,20 do 0,21
    • fastmap z wersji 1.1.0 do 1.1.1
    • fontawesome z 0.5.0 do 0.5.1
    • fs z 1.6.1 do 1.6.2
    • przyszłości od 1.31.0 do 1.33.0
    • future.apply z wersji 1.10.0 do 1.11.0
    • gargle z 1.3.0 do 1.5.1
    • ggplot2 z 3.4.0 do 3.4.2
    • gh z 1.3.1 do 1.4.0
    • glmnet z 4.1-6 do 4.1-7
    • googledrive z wersji 2.0.0 do 2.1.1
    • googlesheets4 z 1.0.1 do 1.1.1
    • grafika z wersji 4.2.2 do 4.3.1
    • grDevices z wersji 4.2.2 do 4.3.1
    • siatka z 4.2.2 do 4.3.1
    • z wersji 0.3.1 do 0.3.3
    • hardhat z 1.2.0 do 1.3.0
    • haven from 2.5.1 to 2.5.3 (przystanek od 2.5.1 do 2.5.3)
    • hms od 1.1.2 do 1.1.3
    • narzędzia htmltools z wersji 0.5.4 do 0.5.5
    • htmlwidgets z wersji 1.6.1 do 1.6.2
    • httpuv z wersji 1.6.8 do 1.6.11
    • httr z 1.4.4 do 1.4.6
    • ipred z 0.9-13 do 0.9-14
    • jsonlite z wersji 1.8.4 do 1.8.7
    • KernSmooth z 2.23-20 do 2.23-21
    • knitr z 1.42 do 1.43
    • nowsze wersje od 1.3.0 do 1.3.1
    • lattice z 0.20-45 do 0.21-8
    • lawa z 1.7.1 do 1.7.2.1
    • lubridate z wersji 1.9.1 do 1.9.2
    • markdown od 1.5 do 1.7
    • MASA z 7.3-58.2 do 7.3-60
    • Macierz z zakresu od 1,5 do 1,5–4,1
    • metody z wersji 4.2.2 do 4.3.1
    • mgcv z 1.8-41 do 1.8-42
    • modelr z wersji 0.1.10 do 0.1.11
    • sieć nnet z 7.3-18 do 7.3-19
    • openssl z 2.0.5 do 2.0.6
    • równoległe z wersji 4.2.2 do 4.3.1
    • równolegle z wersji 1.34.0 do 1.36.0
    • od 1.8.1 do 1.9.0
    • pkgbuild z 1.4.0 do 1.4.2
    • pkgload z wersji 1.3.2 do 1.3.2.1
    • pROC z 1.18.0 do 1.18.4
    • processx z wersji 3.8.0 do 3.8.2
    • prodlim od 2019.11.13 do 2023.03.31
    • profvis z wersji 0.3.7 do 0.3.8
    • ps z 1.7.2 do 1.7.5
    • Program Rcpp z wersji 1.0.10 do 1.0.11
    • readr z wersji 2.1.3 do 2.1.4
    • readxl z wersji 1.4.2 do 1.4.3
    • przepisy od 1.0.4 do 1.0.6
    • rlang z wersji 1.0.6 do 1.1.1
    • rmarkdown z 2.20 do 2.23
    • Rserve z 1.8-12 do 1.8-11
    • RSQLite z wersji 2.2.20 do 2.3.1
    • rstudioapi z 0.14 do 0.15.0
    • sygnatury dostępu współdzielonego z wersji 0.4.5 do 0.4.6
    • błyszczące z 1.7.4 do 1.7.4.1
    • sparklyr z 1.7.9 do 1.8.1
    • SparkR z wersji 3.4.1 do 3.5.0
    • linie od 4.2.2 do 4.3.1
    • statystyki z 4.2.2 do 4.3.1
    • stats4 z 4.2.2 do 4.3.1
    • przetrwanie z 3,5-3 do 3,5-5
    • system z wersji 3.4.1 do 3.4.2
    • tcltk z wersji 4.2.2 do 4.3.1
    • testthat z 3.1.6 do 3.1.10
    • tibble z 3.1.8 do 3.2.1
    • tidyverse z 1.3.2 do 2.0.0
    • tinytex z 0.44 do 0.45
    • narzędzia z wersji 4.2.2 do 4.3.1
    • tzdb z 0.3.0 do 0.4.0
    • usethis z 2.1.6 do 2.2.2
    • Narzędzia z wersji 4.2.2 do 4.3.1
    • vctrs z 0.5.2 do 0.6.3
    • viridisLite z wersji 0.4.1 do 0.4.2
    • vroom od 1.6.1 do 1.6.3
    • waldo od 0.4.0 do 0.5.1
    • xfun od 0.37 do 0.39
    • xml2 z wersji 1.3.3 do 1.3.5
    • zip z wersji 2.2.2 do 2.3.0
  • Uaktualnione biblioteki Java:
    • com.fasterxml.jackson.core.jackson-adnotacje z wersji 2.14.2 do 2.15.2
    • com.fasterxml.jackson.core.jackson-core z wersji 2.14.2 do 2.15.2
    • com.fasterxml.jackson.core.jackson-databind z 2.14.2 do 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor z wersji 2.14.2 do 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda z wersji 2.14.2 do 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 z wersji 2.13.4 do 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer od 2.14.2 do 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 z wersji 2.14.2 do 2.15.2
    • com.github.luben.zstd-jni z 1.5.2-5 do 1.5.5-4
    • com.google.code.gson.gson z 2.8.9 do 2.10.1
    • com.google.crypto.tink.tink z 1.7.0 do 1.9.0
    • commons-codec.commons-codec z wersji 1.15 do 1.16.0
    • commons-io.commons-io z wersji 2.11.0 do 2.13.0
    • io.aircompressor od 0.21 do 0.24
    • io.dropwizard.metrics.metrics-core z wersji 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-graphite z wersji 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks z wersji 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 z wersji 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-jmx z wersji 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-json z wersji 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-jvm z wersji 4.2.10 do 4.2.19
    • io.dropwizard.metrics.metrics-servlets z wersji 4.2.10 do 4.2.19
    • io.netty.netty-all from 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-buffer from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-codec z wersji 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-codec-http from 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-codec-http2 z wersji 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-codec-skarpetki z wersji 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-common from 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-handler from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-handler-proxy z wersji 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-resolver z wersji 4.1.87.Final do 4.1.93.Final
    • io.netty.netty-transport z wersji 4.1.87.Final do wersji 4.1.93.Final
    • io.netty.netty-transport-classes-epoll from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-transport-native-epoll from 4.1.87.Final-linux-x86_64 to 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue from 4.1.87.Final-osx-x86_64 to 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common from 4.1.87.Final do 4.1.93.Final
    • org.apache.arrow.arrow-format z zakresu od 11.0.0 do 12.0.1
    • org.apache.arrow.arrow-memory-core z 11.0.0 do 12.0.1
    • org.apache.arrow.arrow-memory-netty od 11.0.0 do 12.0.1
    • org.apache.arrow.arrow-vector z 11.0.0 do 12.0.1
    • org.apache.avro.avro z wersji 1.11.1 do 1.11.2
    • org.apache.avro.avro-ipc z wersji 1.11.1 do 1.11.2
    • org.apache.avro.avro-mapred z wersji 1.11.1 do 1.11.2
    • org.apache.commons.commons-compress z wersji 1.21 do 1.23.0
    • org.apache.hadoop.hadoop-client-runtime z wersji 3.3.4 do 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api z wersji 2.19.0 do 2.20.0
    • org.apache.logging.log4j.log4j-api z wersji 2.19.0 do 2.20.0
    • org.apache.logging.log4j.log4j-core z wersji 2.19.0 do 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl z wersji 2.19.0 do 2.20.0
    • org.apache.orc.orc-core z wersji 1.8.4-shaded-protobuf do wersji 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce from 1.8.4-shaded-protobuf to 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims z wersji 1.8.4 do 1.9.0
    • org.apache.xbean.xbean-asm9-shaded z 4.22 do 4.23
    • org.checkerframework.checker-qual od 3.19.0 do 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet z 2.36 do 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core od 2.36 do 2.40
    • org.glassfish.jersey.core.jersey-client od 2.36 do 2.40
    • org.glassfish.jersey.core.jersey-common od 2.36 do 2.40
    • org.glassfish.jersey.core.jersey-server od 2.36 do 2.40
    • org.glassfish.jersey.inject.jersey-hk2 z 2.36 do 2.40
    • org.javassist.javassist z wersji 3.25.0-GA do 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client z wersji 2.7.4 do 2.7.9
    • org.postgresql.postgresql z wersji 42.3.8 do 42.6.0
    • org.roaringbitmap.RoaringBitmap z 0.9.39 do 0.9.45
    • org.roaringbitmap.shims od 0.9.39 do 0.9.45
    • org.rocksdb.rocksdbjni z wersji 7.8.3 do 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 z wersji 2.4.3 do 2.9.0
    • org.slf4j.jcl-over-slf4j od 2.0.6 do 2.0.7
    • org.slf4j.jul-to-slf4j od 2.0.6 do 2.0.7
    • org.slf4j.slf4j-api od 2.0.6 do 2.0.7
    • org.xerial.snappy.snappy-java z wersji 1.1.10.1 do 1.1.10.3
    • org.yaml.snakeyaml z 1.33 do 2.0

Apache Spark

Databricks Runtime 14.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 13.3 LTS, a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • Teraz możesz ustawić zmienną środowiskową klastra SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 , aby użyć łącznika Spark-snowflake w wersji 2.12.0.
  • [SPARK-44877] [DBRRM-482] [SC-140437] [CONNECT] [PYTHON] Obsługa funkcji protobuf języka Python dla platformy Spark Połączenie
  • [SPARK-44882] [DBRRM-463] [SC-140430] [PYTHON] [CONNECT] Usuwanie identyfikatora funkcji uuid/random/chr z narzędzia PySpark
  • [SPARK-44740] [DBRRM-462] [SC-140320] [CONNECT] [OBSERWUJ] Poprawianie wartości metadanych dla artefaktów
  • [SPARK-44822] [DBRRM-464] [PYTHON] [SQL] Ustaw domyślne funkcje UDF języka Python na niedeterministyczne
  • [SPARK-44836] [DBRRM-468] [SC-140228] [PYTHON] Refaktoryzacja strzałki w języku Python UDTF
  • [SPARK-44738] [DBRRM-462] [SC-139347] [PYTHON] [CONNECT] Dodawanie brakujących metadanych klienta do wywołań
  • [SPARK-44722] [DBRRM-462] [SC-139306] [CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: obiekt "NoneType" nie ma atrybutu "message"
  • [SPARK-44625] [DBRRM-396] [SC-139535] [CONNECT] Spark Połączenie ExecutionManager do śledzenia wszystkich wykonań
  • [SPARK-44663] [SC-139020] [DBRRM-420] [PYTHON] Wyłącz optymalizację strzałek domyślnie dla funkcji UDF języka Python
  • [SPARK-44709] [DBRRM-396] [SC-139250] [CONNECT] Uruchom polecenie ExecuteGrpcResponseSender w ponownym dołączalnym wykonaniu w nowym wątku, aby naprawić sterowanie przepływem
  • [SPARK-44656] [DBRRM-396] [SC-138924] [CONNECT] Ustaw wszystkie iteratory CloseableIterators
  • [SPARK-44671] [DBRRM-396] [SC-138929] [PYTHON] [CONNECT] Ponów próbę wykonaniaplanu w przypadku, gdy początkowe żądanie nie dotarło do serwera w kliencie języka Python
  • [SPARK-44624] [DBRRM-396] [SC-138919] [CONNECT] Ponów próbę wykonaniaPlan w przypadku, gdy początkowe żądanie nie dotarło do serwera
  • [SPARK-44574] [DBRRM-396] [SC-138288] [SQL] [CONNECT] Błędy przeniesione do sq/api powinny również używać elementu AnalysisException
  • [SPARK-44613] [DBRRM-396] [SC-138473] [CONNECT] Dodawanie obiektu koderów
  • [SPARK-44626] [DBRRM-396] [SC-138828] [SS] [CONNECT] Obserwowanie zakończenia zapytań przesyłania strumieniowego po przekroczeniu limitu czasu sesji klienta dla platformy Spark Połączenie
  • [SPARK-44642] [DBRRM-396] [SC-138882] [CONNECT] ReleaseExecute in ExecutePlanResponseReattachableIterator po wystąpieniu błędu z serwera
  • [SPARK-41400] [DBRRM-396] [SC-138287] [CONNECT] Usuwanie zależności katalizatora klienta Połączenie
  • [SPARK-44664] [DBRRM-396] [PYTHON] [CONNECT] Zwalnianie wykonania podczas zamykania iteratora w kliencie języka Python
  • [SPARK-44631] [DBRRM-396] [SC-138823] [CONNECT] [CORE] [14.0.0] Usuń katalog oparty na sesji, gdy izolowana pamięć podręczna sesji jest eksmitowana
  • [SPARK-42941] [DBRRM-396] [SC-138389] [SS] [CONNECT] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396] [SC-138570] [CONNECT] Nie pozostawiaj zwisających iteratorów
  • [SPARK-44424] [DBRRM-396] [CONNECT] [PYTHON] [14.0.0] Klient języka Python do ponownego dołączenia do istniejącego wykonania na platformie Spark Połączenie
  • [SPARK-44637] [SC-138571] Synchronizowanie dostępu do serwera ExecuteResponseObserver
  • [SPARK-44538] [SC-138178] [CONNECT] [SQL] Przywracanie elementu Row.jsonValue i znajomych
  • [SPARK-44421] [SC-138434] [SPARK-44423] [CONNECT] Ponowne podłączalne wykonywanie na platformie Spark Połączenie
  • [SPARK-44418] [SC-136807] [PYTHON] [CONNECT] Uaktualnij program protobuf z wersji 3.19.5 do wersji 3.20.3
  • [SPARK-44587] [SC-138315] [SQL] [CONNECT] Zwiększ limit rekursji protobuf marshaller
  • [SPARK-44591] [SC-138292] [CONNECT] [SQL] Dodawanie elementów jobTags do elementu SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368] [SQL] DeduplikacjaRelations powinna zachować metadane aliasu podczas tworzenia nowego wystąpienia
  • [SPARK-44542] [SC-138323] [CORE] Chętnie załaduj klasę SparkExitCode w procedurze obsługi wyjątków
  • [SPARK-44264] [SC-138143] [PYTHON] Testowanie E2E pod kątem głębokiej prędkości
  • [SPARK-43997] [SC-138347] [CONNECT] Dodawanie obsługi funkcji zdefiniowanych przez użytkownika w języku Java
  • [SPARK-44507] [SQL] [CONNECT] [14.x] [14.0] Przenoszenie elementu AnalysisException do sql/api
  • [SPARK-44453] [SC-137013] [PYTHON] Użyj biblioteki difflib, aby wyświetlić błędy w obiekcie assertDataFrameEqual
  • [SPARK-44394] [SC-138291] [CONNECT] [WEBUI] [14.0] Dodawanie strony interfejsu użytkownika platformy Spark dla platformy Spark Połączenie
  • [SPARK-44611] [SC-138415] [CONNECT] Nie wykluczaj pliku scala-xml
  • [SPARK-44531] [SC-138044] [CONNECT] [SQL] [14.x] [14.0] Przenoszenie wnioskowania kodera do sql/api
  • [SPARK-43744] [SC-138289] [CONNECT] [14.x] [14.0] Rozwiązać problem z ładowaniem klas cau...
  • [SPARK-44590] [SC-138296] [SQL] [CONNECT] Usuwanie limitu rekordu wsadowego strzałki dla polecenia SqlCommandResult
  • [SPARK-43968] [SC-138115] [PYTHON] Ulepszanie komunikatów o błędach dla funkcji UDF języka Python z nieprawidłową liczbą danych wyjściowych
  • [SPARK-44432] [SC-138293] [SS] [CONNECT] Kończenie zapytań przesyłania strumieniowego, gdy limit czasu sesji w usłudze Spark Połączenie
  • [SPARK-44584] [SC-138295] [CONNECT] Ustawianie client_type informacji dotyczących elementu AddArtifactsRequest i ArtifactStatusesRequest w kliencie Scala
  • [SPARK-44552] [14.0] [SC-138176] [SQL] Usuń private object ParseState definicję z IntervalUtils
  • [SPARK-43660] [SC-136183] [CONNECT] [PS] Włączanie resample przy użyciu platformy Spark Połączenie
  • [SPARK-44287] [SC-136223] [SQL] Użyj interfejsu API PartitionEvaluator w operatorach SQL RowToColumnarExec i ColumnarToRowExec.
  • [SPARK-39634] [SC-137566] [SQL] Zezwalaj na dzielenie plików w połączeniu z generowaniem indeksu wierszy
  • [SPARK-44533] [SC-138058] [PYTHON] Dodawanie obsługi akumulatorów, emisji i plików Spark w analizie języka Python UDTF
  • [SPARK-44479] [SC-138146] [PYTHON] Naprawiono element ArrowStreamPandasUDFSerializer, aby akceptował ramkę danych biblioteki pandas bezkolumny
  • [SPARK-44425] [SC-138177] [CONNECT] Sprawdź, czy identyfikator sessionId podany przez użytkownika jest identyfikatorem UUID
  • [SPARK-44535] [SC-138038] [CONNECT] [SQL] Przenoszenie wymaganego interfejsu API przesyłania strumieniowego do interfejsu SQL/api
  • [SPARK-44264] [SC-136523] [ML] [PYTHON] Pisanie rozproszonej Edukacja Klasy DeepspeedTorchDistributor o dużej szybkości
  • [SPARK-42098] [SC-138164] [SQL] Poprawka ResolveInlineTables nie może obsłużyć wyrażenia RuntimeReplaceable
  • [SPARK-44060] [SC-135693] [SQL] Kod-gen do sprzężenia skrótu zewnętrznego po stronie kompilacji
  • [SPARK-44496] [SC-137682] [SQL] [CONNECT] Przenoszenie interfejsów wymaganych przez program SCSC do bazy danych SQL/api
  • [SPARK-44532] [SC-137893] [CONNECT] [SQL] Przenoszenie narzędzi ArrowUtils do sql/api
  • [SPARK-44413] [SC-137019] [PYTHON] Wyjaśnienie błędu dla nieobsługiwanego typu danych arg w assertDataFrameEqual
  • [SPARK-44530] [SC-138036] [CORE] [CONNECT] Przenoszenie informacji SparkBuildInfo do elementu common/util
  • [SPARK-36612] [SC-133071] [SQL] Obsługa kompilacji lewego sprzężenia zewnętrznego w lewo lub w prawej kompilacji sprzężenia zewnętrznego bezpośrednio w sprzężenia skrótu shuffled
  • [SPARK-44519] [SC-137728] [CONNECT] Spark Połączenie ServerUtils wygenerował nieprawidłowe parametry dla plików jar
  • [SPARK-44449] [SC-137818] [CONNECT] Przekształcanie w górę w celu deserializacji strzałek bezpośrednich
  • [SPARK-44131] [SC-136346] [SQL] Dodawanie call_function i oznaczanie call_udf dla interfejsu API języka Scala
  • [SPARK-44541] [SQL] Usuń bezużyteczną funkcję hasRangeExprAgainstEventTimeCol z UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859] [SQL] Wartość maxRows/maxRowsPerPartition filtru wynosi 0, jeśli warunek to FalseLiteral
  • [SPARK-44540] [SC-137873] [Interfejs użytkownika] Usuń nieużywany arkusz stylów i pliki javascript jsonFormatter
  • [SPARK-44466] [SC-137856] [SQL] Wykluczanie konfiguracji rozpoczynających się od SPARK_DRIVER_PREFIX i SPARK_EXECUTOR_PREFIX z zmodyfikowanych konfiguracji
  • [SPARK-44477] [SC-137508] [SQL] Traktuj TYPE_CHECK_FAILURE_WITH_HINT jako podklasę błędów
  • [SPARK-44509] [SC-137855] [PYTHON] [CONNECT] Dodawanie zestawu interfejsu API anulowania zadania w kliencie platformy Spark Połączenie python
  • [SPARK-44059] [SC-137023] Dodawanie obsługi nazwanych argumentów analizatora dla wbudowanych funkcji
  • [SPARK-38476] [SC-136448] [CORE] Używanie klasy błędów w witrynie org.apache.spark.storage
  • [SPARK-44486] [SC-137817] [PYTHON] [CONNECT] Implementowanie funkcji PyArrow self_destruct dla toPandas
  • [SPARK-44361] [SC-137200] [SQL] Korzystanie z interfejsu API PartitionEvaluator w elemecie MapInBatchExec
  • [SPARK-44510] [SC-137652] [Interfejs użytkownika] Aktualizowanie tabel danych do wersji 1.13.5 i usuwanie niektórych nieochwyconych plików PNG
  • [SPARK-44503] [SC-137808] [SQL] Dodaj gramatykę SQL dla klauzuli PARTITION BY i ORDER BY po argumentach TABLE dla wywołań TVF
  • [SPARK-38477] [SC-136319] [CORE] Używanie klasy error w org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088] [SQL] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_227[4–6,8]
  • [SPARK-44422] [SC-137567] [CONNECT] Połączenie Połączenie szczegółowe przerwanie
  • [SPARK-44380] [SC-137415] [SQL] [PYTHON] Obsługa funkcji UDTF języka Python do analizowania w języku Python
  • [SPARK-43923] [SC-137020] [CONNECT] Trwa publikowanie wydarzeń listenerBus...
  • [SPARK-44303] [SC-136108] [SQL] Przypisz nazwy do klasy błędów LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885] [Interfejs użytkownika] Naprawiono kolumnę HeapHistogram z nieoczekiwanie w/ select-all-box
  • [SPARK-44409] [SC-136975] [SQL] Obsługa znaków/varchar w Dataset.to, aby zachować spójność z innymi
  • [SPARK-44334] [SC-136576] [SQL] [Interfejs użytkownika] Stan odpowiedzi interfejsu API REST dla nieudanego kodu DDL/DML bez zadań nie powinien być zakończony niepowodzeniem, a nie ukończony
  • [SPARK-42309] [SC-136703] [SQL] Wprowadzenie INCOMPATIBLE_DATA_TO_TABLE i klasy podrzędne.
  • [SPARK-44367] [SC-137418] [SQL] [Interfejs użytkownika] Pokaż komunikat o błędzie w interfejsie użytkownika dla każdego zapytania, które zakończyło się niepowodzeniem
  • [SPARK-44474] [SC-137195] [CONNECT] Ponowne "Testowanie obserwowania odpowiedzi" na platformie Spark Połączenie ServiceSuite
  • [SPARK-44320] [SC-136446] [SQL] Przypisz nazwy do klasy błędów LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055] [CONNECT] Dziennik uruchamiania serwera Połączenie powinien zawierać nazwę hosta i port
  • [SPARK-44309] [SC-136193] [Interfejs użytkownika] Wyświetlanie czasu dodawania/usuwania funkcji wykonawczych na karcie Funkcji wykonawczych
  • [SPARK-42898] [SC-137556] [SQL] Oznaczanie, że rzutowania ciągów/dat nie wymagają identyfikatora strefy czasowej
  • [SPARK-44475] [SC-137422] [SQL] [CONNECT] Przenoszenie typu danych i analizatora do sql/api
  • [SPARK-44484] [SC-137562] [SS] Dodawanie klasy batchDuration do metody json StreamingQueryProgress
  • [SPARK-43966] [SC-137559] [SQL] [PYTHON] Obsługa niedeterministycznych funkcji wartości tabeli
  • [SPARK-44439] [SC-136973] [CONNECT] [SS] Naprawiono element listListeners do wysyłania tylko identyfikatorów z powrotem do klienta
  • [SPARK-44341] [SC-137054] [SQL] [PYTHON] Definiowanie logiki obliczeniowej za pomocą interfejsu API PartitionEvaluator i używanie jej w elementach WindowExec i WindowInPandasExec
  • [SPARK-43839] [SC-132680] [SQL] Konwertowanie _LEGACY_ERROR_TEMP_1337 na UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703] [SQL] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778] [CONNECT] [SS] Dodawanie obsługi odbiornika przesyłania strumieniowego w języku Scala dla platformy Spark Połączenie
  • [SPARK-44260] [SC-135618] [SQL] Przypisz nazwy do klasy błędów LEGACY_ERROR_TEMP[1215-1245-2329] & Użyj checkError(), aby sprawdzić wyjątek w _CharVarchar_Suite
  • [SPARK-42454] [SC-136913] [SQL] SPJ: hermetyzowanie wszystkich parametrów pokrewnych SPJ w usłudze BatchScanExec
  • [SPARK-44292] [SC-135844] [SQL] Przypisz nazwy do klasy błędów LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221] [Połączenie] Deserializacja strzałek bezpośrednich
  • [SPARK-44324] [SC-137172] [SQL] [CONNECT] Przenoszenie kontrolki CaseInsensitiveMap do bazy danych SQL/api
  • [SPARK-44395] [SC-136744] [SQL] Dodawanie testu z powrotem do aplikacji StreamingTableSuite
  • [SPARK-44481] [SC-137401] [CONNECT] [PYTHON] Tworzenie pyspark.sql.is_remote interfejsu API
  • [SPARK-44278] [SC-137400] [CONNECT] Implementowanie przechwytywania serwera GRPC, który czyści właściwości lokalne wątku
  • [SPARK-44264] [SC-137211] [ML] [PYTHON] Obsługa rozproszonego trenowania funkcji przy użyciu deepspeed
  • [SPARK-44430] [SC-136970] [SQL] Dodaj przyczynę, gdy AnalysisException opcja jest nieprawidłowa
  • [SPARK-44264] [SC-137167] [ML] [PYTHON] Dołączanie elementu FunctionPickler do torchDistributor
  • [SPARK-44216] [SC-137046] [PYTHON] Upublicznij interfejs API assertSchemaEqual
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-43203] [SC-134528] [SQL] Przenieś wszystkie przypadki upuszczania tabeli do źródła danych w wersji 2
  • [SPARK-43755] [SC-137171] [CONNECT] [DROBNE] Otwórz AdaptiveSparkPlanHelper.allChildren zamiast używać kopii w pliku MetricGenerator
  • [SPARK-44264] [SC-137187] [ML] [PYTHON] Refaktoryzacja funkcji TorchDistributor w celu zezwolenia na niestandardowy wskaźnik funkcji "run_training_on_file"
  • [SPARK-43755] [SC-136838] [CONNECT] Przenoszenie wykonywania z elementu SparkExecutePlanStreamHandler i do innego wątku
  • [SPARK-44411] [SC-137198] [SQL] Korzystanie z interfejsu API PartitionEvaluator w programie ArrowEvalPythonExec i BatchEvalPythonExec
  • [SPARK-44375] [SC-137197] [SQL] Używanie interfejsu API partitionEvaluator w debugexec
  • [SPARK-43967] [SC-137057] [PYTHON] Obsługa zwykłych funkcji UDF języka Python z pustymi wartościami zwracanymi
  • [SPARK-43915] [SC-134766] [SQL] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929] [PYTHON] [CONNECT] Obsługa funkcji UDTF języka Python w usłudze Spark Połączenie
  • [SPARK-44154] [SC-137050] [SQL] Dodano więcej testów jednostkowych do aplikacji BitmapExpressionUtilsSuite i wprowadzono drobne ulepszenia w wyrażeniach agregacji map bitowych
  • [SPARK-44169] [SC-135497] [SQL] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578] [CONNECT] [SQL] Usuń atrybuty StructType.toAttributes
  • [SPARK-43964] [SC-136676] [SQL] [PYTHON] Obsługa zoptymalizowanych pod kątem strzałek funkcji UDF języka Python
  • [SPARK-44321] [SC-136308] [CONNECT] Decouple ParseException from AnalysisException
  • [SPARK-44348] [SAS-1910] [SC-136644] [CORE] [CONNECT] [PYTHON] Ponowne zmienianie test_artifact z odpowiednimi zmianami
  • [SPARK-44145] [SC-136698] [SQL] Wywołanie zwrotne, gdy jest gotowe do wykonania
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [CONNECT] Włączanie testu narzędzia do szacowania krzyżowego
  • [SPARK-44399] [SC-136669] [PYHTON] [CONNECT] Importowanie usługi SparkSession w funkcji UDF języka Python tylko wtedy, gdy useArrow to None
  • [SPARK-43631] [SC-135300] [CONNECT] [PS] Włączanie funkcji Series.interpolate za pomocą platformy Spark Połączenie
  • [SPARK-44374] [SC-136544] [PYTHON] [ML] Dodaj przykładowy kod rozproszonego uczenia maszynowego dla platformy Spark Connect
  • [SPARK-44282] [SC-135948] [CONNECT] Przygotowywanie analizy typu danych do użycia w kliencie Spark Połączenie Scala
  • [SPARK-44052] [SC-134469] [CONNECT] [PS] Dodaj narzędzia, aby uzyskać odpowiednią klasę Kolumna lub Ramka danych dla platformy Spark Połączenie.
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [CONNECT] Implementowanie narzędzia do szacowania krzyżowego
  • [SPARK-44290] [SC-136300] [CONNECT] Pliki i archiwa oparte na sesji na platformie Spark Połączenie
  • [SPARK-43710] [SC-134860] [PS] [CONNECT] Obsługa functions.date_part platformy Spark Połączenie
  • [SPARK-44036] [SC-134036] [CONNECT] [PS] Czyszczenie i konsolidowanie biletów w celu uproszczenia zadań.
  • [SPARK-44150] [SC-135790] [PYTHON] [CONNECT] Jawne rzutowanie strzałek dla niedopasowanego typu zwracanego w funkcji UDF języka Python strzałki
  • [SPARK-43903] [SC-134754] [PYTHON] [CONNECT] Ulepszanie obsługi danych wejściowych ArrayType w funkcji UDF języka Python strzałki
  • [SPARK-44250] [SC-135819] [ML] [PYTHON] [CONNECT] Implementowanie ewaluatora klasyfikacji
  • [SPARK-44255] [SC-135704] [SQL] Przenoszenie elementu StorageLevel do typowych/utils
  • [SPARK-42169] [SC-135735] [SQL] Implementowanie generowania kodu dla funkcji to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] Refaktoryzacja modułu PythonUDTFRunner w celu oddzielnego wysłania zwracanego typu
  • [SPARK-43353] [SC-132734] [PYTHON] Migrowanie pozostałych błędów sesji do klasy błędów
  • [SPARK-44133] [SC-134795] [PYTHON] Uaktualnianie oprogramowania MyPy z wersji 0.920 do 0.982
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener — serde zdarzeń w formacie JSON
  • [SPARK-43353] Przywróć "[SC-132734][ES-729763][PYTHON] Migrowanie pozostałych błędów sesji do klasy błędów"
  • [SPARK-44100] [SC-134576] [ML] [CONNECT] [PYTHON] Przenoszenie przestrzeni nazw z pyspark.mlv2 do pyspark.ml.connect
  • [SPARK-44220] [SC-135484] [SQL] Przenoszenie elementu StringConcat do bazy danych SQL/api
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [CONNECT] Dodawanie opcjonalnego wzorca dla elementu Catalog.listFunctions
  • [SPARK-43982] [SC-134529] [ML] [PYTHON] [CONNECT] Implementowanie narzędzia do szacowania potoku dla uczenia maszynowego na platformie Spark Connect
  • [SPARK-43888] [SC-132893] [CORE] Przenoszenie rejestrowania do typowych/utils
  • [SPARK-42941] Przywracanie "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener — Serde zdarzeń w formacie JSON"
  • [SPARK-43624] [SC-134557] [PS] [CONNECT] Dodaj EWM do platformy Spark Połączenie Planner.
  • [SPARK-43981] [SC-134137] [PYTHON] [ML] Podstawowa implementacja zapisywania/ładowania dla uczenia maszynowego na platformie Spark Connect
  • [SPARK-43205] [SC-133371] [SQL] fix SQLQueryTestSuite
  • [SPARK-43376] Przywróć "[SC-130433][SQL] Ulepszanie ponownego używania podzapytania za pomocą pamięci podręcznej tabel"
  • [SPARK-44040] [SC-134366] [SQL] Naprawianie statystyk obliczeniowych, gdy węzeł AggregateExec powyżej elementu QueryStageExec
  • [SPARK-43919] [SC-133374] [SQL] Wyodrębnianie funkcji JSON z wiersza
  • [SPARK-42618] [SC-134433] [PYTHON] [PS] Ostrzeżenie dotyczące zmian zachowania związanych z biblioteką pandas w następnej wersji głównej
  • [SPARK-43893] [SC-133381] [PYTHON] [CONNECT] Obsługa niepodzielnego typu danych w funkcji UDF języka Python zoptymalizowanej pod kątem strzałek
  • [SPARK-43627] [SC-134290] [SPARK-43626] [PS] [CONNECT] Włącz pyspark.pandas.spark.functions.{kurt, skew} w usłudze Spark Połączenie.
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Obsługa funkcji tabeli zdefiniowanych przez użytkownika w języku Python
  • [SPARK-43616] [SC-133849] [PS] [CONNECT] Włączanie pyspark.pandas.spark.functions.mode w usłudze Spark Połączenie
  • [SPARK-43133] [SC-133728] Obsługa programu Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107] [SPARK-43685] [SPARK-43686] [SPARK-43691] [CONNECT] [PS] Poprawka (NullOps|NumOps).(eq|ne) dotycząca Połączenie platformy Spark.
  • [SPARK-43645] [SC-134151] [SPARK-43622] [PS] [CONNECT] Włączanie pyspark.pandas.spark.functions.{var, stddev} w usłudze Spark Połączenie
  • [SPARK-43617] [SC-133893] [PS] [CONNECT] Włączanie pyspark.pandas.spark.functions.product w usłudze Spark Połączenie
  • [SPARK-43610] [SC-133832] [CONNECT] [PS] Włącz InternalFrame.attach_distributed_column w usłudze Spark Połączenie.
  • [SPARK-43621] [SC-133852] [PS] [CONNECT] Włączanie pyspark.pandas.spark.functions.repeat w usłudze Spark Połączenie
  • [SPARK-43921] [SC-133461] [PROTOBUF] Generowanie plików deskryptora Protobuf w czasie kompilacji
  • [SPARK-43613] [SC-133727] [PS] [CONNECT] Włączanie pyspark.pandas.spark.functions.covar w usłudze Spark Połączenie
  • [SPARK-43376] [SC-130433] [SQL] Ulepszanie ponownego używania podzapytania za pomocą pamięci podręcznej tabel
  • [SPARK-43612] [SC-132011] [CONNECT] [PYTHON] Implementowanie elementów SparkSession.addArtifact w kliencie języka Python
  • [SPARK-43920] [SC-133611] [SQL] [CONNECT] Tworzenie modułu sql/api
  • [SPARK-43097] [SC-133372] [ML] Nowy narzędzie do szacowania regresji logistycznej uczenia maszynowego pyspark zaimplementowane na podstawie dystrybutora
  • [SPARK-43783] [SC-133240] [SPARK-43784] [SPARK-43788] [ML] Make MLv2 (ML on spark connect) obsługuje bibliotekę pandas >= 2.0
  • [SPARK-43024] [SC-132716] [PYTHON] Uaktualnianie biblioteki pandas do wersji 2.0.0
  • [SPARK-43881] [SC-133140] [SQL] [PYTHON] [CONNECT] Dodawanie opcjonalnego wzorca dla elementu Catalog.listDatabases
  • [SPARK-39281] [SC-131422] [SQL] Przyspieszanie wnioskowania typu sygnatury czasowej ze starszym formatem w źródle danych JSON/CSV
  • [SPARK-43792] [SC-132887] [SQL] [PYTHON] [CONNECT] Dodawanie opcjonalnego wzorca dla katalogu.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378] [SQL] [PYTHON] Obsługa typu zagnieżdżonego znacznika czasu
  • [SPARK-43353] [SC-132734] [PYTHON] Migrowanie pozostałych błędów sesji do klasy błędów
  • [SPARK-43304] [SC-129969] [CONNECT] [PYTHON] Migrowanie NotImplementedError do PySparkNotImplementedError
  • [SPARK-43516] [SC-132202] [ML] [PYTHON] [CONNECT] Podstawowe interfejsy sparkML dla platformy Spark3.5: narzędzie do szacowania/przekształcania/modelu/ewaluatora
  • [SPARK-43128] Przywróć wartość "[SC-131628][CONNECT][SS] Make recentProgress and return consistent with the native Scala Api" (Wykonaj i lastProgress zwróć wartość StreamingQueryProgress spójną z natywnym interfejsem API języka Scala)
  • [SPARK-43543] [SC-131839] [PYTHON] Naprawiono zachowanie zagnieżdżonego typu MapType w funkcji zdefiniowanej przez użytkownika biblioteki Pandas
  • [SPARK-38469] [SC-131425] [CORE] Używanie klasy error w witrynie org.apache.spark.network
  • [SPARK-43309] [SC-129746] [SPARK-38461] [CORE] Rozszerzanie INTERNAL_ERROR o kategorie i dodawanie INTERNAL_ERROR_BROADCAST klasy błędów
  • [SPARK-43265] [SC-129653] Przenoszenie struktury błędów do wspólnego modułu narzędzi
  • [SPARK-43440] [SC-131229] [PYTHON] [CONNECT] Obsługa rejestracji zoptymalizowanej pod kątem strzałek funkcji zdefiniowanej przez użytkownika języka Python
  • [SPARK-43528] [SC-131531] [SQL] [PYTHON] Obsługa zduplikowanych nazw pól w obiekcie createDataFrame z ramkami danych biblioteki pandas
  • [SPARK-43412] [SC-130990] [PYTHON] [CONNECT] Wprowadzenie funkcji SQL_ARROW_BATCHED_UDF EvalType dla zoptymalizowanych pod kątem strzałek funkcji zdefiniowanych przez użytkownika języka Python
  • [SPARK-40912] [SC-130986] [CORE] Koszty wyjątków w kryoDeserializationStream
  • [SPARK-39280] [SC-131206] [SQL] Przyspieszanie wnioskowania typu znacznika czasu za pomocą formatu dostarczonego przez użytkownika w źródle danych JSON/CSV
  • [SPARK-43473] [SC-131372] [PYTHON] Obsługa typu struktury w obiekcie createDataFrame z ramki danych biblioteki pandas
  • [SPARK-43443] [SC-131024] [SQL] Dodawanie testu porównawczego dla wnioskowania typu sygnatury czasowej w przypadku użycia nieprawidłowej wartości
  • [SPARK-41532] [SC-130523] [CONNECT] [KLIENT] Dodawanie sprawdzania operacji obejmujących wiele ramek danych
  • [SPARK-43296] [SC-130627] [CONNECT] [PYTHON] Migrowanie błędów sesji platformy Spark Połączenie do klasy błędów
  • [SPARK-43324] [SC-130455] [SQL] Obsługa poleceń UPDATE dla źródeł opartych na różnicach
  • [SPARK-43347] [SC-130148] [PYTHON] Usuwanie obsługi języka Python 3.7
  • [SPARK-43292] [SC-130525] [CORE] [CONNECT] Przejście ExecutorClassLoader do core modułu i uproszczenie Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Dodawanie modułu ładującego dane dystrybutora torch, który ładuje dane z danych partycji platformy Spark
  • [SPARK-43331] [SC-130061] [CONNECT] Dodawanie Połączenie SparkSession.interruptAll
  • [SPARK-43306] [SC-130320] [PYTHON] Migrowanie ValueError z typów Spark SQL do klasy błędów
  • [SPARK-43261] [SC-129674] [PYTHON] Migrowanie TypeError z typów Spark SQL do klasy błędów.
  • [SPARK-42992] [SC-129465] [PYTHON] Wprowadzenie błędu PySparkRuntimeError
  • [SPARK-16484] [SC-129975] [SQL] Dodano obsługę funkcji Datasketches HllSketch
  • [SPARK-43165] [SC-128823] [SQL] Przenoszenie elementu canWrite do elementu DataTypeUtils
  • [SPARK-43082] [SC-129112] [CONNECT] [PYTHON] Zoptymalizowane pod kątem strzałek funkcje zdefiniowane przez użytkownika języka Python na platformie Spark Połączenie
  • [SPARK-43084] [SC-128654] [SS] Dodawanie obsługi aplikacji applyInPandasWithState na potrzeby połączenia spark
  • [SPARK-42657] [SC-128621] [CONNECT] Obsługa znajdowania i transferu plików klasy REPL po stronie klienta do serwera jako artefaktów
  • [SPARK-43098] [SC-77059] [SQL] Naprawiono usterkę poprawności COUNT, gdy podzapytywanie skalarne ma klauzulę grupowania według
  • [SPARK-42884] [SC-126662] [CONNECT] Dodawanie integracji aplikacji Ammonite REPL
  • [SPARK-42994] [SC-128333] [ML] [CONNECT] Dystrybutor PyTorch obsługuje tryb lokalny
  • [SPARK-41498] [SC-125343] Przywróć "Propagacja metadanych za pomocą unii"
  • [SPARK-42993] [SC-127829] [ML] [CONNECT] Zapewnienie zgodności dystrybutora PyTorch z platformą Spark Połączenie
  • [SPARK-42683] [LC-75] Automatyczna zmiana nazwy kolumn metadanych powodujących konflikt
  • [SPARK-42874] [SC-126442] [SQL] Włącz nową strukturę testową złotego pliku na potrzeby analizy wszystkich plików wejściowych
  • [SPARK-42779] [SC-126042] [SQL] Zezwalaj na zapisy w wersji 2 w celu wskazania rozmiaru partycji mieszania porad
  • [SPARK-42891] [SC-126458] [CONNECT] [PYTHON] Implementowanie interfejsu API mapy cogrouped
  • [SPARK-42791] [SC-126134] [SQL] Tworzenie nowej złotej struktury testów plików na potrzeby analizy
  • [SPARK-42615] [SC-124237] [CONNECT] [PYTHON] Refaktoryzacja wywołania RPC programu AnalyzePlan i dodawanie session.version
  • [SPARK-41302] Przywróć "[WSZYSTKIE TESTY][SC-122423][SQL] Assign name to _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652] [PYTHON] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu
  • [SPARK-40770] Przywróć "[WSZYSTKIE TESTY][SC-122652][PYTHON] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu"
  • [SPARK-42398] [SC-123500] [SQL] Uściślij domyślną wartość kolumny DS v2, interfejs
  • [SPARK-40770] [WSZYSTKIE TESTY] [SC-122652] [PYTHON] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu
  • [SPARK-40770] Przywróć "[SC-122652][PYTHON] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu"
  • [SPARK-40770] [SC-122652] [PYTHON] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu
  • [SPARK-42038] [WSZYSTKIE TESTY] Przywróć "Przywróć "[SC-122533][SQL] SPJ: Obsługa częściowo klastrowanej dystrybucji""
  • [SPARK-42038] Przywracanie "[SC-122533][SQL] SPJ: Obsługa częściowo klastrowanej dystrybucji"
  • [SPARK-42038] [SC-122533] [SQL] SPJ: Obsługa częściowo klastrowanej dystrybucji
  • [SPARK-40550] [SC-120989] [SQL] DataSource V2: Obsługa poleceń DELETE dla źródeł opartych na różnicach
  • [SPARK-40770] Przywróć "[SC-122652][PYTHON] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu"
  • [SPARK-40770] [SC-122652] [PYTHON] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu
  • [SPARK-41302] Przywróć "[SC-122423][SQL] Przypisz nazwę do _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40550] Przywróć polecenie "[SC-120989][SQL] DataSource V2: Obsługa poleceń DELETE dla źródeł opartych na różnicach"
  • [SPARK-42123] Przywróć wartości domyślne kolumny "[SC-121453][SQL] Uwzględnij wartości domyślne kolumn w artykule DESCRIBE i SHOW CREATE TABLE output"
  • [SPARK-42146] [SC-121172] [CORE] Refaktoryzacja Utils#setStringField w celu przekazania kompilacji maven, gdy moduł SQL użyje tej metody
  • [SPARK-42119] Przywracanie "[SC-121342][SQL] Dodawanie wbudowanych funkcji w tabeli wbudowanych i inline_outer"

Najważniejsze informacje

Połączenie platformy Spark

  • Refaktoryzacja modułu SQL w języku SQL i interfejsie SQL-API w celu utworzenia minimalnego zestawu zależności, które mogą być współużytkowane między klientem platformy Scala Spark Połączenie i platformą Spark i pozwala uniknąć ściągania wszystkich zależności przechodnich platformy Spark. SPARK-44273
  • Wprowadzenie do klienta Scala dla platformy Spark Połączenie SPARK-42554
  • Obsługa interfejsu API biblioteki Pandas dla platformy Python Spark Połączenie Client SPARK-42497
  • Oparta na protokole PyTorch obsługa rozproszonego uczenia maszynowego dla platformy Spark Połączenie SPARK-42471
  • Obsługa przesyłania strumieniowego ze strukturą dla platformy Spark Połączenie w językach Python i Scala SPARK-42938
  • Początkowa wersja klienta GO SPARK-43351
  • Wiele ulepszeń zgodności między platformą Spark natywną a klientami platformy Spark Połączenie w języku Python i scala
  • Ulepszono debugowanie i obsługę żądań dla aplikacji klienckich (przetwarzanie asynchroniczne, ponawianie prób, długotrwałe zapytania)

Spark SQL

Funkcje

Funkcje

  • Dodano obsługę funkcji Datasketches HllSketch SPARK-16484
  • Obsługa trybu CBC przez aes_encrypt()/aes_decrypt() SPARK-43038
  • Obsługa reguły analizatora argumentów TABLE dla tableValuedFunction SPARK-44200
  • Implementowanie funkcji mapy bitowej SPARK-44154
  • Dodawanie funkcji try_aes_decrypt() SPARK-42701
  • array_insert powinna zakończyć się niepowodzeniem z 0 indeksem SPARK-43011
  • Dodawanie aliasu to_varchar dla platformy to_char SPARK-43815
  • Funkcja o wysokiej kolejności: array_compact implementacja SPARK-41235
  • Dodawanie obsługi nazwanych argumentów analizatora dla wbudowanych funkcji SPARK-44059
  • Dodawanie list NUL dla inSERTs z listami określonymi przez użytkownika o mniejszej liczbie kolumn niż docelowa tabela SPARK-42521
  • Dodaje obsługę aes_encrypt IV i AAD SPARK-43290
  • Funkcja DECODE zwraca nieprawidłowe wyniki po przekazaniu wartości NULL SPARK-41668
  • Obsługa funkcji udf "luhn_check" SPARK-42191
  • Obsługa niejawnego rozpoznawania aliasu kolumny bocznej w agregacji SPARK-41631
  • Obsługa niejawnego aliasu kolumny bocznej w zapytaniach za pomocą platformy Spark-42217
  • Dodawanie aliasów funkcji 3-args DATE_ADD i DATE_DIFF SPARK-43492

Źródła danych

Optymalizacja zapytań

Generowanie kodu i wykonywanie zapytań

Inne istotne zmiany

PySpark

Funkcje

Inne istotne zmiany

  • Dodawanie obsługi autouzupełniania dla systemu df[|] w ramce pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Wycofaj i usuń interfejsy API, które zostaną usunięte w bibliotece pandas 2.0 [SPARK-42593]
  • Tworzenie pierwszej karty języka Python dla przykładów kodu — Spark SQL, DataFrames i Datasets Guide SPARK-42493
  • Aktualizowanie pozostałych przykładów kodu dokumentacji platformy Spark w celu wyświetlenia języka Python domyślnie SPARK-42642
  • Użyj nazw pól deduplikowanych podczas tworzenia rekordu strzałkiBatch [SPARK-41971]
  • Obsługa zduplikowanych nazw pól w obiekcie createDataFrame z ramkami danych biblioteki pandas [SPARK-43528]
  • Zezwalaj na parametr kolumn podczas tworzenia ramki danych z serii [SPARK-42194]

Podstawowe funkcje

  • Zaplanuj scalanieFinalize podczas wypychania operacji shuffleMapStage ponawiania próby, ale nie są uruchamiane zadania SPARK-40082
  • Wprowadzenie elementu PartitionEvaluator do wykonywania operatora SQL SPARK-43061
  • Zezwalaj usłudze ShuffleDriverComponent na deklarowanie, czy dane nie są niezawodnie przechowywane na platformie SPARK-42689
  • Dodaj ograniczenie maksymalnej liczby prób dla etapów, aby uniknąć potencjalnego nieskończonego ponawiania próby spark-42577
  • Obsługa konfiguracji poziomu dziennika przy użyciu statycznej platformy Spark conf SPARK-43782
  • Optymalizowanie percentyluHeap SPARK-42528
  • Dodaj argument przyczyny do elementu TaskScheduler.cancelTasks SPARK-42602
  • Unikaj niepotrzebnego ponownego uruchamiania zadania w przypadku likwidowanego modułu wykonawczego utraconego w przypadku mieszania danych zmigrowanych platformy SPARK-41469
  • Naprawianie wartości akumulatorowej w przypadku zadania ponawiania próby za pomocą rdd cache SPARK-41497
  • Domyślnie spark.history.store.hybridStore.diskBackend spark-42277 użyj bazy danych RocksDB
  • Otoka NonFateSharingCache dla usługi Guava Cache SPARK-43300
  • Zwiększanie wydajności mapOutputTracker.updateMapOutput SPARK-43043
  • Zezwalanie aplikacjom na kontrolowanie, czy metadane są zapisywane w bazie danych przez zewnętrzną usługę Shuffle Service SPARK-43179
  • Dodawanie zmiennej env SPARK_DRIVER_POD_IP do zasobników funkcji wykonawczej SPARK-42769
  • Instaluje mapę konfiguracji hadoop na zasobniku funkcji wykonawczej SPARK-43504

Przesyłanie strumieniowe ze strukturą

ML

INTERFEJS UŻYTKOWNIKA

Kompilowanie i inne

Usunięcia, zmiany zachowania i wycofanie

Nadchodzące usunięcie

Następujące funkcje zostaną usunięte w następnej wersji głównej platformy Spark

  • Obsługa języków Java 8 i Java 11, a minimalna obsługiwana wersja języka Java to Java 17
  • Obsługa języka Scala 2.12, a minimalna obsługiwana wersja scala to 2.13

Przewodniki po migracji

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black (czarny) 22.6.0 Bleach 4.1.0
migacz 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.4 Comm 0.1.2
konturowy 1.0.5 Kryptografii 39.0.1 Cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 Dekorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 punkty wejścia 0,4
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 fonttools 4.25.0 Biblioteka środowiska uruchomieniowego GCC 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 stan obiektu grpcio 1.48.1
httplib2 0.20.2 Idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 Ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
Brelok 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 Lxml 4.9.1
Znaczniki Sejf 2.1.1 matplotlib 3.7.0 biblioteka matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 więcej itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 notes 6.5.2 notebook_shim 0.2.2
Numpy 1.23.5 oauthlib 3.2.0 Opakowania 22,0
Pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Poduszkę 9.4.0 Pip 22.3.1
platformdirs 2.5.2 kreślenie 5.9.0 wtyczka 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirstent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
żądania 2.28.1 Liny 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 Sześć 1.16.0
wąchanie 1.2.0 zupy 2.3.2.post1 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.13.5 Wytrzymałość 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 Tornado 6.1
traitlety 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
nienadzorowane uaktualnienia 0.1 urllib3 1.26.14 Virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 Koła 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN posit Menedżer pakietów 2023-07-13.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzałkę 12.0.1 askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.3.1 base64enc 0.1-3
bitowe 4.0.5 bit64 4.0.5 blob 1.2.4
rozruch 1.3-28 Napar 1.0-8 Brio 1.1.3
Miotła 1.0.5 bslib 0.5.0 cachem 1.0.8
obiekt wywołujący 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 zegar 0.7.0 cluster 2.1.4
codetools 0.2-19 Kolorów 2.1-0 commonmark 1.9.0
— kompilator 4.3.1 config 0.3.1 Konflikt 1.2.0
cpp11 0.4.4 Pastel 1.5.2 poświadczenia 1.3.2
Curl 5.0.1 data.table 1.14.8 usługi Power BI 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
devtools 2.4.5 Diagram 1.6.5 diffobj 0.3.5
Szyfrowane 0.6.33 downlit (wyłączony) 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 wielokropek 0.3.2
evaluate 0.21 fani 1.0.4 farver 2.1.1
szybka mapa 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Zagranicznych 0.8-82 Forge 0.2.0
Fs 1.6.2 Przyszłości 1.33.0 future.apply 1.11.0
Płukać 1.5.1 Generyczne 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Kleju 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.1 grDevices 4.3.1 Siatki 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 Haven 2.5.3 wysoki 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Identyfikatory 1.0.1 Ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteratory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
Etykietowania 0.4.2 Później 1.3.1 Kraty 0.21-8
Lawy 1.7.2.1 cykl życia 1.0.3 nasłuchiwanie 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSACHUSETTS 7.3-60 Macierz 1.5-4.1 zapamiętywanie 2.0.1
metody 4.3.1 mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 Metryki modelu 1.2.2.2 modeler 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
równolegle 1.36.0 Filar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Pochwały 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Postęp 1.2.2
progressr 0.13.0 Obietnice 1.2.0.1 Proto 1.0.0
Serwera proxy 0.4-27 Ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 przepisy 1.0.6
Rewanżu 1.0.1 rewanż2 2.1.2 Piloty 2.4.2
reprex 2.0.2 zmień kształt2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions (rversions) 2.1.2
rvest 1.0.3 Sass 0.4.6 Skale 1.2.1
selektor 0.4-2 sessioninfo 1.2.2 Kształt 1.4.6
Błyszczące 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 Przestrzennej 7.3-15 Splajnów 4.3.1
sqldf 0.4-11 KWADRAT 2021.1 Statystyki 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
Przetrwanie 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 zmiana czasu 0.2.0 timeDate 4022.108
tinytex 0,45 tools 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
narzędzia 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 Vroom 1.6.3 Waldo 0.5.1
wąs 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 Zip 2.3.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-klej 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofeina Kofeiny 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics adnotacja metryk 4.2.19
io.dropwizard.metrics metryki —rdzeń 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics serwlety metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty transport netto 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolektor 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow format strzałki 12.0.1
org.apache.arrow strzałka-pamięć-rdzeń 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow wektor strzałki 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Bluszcz 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc podkładki orc-shim 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-cieniowane 4.23
org.apache.yetus adnotacje odbiorców 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper jute dozorców 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-kontynuacja 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket —wspólne 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Podkładki 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest zgodny ze standardem scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten trzydostępne dodatkowe 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1