Databricks Runtime 15.0.

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 15.0, unterstützt von Apache Spark 3.5.0.

Databricks hat diese Images im März 2024 veröffentlicht.

Wichtige Änderungen

Die PySpark-Funktion spark.sql() schlägt jetzt für ungültige Argumenttypen fehl

In Databricks Runtime 15.0 und höher muss der args Parameter für benannte oder positionale Parameter, die an die spark.sql()-Funktion übergeben werden, ein Wörterbuch oder eine Liste sein. Wenn ein anderer Objekttyp übergeben wird, wird der folgende Fehler ausgelöst: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Das Speichern von Bibliotheken im DBFS-Stamm ist veraltet und standardmäßig deaktiviert

Um die Sicherheit von Bibliotheken in einem Azure Databricks-Arbeitsbereich zu verbessern, ist das Speichern von Bibliotheksdateien im DBFS-Stamm standardmäßig veraltet und deaktiviert, beginnend mit Databricks Runtime 15.0. Databricks empfiehlt, alle Bibliotheken (einschließlich Python-Bibliotheken, JAR-Dateien und Spark-Connectors) in Arbeitsbereichsdateien oder auf Unity Catalog-Volumes hochzuladen oder ein Paketrepository zu verwenden. Weitere Informationen unter Empfehlungen für das Hochladen von Bibliotheken.

Um das Speichern von Bibliotheken im DBFS-Stamm neu zu aktivieren, legen Sie den folgenden Spark-Konfigurationsparameter fest: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Die Python-Standardversion wird von 3.10 auf 3.11 aktualisiert.

Bei Databricks Runtime 15.0 ist die Python-Standardversion 3.11.0. Die Liste der aktualisierten Python-Bibliotheken finden Sie unter Library Upgrades.

JDK 11 wurde entfernt

Wie bereits angekündigt, wird JDK 11 aus Databricks Runtime 15.0 und höher entfernt. Databricks empfiehlt ein Upgrade auf JDK 17 beim Upgrade auf Databricks Runtime 15.0 und höher. Siehe Databricks SDK für Java.

Die Python-REPL wird jetzt ordnungsgemäß beendet.

Mit Databricks Runtime 15.0 wird der Python-REPL-Prozess des Notebooks beim Beenden jetzt ebenfalls ordnungsgemäß beendet. Dies sorgt dafür, dass alle atexit-Hooks berücksichtigt werden. Beispielsweise werden in einem Workflow mit mehreren Python-Notebookaufgaben atexit-Hooks, die in der ersten Aufgabe registriert sind, vor der zweiten Python-Notebookaufgabe ausgeführt.

Neue Features und Verbesserungen

Die Sternklausel (*) wird jetzt in der WHERE-Klausel unterstützt.

Sie können nun die Sternklausel (*) in der WHERE-Klausel verwenden, um auf alle Spalten aus der Liste SELECT zu verweisen. Beispiel: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Die spark.sql.json.enablePartialResults-Konfiguration ist jetzt standardmäßig aktiviert

Die Spark-Konfiguration spark.sql.json.enablePartialResults ist jetzt standardmäßig aktiviert, sodass der JSON-Parser Analysefehler für komplexe Typen wie Struktur, Zuordnung und Array ordnungsgemäß verarbeitet, ohne die verbleibenden Felder zu löschen. Diese Änderung behebt ein Konsistenzproblem für JSON-Datenquellen mit Spalten-Pruning.

Clusterbibliotheken unterstützen jetzt requirements.txt-Dateien

Sie können jetzt Clusterbibliotheken mithilfe einer requirements.txt-Datei installieren, die in einer Arbeitsbereichsdatei oder einem Unity-Katalogvolume gespeichert ist. In Clustern des Einzelbenutzers und des freigegebenen Zugriffsmodus kann die requirements.txt-Datei auf andere Dateien verweisen. In den Zugriffsmodusclustern Keine Isolation, freigegebenen werden nur PyPI-Pakete unterstützt. Weitere Informationen finden Sie unter Clusterbibliotheken.

Databricks CLI ist jetzt im Webterminal verfügbar

Sie können nun die Databricks CLI aus dem Webterminal im Notebook verwenden. Das Notebook muss an ein Cluster im Zugriffsmodus einzelner Benutzer oder Keine Isolation, freigegebenen angefügt werden. Ausführliche Informationen finden Sie unter Verwendung des Webterminals und der Databricks CLI.

Hinzufügen von Standard-Python-Repositorys zu Clusterkonfigurationen

In Databricks Runtime 15.0 und höher können Sie globale pip index-url- und extra-index-url-Parameter für die Installation von Cluster- und Notebookbibliotheken konfigurieren, wenn Sie ein Cluster konfigurieren oder eine Clusterrichtlinie definieren. Legen Sie dazu die Umgebungsvariablen DATABRICKS_PIP_INDEX_URL und DATABRICKS_PIP_EXTRA_INDEX_URLfest.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • black von 22.6.0 auf 23.3.0
    • boto3 von 1.24.28 auf 1.34.39
    • botocore von 1.27.96 auf 1.34.39
    • certifi von 2022.12.7 auf 2023.7.22
    • cryptography von 39.0.1 auf 41.0.3
    • databricks-sdk von 0.1.6 auf 0.20.0
    • distlib von 0.3.7 auf 0.3.8
    • googleapis-common-protos von 1.62.0 auf 1.63.0
    • grpcio von 1.48.2 auf 1.60.0
    • grpcio-status von 1.48.1 auf 1.60.0
    • importlib-metadata from 4.6.4 auf 6.0.0
    • ipykernel von 6.25.0 auf 6.25.1
    • ipython von 8.14.0 auf 8.15.0
    • ipywidgets von 7.7.2 auf 8.0.4
    • jupyter_core von 5.2.0 auf 5.3.0
    • jupyterlab-widgets von 1.0.0 auf 3.0.5
    • matplotlib von 3.7.0 auf 3.7.2
    • pandas von 1.5.3 auf 2.0.3
    • pip von 22.3.1 auf 23.2.1
    • platformdirs von 2.5.2 auf 3.10.0
    • protobuf von 4.24.0 auf 4.24.1
    • pyarrow von 8.0.0 auf 14.0.1
    • Pygments von 2.11.2 auf 2.15.1
    • pyodbc von 4.0.32 auf 4.0.38
    • requests von 2.28.1 auf 2.31.0
    • s3transfer von 0.6.2 auf 0.10.0
    • scikit-learn von 1.1.1 auf 1.3.0
    • scipy von 1.10.0 auf 1.11.1
    • setuptools von 65.6.3 auf 68.0.0
    • statsmodels von 0.13.5 auf 0.14.0
    • tenacity von 8.1.0 auf 8.2.2
    • tornado von 6.1 auf 6.3.2
    • typing_extensions von 4.4.0 auf 4.7.1
    • urllib3 von 1.26.14 auf 1.26.16
    • virtualenv von 20.16.7 auf 20.24.2
    • widgetsnbextension von 3.6.1 auf 4.0.5
    • zipp von 1.0.0 auf 3.11.0
  • Aktualisierte R-Bibliotheken:
    • arrow von 12.0.1 auf 14.0.0.2
    • askpass von 1.1 auf 1.2.0
    • base von 4.3.1 auf 4.3.2
    • brew von 1.0-8 auf 1.0-10
    • brio von 1.1.3 auf 1.1.4
    • bslib von 0.5.0 auf 0.6.1
    • cli von 3.6.1 auf 3.6.2
    • commonmark von 1.9.0 auf 1.9.1
    • compiler von 4.3.1 auf 4.3.2
    • config von 0.3.1 auf 0.3.2
    • cpp11 von 0.4.4 auf 0.4.7
    • credentials von 1.3.2 auf 2.0.1
    • curl von 5.0.1 auf 5.2.0
    • data.table von 1.14.8 auf 1.15.0
    • datasets von 4.3.1 auf 4.3.2
    • DBI von 1.1.3 auf 1.2.1
    • dbplyr von 2.3.3 auf 2.4.0
    • desc von 1.4.2 auf 1.4.3
    • digest von 0.6.33 auf 0.6.34
    • dplyr von 1.1.2 auf 1.1.4
    • e1071 von 1.7-13 auf 1.7-14
    • evaluate von 0.21 auf 0.23
    • fansi von 1.0.4 auf 1.0.6
    • fontawesome von 0.5.1 auf 0.5.2
    • fs von 1.6.2 auf 1.6.3
    • future von 1.33.0 auf 1.33.1
    • future.apply von 1.11.0 auf 1.11.1
    • gargle von 1.5.1 auf 1.5.2
    • gert von 1.9.2 auf 2.0.1
    • ggplot2 von 3.4.2 auf 3.4.4
    • glmnet von 4.1-7 auf 4.1-8
    • glue von 1.6.2 auf 1.7.0
    • graphics von 4.3.1 auf 4.3.2
    • grDevices von 4.3.1 auf 4.3.2
    • grid von 4.3.1 auf 4.3.2
    • gtable von 0.3.3 auf 0.3.4
    • hardhat von 1.3.0 auf 1.3.1
    • haven von 2.5.3 auf 2.5.4
    • htmltools von 0.5.5 auf 0.5.7
    • htmlwidgets von 1.6.2 auf 1.6.4
    • httpuv von 1.6.11 auf 1.6.14
    • httr von 1.4.6 auf 1.4.7
    • httr2 von 0.2.3 bis 1.0.0
    • jsonlite von 1.8.7 auf 1.8.8
    • knitr von 1.43 auf 1.45
    • labeling von 0.4.2 auf 0.4.3
    • later von 1.3.1 auf 1.3.2
    • lava von 1.7.2.1 auf 1.7.3
    • lifecycle von 1.0.3 auf 1.0.4
    • listenv von 0.9.0 auf 0.9.1
    • lubridate von 1.9.2 auf 1.9.3
    • markdown von 1.7 auf 1.12
    • methods von 4.3.1 auf 4.3.2
    • openssl von 2.0.6 auf 2.1.1
    • parallel von 4.3.1 auf 4.3.2
    • pkgbuild von 1.4.2 auf 1.4.3
    • pkgload von 1.3.2.1 auf 1.3.4
    • plyr von 1.8.8 auf 1.8.9
    • prettyunits von 1.1.1 bis 1.2.0
    • pROC von 1.18.4 auf 1.18.5
    • processx von 3.8.2 auf 3.8.3
    • prodlim von 2023.03.31 auf 2023.08.28
    • progress von 1.2.2 auf 1.2.3
    • progressr von 0.13.0 auf 0.14.0
    • promises von 1.2.0.1 auf 1.2.1
    • ps von 1.7.5 auf 1.7.6
    • purrr von 1.0.1 auf 1.0.2
    • ragg von 1.2.5 auf 1.2.7
    • Rcpp von 1.0.11 auf 1.0.12
    • RcppEigen von 0.3.3.9.3 auf 0.3.3.9.4
    • readr von 2.1.4 auf 2.1.5
    • recipes von 1.0.6 auf 1.0.9
    • rematch von 1.0.1 auf 2.0.0
    • remotes von 2.4.2 auf 2.4.2.1
    • reprex von 2.0.2 bis 2.1.0
    • rlang von 1.1.1 auf 1.1.3
    • rmarkdown von 2.23 auf 2.25
    • RODBC von 1.3-20 auf 1.3-23
    • roxygen2 von 7.2.3 auf 7.3.1
    • rprojroot von 2.0.3 auf 2.0.4
    • Rserve von 1.8-11 auf 1.8-13
    • RSQLite von 2.3.1 auf 2.3.5
    • sass von 0.4.6 auf 0.4.8
    • scales von 1.2.1 bis 1.3.0
    • shiny von 1.7.4.1 auf 1.8.0
    • sparklyr von 1.8.1 auf 1.8.4
    • splines von 4.3.1 auf 4.3.2
    • stats von 4.3.1 auf 4.3.2
    • stats4 von 4.3.1 auf 4.3.2
    • stringi von 1.7.12 auf 1.8.3
    • stringr von 1.5.0 auf 1.5.1
    • systemfonts von 1.0.4 bis 1.0.5
    • tcltk von 4.3.1 auf 4.3.2
    • testthat von 3.1.10 auf 3.2.1
    • Textshaping von 0.3.6 auf 0.3.7
    • tidyr von 1.3.0 auf 1.3.1
    • timechange von 0.2.0 auf 0.3.0
    • timeDate von 4022.108 auf 4032.109
    • tinytex von 0.45 auf 0.49
    • tools von 4.3.1 auf 4.3.2
    • utf8 von 1.2.3 auf 1.2.4
    • utils von 4.3.1 auf 4.3.2
    • uuid von 1.1-0 auf 1.2-0
    • vctrs von 0.6.3 auf 0.6.5
    • vroom von 1.6.3 auf 1.6.5
    • waldo von 0.5.1 auf 0.5.2
    • withr von 2.5.0 auf 3.0.0
    • xfun von 0.39 auf 0.41
    • xml2 von 1.3.5 auf 1.3.6
    • yaml von 2.3.7 auf 2.3.8
    • zip von 2.3.0 auf 2.3.1
  • Aktualisierte Java-Bibliotheken:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 von 2.15.1 auf 2.16.0
    • com.google.flatbuffers.flatbuffers-java von 1.12.0 auf 23.5.26
    • com.typesafe.config von 1.2.1 auf 1.4.3
    • org.apache.ant.ant von 1.9.16 auf 1.10.11
    • org.apache.ant.ant-jsch von 1.9.16 auf 1.10.11
    • org.apache.ant.ant-launcher von 1.9.16 auf 1.10.11
    • org.apache.arrow.arrow-format von 12.0.1 auf 15.0.0
    • org.apache.arrow.arrow-memory-core von 12.0.1 auf 15.0.0
    • org.apache.arrow.arrow-memory-netty von 12.0.1 auf 15.0.0
    • org.apache.arrow.arrow-vector von 12.0.1 auf 15.0.0
    • org.apache.avro.avro von 1.11.2 auf 1.11.3
    • org.apache.avro.avro-ipc von 1.11.2 auf 1.11.3
    • org.apache.avro.avro-mapred von 1.11.2 auf 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api von 2.20.0 auf 2.22.1
    • org.apache.logging.log4j.log4j-api von 2.20.0 auf 2.22.1
    • org.apache.logging.log4j.log4j-core von 2.20.0 auf 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl von 2.20.0 auf 2.22.1
    • org.postgresql.postgresql von 42.6.0 auf 42.6.1

Apache Spark

Databricks Runtime 15.0 enthält Apache Spark 3.5.0. Diese Version enthält alle Spark-Fehlerbehebungen und -Verbesserungen, die in Databricks Runtime 14.3 LTS enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

  • [SPARK-45527] [DBRRM-805][ES-1073714] Wiederherstellen von „[SC-151626][CORE] Verwenden von Brüchen für die Ressourcenberechnung“
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] Hinzufügen des COLLATION_ENABLED-Konfigurationsflags
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] V2-Tabellensuche überspringen, wenn sich eine Tabelle im V1-Tabellencache befindet
  • [SPARK-46808] [SC-154113] [PYTHON] Verfeinern von Fehlerklassen in Python mit automatischer Sortierfunktion
  • [SPARK-47251] [SC-158291] [PYTHON] Blockieren ungültiger Typen aus dem args-Argument für den sql-Befehl
  • [SPARK-47251] [SC-158121] [PYTHON] Blockieren ungültiger Typen aus dem args-Argument für den sql-Befehl
  • [SPARK-47108] [SC-157204] [CORE] Festlegen von derby.connection.requireAuthentication explizit auf false in CLIs
  • [SPARK-45599] [SC-157537] [CORE] Verwenden der Objektgleichstellung in OpenHashSet
  • [SPARK-47099] [SC-157352] [SQL] ordinalNumber wird verwendet, um den Wert paramIndex für die Fehlerklasse UNEXPECTED_INPUT_TYPE einheitlich festzulegen
  • [SPARK-46558] [SC-151363] [CONNECT] Extrahieren sie eine Hilfsfunktion, um den doppelten Code zu beseitigen, den MessageParameters aus ErrorParams in GrpcExceptionConverter abrut
  • [SPARK-43117] [SC-156177] [CONNECT] ProtoUtils.abbreviate-Unterstützung wiederholter Felder
  • [SPARK-46342] [SC-150283][SQL] Ersetzen sie IllegalStateException durch SparkException.internalError in SQL
  • [SPARK-47123] [SC-157412][CORE] JDBCRDD behandelt Fehler in getQueryOutputSchema nicht ordnungsgemäß
  • [SPARK-47189] [SC-157667] [SQL] Optimieren von Spaltenfehlernamen und Text
  • [SPARK-45789] [SC-157101] [SQL] Unterstützung VON DESCRIBE TABLE für Clusterspalten
  • [SPARK-43256] [SC-157699] [SQL] Fehlerklasse _LEGACY_ERROR_TEMP_2021 entfernen
  • [SPARK-47201] [SC-157782] [PYTHON] [CONNECT] sameSemantics Überprüft Eingabetypen
  • [SPARK-47183] [SC-157660] [PYTHON] Beheben der Fehlerklasse für sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] Verbessern der Fehlermeldung von SparkThrowableSuite zur besseren Debugbarkeit
  • [SPARK-46965] [SC-155791] [CORE] Überprüfen von logType in Utils.getLog
  • [SPARK-46832] [SC-156774] [SQL] Einführung von Collate- und Collation-Ausdrücken
  • [SPARK-46946] [SC-155721] [SQL] Unterstützen der Übertragung mehrerer Filterschlüssel in DynamicPruning
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [CONNECT] Hinzufügen von Variant-Typinformationen zu PySpark
  • [SPARK-47101] [SC-157360] [SQL] Zulassen, dass Kommas in Spaltennamen der obersten Ebene verwendet werden und die Definition des geschachtelten Typs in HiveExternalCatalog.verifyDataSchema entfernen
  • [SPARK-47173] [SC-157571] [SS] [UI] Beheben eines Tippfehlers in der Erläuterung der Streaming-UI
  • [SPARK-47113] [SC-157348] [CORE] Zurücksetzen der S3A-Endpunkt-Fixuplogik von SPARK-35878
  • [SPARK-47130] [SC-157462] [CORE] Verwenden von listStatus zum Umgehen von Blockspeicherortinformationen beim Bereinigen von Treiberprotokollen
  • [SPARK-43259] [SC-157368][SQL] Weisen Sie der Fehlerklasse einen Namen zu _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec sollte die unsichere Projektion initialisieren
  • [SPARK-47137] [SC-157463] [PYTHON] [CONNECT] Add getAll zu spark.conf für Featureparität mit Scala
  • [SPARK-46924] [SC-154905] [CORE] Korrigieren Load New-Schaltfläche in der Master/HistoryServer-Protokollbenutzeroberfläche
  • [SPARK-47069] [SC-157370] [PYTHON] [CONNECT] Einführung von spark.profile.show/dump in SparkSession-basierte Profilerstellung
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] Ein mapInPandas / mapInArrow Unterstützungs-ResourceProfile erstellen
  • [SPARK-46833] [SC-155866] [SQL] Sortierungen – Einführung in CollationFactory, das Vergleichs- und Hashingregeln für unterstützte Sortierungen bereitstellt
  • [SPARK-47057] [SC-157036] [PYTHON] Reeanble MyPy-Datentest
  • [SPARK-46934] [SC-157084] [SQL] Roundtrip mit Lese-/Schreibzugriff für den Strukturtyp mit Sonderzeichen mit HMS
  • [SPARK-46727] [SC-153472] [SQL] Port classifyException() in JDBC-Dialekten in Fehlerklassen
  • [SPARK-46964] [SC-155740] [SQL] Ändern der Signatur des hllInvalidLgK-Abfrageausführungsfehlers, um eine ganze Zahl als 4. Argument anzunehmen
  • [SPARK-46949] [SC-155719] [SQL] Unterstützung von CHAR/VARCHAR über ResolveDefaultColumns
  • [SPARK-46972] [SC-155888] [SQL] Beheben eines asymmetrischen Ersatzes für char/varchar in V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778] [PYTHON] [CONNECT] Implementieren von den Methoden dumpPerfProfiles und dumpMemoryProfiles von SparkSession
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] Unterstützung von v2-Profilerstellung in group/cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773] [CONNECT] Warten des Spark Connect-Serverskripts zulassen
  • [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] Unterstützung der v2-Profilerstellung in aggregierten Pandas UDFs
  • [SPARK-47004] [SC-156499] [CONNECT] Weitere Tests wurden zu ClientStreamingQuerySuite hinzugefügt, um die Skala-Clienttestabdeckung zu erhöhen
  • [SPARK-46994] [SC-156169] [PYTHON] Umgestalten von PythonWrite zur Vorbereitung auf die Unterstützung des Python-Datenquellenstreaming-Schreibvorgangs
  • [SPARK-46979] [SC-156587] [SS] Fügen Sie Unterstützung für die Angabe von Schlüssel- und Wert-Encoder separat und auch für jede Col-Familie im RocksDB-Zustandsspeicheranbieter hinzu
  • [SPARK-46960] [SC-155940] [SS] Testen mehrerer Eingabedatenströme mit TransformWithState-Operator
  • [SPARK-46966] [SC-156112] [Python] Fügen Sie die UDTF-API für die Methode „Analyze“ hinzu, um eine Teilmenge der auszuwählenden Eingabetabellenspalten anzugeben
  • [SPARK-46895] [SC-155950] [CORE] Ersetzen des Zeitgebers durch den geplanten Einzelthread-Executor
  • [SPARK-46967] [SC-155815] [CORE] [UI] Ausblenden von Thread Dump und Heap Histogram von Dead-Executoren in der Executors-Benutzeroberfläche
  • [SPARK-46512] [SC-155826] [CORE] Optimieren Sie das Shuffle-Lesen, wenn sowohl Sortier- als auch Kombinationen verwendet werden.
  • [SPARK-46958] [SC-155942] [SQL] Hinzufügen fehlender Zeitzone zum Erzwingen von Standardwerten
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] Beheben der Komprimierungscodeauflösung in Avro-Tabellendefinition und -schreiboptionen
  • [SPARK-46728] [SC-154207] [PYTHON] Ordnungsgemäße Überprüfung der Pandas-Installation
  • [SPARK-43403] [SC-154216] [UI] Stellen Sie sicher, dass alte SparkUI in HistoryServer getrennt wurde, bevor sie neue laden
  • [SPARK-39910] [SC-156203] [SQL] Delegieren der Pfadqualifizierung an das Dateisystem während des Globbing von DataSource-Dateipfaden
  • [SPARK-47000] [SC-156123] Zurücksetzen von “[SC-156123][CORE] Verwenden von getTotalMemorySize…
  • [SPARK-46819] [SC-154560] [CORE] Verschieben von Fehlerkategorien und -zuständen in JSON
  • [SPARK-46997] [SC-156175] [CORE] Standardmäßige Aktivierung von spark.worker.cleanup.enabled
  • [SPARK-46865] [SC-156168] [SS] Hinzufügen der Batchunterstützung für den TransformWithState-Operator
  • [SPARK-46987] [SC-156040] [CONNECT] ProtoUtils.abbreviate unnötigen setField-Vorgang vermeiden
  • [SPARK-46970] [SC-155816] [CORE] Neuschreiben von OpenHashSet#hasher mit pattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] Pyspark.copy_func entfernen
  • [SPARK-47000] [SC-156123] [CORE] Verwendung von getTotalMemorySize in WorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [MINOR] Vermeiden der Verwendung interner APIs in End-to-End-Tests von Dataframes
  • [SPARK-46931] Zurücksetzen von "[SC-155661][PS] Implementieren von {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828] [SQL] Verbessern von Fehlermeldungen für DATA_SOURCE_NOT_FOUND-Fehler
  • [SPARK-46849] [SC-154586] [SQL] Ausführen des Optimierers für CREATE TABLE-Spaltenstandardwerte
  • [SPARK-46911] [SC-155724] [SS] Hinzufügen des deleteIfExists-Operators zu StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Unterstützung des lz4raw-Codecs zur Komprimierung für Parquet
  • [SPARK-47002] [SC-156223] [Python] Gibt eine bessere Fehlermeldung zurück, wenn die UDTF-Methode „Analyse“ das Feld „orderBy“ versehentlich eine Liste von Zeichenfolgen zurückgibt
  • [SPARK-46890] [SC-155802] [SQL] Beheben eines CSV-Analysefehlers mit Standardwerten für das Vorhandensein und Löschen von Spalten
  • [SPARK-46977] [SC-155892] [CORE] Eine fehlgeschlagene Anforderung zum Abrufen eines Tokens aus einem NameNode sollte nachfolgende Tokenanforderungen nicht überspringen
  • [SPARK-46608] [SC-151806] [SQL] Wiederherstellen der Abwärtskompatibilität von JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] Unterstützungssternklausel in WHERE-Klausel
  • [SPARK-46908] [SC-155702] [SQL] Unterstützungssternklausel in WHERE-Klausel
  • [SPARK-46852] [SC-155665] [SS] Entfernen Sie die Verwendung expliziter Schlüssel-Encoder und übergeben Sie ihn implizit an den Operator für den transformWithState-Operator
  • [SPARK-46864] [SC-155669] [SS] Onboarding von Arbitrary StateV2 in ein neues Fehlerklassenframework
  • [SPARK-45807] [SC-155706] [SQL] Ansicht zurückgeben nach Aufruf von replaceView(..)
  • [SPARK-46899] [SC-154651] [CORE] Entfernen von POST-APIs aus MasterWebUI wenn spark.ui.killEnabledfalse ist
  • [SPARK-46868] [SC-154539] [CORE] Unterstützen der Spark Worker-Protokoll-Benutzeroberfläche
  • [SPARK-46931] [SC-155661] [PS] Implementieren von {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] Entfernen nicht verwendeter updateSparkConfigFromProperties und isAbsoluteURI in o.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [CORE] [CONNECT] [SS] Verwenden von ThreadUtils.shutdown zum Schließen von Threadpools
  • [SPARK-46400] [SC-155658] [CORE] [SQL] Wenn beschädigte Dateien im lokalen Maven-Repository vorhanden sind, überspringen Sie diesen Cache und versuchen Sie es erneut
  • [SPARK-46932] [SC-155655] Bereinigen der Importe in pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Schreiben eines Unterabfrage-Generators, der Unterabfragen generiert, um die Testabdeckung zu erhöhen
  • [SPARK-46914] [SC-154776] [UI] Kürzen des App-Namens in der Zusammenfassungstabelle auf der Verlaufsseite
  • [SPARK-46831] [SC-154699] [SQL] Sortierungen – Erweitern von StringType und PhysicalStringType mit collationId-Feld
  • [SPARK-46816] [SC-154415] [SS] Hinzufügen der Basisunterstützung für den neuen Operator für die Verwaltung beliebiger Zustände, einzelner valueState-Typen, mehrerer Zustandsvariablen und zugrunde liegende Unterstützung für Spaltenfamilien für RocksDBStateStoreProvider mit/ohne Änderungsprotokollprüfpunkten
  • [SPARK-46925] [SC-154890] [PYTHON] [CONNECT] Hinzufügen einer Warnung, die anweist, memory_profiler für die Speicherprofilerstellung zu installieren
  • [SPARK-46927] [SC-154904] [PYTHON] assertDataFrameEqual ordnungsgemäß zum Laufen bekommen ohne PyArrow
  • [SPARK-46021] [SC-148987] [CORE] Kündigen zukünftiger Aufträge, die zu einer Jobgruppe gehören, unterstützen
  • [SPARK-46747] [SC-154789] [SQL] Vermeiden des Scans in „getTableExistsQuery“ für JDBC-Dialekte
  • [SPARK-46904] [SC-154704] [UI] Beheben des Anzeigeproblems der Verlaufs-UI-Zusammenfassung
  • [SPARK-46870] [SC-154541] [CORE] Unterstützen der Spark Master Log UI
  • [SPARK-46893] [SC-154780] [UI] Entfernen von Inlineskripts aus Benutzeroberflächenbeschreibungen
  • [SPARK-46910] [SC-154760] [PYTHON] Entfernen der JDK-Anforderung in der PySpark-Installation
  • [SPARK-46907] [SC-154736] [CORE] Anzeigen des Speicherorts des Treiberprotokolls im Spark History Server
  • [SPARK-46902] [SC-154661] [UI] Beheben der Spark History Server-Benutzeroberfläche für die Verwendung nicht exportierter setAppLimit-Elemente
  • [SPARK-46687] [SC-154725] [PYTHON] [CONNECT] Grundlegende Unterstützung von SparkSession-basiertem Speicherprofiler
  • [SPARK-46623] [SC-153831] [CORE] [MLLIB] [SQL] Ersetzen von SimpleDateFormat durch DateTimeFormatter
  • [SPARK-46875] [SC-154627] [SQL] Wenn der mode-Wert null ist, sollte NullPointExceptionnot auslösen
  • [SPARK-46872] [SC-154543] [CORE] Zurücksetzen von log-view.js als Nicht-Modul
  • [SPARK-46883] [SC-154629][CORE] /json/clusterutilization-API unterstützen
  • [SPARK-46886] [SC-154630][CORE] Standardmäßige Aktivierung von spark.ui.prometheus.enabled
  • [SPARK-46873] [SC-154638] [SS] Neuen StreamingQueryManager für dieselbe Spark-Sitzung nicht neu erstellen
  • [SPARK-46829] [SC-154419] [CORE] CreateExecutorEnv aus SparkEnv entfernen
  • [SPARK-46827] [SC-154280] [CORE] Zur RocksDBPersistenceEngine-Unterstützung einer symbolischen Verknüpfung
  • [SPARK-46903] [SC-154662] [CORE] Unterstützen der Spark History Server Log UI
  • [SPARK-46874] [SC-154646] [PYTHON] Entfernen der pyspark.pandas-Abhängigkeit von assertDataFrameEqual
  • [SPARK-46889] [SC-154639] [CORE] Überprüfen der spark.master.ui.decommission.allow.mode-Einstellung
  • [SPARK-46850] [SC-154443][SQL] Konvertieren von _LEGACY_ERROR_TEMP_2102 in UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [CORE] [UI] Korrigieren von MasterPage zur korrekten Sortierung der Running Drivers-Tabelle nach Duration-Spalte
  • [SPARK-46796] [SC-154279] [SS] Stellen Sie sicher, dass die richtigen Remotedateien (in metadata.zip erwähnt) beim Laden der RocksDB-Version verwendet werden
  • [SPARK-46888] [SC-154636] [CORE] Behebung von Master zum Ablehnen von /workers/kill/-Anforderungen, wenn die Außerbetriebsetzung deaktiviert ist
  • [SPARK-46818] [SC-154422] [SQL] Verbessern von Fehlermeldungen für Bereich mit nicht-faltbaren Eingaben
  • [SPARK-46898] [SC-154649] [CONNECT] Vereinfachen der Protobuf-Funktionstransformation in Planner
  • [SPARK-46828] [SC-154413] [SQL] Entfernen der ungültigen Assertion des Remotemodus für Spark SQL Shell
  • [SPARK-46733] [SC-154274] [CORE] Vereinfachen Sie den BlockManager indem der Beendigungsvorgang nur von der Unterbrechung des Threads abhängt.
  • [SPARK-46777] [SC-154016] [SS] Umgestalten der StreamingDataSourceV2Relation-Katalysatorstruktur, um besser mit der Batchversion zu vergleichen
  • [SPARK-46515] [SC-151716] Hinzufügen der MONTHNAME-Funktion
  • [SPARK-46823] [SC-154276] [CONNECT] [PYTHON] LocalDataToArrowConversion sollte die Nullbarkeit überprüfen
  • [SPARK-46787] [SC-154404] [CONNECT] bloomFilter-Funktion sollte für ungültige Eingaben AnalysisException auslösen
  • [SPARK-46779] [SC-154045] [SQL] InMemoryRelation-Instanzen desselben zwischengespeicherten Plans sollten semantisch gleichwertig sein
  • [SPARK-45827] [SC-153973] Partitionierung in Variant-Spalte nicht zulassen
  • [SPARK-46797] [SC-154085] [CORE] Umbenennen von spark.deploy.spreadOut in spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Executor JVM Profiling unterstützen
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] Anfügen von Codecerweiterungen an Avro-Datenquellendateien
  • [SPARK-46698] [SC-153288] [CORE] Ersetzen Sie den Timer durch den geplanten Einzelthread für ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Fix für STRUCT-Typ DDL ohne Nullbarkeit und Kommentar
  • [SPARK-46750] [SC-153772] [CONNECT] [PYTHON] DataFrame-APIs-Code bereinigen
  • [SPARK-46769] [SC-153979][SQL] Präzisieren der zeitstempelbezogenen Schemainferenz
  • [SPARK-46765] [SC-153904] [PYTHON] [CONNECT] shuffle den Datentyp von seed festlegen lassen
  • [SPARK-46579] [SC-151481] [SQL] Redact JDBC URL in Fehlern und Protokollen
  • [SPARK-46686] [SC-153875] [PYTHON] [CONNECT] Grundlegende Unterstützung von SparkSession-basierten Python-UDF-Profilern
  • [SPARK-46748] Wiederherstellen von [SC-153800][CORE] Entfernen von *slave*.sh-Skripts
  • [SPARK-46707] [SC-153833] [SQL] Hinzufügen eines ausgelösten Felds zu Ausdrücken zur Verbesserung des Prädikat-Pushdowns
  • [SPARK-46519] [SC-151278] [SQL] Löschen nicht verwendeter Fehlerklassen aus der error-classes.json-Datei
  • [SPARK-46677] [SC-153426] [SQL] [CONNECT] Beheben der dataframe["*"]-Lösung
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] Abgleich mit dem Mindestverhalten in SparkSession bei vollständiger Testabdeckung
  • [SPARK-46748] [SC-153800][CORE] Entfernen von *slave*.sh-Skripts
  • [SPARK-46663] [SC-153490] [PYTHON] Deaktivieren des Speicherprofilers für Pandas UDFs mit Iteratoren
  • [SPARK-46410] [SC-150776] [SQL] Zuweisen von Fehlerklassen/Unterklassen zu JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126] [PYTHON] Überprüfen von Start-URLs mit der festgelegten Konfiguration
  • [SPARK-46612] [SC-153536] [SQL] Arraytyp-Zeichenfolge, die vom JDBC-Treiber abgerufen wurde, nicht konvertieren
  • [SPARK-46254] [SC-149788] [PYTHON] Entfernen veralteter Python 3.8/3.7 Versionsprüfung
  • [SPARK-46490] [SC-151335] [SQL] Fehlerklassen in SparkThrowable-Unterklassen erfordern
  • [SPARK-46383] [SC-153274] [SC-147443] [WARMFIX] Reduzieren der Treiber Heap-Nutzung durch Reduzierung der Lebensdauer von TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] Korrektur des mehrdeutigen Spaltenverweises in Self-Joins
  • [SPARK-46381] [SC-150495] [SQL] Migrieren von AnalysisException-Unterklassen zu Fehlerklassen
  • [SPARK-46351] [SC-150335] [SQL] Anfordern einer Fehlerklasse in AnalysisException
  • [SPARK-46220] [SC-149689][SQL] Einschränkung von Zeichensätzen in decode()
  • [SPARK-46369] [SC-150340] [CORE] kill-Link von RELAUNCHING-Treibern in MasterPage entfernen
  • [SPARK-46052] [SC-153284] [CORE] Funktion TaskScheduler.killAllTaskAttempts entfernen
  • [SPARK-46536] [SC-153164] [SQL] GROUP BY calendar_interval_type unterstützen
  • [SPARK-46675] [SC-153209] [SQL] Entfernen nicht verwendeter inferTimestampNTZ in ParquetReadSupport
  • [SPARK-46717] [SC-153423] [CORE] Vereinfachung von ReloadingX509TrustManager durch den Beendigungsvorgang hängt nur von der Unterbrechung des Threads ab.
  • [SPARK-46722] [SC-153438] [CONNECT] Hinzufügen eines Tests zur Abwärtskompatibilitätsprüfung für StreamingQueryListener in Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Ausrichten von codegener und nicht-codegener Implementierung von StringDecode
  • [SPARK-46258] [SC-149799][CORE] RocksDBPersistenceEngine hinzufügen
  • [SPARK-46216] [SC-149676] [CORE] Verbessern von FileSystemPersistenceEngine zur Unterstützung von Komprimierungen
  • [SPARK-46189] [SC-149567] [PS] [SQL] Durchführung von Vergleichen und Arithmetik zwischen denselben Typen in verschiedenen Pandas-Aggregatfunktionen, um Fehler im interpretierten Modus zu vermeiden
  • [SPARK-46184] [SC-149563] [CORE] [SQL] [CONNECT] [MLLIB] Reduzieren der Stapeltiefe durch Option.isDefined durch Option.isEmpty
  • [SPARK-46700] [SC-153329] [CORE] Zählen des letzten Überlaufs für die Metrik „Shuffle Disk Spilling Bytes“
  • [SPARK-45642] [SC-150286][CORE][SQL] FileSystem.isFile & FileSystem.isDirectory is deprecated beheben
  • [SPARK-46640] [SC-153272] [SQL] Beheben von RemoveRedundantAlias durch Ausschließen von Unterabfrageattributen
  • [SPARK-46681] [SC-153287] [CORE] Umgestaltung von ExecutorFailureTracker#maxNumExecutorFailures, um die Berechnung von defaultMaxNumExecutorFailures bei der Konfiguration von MAX_EXECUTOR_FAILURES zu vermeiden
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] Festlegen von „hive.execution.engine“ immer auf „mr“
  • [SPARK-46325] [SC-150228] [CONNECT] Entfernen von unnötigen Außerkraftsetzungsfunktionen beim Erstellen von WrappedCloseableIterator in ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PYTHON] Migration aller verbleibenden Fehler vom Typ ValueError zum PySpark-Fehlerframework.
  • [SPARK-46547] [SC-153174] [SS] Verschwinden lassen einer nicht schwerwiegenden Ausnahme bei Wartungsaufgaben, um Deadlock zwischen Wartungsthread und Streamingaggregationsoperator zu vermeiden
  • [SPARK-46169] [SC-149373] [PS] Weisen Sie geeignete JIRA-Nummern für fehlende Parameter aus der DataFrame-API zu.
  • [SPARK-45857] [SC-148096] [SQL] Erzwingen der Fehlerklassen in Unterklassen von AnalysisException

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

  • Betriebssystem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
Klicken 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 Kryptografie 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 Packen 23,2
Pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 requests 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 sechs 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2023-02-10 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 Blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 Anmeldeinformationen 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
Diagramm 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 Evaluieren 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
Grafiken 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
Lebenszyklus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 Methoden 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Fortschritt 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1