共用方式為

Databricks Runtime 13.0 （不支援）

  • 發行項

下列版本資訊提供由 Apache Spark 3.4.0 提供之 Databricks Runtime 13.0 的相關信息。

Databricks 於 2023 年 4 月發行了這些映射。

新功能和改善

H3 運算式現在支援線性地理位置

和 h3_coverash3string 函h3_coverash3式現在支援線性 （linestring和 multilinestring） 地理位置。 函式會在指定的解析度產生一組最少的 H3 單元格。 請參閱 h3_coverash3 和 h3_coverash3string。

將 Ganglia 取代為叢集計量

針對 Databricks Runtime 13 版和更新版本，Ganglia 計量會取代為 Azure Databricks 叢集計量。 針對 Databricks Runtime 12 版和更新版本，您可以繼續使用 Ganglia 計量。 如果您的工作流程相依於無法滿足叢集計量的 Ganglia 計量，請連絡您的 Azure Databricks 帳戶小組。 請參閱 檢視計算計量。

Spark 3.4.0 已發行

Apache Spark 3.4.0 現已正式推出。 請參閱 Spark 3.4.0 版。

如果檔案在查詢規劃和執行之間修改，Photon 會傳回錯誤

如果檔案在查詢規劃和執行之間更新，Photon 查詢現在會傳回錯誤。 在此變更之前，Photon 會讀取檔案，即使查詢規劃和執行之間的修改時間變更，這可能會導致無法預期的結果。

預測性 I/O 的新功能

Photon 現在支援使用 {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }的 ROWS 和 RANGE 模式的滑動框架。

預測性 I/O 功能的擴充支援

當您的架構完全包含純量數據行時，Photon 擴充對 CSV、AVRO、DataFrame 快取數據源的支援。 巢狀類型的支援也會延伸，例如地圖、結構及陣列。

使用 Databricks 連接器連線至另一個 Databricks 工作區

Azure Databricks 連接器可讓您連線至另一個工作區中設定的計算資源，並將結果傳回您目前的 Azure Databricks 工作區。 Azure Databricks JDBC 驅動程式現在包含在 Databricks Runtime 中。 請參閱 使用 Databricks 連接器連線至另一個 Databricks 工作區。

Unity 目錄上具有共用叢集之結構化串流的其他 Kafka 選項

當您在共用存取叢集上使用結構化串流時，您現在可以使用設定 kakfa.ssl.truststore.location ，並將 kafak.ssl.keystore.location Kafka 憑證儲存在 Unity 目錄所管理的外部位置。 您無法在 DBFS 根目錄中使用位置。

使用結構化串流略過差異數據表修改

您現在skipChangeCommits可以使用 忽略對、 MERGE和 DELETE 作業之 Delta 資料表UPDATE變更認可的數據。 這會取代 ignoreChanges，它現在已被取代。 請參閱 忽略更新和刪除。

Delta 數據表的 CREATE TABLE LIKE 功能

CREATE TABLE LIKE 現在支援使用 Delta 資料表。

新的元數據行欄位表示檔案區塊開始和長度

您現在可以使用 _metadata 資料列取得輸入檔的下列元資料資訊： file_block_start 和 file_block_length。 如需詳細資訊，請參閱 檔案元數據數據行。

新的 H3 地理空間函式

啟用 Photon 時，新的h3_coverash3和h3_coverash3string表示式可用於地理空間處理。 請參閱 H3 地理空間函式。

新的 SQL 內建函式

新增下列函式：

%sql 在 Python 筆記本中

Python 筆記本中的所有非空白 %sql 結果現在都可以使用 _sqldf 或 IPython 的輸出快取系統來存取。 這可簡化使用 Python 的 DataFrame 結果。 這是舊版 DBR 的行為變更，如同先前一樣， _sqldf 不一定會重新指派。

_sqldf如果使用平行 SQL 資料格執行來執行數據格，則不會重新指派%sql單元格結果。

%pip 不會自動重新啟動 Python

在修改 virtualEnv 的 Python 筆記本內執行 %pip 命令之後，Databricks 不會再自動重新啟動 Python 程式。 若要重新啟動 Python 行程，請呼叫 dbutils.library.restartPython()。 有了這項變更， %pip Databricks 上的命令的行為與 Jupyter Notebook 類似，且與 !pip 和 %sh pip 命令一致。 Databricks 建議 %pip 而不是 !pip 或 %sh pip。

叢集範圍的 Python 連結庫是使用非根用戶安裝

連結庫現在會使用負責連結庫安裝的非根用戶來安裝。 如果您想要在 init 腳本中設定 pip 安裝行為，請使用 [全域層級檔案 https://pip.pypa.io/en/stable/topics/configuration/#configuration-files]。

錯誤修正

  • 在 %sh 命令中，已進行下列修正：
    • 現在支援包含非UTF-8字元的輸出。
    • 當命令取消時，子進程現在會中斷。

連結庫升級

  • 升級的 Python 連結庫：
    • 從 2.0.5 到 2.2.1 的 asttokens
    • 從22.3.0到22.6.0的黑色
    • boto3 從 1.21.32 到 1.24.28
    • 從 1.24.32 到 1.27.28 的 botocore
    • 認證從 2021.10.8 到 2022.9.14
    • cffi 從 1.15.0 到 1.15.1
    • 從3.4.8到37.0.1的密碼編譯
    • Cython 從 0.29.28 到 0.29.32
    • 從 1.2.16 到 1.2.18 的 dbus-python
    • docstring-to-markdown 從 0.11 到 0.12
    • 從 0.8.3 執行到 1.2.0
    • 從 1.0.0 到 1.0.2 的 facets-overview
    • fastjsonschema 從 2.16.2 到 2.16.3
    • filelock from 3.9.0 to 3.10.7
    • ipykernel 從 6.15.3 到 6.17.1
    • 從 8.5.0 到 8.10.0 的 ipython
    • joblib 從 1.1.1 到 1.2.0
    • jsonschema 從 4.4.0 到 4.16.0
    • jupyter-client 從 6.1.12 到 7.3.4
    • kiwisolver 從 1.3.2 到 1.4.2
    • matplotlib 從 3.5.1 到 3.5.2
    • matplotlib-inline 從 0.1.2 到 0.1.6
    • nbformat 從 5.3.0 到 5.5.0
    • 筆記本從 6.4.8 到 6.4.12
    • pandas from 1.4.2 to 1.4.4
    • 枕頭從 9.0.1 到 9.2.0
    • pip 從 21.2.4 到 22.2.2
    • platformdirs from 2.6.2 to 2.5.2
    • 從 5.6.0 到 5.9.0 的繪圖
    • prometheus-client 從 0.13.1 到 0.14.1
    • 從 3.0.20 到 3.0.36 的 prompt-toolkit
    • psutil 從 5.8.0 到 5.9.0
    • pyflakes 從 2.5.0 到 3.0.1
    • PyGObject 從 3.36.0 到 3.42.1
    • pyparsing 從 3.0.4 到 3.0.9
    • pyright 從 1.1.283 到 1.1.294
    • 從 1.6.0 到 1.7.1 的 python-lsp-server
    • pytz 從 2021.3 到 2022.1
    • pyzmq 從 22.3.0 到 23.2.0
    • 要求從 2.27.1 到 2.28.1
    • 從 0.22.0 到 1.7.0 的繩索
    • s3transfer 從 0.5.0 到 0.6.0
    • scikit-learn 從 1.0.2 到 1.1.1
    • scipy 從 1.7.3 到 1.9.1
    • setuptools from 61.2.0 to 63.4.1
    • 從 5.10 到 5.11 的 ssh-import-id
    • 從 0.2.0 到 0.6.2 的 stack-data
    • 從 0.5.0 到 0.6.0 的 testpath
    • tomli 從 1.2.2 到 2.0.1
    • ujson 從 5.1.0 到 5.4.0
    • urllib3 從 1.26.9 到 1.26.11
    • virtualenv 從 20.8.0 到 20.16.3
    • 從 1.0.4 到 1.0.2 的 whatthepatch
    • 方向盤從 0.37.0 到 0.37.1
  • 升級的 R 連結庫：
    • 從 10.0.0 到 10.0.1 的箭號
    • 位從 4.0.4 到 4.0.5
    • 從 1.0.1 到 1.0.3 的掃把
    • bslib 從 0.4.1 到 0.4.2
    • 2.3-58 到 2.3-59 的 chron
    • cli 從 3.4.1 到 3.6.0
    • 從 2.0-3 到 2.1-0 的 colorspace
    • curl 從 4.3.3 到 5.0.0
    • 從 1.14.4 到 1.14.6 的 data.table
    • dbplyr 從 2.2.1 到 2.3.0
    • 摘要從 0.6.30 到 0.6.31
    • dplyr 從 1.0.10 到 1.1.0
    • e1071 從 1.7-12 到 1.7-13
    • 從 0.18 評估為 0.20
    • fansi 從 1.0.3 到 1.0.4
    • fontawesome from 0.4.0 to 0.5.0
    • forcats from 0.5.2 to 1.0.0
    • fs 從 1.5.2 到 1.6.1
    • 未來從 1.29.0 到 1.31.0
    • 從 1.2.1 到 1.3.0
    • 從 1.9.1 到 1.9.2 的 gert
    • 從 4.1-4 到 4.1-6 的 glmnet
    • globals from 0.16.1 to 0.16.2
    • 從 1.0.0 到 1.0.1 的 gower
    • highr 從 0.9 到 0.10
    • 從 0.5.3 到 0.5.4 的 htmltools
    • 從 1.5.4 到 1.6.1 的 htmlwidgets
    • 從 1.6.6 到 1.6.8 的 HTTPuv
    • isoband 從 0.2.6 到 0.2.7
    • jsonlite 從 1.8.3 到 1.8.4
    • 從 1.40 到 1.42 的針織器
    • 從1.7.0到1.7.1的熔岩
    • listenv from 0.8.0 to 0.9.0
    • 從 1.9.0 到 1.9.1 的 lubridate
    • Markdown 從 1.3 到 1.5
    • 從 0.1.9 到 0.1.10 的 modelr
    • openssl 從 2.0.4 到 2.0.5
    • 平行從 1.32.1 到 1.34.0
    • pkgbuild 從 1.3.1 到 1.4.0
    • 從 2.0.6 到 2.0.7 的 pkgdown
    • 從 1.3.1 到 1.3.2 的 pkgload
    • plyr 從 1.8.7 到 1.8.8
    • progressr from 0.11.0 to 0.13.0
    • purrr 從 0.3.5 到 1.0.1
    • 從 1.2.4 到 1.2.5 的不規則
    • Rcpp 從 1.0.9 到 1.0.10
    • readxl 從 1.4.1 到 1.4.2
    • 從 1.0.3 到 1.0.4 的食譜
    • 從 2.18 到 2.20 的 rmarkdown
    • RODBC 從 1.3-19 到 1.3-20
    • roxygen2 從 7.2.1 到 7.2.3
    • RSQLite 從 2.2.18 到 2.2.20
    • sass from 0.4.2 to 0.4.5
    • 閃亮從 1.7.3 到 1.7.4
    • sourcetools from 0.1.7 to 0.1.7-1
    • sparklyr 從 1.7.8 到 1.7.9
    • 從 3.3.2 到 3.4.0 的 SparkR
    • 空間從 7.3-11 到 7.3-15
    • stringi 從 1.7.8 到 1.7.12
    • 從 1.4.1 到 1.5.0 的 stringr
    • 從 3.4-0 到 3.5-3 的生存
    • 測試從 3.1.5 到 3.1.6
    • 從 1.2.1 到 1.3.0 的 tidyr
    • timechange 從 0.1.1 到 0.2.0
    • timeDate 從 4021.106 到 4022.108
    • tinytex from 0.42 to 0.44
    • utf8 從 1.2.2 到 1.2.3
    • 從 0.5.0 到 0.5.2 的 vctrs
    • 從 1.6.0 到 1.6.1 的 vroom
    • 鬍鬚從 0.4 到 0.4.1
    • 從 0.34 到 0.37 的 xfun
    • yaml 從 2.3.6 到 2.3.7
  • 升級的 Java 連結庫：
    • com.amazonaws.aws-java-sdk-autoscaling 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-config，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-core，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-directory from 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-ec2，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-ecs，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-efs，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing from 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-emr，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-glacier from 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-glue 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-iam，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-importexport 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-kms，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-lambda，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-logs，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-rds，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-redshift 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-route53，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-s3，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-ses，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-sns，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-sqs，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-ssm，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway 從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-sts，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-support，從 1.12.189 到 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces from 1.12.189 到 1.12.390
    • com.amazonaws.jmespath-java 從 1.12.189 到 1.12.390
    • com.fasterxml.jackson.core.jackson-annotations from 2.13.4 to 2.14.2
    • com.fasterxml.jackson.core.jackson-core 從 2.13.4 到 2.14.2
    • com.fasterxml.jackson.core.jackson-databind 從 2.13.4.2 到 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 從 2.13.4 到 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 從 2.13.4 到 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer，從 2.13.4 到 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12，從 2.13.4 到 2.14.2
    • com.github.luben.zstd-jni，從 1.5.2-1 到 1.5.2-5
    • com.google.code.gson.gson 從 2.8.6 到 2.8.9
    • com.google.crypto.tink.tink 從 1.6.1 到 1.7.0
    • com.h2database.h2，從 2.0.204 到 2.1.214
    • com.jcraft.jsch from 0.1.50 to 0.1.55
    • com.ning.compress-lzf 從 1.1 到 1.1.2
    • commons-fileupload.commons-fileupload 從 1.3.3 到 1.5
    • dev.ludovic.netlib.arpack 從 2.2.1 到 3.0.3
    • dev.ludovic.netlib.blas，從 2.2.1 到 3.0.3
    • dev.ludovic.netlib.lapack 從 2.2.1 到 3.0.3
    • io.dropwizard.metrics.metrics-core 從 4.1.1 到 4.2.10
    • io.dropwizard.metrics.metrics-graphite 從 4.1.1 到 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks，從 4.1.1 到 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 從 4.1.1 到 4.2.10
    • io.dropwizard.metrics.metrics-jmx 從 4.1.1 到 4.2.10
    • io.dropwizard.metrics.metrics-json 從 4.1.1 到 4.2.10
    • io.dropwizard.metrics.metrics-jvm 從 4.1.1 到 4.2.10
    • io.dropwizard.metrics.metrics-servlets，從 4.1.1 到 4.2.10
    • io.netty.netty-all 從 4.1.74.Final 到 4.1.87.Final
    • 從 4.1.74.Final 到 4.1.87.Final 的 io.netty.netty-buffer
    • 從 4.1.74.Final 到 4.1.87.Final 的 io.netty.netty-codec
    • io.netty.netty-common 從 4.1.74.Final 到 4.1.87.Final
    • 從 4.1.74.Final 到 4.1.87.Final 的 io.netty.netty-handler
    • io.netty.netty-resolver 從 4.1.74.Final 到 4.1.87.Final
    • 從 4.1.74.Final 到 4.1.87.Final 的 io.netty.netty-transport
    • io.netty.netty-transport-classes-epoll 從 4.1.74.Final 到 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue 從 4.1.74.Final 到 4.1.87.Final
    • io.netty.netty-transport-native-unix-common，從 4.1.74.Final 到 4.1.87.Final
    • joda-time.joda-time 從 2.10.13 到 2.12.1
    • net.razorvine.pickle 從 1.2 到 1.3
    • org.antlr.antlr4-runtime 從 4.8 到 4.9.3
    • org.apache.ant.ant，從 1.9.2 到 1.9.16
    • org.apache.ant.ant-jsch 從 1.9.2 到 1.9.16
    • org.apache.ant.ant-launcher，從 1.9.2 到 1.9.16
    • org.apache.arrow.arrow-format from 7.0.0 到 11.0.0
    • org.apache.arrow.arrow-memory-core，從 7.0.0 到 11.0.0
    • org.apache.arrow.arrow-memory-netty 從 7.0.0 到 11.0.0
    • org.apache.arrow.arrow-vector 從 7.0.0 到 11.0.0
    • org.apache.avro.avro 從 1.11.0 到 1.11.1
    • org.apache.avro.avro-ipc 從 1.11.0 到 1.11.1
    • org.apache.avro.avro-mapred 從 1.11.0 到 1.11.1
    • org.apache.httpcomponents.httpclient 從 4.5.13 到 4.5.14
    • org.apache.httpcomponents.httpcore，從 4.4.14 到 4.4.16
    • org.apache.ivy.ivy.ivy 從 2.5.0 到 2.5.1
    • org.apache.logging.log4j.log4j-1.2-api，從 2.18.0 到 2.19.0
    • org.apache.logging.log4j.log4j-api，從 2.18.0 到 2.19.0
    • org.apache.logging.log4j.log4j-core 從 2.18.0 到 2.19.0
    • org.apache.orc.orc-core 從 1.7.6 到 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce 從 1.7.6 到 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims，從 1.7.6 到 1.8.2
    • org.apache.xbean.xbean-asm9-shaded 從 4.20 到 4.22
    • org.apache.zookeeper.zookeeper，從 3.6.2 到 3.6.3
    • org.apache.zookeeper.zookeeper-jute 從 3.6.2 到 3.6.3
    • org.eclipse.jetty.jetty-client 從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-continuation 從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io 從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy 從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp 從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common 從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet，從 9.4.46.v20220331 到 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator，從 6.1.0.Final 到 6.1.7.Final
    • org.mlflow.mlflow-spark，從 2.1.1 到 2.2.0
    • org.postgresql.postgresql 從 42.3.3 到 42.3.8
    • org.roaringbitmap.RoaringBitmap 從 0.9.25 到 0.9.39
    • org.roaringbitmap.shims from 0.9.25 to 0.9.39
    • org.rocksdb.rocksdbjni，從 6.28.2 到 7.8.3
    • org.scala-lang.scala-compiler_2.12，從 2.12.14 到 2.12.15
    • org.scala-lang.scala-library_2.12，從 2.12.14 到 2.12.15
    • org.scala-lang.scala-reflect_2.12，從 2.12.14 到 2.12.15
    • org.scalanlp.breeze-macros_2.12 從 1.2 到 2.1.0
    • org.scalanlp.breeze_2.12 從 1.2 到 2.1.0
    • org.slf4j.jcl-over-slf4j，從 1.7.36 到 2.0.6
    • org.slf4j.jul-to-slf4j，從 1.7.36 到 2.0.6
    • org.slf4j.slf4j-api 從 1.7.36 到 2.0.6
    • org.threeten.threeten-extra 從 1.5.0 到 1.7.1
    • org.wildfly.openssl.wildfly-openssl 從 1.0.7.Final 到 1.1.3.Final
    • org.yaml.snakeyaml 從 1.24 到 1.33

Apache Spark

Databricks Runtime 13.0 包含 Apache Spark 3.4.0。

Spark SQL

功能

ANSI 合規性

  • ANSI SQL 模式：對對應資料行的存取無效時一律傳回 Null （SPARK-40066）
  • 支援雙引號識別碼 （SPARK-40585）
  • ANSI SQL 模式：Round/Bround 應該在整數溢位時傳回錯誤 （SPARK-42045）
  • 支援將整數轉換成 ANSI 間隔 （SPARK-40008）
  • 支援將小數轉換成 ANSI 間隔 （SPARK-40014）
  • 從百分位數函式傳回更廣泛的 ANSI 間隔類型 （SPARK-40151）
  • 支援將 ANSI 間隔轉換成小數點 （SPARK-39470）
  • 支援將間隔轉換成 ANSI 模式中的整數 （SPARK-39451）
  • 強化錯誤類別的 SQLSTATE 使用方式 （SPARK-41994）

函式

資料來源

  • DS v2 中的支持資料行統計資料 （SPARK-41378）
  • DS v2 中的 儲存體 分割聯結 （SPJ） （SPARK-37375）
  • DS v2 中的數據列層級作業 （SPARK-35801）
  • 在 DS v2 掃描的介面中新增 SupportsReportOrdering 混合 （SPARK-38647）
  • CSV 架構推斷的推斷日期類型 （SPARK-39469）
  • 在 DS v2 自訂計量 API 中支援驅動程式計量 （SPARK-39635）
  • 散發和訂購支援 DS v2 函式的撰寫 （SPARK-39607）
  • StringEndsWith/Contains 支援向下推送至 Parquet，以便我們利用字典篩選 （SPARK-39002）
  • 支援 Spark Parquet 向量化讀取器中的 UDT （SPARK-39086）
  • 擴充METADATA資料行以支援 Parquet 檔案的數據列索引 （SPARK-37980）
  • 支援讀取 parquet FIXED_LEN_BYTE_ARRAY 型態 （SPARK-41096）
  • 優化篩選述詞的順序 （SPARK-40045）
  • 使用 MSSQL JDBC 支援 CTE 和臨時表查詢 （SPARK-37259）
  • 支援 [數據源] 選項中的 ignoreCorruptFiles 和 ignoreMissingFiles （SPARK-38767）
  • 提取 v1 寫入 WriteFiles （SPARK-41407）
  • 新增讀取端字元填補以涵蓋外部資料檔 （SPARK-40697）

查詢優化

  • 合並非相互關聯的純量子查詢 （SPARK-34079）
  • 預設啟用 Bloom 篩選聯結 （SPARK-38841）
  • 依 distinctKeys 移除匯總運算式中不必要的相異 （SPARK-38832）
  • 支援取消複製 CTE 的述詞下推和資料行剪除 （SPARK-37670）
  • 如果聚合函數在資料串流端重複重複，請移除外部聯結 （SPARK-38886）
  • 如果只選取左側/右側數據行，且另一邊的聯結索引鍵是唯一的，請移除左/右外部聯結 （SPARK-39172）
  • 將全域排序優化為 RepartitionByExpression （SPARK-39911）
  • 優化 TransposeWindow 規則 （SPARK-38034）
  • 增強 EliminateSorts 以支援透過 LocalLimit 移除排序 （SPARK-40050）
  • 如果聯結條件是空的，請將本機限制推送至雙方 （SPARK-40040）
  • 新增 PushProjectionThroughLimit for Optimizer （SPARK-40501）
  • 支援 PIVOT/UNPIVOT 與加入子系 （SPARK-41195）
  • 支援具有多個非決定性篩選的數據行剪除 （SPARK-41017）
  • 使用 AQE 快取改善輸出分割和排序 （SPARK-41048）
  • 藉由建立平衡的表達式樹狀述詞來改善多重類似效能 （SPARK-41167）
  • 如果它是 RepartitionByExpression 的子系，請移除 Sort （SPARK-36703）
  • 使用已完成查詢階段的可用資料列統計資料 （SPARK-39991）
  • 在 WindowSpecDefinition 中重複使用運算式 （SPARK-41805）
  • 改善 AliasAwareOutputPartitioning 和 AliasAwareQueryOutputOrdering 以將所有別名納入考慮 （SPARK-40086， SPARK-42049）
  • 透過 Python UDF 下推限制 （SPARK-42115）

程式代碼產生和查詢執行

  • 在 BroadcastNestedLoopJoinExec 中建立 defaultJoin 以平行執行 （SPARK-40487）
  • HiveGenericUDF 的 Codegen 支援 （SPARK-42051）
  • 在 SinglePartition 上介紹隨機顯示 （SPARK-41986）
  • 使民進黨支援剪除方面有聯盟 （SPARK-39217）

其他值得注意的變更

  • 支援自動資料分割統計資料收集 （SPARK-38573）
  • 格式化 Thrift Server 中的錯誤訊息 （SPARK-40098）
  • 新增擴充 API 以規劃快取的正規化 （SPARK-41183）
  • 引進實體類型來重構 Spark 類型 （SPARK-41226）
  • OneOf 欄位支援和遞迴檢查 （SPARK-41396）
  • 集中處理資料行解析邏輯 （SPARK-41405）
  • 改善計劃變更驗證 （SPARK-42081）
  • 介紹適用於型別的 SparkPath （SPARK-41970）
  • 在建立數據集 API 的暫存檢視時，擲回 db_name.view_name 的例外狀況 （SPARK-41090）
  • 將 Mask 函式自變數的預設值從 -1 變更為 NULL （SPARK-42070）

Spark 核心

解除委任

  • 避免在解除委任的執行程式上重新執行不必要的工作，如果隨機數據遷移而遺失 （SPARK-41469）
  • 忽略解除委任執行程式所造成的階段擷取失敗 （SPARK-40481）
  • 啟用spark.storage.decommission。（rdd|shuffle）預設會啟用 Blocks.enabled （SPARK-40198）
  • 在停用 ESS 時新增 YARN 解除委任的支援 （SPARK-30835）

排程器

  • 讓階段排程支援本機叢集模式 （SPARK-41949）
  • 當動態設定停用時，支援獨立叢集的階段層級工作資源配置檔 （SPARK-39853）
  • 延遲開啟啟用驅動程序的延遲會接收 ExecutorExitCode （SPARK-39957）
  • 透過階段工作計量改善猜測 （SPARK-32170）
  • 新增獨立叢集的階段層級資源排程支援 （SPARK-39062）
  • 改善 LaunchTask 程式，以避免失敗傳送 LaunchTask 訊息所造成的階段失敗 （SPARK-39955）

Shuffle

  • 新增推播式隨機用戶端讀取計量 （SPARK-36620）
  • 以推播為基礎的隨機顯示伺服器端計量 （SPARK-33573）
  • 確定已關閉 db 關閉之前關閉 mergedShuffleCleaner （SPARK-40186）
  • 新增隨機服務狀態存放區的 RocksDB 支援 （SPARK-38888）
  • 封裝用來將遠端/外部隨機狀態儲存為 DB 的 LevelDB （SPARK-38909）
  • 默認啟用 spark.dynamicAllocation.shuffleTracking.enabled （SPARK-3984）
  • 開啟推送式隨機處理服務，以將狀態儲存在 NM 層級 DB 中，以保留重新啟動的工作 （SPARK-33236）
  • 使用已發行執行程式洗牌服務移除隨機區塊 （SPARK-37618）

其他值得注意的變更

  • 支援僅限 IPv6 的環境 （SPARK-39457）
  • 默認啟用 spark.kryo.unsafe （SPARK-42137）
  • 不允許在叢集模式中使用 Proxy 使用者的任意自訂類別路徑 （SPARK-41958）
  • 如果執行程式遺失，請避免 BlockManager 重新註冊 （SPARK-41360）
  • 移除單一工作結果必須符合 2GB 的限制 （SPARK-40622）
  • 移除已淘汰 spark.akka.* 設定的支援 （SPARK-40401）
  • 將默認記錄變更為 stderr，以符合 log4j 的行為（SPARK-40406）
  • 計算結果大小時排除 DirectTaskResult 元數據 （SPARK-40261）
  • 允許在 take（） 行為中自訂初始資料分割編號 （SPARK-40211）
  • 使用中斷鎖定，而不是在Executor.updateDependencies（） 中同步處理 （SPARK-40235）
  • 工作失敗應該一律觸發工作失敗接聽程式 （SPARK-40106）
  • 新增選擇性停用監看或輪詢的功能 （SPARK-36462）
  • 請勿在驅動程式上快取未串行化的廣播關係 （SPARK-39983）
  • 修正 TaskMemoryManager 與 UnsafeExternalSorter.SpillableIterator 之間的死結 （SPARK-39283）
  • 將階段中的數位分割公開給 TaskContext （SPARK-38679）
  • 讓記憶體額外負荷因素可設定 （SPARK-38194）
  • 避免在 ShellBasedGroupsMappingProvider 中使用 bash -c （SPARK-38992）

結構化串流

主要功能

  • 異步進度追蹤 （SPARK-39591）
  • 結構化串流中的 Python 任意具狀態處理 （SPARK-40434）
  • 結構化串流中的 Protobuf 支援 （SPARK-40653）
  • 修正晚期記錄篩選以支援具狀態運算子鏈結 （SPARK-40925）

其他值得注意的變更

  • 介紹以 Hadoop 的 Abortable 介面為基礎的串流檢查點檔案管理員 （SPARK-40039）
  • 取代 Trigger.Once 和 Promote Trigger.AvailableNow （SPARK-39805）
  • 將目錄資料表的資訊公開至串流查詢中的邏輯計劃 （SPARK-39564）
  • 支援從串流接收收集計量 （SPARK-38564）
  • 取代 DStream API （SPARK-42075）
  • 翻轉 Kafka 位移擷取設定的預設值 （SPARK-40844）
  • 在 PySpark 中 foreachBatch 接收的使用者函式中，在 DataFrame 中提供複製的 Spark 會話 （SPARK-41379）

Spark 連線

Python 用戶端

Scala 用戶端

PySpark

Spark 上的 Pandas API

其他值得注意的變更

MLLIB

SparkR

即時UI和歷程記錄伺服器服務

  • 適用於大型應用程式的更佳 Spark UI 延展性和驅動程序穩定性（SPARK-41053）
  • 針對 spark.history.store.hybridStore.diskBackend 預設使用 RocksDB （SPARK-42277）
  • 將巢狀執行分組在根執行下（SPARK-41752）
  • 在 [環境] 索引標籤中顯示計量屬性（SPARK-39110）
  • 修正當記錄大於零時，不會顯示 StagePage 輸入大小/記錄（SPARK-34777）
  • 使用 Jackson 而不是 Json4s 來改善事件記錄 JsonProtocol 效能（SPARK-39489）
  • 支援 spark.history.fs.update.batchSize （SPARK-39225）

組建

維護更新

請參閱 Databricks Runtime 13.0 維護更新。

系統環境

  • 操作系統：Ubuntu 22.04.2 LTS
  • Java：Zulu 8.68.0.21-CA-linux64
  • Scala：2.12.15
  • Python：3.10.6
  • R：4.2.2
  • Delta Lake：2.3.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 按一下 8.0.4 密碼編譯 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0.12 entrypoints 0.4
執行 1.2.0 facets-overview 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keyring 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.12 numpy 1.21.5 oauthlib 3.2.0
封裝 21.3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 火熱 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
requests 2.28.1 繩 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
秘密 儲存體 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
六次 1.16.0 soupsieve 2.3.1 ssh-import-id 5.11
stack-data 0.6.2 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.1.1 ujson 5.4.0 自動升級 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

已安裝的 R 連結庫

R 連結庫會從 2023-02-10 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
箭號 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 叢集 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 遞減 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
省略符號 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 漱口 1.3.0 泛型 0.1.3
格特 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 避風港 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 針織機 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
Lava 1.7.1 生命週期 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 矩陣 1.5-1 備忘 2.0.1
方法 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
蒙塞爾 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 讚美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 進度 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 不雅 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
晶須 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.咖啡因 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 原生
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1 原生
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 原生
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 原生
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink 小 叮噹 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlet 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏家 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人-食譜 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core 澤西-通用 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap 墊片 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml 蛇形 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1