共用方式為

Databricks Runtime 10.0 （不支援）

  • 發行項

下列版本資訊提供由 Apache Spark 3.2.0 提供的 Databricks Runtime 10.0 和 Databricks Runtime 10.0 Photon 的相關信息。 Databricks 於 2021 年 10 月發行了這些映像。 Photon 處於 公開預覽狀態。

新功能和改善

新版 Apache Spark

Databricks Runtime 10.0 和 Databricks Runtime 10.0 Photon 包含 Apache Spark 3.2.0。 如需詳細資訊，請參閱 Apache Spark。

SELECT 語句現在支援 QUALIFY 子句來篩選視窗函式結果

語句 SELECT 現在支援 QUALIFY 子句。 QUALIFY 可用來篩選視窗函式的結果。 清單或QUALIFY條件中SELECT必須有一或多個視窗函式。 例如：

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

JDK 11 的叢集支援 （公開預覽）

Databricks 現在提供 Java 開發工具套件 （JDK） 11 的叢集支援。

當您建立叢集時，您可以指定叢集使用 JDK 11（適用於驅動程式和執行程式）。 若要這樣做，請將下列環境變數新增至進 階選項 > Spark > 環境變數：

JNAME=zulu11-ca-amd64

自動載入器現在會將架構視為可為 Null

自動載入器現在預設會將所有推斷和使用者提供的架構視為可為 Null。 在數據包含不可為 Null 數據行的 Null 字段的情況下，這是為了避免潛在的數據損毀。 引進了新的組態來追蹤此行為 spark.databricks.cloudFiles.schema.forceNullable。 根據預設，此組態包含 的 設定 spark.sql.streaming.fileSource.schema.forceNullable，Apache Spark 中的 FileStreamSource 會使用 ，且預設會設定為 true 。

重大變更

所有 Spark SQL 使用者的重大變更

  • 新的 spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled 組態：當設定為 true時，允許匯總子查詢時相互關聯的相等述詞子集。 預設設定是 true。
  • 新的 spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled 組態：當設定為 true時，會在建立檢視時封鎖自動產生別名。 預設設定是 true。
  • 新的 spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled 組態：當設定為 true時，不允許 CREATE TABLE AS SELECT 使用非空白位置。 預設設定是 true。 請注意，當 也設定為 true時spark.sql.legacy.allowNonEmptyLocationInCTAS，此組態沒有任何作用，而且CREATE TABLE AS SELECT一律允許非空白位置。

啟用 ANSI 模式的 Spark SQL 使用者的重大變更

如需 ANSI 模式的相關信息，請參閱 Databricks Runtime 中的 ANSI 合規性。

  • 新的spark.databricks.behaviorChange.SC83587NextDayDOW.enabled組態：當設定為 true時，函式的next_day自變數無效dayOfWeek會在 IllegalArgumentException ANSI 模式中擲回 ，否則會傳null回 。 預設設定是 true。
  • 新的 spark.databricks.behaviorChange.SC83796CanCast.enabled 組態：當設定為 true時，會在 ANSI 模式中啟用新的明確轉換語法規則。 預設設定是 true。
  • 新 spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled 組態：當設定為 true時，將字串轉換成布爾值時，會擲回剖析錯誤例外狀況，否則會傳 null回 。 預設設定是 true。
  • 新的 spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled 組態：當設定為 true時，如果輸入超出範圍，函 abs 式會擲回例外狀況。 預設設定是 true。

所有 Python 使用者的重大變更

  • Python API delta.tables.DeltaTable.convertToDelta 現在會傳回可用來執行 Delta Lake 命令的正確 DeltaTable Python 物件。 先前，它會傳回無法直接呼叫的內部物件。

連結庫升級

Apache Hadoop 3 升級

  • Databricks Runtime 10.0 會將 Hadoop 相依性從 Hadoop 2.7.4 升級至 Hadoop 3.3.1。

行為變更

  • Hadoop 3 會使用 hadoop-client-api 和 hadoop-client-runtime 連結庫，而不是 hadoop-common 連結庫，以陰影陰影可能會用於 Hadoop 公用 API 或擴充功能的特定第三方相依性。
  • Hadoop 3 組態選項自 Hadoop 2 之後已變更。 如需Hadoop 3.3.1選項，請參閱 core-default.xml。
  • Databricks 已更新 Hadoop 3 的一些預設組態，使其與 Hadoop 2 一致，以確保記憶體連接器具有相同的預設驗證設定和效能層級：
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • Google Cloud 儲存體 （GCS） 連接器已從 2.1.6 升級至 2.2.2。
  • Amazon Redshift 連接器現在會使用 配置 s3a:// 。 配置 s3n:// 已被取代。
  • 除了著色類別之外，還處理 Amazon S3 MetadataStore API 的 OSS 類別名稱。 這可讓您處理 OSS 組態，而不需要著色的類別名稱。
    • 例如，您可以在 Hadoop 組態中指定 類別 org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore 。
  • new Configuration()使和 sparkContext.hadoopConfiguration 保持一致。
    • 現在每次建立新的 Hadoop 組態時，都會與 Databricks Runtime 中 sparkContext.hadoopConfiguration 預先定義的 Hadoop 組態一致，包括文件系統配置及其預設組態。
  • 雖然 Databricks Runtime 中包含的 Hadoop 記憶體連接器與 Hadoop 3.3.1 完全相容，但它們不保證與 OSS Hadoop 3.3.1 連接器同步，而且可能有不同的行為。
    • 相較於移除 SOOP-14833 的 HADOOP-14833，Amazon S3 連接器仍允許在 S3 URL 中使用使用者：秘密驗證。
  • globStatus 現在一律會傳回已排序的結果（HADOOP-10798）
  • 如果未設定且 fs.s3a.endpoint 區域為 null，則已新增 fs.s3a.endpoint（SPARK-35878）
    • Databricks 提供的 Amazon S3 區域自動解析在某些情況下可能不會觸發，因為已設定全域端點。 這不是問題，因為 AWS SDK 會正確解決區域。
  • 如果未設定，請新增 fs.s3a.downgrade.syncable.exceptions（SPARK-35868）
  • LZ4 和 Snappy 編解碼器不依賴原生 Hadoop 連結庫（HADOOP-17125）

已知問題

  • SPARK-36681 使用 SnappyCodec 寫入時序檔案將會失敗，因為 Hadoop 3.3.1 中已知問題，所以 UnsatisfiedLinkError 會失敗（HADOOP-17891）

Apache Spark

Databricks Runtime 10.0 包含 Apache Spark 3.2.0。

本節內容：

重點

核心和Spark SQL

ANSI SQL 相容性增強功能

  • 支援 ANSI SQL INTERVAL 類型（SPARK-27790）
  • ANSI 模式中的新類型強制語法規則（SPARK-34246）

效能增強

  • 查詢優化
    • 移除優化器中的備援匯總（SPARK-33122）
    • 透過 Project with Join 下推限制（SPARK-34622）
    • 等位、排序和範圍運算子的基數估計 （SPARK-33411）
    • UnwrapCastInBinaryComparison 支援 In/InSet 述詞（SPARK-35316）
    • 在資料分割剪除之後保留必要的統計資料（SPARK-34119）
  • 查詢執行
    • 默認啟用 Zstandard 緩衝池（SPARK-34340、 SPARK-34390）
    • 針對排序合併聯結的所有聯結類型新增程式代碼 Gen（SPARK-34705）
    • 廣播巢狀循環聯結改進（SPARK-34706）
    • 支持最終哈希匯總的兩個哈希對應層級 （SPARK-35141）
    • 允許並行寫入器寫入動態資料分割和貯體資料表（SPARK-26164）
    • 改善 Thriftserver 中處理FETCH_PRIOR效能（SPARK-33655）

連線 or 增強功能

  • 實木 複合 地板
    • 將 Parquet 升級至 1.12.1（SPARK-36726）
    • 讀取儲存為 parquet 中 int32 實體類型的 parquet 不帶正負號類型（SPARK-34817）
    • 將儲存為已簽署 int64 實體類型的 Parquet unsigned int64 邏輯類型讀取為 decimal（20， 0）（SPARK-34786）
    • 改善 Parquet 在篩選下推中（SPARK-32792）
  • ORC
  • Avro
    • 將 Avro 升級至 1.10.2 版（SPARK-34778）
    • 使用 “avro.schema.literal” 支援分割 Hive 數據表的 Avro 架構演進（SPARK-26836）
    • 新增 Avro 資料源選項，以控制讀取中的日期時間重新處理（SPARK-34404）
    • 在 Avro 中新增使用者提供的架構 URL 支援（SPARK-34416）
    • 新增位置 Catalyst 到 Avro 架構比對的支援（SPARK-34365）
  • Json
    • 將 Jackson 升級至 2.12.3 版（SPARK-35550）
    • 允許 Json 數據源寫入非 ascii 字元作為程式代碼點（SPARK-35047）
  • Jdbc
    • 在 JDBCRelation 中計算更精確的分割區步幅（SPARK-34843）
  • Hive 中繼存放區支援依非 in 篩選（SPARK-34538）

功能增強功能

其他值得注意的變更

  • 監控
    • ExternalShuffleService 的新計量（SPARK-35258）
    • 新增階段層級 REST API 和參數 （SPARK-26399）
    • 在 REST API 中支援工作和執行程式計量散發計量散發（SPARK-34488）
    • 新增哈希匯總的後援計量（SPARK-35529）
  • 將count_distinct新增為 Dataset#summary 的選項（SPARK-34165）
  • 在 sql/core 中實作 ScriptTransform（SPARK-31936）
  • 讓 BlockManagerMaster 驅動程式活動訊號逾時可設定（SPARK-34278）
  • 讓隨機服務名稱在用戶端上設定，並允許在伺服器端覆寫 classpath 型設定（SPARK-34828）
  • ExecutorMetricsPoller 應讓 stageTCMP 進入階段，直到活動訊號發生為止（SPARK-34779）
  • 將 if 取代為 RewriteDistinctAggregates 中的篩選子句（SPARK-34882）
  • 修正在自我聯結上套用 CostBasedJoinReorder 時失敗（SPARK-34354）
  • CREATE TABLE LIKE 應遵守保留的數據表屬性（SPARK-34935）
  • 將常春藤 設定 檔案寄送至 YARN 叢集模式中的驅動程式（SPARK-34472）
  • 解決 USING/NATURAL JOIN 中重複的通用資料行（SPARK-34527）
  • 隱藏描述資料表 Cmd 的內部檢視屬性（SPARK-35318）
  • 支援解決散發/叢集依據/重新分割提示遺失的 attrs（SPARK-35331）
  • 在 FileStreamSink.hasMetadata 中檢查路徑時忽略錯誤（SPARK-34526）
  • 藉由推斷遺漏的設定來改善 s3a magic 認可者支援（SPARK-35383）
  • 允許省略 ：在 STRUCT 類型字串中 （SPARK-35706）
  • 新增運算子以區分 AQE 是否可以安全地優化 （SPARK-35786）
  • 附加新的巢狀結構欄位，而不是以 Null 填滿排序 unionByName（SPARK-35290）
  • ArraysZip 應保留功能變數名稱，以避免由分析器/優化器重新撰寫（SPARK-35876）
  • 使用 Void 作為 NullType 的類型名稱（SPARK-36224）
  • 引進新的 API 至 FileCommitProtocol 允許彈性檔案命名（SPARK-33298）

行為變更

請參閱每個元件的移轉指南： Spark Core。

結構化串流

主要功能

  • EventTime 型會話化 （會話視窗）（SPARK-10816）
  • 將 Kafka 用戶端升級至 2.8.0（SPARK-33913）
  • Trigger.AvailableNow 用於在 Scala 中以多個批次執行 Trigger.Once 等串流查詢（SPARK-36533）

其他值得注意的變更

  • 在 Kafka 來源中引進新的選項，以指定每個觸發程式讀取的記錄數目下限（SPARK-35312）
  • 將最新的位移新增至來源進度（SPARK-33955）

PySpark

Project Zen

其他值得注意的變更

  • 預設啟用釘選線程模式（SPARK-35303）
  • 新增箭頭執行的 NullType 支援（SPARK-33489）
  • 將箭頭self_destruct支援新增至Pandas （SPARK-32953）
  • 新增 pyspark 針腳線程模式的線程目標包裝函式 API（SPARK-35498）

行為變更

請參閱移轉指南。

MLlib

效能改善

  • BucketedRandomProjectionLSH 轉換優化（SPARK-34220）
  • w2v findSynonyms 優化（SPARK-34189）
  • 略過系結檢查來優化疏鬆 GEMM（SPARK-35707）
  • 改善 ML ALS recommendForAll by GEMV 的效能（SPARK-33518）

模型定型改善

BLAS 改善

  • 將完全 com.github.fommil.netlib 取代為 dev.ludovic.netlib：2.0（SPARK-35295）
  • 新增向量化的 BLAS 實作（SPARK-33882）
  • 使用 dev.ludovic.netlib 加速後援 BLAS（SPARK-35150）

其他值得注意的變更

  • OVR 轉換修正潛在的數據行衝突（SPARK-34356）

取代和移除

  • 取代 spark.launcher.child 連線 ionTimeout（SPARK-33717）
  • 取代 GROUP BY ... GROUPING SETS （...） 和升級 GROUP BY GROUPING SETS （...）（SPARK-34932）
  • 取代 ps.broadcast API（SPARK-35810）
  • 取代 num_files 自變數（SPARK-35807）
  • 取代DataFrame.to_spark_io（SPARK-35811）

維護更新

請參閱 Databricks Runtime 10.0 維護更新。

系統環境

  • 作業系統：Ubuntu 20.04.3 LTS
  • Java：Zulu 8.56.0.21-CA-linux64
  • Scala：2.12.14
  • Python：3.8.10
  • R：4.1.1
  • Delta Lake：1.0.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
Antergos Linux 2015.10 （ISO-Rolling） appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.3
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 六次 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 自動升級 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

已安裝的 R 連結庫

R 連結庫會從 2021-09-21 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.0 cachem 1.0.6 callr 3.7.0
caret 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
叢集 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.3.1 crayon 1.4.1 credentials 1.3.1
curl 4.3.2 data.table 1.14.0 datasets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 遞減 1.3.0
devtools 2.4.2 diffobj 0.3.4 digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 省略符號 0.3.2
evaluate 0.14 fansi 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
foreign 0.8-81 forge 0.2.0 fs 1.5.0
future 1.22.1 future.apply 1.8.1 漱口 1.2.0
泛型 0.1.0 格特 1.4.1 ggplot2 3.3.5
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globals 0.14.0 glue 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 graphics 4.1.1
grDevices 4.1.1 grid 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 避風港 2.4.3
highr 0.9 hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 針織機 1.34 labeling 0.4.2
later 1.3.0 lattice 0.20-44 Lava 1.6.10
生命週期 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 markdown 1.1 MASS 7.3-54
矩陣 1.3-4 備忘 2.0.0 方法 4.1.1
mgcv 1.8-37 mime 0.11 ModelMetrics 1.2.2.2
modelr 0.1.8 蒙塞爾 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallelly 1.28.1 pillar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 讚美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 進度 1.2.2 progressr 0.8.0
promises 1.2.0.1 proto 1.0.0 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 recipes 0.1.16 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.1
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 晶須 0.4
withr 2.4.2 xfun 0.26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.咖啡因 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink 小 叮噹 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏家 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人-食譜 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structure 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core 澤西-通用 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 墊片 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 閑置 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml 蛇形 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1