共用方式為

Databricks Runtime 8.4 （不支援）

  • 發行項

下列版本資訊提供由 Apache Spark 3.1.2 提供之 Databricks Runtime 8.4 和 Databricks Runtime 8.4 Photon 的相關信息。 Databricks 於 2021 年 7 月發行了這些映射。 Photon 處於 公開預覽狀態。

新功能和改善

Delta Lake 功能和改善

差異資料表變更資料摘要 （GA）

Delta 數據表變更數據摘要現已正式推出。 它代表不同數據表版本之間的數據列層級變更。 啟用時，會記錄有關數據表上每個寫入作業之數據列層級變更的其他資訊。 請參閱 在 Azure Databricks 上使用 Delta Lake 變更數據摘要。

使用 Databricks Runtime 輕鬆地載入共用的 Delta 數據表

Delta Sharing 0.1.0 的 Apache Spark 連線 or 現在位於 Databricks Runtime 中。 您可以直接使用 spark.read.format("deltaSharing").load(uri) 載入共享資料表，而不需將 Delta Sharing Spark 連接器連結至您的叢集。

更多數據表受益於動態檔案剪除

動態檔案剪除功能已調整為在具有較少檔案的數據表上觸發。 請參閱 動態檔案剪除。

使用自動目標檔案大小微調來提升效能

Delta 資料表的目標檔案大小現在會根據數據表大小自動調整。 先前，和 OPTIMIZE ZORDER BY 的目標檔案大小OPTIMIZE是 1GB。 使用以數據表大小為基礎的自動調整，達達數據表最多 2.56TB 會使用 256MB 作為目標大小。 大於 10TB 的數據表會像以前一樣使用 1GB。 這些大小之間的數據表會使用與數據表大小成正比成長的目標大小。 請參閱 設定 Delta Lake 來控制資料檔案大小。

在中指定數據表的更多方式 DeltaTable.forName

DeltaTable.forName 現在支援使用 delta.`<path>` 來識別數據表。

強固的串流多數據表寫入使用 foreachBatch

現在支援命令內的 foreachBatch() 等冪差異串流寫入。 如需詳細資訊，請參閱 等冪多數據表寫入。

已改善特定工作負載中的讀取查詢效能，因為已微調的檢查點

Delta Lake 現在會調整其執行增強檢查點的頻率。 Delta 現在會根據特定事件觸發程式動態調整檢查點頻率，而不是以固定間隔進行檢查點檢查。 這可改善無法套用某些數據略過優化之工作負載中的讀取查詢效能。 若要使用這些優化，請將寫入 Delta Lake 的作業升級至 Databricks Runtime 8.4。 請參閱 啟用結構化串流查詢的增強檢查點。

建立 GroupState 以測試使用者定義的結構化串流函式

到目前為止，只有結構化串流引擎可以建立的 GroupState實例。 因此，任何使用者定義函式的單元測試都需要在 Apache Spark 中執行串流查詢。

現在您可以使用 來建立的GroupStateTestGroupState.create(…)實例。 這可讓您在不需要執行 Spark 的簡單單元測試中測試使用者定義的函式。 請參閱 測試 mapGroupsWithState 更新函式。 具體來說，它會產生 類型的 TestGroupState 實例，其會使用其他方法來擴充 介面 GroupState ，以在套用使用者定義函式之後反省內部狀態。

自動載入器功能和改善

設定回填以擷取遺漏的檔案

自動載入器現在支援以異步方式執行回填，以擷取任何可能遺漏檔案通知的檔案。 檔案儲存系統和通知系統無法保證所有檔案事件的 100% 傳遞。 因此，Databricks 建議啟用定期回填，以使用自動載入器擷取所有數據。 cloudFiles.backfillInterval使用 選項來排程定期回填數據。 請參閱 常見的自動載入器選項。

大型磁碟區數據流的系結記憶體使用量

您現在可以將自動載入器設定為過期，並移除 RocksDB 中的專案，使其儲存空間系結在檢查點位置。 除非您以每小時數百萬個檔案的順序擷取數據，否則不建議您使用 Databricks。 設定此選項不正確或嘗試微調，可能會導致許多數據質量問題，例如未處理的檔案被忽略或重複某些檔案，而不是只處理一次。 如需詳細資訊，請參閱 事件保留。

使用無路徑支援簡化的設定

S3 貯體

您現在可以提供 SQS 佇列，以接收來自多個路徑或 S3 貯體的事件。 如果您提供 SQS 佇列 URL， path 則此使用案例不需要選項。 自動載入器會使用 S3 事件中的貯體和索引鍵來建構 S3 路徑。 如果您想要透過 DBFS 裝入點讀取檔案，您可以使用 cloudFiles.pathRewrites 將路徑前置詞變更為 DBFS。 除非您使用 存取不同帳戶 AssumeRole中的數據，否則不需要此專案。

請參閱 檔案通知選項。

Azure Data Lake 儲存體 Gen2 容器

您現在可以提供從多個容器接收事件的 Azure 佇列。 如果您提供 Azure 佇列名稱， path 則不需要選項。 根據預設，自動載入器會使用檔案事件中的容器和索引鍵，建構 Azure Data Lake 儲存體 Gen2 路徑。 如果您想要使用 WASB 路徑或 DBFS 裝入點，您可以使用 cloudFiles.pathRewrites 來變更路徑前置詞。

請參閱 檔案通知選項。

連線 or 升級

  • Snowflake Spark 連接器已更新為 v2.9.0。
  • Redshift 連接器的 語句現在支援 UNLOAD KMS 加密。

錯誤修正

  • 已修正使用數據表訪問控制啟用的叢集問題，即使使用者沒有檔案訪問許可權，也可以 select * from folder 顯示資料夾內容。
  • 非系統管理員資料庫擁有者現在可以卸除資料庫中的非擁有數據表。 這會修正資料庫擁有者在資料庫中不存在非擁有數據表時，無法卸除資料庫的問題。

連結庫升級

  • 升級的 Python 連結庫：
    • 認證從 2020.12.5 升級至 2021.5.30
    • 從 0.3.1 升級至 0.3.2
    • koalas 從 1.8.0 升級至 1.8.1
    • protobuf 從 3.17.0 升級至 3.17.3
  • 升級的 R 連結庫：
    • base 從 4.0.4 到 4.1.0
    • 從 1.3-27 開機到 1.3-28
    • 類別從 7.3-18 到 7.3-19
    • 從 2.1.1 到 2.1.2 的叢集
    • 編譯程式從 4.0.4 到 4.1.0
    • 從 4.0.4 到 4.1.0 的數據集
    • 從 4.0.4 到 4.1.0 的圖形
    • grDevices 從 4.0.4 到 4.1.0
    • 從 4.0.4 到 4.1.0 的方格
    • 從 2.23-18 到 2.23-20 的 KernSmooth
    • 從 0.20-41 到 0.20-44 的格子
    • MASS 從 7.3-53.1 到 7.3-54
    • 從 1.3-2 到 1.3-3 的矩陣
    • 從 4.0.4 到 4.1.0 的方法
    • mgcv 從 1.8-33 到 1.8-35
    • nnet 從 7.3-15 到 7.3-16
    • 平行從 4.0.4 到 4.1.0
    • 從 1.8-7 到 1.8-8 的 Rserve
    • 從 3.1.1 到 3.1.2 的 SparkR
    • 從 4.0.4 到 4.1.0 的曲線
    • 從 4.0.4 到 4.1.0 的統計數據
    • stats4 從 4.0.4 到 4.1.0
    • 從 3.2-7 到 3.2-11 的生存
    • tcltk 從 4.0.4 到 4.1.0
    • 從 4.0.4 到 4.1.0 的工具
    • utils from 4.0.4 to 4.1.0
  • 升級的 Java 連結庫：
    • snowflake-jdbc 從 3.12.8 到 3.13.3
    • spark-snowflake_2.12，從 2.8.1-spark_3.0 到 2.9.0-spark_3.1
    • 從 0.9.0 到 0.9.14 的咆哮Bitmap
    • 填充碼從 0.9.0 到 0.9.14
    • rocksdbjni fromm 6.2.2 to 6.20.3

Apache Spark

Databricks Runtime 8.4 包含 Apache Spark 3.1.2。 此版本包含 Databricks Runtime 8.3 中所包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

  • [SPARK-35792] [SQL]檢視不應該擷取中使用的設定 RelationConversions
  • [SPARK-35700] [SQL]讀取由外部系統建立和寫入的char/varchar orc資料表
  • [SPARK-35636] [SQL]Lambda 索引鍵不應在 Lambda 函式外部參考
  • [SPARK-35800] [櫻桃選擇]藉由介紹 TestGroupState 來改善 GroupState 測試性
  • [SPARK-35391] 修正 ExecutorAllocationListener 中的記憶體流失
  • [SPARK-35799][CherryPick]修正 FlatMapGroupsWithStateExec 中測量 all 更新 TimeMs 計量
  • [SPARK-35763] [SS]拿掉 StateStoreCustomMetric 子類別列舉相依性
  • [SPARK-35791 [SQL] 針對 NULL 感知 ANTI 聯結正確發行進行中對應
  • [SPARK-35695] [SQL]從快取和自適性執行子樹收集觀察到的計量
  • [SPARK-35767] [SQL]避免在 CoalesceExec 中執行子計劃兩次
  • [SPARK-35746] [UI]修正階段頁面工作事件時程表中的 taskid
  • [SPARK-35673] [SQL]修正子查詢中使用者定義的提示和無法辨識的提示。
  • [SPARK-35714] [CORE]在執行程式關機期間修正死結的錯誤
  • [SPARK-35689] [SS]當 keyWithIndexToValue 傳回 Null 值時新增記錄警告
  • [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint 不應該在更新期間忽略僅限索引的隨機檔案
  • [SPARK-35643] [PYTHON]修正 functions.py 資料行中的模棱兩可參考（）
  • [SPARK-35652] [SQL] joinWith 上產生自相同數據表的兩個數據表
  • [SPARK-35679] [SQL] instantToMicros 溢位
  • [SPARK-35602] [SS]更新狀態架構以接受長長度 JSON
  • [SPARK-35653] [SQL]修正 Map 的 CatalystToExternalMap 解譯路徑失敗，且案例類別為索引鍵或值
  • [SPARK-35296] [SQL]即使工作中的 CollectMetricsExec 處理多個分割區，也允許 Dataset.觀察運作。
  • [SPARK-35659] [SS]避免將 Null 寫入 StateStore
  • [SPARK-35665] [SQL]解決 CollectMetrics 中未解決的Alias
  • [SPARK-35558] 優化多分位數擷取
  • [SPARK-35621] [SQL]將規則標識碼剪除新增至 TypeCoercion 規則
  • [SPARK-35077] [SQL]移轉至轉換針對剩餘優化器規則進行轉換WithPruning
  • [SPARK-35610] [CORE]修正執行程式停止關機攔截所引進的記憶體流失
  • [SPARK-35544] [SQL]將樹狀結構模式剪除新增至分析器規則
  • [SPARK-35566] [SS]修正 StateStoreRestoreExec 輸出數據列
  • [SPARK-35454] [SQL][3.1] One LogicalPlan 可以比對多個數據集標識碼
  • [SPARK-35538] [SQL]移轉 transformAllExpressions 呼叫月臺以使用 transformAllExpressionsWithPruning
  • [SPARK-35106] [Core][SQL]避免因為目的地目錄不存在而導致的重新命名失敗
  • [SPARK-35287] [SQL]允許 RemoveRedundantProjects 保留 ProjectExec，這會產生 DataSourceV2ScanRelation 的 UnsafeRow
  • [SPARK-35495] [R] 變更 CRAN 的 SparkR 維護工具
  • [SPARK-27991] [CORE]延遲 Netty OOM 上的擷取要求
  • [SPARK-35171] [R] 將 Markdown 套件宣告為 SparkR 套件的相依性
  • [SPARK-35454] [SQL]一個 LogicalPlan 可以比對多個數據集標識碼
  • [SPARK-35298] [SQL]移轉至 Optimizer.scala 中規則的 transformWithPruning
  • [SPARK-35480] [SQL]讓percentile_approx使用樞紐
  • [SPARK-35093] [SQL]AQE 現在使用 newQueryStage 方案作為查詢快取交換以供重複使用的密鑰
  • [SPARK-35146] [SQL]移轉至 transformWithPruning 或 resolveWithPruning，以取得 finishAnalysis.scala 中的規則
  • [SPARK-35411] [SQL]將 TreeNode 串行化為 json 時新增基本資訊
  • [SPARK-35294] [SQL]在優化器下，使用專用檔案在規則中新增樹狀結構周遊剪除
  • [SPARK-34897] [SQL][3.1] 支援在巢狀數據行剪除之後根據索引協調架構
  • [SPARK-35144] [SQL]移轉至轉換物件規則的 TransformWithPruning
  • [SPARK-35155] [SQL]將規則識別碼剪除新增至分析器規則
  • [SPARK-35382] [PYTHON]修正 Python API 中巢狀 DataFrame 函式中的 Lambda 變數名稱問題。
  • [SPARK-35359] [SQL]當數據長度超過長度限制時，使用 char/varchar 數據類型插入數據將會失敗
  • [SPARK-35381] [R] 修正 R API 中巢狀較高順序函式中的 Lambda 變數名稱問題

系統環境

  • 操作系統：Ubuntu 18.04.5 LTS
  • Java：Zulu 8.54.0.21-CA-linux64
  • Scala：2.12.10
  • Python：3.8.8
  • R： 4.1.0 （2021-05-18）
  • Delta Lake 1.0.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30 cffi 1.14.3 chardet 3.0.4
密碼編譯 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.2 docutils 0.15.2
entrypoints 0.3 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 koalas 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
requests 2.24.0 retrying 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 六次 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wheel 0.35.1

已安裝的 R 連結庫

R 連結庫會從 2020-11-02 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 叢集 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
串 擾 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
遞減 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
省略符號 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 泛型 0.1.0
格特 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 避風港 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 針織機 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-44
Lava 1.6.8.1 lazyeval 0.2.2 生命週期 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 矩陣 1.3-3
備忘 1.1.0 方法 4.1.0 mgcv 1.8-35
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
蒙塞爾 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 讚美 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
進度 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 晶須 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.咖啡因 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏家 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人-食譜 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core 澤西-通用 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 墊片 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 閑置 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml 蛇形 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52