Databricks Runtime 4.0 （不支援）

  • 發行項

Databricks 于 2018 年 3 月發行此映射。

重要

此版本已于 2018 年 11 月 1 日淘汰。 如需 Databricks 執行時間淘汰原則和排程的詳細資訊，請參閱 Databricks 執行時間支援生命週期 。

下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 4.0 的相關資訊。

變更和改善

  • JSON 資料來源現在會嘗試自動偵測編碼，而不是假設它是 UTF-8。 如果自動偵測失敗，使用者可以指定 charset 選項來強制執行特定編碼。 請參閱 Charset 自動偵測 。
  • 完全支援在結構化串流中使用 Spark MLlib 管線進行評分和預測。
  • 完全支援 Databricks ML 模型匯出。 透過這項功能，您可以在 Databricks 上定型 Spark MLlib 模型、使用函式呼叫匯出它，並在您選擇的系統中使用 Databricks 程式庫來匯入模型並評分新資料。
  • 新的 Spark 資料來源實作提供可調整的 Azure Synapse Analytics 讀取/寫入存取權。 請參閱 Spark - Synapse Analytics 連線or 。
  • 函式的 from_json 架構現在一律會轉換成可為 Null 的架構。 換句話說，所有欄位，包括巢狀欄位，都是可為 Null 的。 這可確保資料與架構相容，在資料中遺漏欄位且使用者提供的架構將欄位宣告為不可為 Null 時，將資料寫入 parquet 之後，防止損毀。
  • 已升級一些已安裝的 Python 程式庫：
    • 期貨：從 3.1.1 到 3.2.0
    • pandas：從 0.18.1 到 0.19.2
    • pyarrow：從 0.4.1 到 0.8.0
    • setuptools：從 38.2.3 到 38.5.1
    • 龍捲風：4.5.2 至 4.5.3
  • 已升級數個已安裝的 R 程式庫。 請參閱已安裝的 R 連結 庫 。
  • 已將 AWS JAVA SDK 從 1.11.126 升級至 1.11.253。
  • 已將 SQL Server JDBC 驅動程式從 6.1.0.jre8 升級為 6.2.2.jre8。
  • 已將 PostgreSQL JDBC 驅動程式從 9.4-1204-jdbc41 升級為 42.1.4。

Apache Spark

Databricks Runtime 4.0 包含 Apache Spark 2.3.0。

Core、PySpark 和 Spark SQL

主要功能

  • 向量化 ORC 讀取器： [SPARK-16060] ：新增對新的 ORC 讀取 器的支援，可大幅改善 ORC 掃描輸送量，透過向量化 （2-5x）。 若要啟用讀取器，使用者可以將 設定 spark.sql.orc.impl 為 native 。
  • Spark 歷程記錄伺服器 V2 ： [SPARK-18085] ：新的 Spark 歷程記錄伺服器 （SHS） 後端，可為具有更有效率的事件儲存機制，為大規模應用程式提供更好的延展性。
  • 資料來源 API V2 ： [SPARK-15689] [SPARK-22386] ：用於在 Spark 中插入新資料來源的實驗 API。 新的 API 會嘗試解決 V1 API 的數個限制，並旨在協助開發高效能、易於維護且可延伸的外部資料源。 此 API 仍在進行中開發，且應該預期重大變更。
  • PySpark 效能增強功能 ： [SPARK-22216] [SPARK-21187] ：快速資料序列化和向量化執行大幅改善 Python 效能和互通性。

效能與穩定性

其他值得注意的變更

程式設計指南： Spark RDD 程式設計指南 和 Spark SQL 資料框架和資料集指南 。

結構化串流

連續處理

  • 新的執行引擎，只要變更一行使用者程式碼，即可使用子毫秒端對端延遲來執行串流查詢。 若要深入瞭解，請參閱程式設計指南。

Stream-Stream 聯結

  • 能夠聯結兩個數據流，緩衝資料列直到相符的 Tuple 到達另一個資料流程為止。 述詞可用於事件時間資料行，以系結需要保留的狀態數量。

串流 API V2

  • 用於插入適用于批次、微批次和連續執行之新來源和接收的實驗 API。 此 API 仍在進行中開發，且應該預期重大變更。

程式設計指南： 結構化串流程式設計指南 。

MLlib

重點

  • ML 預測現在可搭配結構化串流使用，並使用更新的 API。 詳細資料如下。

新的和改良的 API

  • [SPARK-21866] ：內建支援將影像讀取到資料框架（Scala/JAVA/Python）。
  • [SPARK-19634] ：資料框架函式，用於對向量資料行的描述性摘要統計資料（Scala/JAVA）。
  • [SPARK-14516] ： ClusteringEvaluator 用於微調群集演算法，支援 Cosine 剪影和方形的 Euclidean 剪影計量 （Scala/JAVA/Python）。
  • [SPARK-3181] ：具有中樞遺失的強固線性回歸（Scala/JAVA/Python）。
  • [SPARK-13969] ： FeatureHasher 轉換器（Scala/JAVA/Python）。
  • 多個功能轉換器的多欄支援：
  • [SPARK-21633] 和 SPARK-21542 ]：已改善 Python 中自訂管線元件的支援。

新功能

  • [SPARK-21087] ： CrossValidator 和 TrainValidationSplit 可以在調整時收集所有模型（Scala/JAVA）。 這可讓您檢查或儲存所有適合的模型。
  • [SPARK-19357] ：中繼演算法 CrossValidator 、 TrainValidationSplit 支援 OneVsRest 平行處理原則 Param，以在平行 Spark 作業中調整多個子模型。
  • [SPARK-17139] ：多項羅吉斯回歸的模型摘要（Scala/JAVA/Python）
  • [SPARK-18710] ：在 GLM 中新增位移。
  • [SPARK-20199] ：已將 Param 新增 featureSubsetStrategy 至 GBTClassifier 和 GBTRegressor 。 使用此功能來子取樣功能可以大幅提升訓練速度;這個選項是 的主要 xgboost 強度。

其他值得注意的變更

  • [SPARK-22156] ：已修正 Word2Vec 反復 num 專案的學習速率調整。 新的學習速率會設定為符合原始 Word2Vec C 程式碼，而且應該從定型取得更好的結果。
  • [SPARK-22289] ：新增 JSON 對矩陣參數的支援（這已修正在係數上使用界限時使用 ML 持續性 LogisticRegressionModel 的 Bug。
  • [SPARK-22700] ： Bucketizer.transform 不正確地卸載包含 NaN 的資料列。 當 Param handleInvalid 設定為 「skip」 Bucketizer 時，如果另一個 （不相關） 資料行具有 NaN 值，則會卸載輸入資料行中具有有效值的資料列。
  • [SPARK-22446] ：當設定為 「錯誤」時 handleInvalid ，催化劑優化器有時會擲 StringIndexerModel 回不正確的「看不見標籤」例外狀況。 由於述詞下推，所以篩選的資料可能會發生這種情況，即使在輸入資料集篩選了不正確資料列之後，也會導致錯誤。
  • [SPARK-21681] ：修正了多項羅吉斯回歸的邊緣案例 Bug，當某些特徵具有零變異數時，導致係數不正確。
  • 主要優化：
    • [SPARK-22707] ：減少 的 CrossValidator 記憶體耗用量。
    • [SPARK-22949] ：減少 的 TrainValidationSplit 記憶體耗用量。
    • [SPARK-21690] ： Imputer 應該使用單一傳遞資料來定型。
    • [SPARK-14371] ： OnlineLDAOptimizer 避免針對每個迷你批次收集驅動程式的統計資料。

程式設計指南： 機器學習程式庫 （MLlib） 指南 。

SparkR

2.3.0 版本中 SparkR 的主要重點是改善 UDF 的穩定性，並在現有 API 周圍新增數個新的 SparkR 包裝函式：

主要功能

程式設計指南： SparkR（Spark 上的 R）。

GraphX

優化

程式設計指南： GraphX 程式設計手冊 。

棄用項目

Python

  • [SPARK-23122] ： register* 在 PySpark 中 SQLContext 取代 Catalog UDF

MLlib

  • [SPARK-13030] ： OneHotEncoder 已被取代，並將在 3.0 中移除。 它已由新的 OneHotEncoderEstimator 取代。 OneHotEncoderEstimator 將在 3.0 中重新命名為 OneHotEncoder （但 OneHotEncoderEstimator 會保留為別名）。

行為變更

SparkSQL

  • [SPARK-22036] ：如果不可能確切標記法，小數點之間的算數運算預設會傳回舍入值（而不是在舊版中傳回 NULL ）
  • [SPARK-22937] ：當所有輸入都是二進位時，SQL elt() 會以二進位形式傳回輸出。 否則，它會以字串的形式傳回。 在舊版中，不論輸入類型為何，它一律會以字串的形式傳回。
  • [SPARK-22895] ：如果可能的話，聯結/篩選在第一個不具決定性述詞之後的聯結/篩選準則述詞也會向下推入/通過子運算子。 在舊版中，這些篩選準則不符合述詞下推的資格。
  • [SPARK-22771] ：當所有輸入都是二進位時， functions.concat() 會以二進位形式傳回輸出。 否則，它會以字串的形式傳回。 在舊版中，不論輸入類型為何，它一律會以字串的形式傳回。
  • [SPARK-22489] ：當任一聯結端可廣播時，我們偏好廣播在廣播提示中明確指定的資料表。
  • [SPARK-22165] ：資料分割資料行推斷先前發現不同推斷類型的常見類型不正確。 例如，先前它最後會以 double 類型做為類型和 date 類型的一般類型 double 。 現在它會找到這類衝突的正確常見類型。 如需詳細資訊，請參閱移轉指南。
  • [SPARK-22100] ：函 percentile_approx 式先前接受 numeric 類型輸入和輸出 double 的類型結果。 現在它支援 date 類型、 timestamp 類型和 numeric 類型作為輸入類型。 結果類型也會變更為與輸入類型相同，這比百分位數更合理。
  • [SPARK-21610] ：當參考的資料行只包含內部損毀的記錄資料行時，不允許來自原始 JSON/CSV 檔案的查詢（預設命名 _corrupt_record ）。 相反地，您可以快取或儲存剖析的結果，然後傳送相同的查詢。
  • [SPARK-23421] ：由於 Spark 2.2.1 和 2.3.0，當資料來源資料表同時有資料分割架構和資料架構中的資料行時，一律會在執行時間推斷架構。 推斷的架構沒有資料分割的資料行。 讀取資料表時，Spark 會遵守這些重迭資料行的資料分割值，而不是儲存在資料來源檔案中的值。 在 2.2.0 和 2.1.x 版本中，推斷的架構會分割，但使用者看不到資料表的資料（也就是結果集是空的）。

PySpark

  • [SPARK-19732] ： na.fill() 或 fillna 也接受布林值，並以布林值取代 Null。 在先前的 Spark 版本中，PySpark 只會忽略它，並傳回原始的資料集/資料框架。
  • [SPARK-22395] ：使用 pandas 相關功能需要 pandas 0.19.2 或 uppers，例如 toPandas ， createDataFrame 從 pandas DataFrame 等。
  • [SPARK-22395] ：pandas 相關功能的時間戳記值行為已變更為遵守會話時區，在舊版中會忽略。
  • [SPARK-23328] ： df.replace 當 不是字典時 to_replace ，不允許省略 value 。 先前， value 在其他情況下可以省略，且預設為 None ，這是反直覺式且容易出錯的情況。

MLlib

  • 重大 API 變更 ：羅吉斯回歸模型摘要的類別和特徵階層已變更為更簡潔且更能配合多類別摘要的新增。 這是將 轉換成 LogisticRegressionTrainingSummaryBinaryLogisticRegressionTrainingSummary 的使用者程式碼的重大變更。 使用者應該改用 model.binarySummary 方法。 如需詳細資訊，請參閱 [SPARK-17139] ：如需詳細資訊（請注意這是 API @Experimental ）。 這不會影響 Python 摘要方法，這仍然適用于多項式和二進位案例。
  • [SPARK-21806] ： BinaryClassificationMetrics.pr() 第一個點 （0.0， 1.0） 具有誤導性，而且已被 （0.0， p） 取代，其中精確度 p 符合最低的召回點。
  • [SPARK-16957] ：決策樹現在會在選擇分割值時使用加權中點。 這可能會變更模型定型的結果。
  • [SPARK-14657] ： RFormula 在沒有攔截的情況下，現在會在編碼字串詞彙時輸出參考類別，以符合原生 R 行為。 這可能會變更模型定型的結果。
  • [SPARK-21027] ：中使用的 OneVsRest 預設平行處理原則現在設定為 1（亦即序列）。 在 2.2 和舊版中，平行處理原則的層級設定為 Scala 中的預設執行緒集區大小。 這可能會變更效能。
  • [SPARK-21523] ：將微風升級至 0.13.2 。 這包括強式沃爾夫行搜尋 L-BFGS 中的重要 Bug 修正。
  • [SPARK-15526] ：JPMML 相依性現在已著色。
  • 另請參閱「錯誤修正」一節，以瞭解因修正錯誤而產生的行為變更。

已知問題

維護更新

請參閱 Databricks Runtime 4.0 維護更新 。

系統環境

  • 作業系統 ：Ubuntu 16.04.4 LTS
  • JAVA ：1.8.0_151
  • Scala ：2.11.8
  • Python ：2.7.12（如果使用 Python 3，則為 3.5.2）
  • R ：R 3.4.3 版 （2017-11-30）
  • GPU 叢集 ：已安裝下列 NVIDIA GPU 程式庫：
    • 特斯拉司機 375.66
    • CUDA 8.0
    • CUDNN 6.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密碼編譯 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 期貨 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 9.0.1 層 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 沖刷 0.32 seaborn 0.7.1
setuptools 38.5.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 六次 1.10.0 statsmodels 0.6.1
tornado 4.5.3 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.30.0
wsgiref 0.1.2

Installed R libraries

程式庫 版本 程式庫 版本 程式庫 版本
abind 1.4-5 assertthat 0.2.0 backports 1.1.1
base 3.4.3 BH 1.65.0-1 bindr 0.1
bindrcpp 0.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.0 boot 1.3-20
brew 1.0-6 broom 0.4.3 汽車 2.1-6
caret 6.0-77 chron 2.3-51 class 7.3-14
叢集 2.0.6 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.3 crayon 1.3.4
curl 3.0 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.3 DBI 0.7 ddAlpha 1.3.1
DEoptimR 1.0-8 遞減 1.1.1 devtools 1.13.4
dichromat 2.0-0 digest 0.6.12 dimRed 0.1.0
doMC 1.3.4 dplyr 0.7.4 DRR 0.0.2
foreach 1.4.3 foreign 0.8-69 Gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
glue 1.2.0 gower 0.1.2 graphics 3.4.3
grDevices 3.4.3 grid 3.4.3 gsubfn 0.6-6
gtable 0.2.0 H2o 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.8 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
Lava 1.5.1 lazyeval 0.2.1 littler 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
mapproj 1.2-5 maps 3.2.0 MASS 7.3-48
矩陣 1.2-11 MatrixModels 0.4-1 備忘 1.1.0
方法 3.4.3 mgcv 1.8-23 mime 0.5
minqa 1.2.4 mnormt 1.5-5 ModelMetrics 1.1.0
蒙塞爾 0.4.3 mvtnorm 1.0-6 nlme 3.1-131
nloptr 1.0.4 nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 讚美 1.0.0 pROC 1.10.0
prodlim 1.6.1 proto 1.0.0 psych 1.7.8
purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 RColorBrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
recipes 0.1.1 reshape2 1.4.2 rlang 0.1.4
robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0.7 scales 0.5.0
sfsmisc 1.1-1 sp 1.2-5 SparkR 2.3.0
疏鬆M 1.77 spatial 7.3-11 splines 3.4.3
sqldf 0.4-11 statmod 1.4.30 stats 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
survival 2.41-3 tcltk 3.4.3 TeachingDemos 2.10
testthat 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 timeDate 3042.101 tools 3.4.3
utils 3.4.3 viridisLite 0.2.0 晶 須 0.3-2
withr 2.1.0 xml2 1.1.1

已安裝的 JAVA 和 Scala 程式庫 （Scala 2.11 叢集版本）

群組識別碼 成品識別碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws aws-java-sdk-support 1.11.253
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JAVAEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-HTTPclient commons-HTTPclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlet 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 收藏家 0.7
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人-食譜 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.HTTPcomponents HTTPclient 4.5.4
org.apache.HTTPcomponents HTTPcore 4.4.8
org.apache.ivy 常春藤 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-HTTP 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged 澤西-瓜瓦 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core 澤西-通用 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark 閒置 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml 蛇形 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52