Databricks Runtime 5.0 （不支援）

  • 發行項

Databricks 於 2018 年 11 月發行此映射。

下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 5.0 的相關信息。

新功能

  • Delta Lake

    • 子查詢現在在 子句DELETE中WHERE支援和 UPDATE 命令。
    • 命令的新可調整實作 MERGE 。
      • 插入和更新的數目沒有限制。
      • 可用於 SCD 類型 1 和 Type 2 查詢。
      • 可以是在「更新」模式中從串流查詢執行 upsert （例如，將串流匯總輸出寫入 Delta 數據表）。 請參閱使用 MERGE 和 foreachBatch Notebook 將串流匯總寫入 Databricks Delta 中的範例。

  • 結構化串流

    • 以 Azure Blob 記憶體檔案通知為基礎的串流來源。 在 Azure Blob 記憶體中的檔案上執行結構化串流查詢時，這可能會大幅降低清單成本。 此串流來源可以直接讀取檔案事件通知來尋找新檔案，而不是使用清單來尋找新檔案。 請參閱 Azure Blob 記憶體檔案來源與 Azure 佇列 儲存體 （舊版） 。

  • 已新增 TensorBoard 監視深度學習作業的支援。 請參閱 TensorBoard。

改善

  • Delta Lake
    • OPTIMIZE 效能和穩定性。
      • OPTIMIZE命令會儘快認可批次，而不是在結尾認可。
      • 減少平行執行的預設線程 OPTIMIZE 數目。 這是大型數據表的嚴格效能提升。
      • OPTIMIZE在寫入數據分割數據表時，避免不必要的排序數據，以加速寫入。
      • OPTIMIZE ZORDER BY藉由進行累加來加速。 這表示命令現在可避免重寫已經由相同數據行排序的數據檔。 請參閱 Delta Lake 的數據略過。
    • 查詢 Delta 數據表時的快照集隔離。 對 Delta 數據表有多個參考的任何查詢（例如自我聯結），即使數據表有並行更新，也會從相同的數據表快照集讀取。
    • 透過快取驅動程式上的元數據，改善從小型 （< 2000 個檔案） 差異數據表讀取時的查詢延遲。
  • 改善 MLlib 羅吉斯回歸效能。
  • 改善 MLlib 樹狀結構演算法效能。
  • 已升級數個 Java 和 Scala 連結庫。 請參閱已安裝的 Java 和 Scala 連結庫（Scala 2.11 叢集版本）。
  • 已升級一些已安裝的 Python 連結庫：
    • pip：10.0.1 至 18.0
    • setuptools：39.2.0 至 40.4.1
    • 龍捲風：5.0.2 至 5.1.1
  • 已升級數個已安裝的 R 連結庫。 請參閱已安裝的 R 連結 庫。

錯誤修正

  • Delta Lake
    • 在 SQL 中設定的組態現在已正確套用至第一次載入不同筆記本中的 Delta Lake 作業。
    • 已修正命令中的 DELETE Bug，該錯誤會錯誤地刪除條件評估為 Null 的數據列。
    • 在嘗試從檢查點復原時，需要兩天以上的串流來處理初始批次（也就是數據流啟動時數據表中的數據）不再失敗 FileNotFoundException 。
    • 避免載入新數據表時導致 NoClassDefError 的競爭條件。
    • VACUUM修正作業失敗之處，並指出 AssertionError 指出：「不應該在這裡刪除任何絕對路徑」。
    • 已修正 SHOW CREATE TABLE 命令，以不包含Hive產生的記憶體屬性。
  • 針對內部 Spark 類別擲回許多 NoClassDefFoundError 錯誤的執行程式現在會自動重新啟動，以修正問題。

已知問題

  • 即使在啟用不區分大小寫的情況下，在 Delta Lake 中模式選項overwrite中指定的replaceWhere數據行名稱也會區分大小寫（這是預設值）。
  • Databricks Runtime 5.0 的 Snowflake 連接器處於預覽狀態。
  • 如果您在附加至 Databricks Runtime 5.0 叢集的筆記本中取消執行中的串流數據格，除非您清除筆記本狀態或重新啟動叢集，否則您無法在筆記本中執行任何後續命令。 如需因應措施，請參閱 知識庫。

Apache Spark

Databricks Runtime 5.0 包含 Apache Spark 2.4.0。

核心和Spark SQL

注意

本文包含從屬一詞的參考，這是 Azure Databricks 不使用的詞彙。 從軟體中移除該字詞時，我們也會將其從本文中移除。

主要功能

  • 屏障執行模式： [SPARK-24374] 支援排程器中的屏障執行模式，以更好地與深度學習架構整合。
  • Scala 2.12 支援： [SPARK-14220] 新增實驗性 Scala 2.12 支援。 現在您可以使用 Scala 2.12 建置 Spark，並在 Scala 2.12 中撰寫 Spark 應用程式。
  • 高階函式： [SPARK-23899] 新增許多新的內建函式，包括高階函式，讓使用複雜數據類型更容易。 請參閱 Apache Spark 內建函式。
  • 內建 Avro 數據源： [SPARK-24768] 內嵌 Spark-Avro 套件，具有邏輯類型支援、更佳的效能和可用性。

API

效能與穩定性

連接器

PySpark

其他值得注意的變更

程序設計指南： Spark RDD 程式設計指南 和 Spark SQL數據框架和數據集指南。

結構化串流

主要功能

  • [SPARK-24565] 使用 foreachBatch 將每個 microbatch 的輸出數據列公開為 DataFrame（Python、Scala 和 Java）
  • [SPARK-24396] 已新增適用於 foreach 和 ForeachWriter 的 Python API
  • [SPARK-25005] 支援 「kafka.isolation.level」 ，僅讀取使用交易產生者撰寫之 Kafka 主題的認可記錄。

其他值得注意的變更

  • [SPARK-24662] 支援 Append 或 Complete 模式中數據流的 LIMIT 運算元
  • [SPARK-24763] 從串流匯總中的值中移除備援索引鍵數據
  • [SPARK-24156] 使用具狀態作業快速產生輸出結果和/或狀態清除（mapGroupsWithState、串流聯結、串流匯總、串流 dropDuplicates）時沒有輸入數據流中的數據。
  • [SPARK-24730] 支援在查詢中有多個輸入數據流時，選擇最小或最大水位線
  • [SPARK-25399] 已修正從 Microbatch 串流連續處理重複使用執行線程可能會導致正確性問題的錯誤
  • [SPARK-18057] 已將 Kafka 用戶端版本從 0.10.0.1 升級至 2.0.0

程序設計指南： 結構化串流程序設計指南。

MLlib

主要功能

其他值得注意的變更

程序設計指南：機器學習 連結庫 （MLlib） 指南。

SparkR

程序設計指南：SparkR（Spark 上的 R）。

GraphX

  • [SPARK-25268] 執行平行個人化 PageRank 擲回串行化例外狀況

程序設計指南： GraphX 程式設計手冊。

棄用項目

行為變更

  • [SPARK-23549] 比較時間戳與日期時轉換成時間戳
  • [SPARK-24324] pandas 群組對應 UDF 應依名稱指派結果數據行
  • [SPARK-25088] Rest Server 預設值和檔更新
  • [SPARK-23425] 載入具有通配符使用方式之 hdfs 檔案路徑的數據無法正常運作
  • [SPARK-23173] from_json可為標示為不可為 Null 的欄位產生 Null
  • [SPARK-24966] 實作設定作業的優先順序規則
  • [SPARK-25708] 沒有 GROUP BY 的 HAVING 應該是全域匯總
  • [SPARK-24341] 正確處理多重值 IN 子查詢
  • [SPARK-19724] 建立具有存在預設位置的 Managed 數據表應該擲回例外狀況

如需所有行為變更， 請參閱移轉指南 。

已知問題

  • [SPARK-25793] 在 BisectingKMeans 中載入模型錯誤
  • [SPARK-25271] 具有Hive parquet資料表的 CTAS 應利用原生 parquet 來源
  • [SPARK-24935] 從 Spark 2.2 開始執行 Hive UDAF 的問題

維護 更新

請參閱 Databricks Runtime 5.0 維護更新。

系統環境

  • 操作系統：Ubuntu 16.04.5 LTS
  • Java：1.8.0_162
  • Scala：2.11.8
  • Python：適用於 Python 2 叢集的 2.7.12 和 Python 3 叢集的 3.5.2。
  • R：R 3.4.4 版 （2018-03-15）
  • GPU 叢集：已安裝下列 NVIDIA GPU 連結庫：
    • 特斯拉司機 375.66
    • CUDA 9.0
    • cuDNN 7.0

注意

雖然 Apache Spark 2.4 支援 Scala 2.12，但在 Databricks Runtime 5.0 中不支援它。

已安裝的 Python 連結庫

程式庫 版本 程式庫 版本 程式庫 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密碼編譯 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 期貨 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 18.0 層 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 沖刷 0.32 seaborn 0.7.1
setuptools 40.4.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 六次 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

已安裝的 R 連結庫

程式庫 版本 程式庫 版本 程式庫 版本
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 base64enc 0.1-3 BH 1.66.0-1
bindr 0.1.1 bindrcpp 0.2.2 bit 1.1-14
bit64 0.9-7 bitops 1.0-6 blob 1.1.1
boot 1.3-20 brew 1.0-6 broom 0.5.0
callr 3.0.0 汽車 3.0-2 carData 3.0-1
caret 6.0-80 cellranger 1.1.0 chron 2.3-52
class 7.3-14 cli 1.0.0 叢集 2.0.7-1
codetools 0.2-15 colorspace 1.3-2 commonmark 1.5
compiler 3.4.4 crayon 1.3.4 curl 3.2
CVST 0.2-2 data.table 1.11.4 datasets 3.4.4
DBI 1.0.0 ddalpha 1.3.4 DEoptimR 1.0-8
遞減 1.2.0 devtools 1.13.6 digest 0.6.16
dimRed 0.1.0 doMC 1.3.5 dplyr 0.7.6
DRR 0.0.3 fansi 0.3.0 forcats 0.3.0
foreach 1.4.4 foreign 0.8-70 Gbm 2.1.3
幾何 0.3-6 ggplot2 3.0.0 git2r 0.23.0
glmnet 2.0-16 glue 1.3.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 H2o 3.20.0.2
避風港 1.1.2 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-7
iterators 1.0.10 jsonlite 1.5 kernlab 0.9-27
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
Lava 1.6.3 lazyeval 0.2.1 littler 0.3.4
lme4 1.1-18-1 lubridate 1.7.4 魔法 1.5-8
magrittr 1.5 mapproj 1.2.6 maps 3.3.0
maptools 0.9-3 MASS 7.3-50 矩陣 1.2-14
MatrixModels 0.4-1 備忘 1.1.0 方法 3.4.4
mgcv 1.8-24 mime 0.5 minqa 1.2.4
ModelMetrics 1.2.0 蒙塞爾 0.5.0 mvtnorm 1.0-8
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.2 openxlsx 4.1.0
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.3.0
pkgbuild 1.0.0 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.0 plogr 0.2.0 pls 2.7-0
plyr 1.8.4 讚美 1.0.0 prettyunits 1.0.2
pROC 1.12.1 processx 3.2.0 prodlim 2018.04.18
proto 1.0.0 ps 1.1.0 purrr 0.2.5
quantreg 5.36 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.7.0 R6 2.2.2 randomForest 4.6-14
RColorBrewer 1.1-2 Rcpp 0.12.18 RcppEigen 0.3.3.4.0
RcppRoll 0.3.0 RCurl 1.95-4.11 readr 1.1.1
readxl 1.1.0 recipes 0.1.3 rematch 1.0.1
reshape2 1.4.3 力拓 0.5.10 rlang 0.2.2
robustbase 0.93-2 RODBC 1.3-15 roxygen2 6.1.0
rpart 4.1-13 rprojroot 1.3-2 Rserve 1.7-3
RSQLite 2.1.1 rstudioapi 0.7 scales 1.0.0
sfsmisc 1.1-2 sp 1.3-1 SparkR 2.4.0
疏鬆M 1.77 spatial 7.3-11 splines 3.4.4
sqldf 0.4-11 SQUAREM 2017.10-1 statmod 1.4.30
stats 3.4.4 stats4 3.4.4 stringi 1.2.4
stringr 1.3.1 survival 2.42-6 tcltk 3.4.4
TeachingDemos 2.10 testthat 2.0.0 tibble 1.4.2
tidyr 0.8.1 tidyselect 0.2.4 timeDate 3043.102
tools 3.4.4 utf8 1.1.4 utils 3.4.4
viridisLite 0.3.0 晶須 0.3-2 withr 2.1.2
xml2 1.2.0 zip 1.0.0

已安裝的 Java 和 Scala 連結庫 （Scala 2.11 叢集版本）

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db7-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db7-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlet 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 收藏家 0.7
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人-食譜 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy 常春藤 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1-databricks2
org.apache.parquet parquet-common 1.10.1-databricks2
org.apache.parquet parquet-encoding 1.10.1-databricks2
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks2
org.apache.parquet parquet-jackson 1.10.1-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.9
org.codehaus.janino janino 3.0.9
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged 澤西-瓜瓦 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core 澤西-通用 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark 閑置 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml 蛇形 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52