Databricks Runtime 6.3 （不支援）

  • 發行項

Databricks 於 2020 年 1 月發行了這張照片。

下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 6.3 的相關信息。

新功能

Delta Lake

此版本引進改良的並行存取。 主要功能包括：

  • 已改善所有 Delta Lake 作業的並行 - 您現在可以同時執行更多 Delta Lake 作業。 Delta Lake 的開放式並行控制已改善，可讓衝突偵測更精細。 這可讓您更輕鬆地在 Delta 數據表上執行複雜的工作流程。 例如：

    • 在較新的分割區附加時，同時在較舊的分割區上執行刪除 （例如 GDPR 合規性）。
    • 在脫離的數據分割集上同時執行更新和合併。
    • 同時執行檔案壓縮與附加。

    請參閱 Azure Databricks 上的隔離等級和寫入衝突。

  • 改善檔案壓縮的支援 - 您現在可以透過將 選項dataChange重寫false為 來壓縮DataFrameWriter檔案。 此選項可讓壓縮作業與其他批次和串流作業同時執行。 如需詳細資訊，請參閱 壓縮檔 。

  • 改善僅限插入合併的效能 - Delta Lake 現在為只有 insert 子句且沒有更新子句的合併作業提供更優化的效能。 此外，Delta Lake 可確保從這類僅限插入的合併寫入只會將新數據附加至數據表。 因此，您現在可以使用結構化串流和僅插入合併來執行連續重複數據刪除（例如記錄）。 如需詳細資訊，請參閱 寫入 Delta 資料表 時重複資料刪除。

新增其他埠以在啟用進程隔離時允許清單

注意

本文包含字詞白名單的參考，這是 Azure Databricks 未使用的字詞。 從軟體中移除該字詞時，我們也會將其從本文中移除。

當您在叢集上啟用資料表 ACL 或認證傳遞之類的安全性功能時，您現在可以指定其他輸出埠，讓 Python 進程能夠存取，方法是將 Spark 組態spark.databricks.pyspark.iptable.outbound.whitelisted.ports設定為允許的埠。 組態值支援的格式為 [port[:port][,port[:port]]...]，例如： 21,22,9000:9999。 埠必須位於有效範圍內，也就是 0-65535。

停用 Scala 作業的作業輸出

作業輸出，例如發出至 stdout 的記錄輸出，受限於 20 MB 的大小限制。 您可以將 Spark true組態設為 spark.databricks.driver.disableScalaOutput ，以防止從驅動程式傳回至 Azure Databricks 的 stdout。 旗標可控制 Scala JAR 作業和 Scala 筆記本的數據格輸出。 請參閱 JAR 作業的輸出大小限制。

Azure Databricks Notebook 中現在支持的內嵌 Matplotlib 數據 （公開預覽）

您現在可以自動顯示 Matplotlib 圖形，而不需要將圖形傳遞至 display 方法。 如需詳細資訊，請參閱 Matplotlib。

新增至 Azure Synapse Analytics 的新參數

參數 applicationName 預設會設定為 Databricks-User-Query。 預設值可防止 Azure DB 監視工具針對查詢引發虛假的 SQL 插入式警示。 如果未指定或值是空字串，則標記的預設值會新增至 JDBC URL。 請參閱 Azure Databricks Synapse 連接器選項參考。

改善

  • shutil.copytree 現在適用於 /dbfs。
  • 在高併行模式叢集上執行結構化串流生產作業時，作業的重新啟動偶爾會失敗，因為先前執行的作業未正確終止。 若要確保先前的執行停止，請在叢集上設定 SQL 組態 spark.sql.streaming.stopActiveRunOnRestart true 。 如果無法正確停止數據流，則會在15秒內擲回逾時例外狀況。 在此情況下，建議您重新啟動叢集。
  • 已升級數個已安裝的 R 連結庫。 請參閱已安裝的 R 連結 庫。

Apache Spark

Databricks Runtime 6.3 包含 Apache Spark 2.4.4。 此版本包含 Databricks Runtime 6.2 中所包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

  • [SPARK-30198][CORE]BytesToBytesMap 不會如預期般成長內部長陣列
  • [SPARK-29918][SQL]RecordBinaryComparator 應該在比較 long 時檢查 endianness
  • [SPARK-30274][CORE]當保留索引鍵達到最大容量時，請避免 BytesToBytesMap 查閱停止回應
  • [SPARK-25392][CORE][WEBUI]從歷程記錄伺服器存取集區頁面時，防止錯誤頁面
  • [SPARK-30263][CORE]請勿在spark-submit 中記錄非Spark屬性的潛在敏感性值
  • [SPARK-28637][SQL]Thriftserver 支援間隔類型
  • [SPARK-30238][SQL] Hive 資料分割剪除只能支援字串和整數類型
  • [SPARK-30198][CORE]BytesToBytesMap 不會如預期般成長內部長陣列
  • [SPARK-24666][ML] 修正 Word2Vec 在 numIterations 很大時所產生的無限向量
  • [SPARK-30129][CORE]在成功驗證之後，在 TransportClient 中設定客戶端的標識碼
  • [SPARK-30050][SQL] 分析數據表並重新命名數據表不應清除Hive數據表貯體資訊
  • [SPARK-28152][SQL]MsSqlServerDialect 將 ShortType 對應至 SMALLINT，並將 FloatType 對應至 REAL
  • [SPARK-29971][CORE]修正中的緩衝區流失 TransportFrameDecoder/TransportCipher
  • [SPARK-29970][WEBUI]時間軸檢視的保留項開啟/關閉狀態
  • [SPARK-29949][SQL]修正 JSON/CSV 資料源的時間戳格式設定
  • [SPARK-27558][CORE]當工作失敗並出現 OOM 例外狀況時，可正常清除工作
  • [SPARK-29758][SQL]修正 中要求的字串字段截斷 json_tuple
  • [SPARK-29949][SQL]修正 JSON/CSV 資料源的時間戳格式設定
  • [SPARK-29936][R] 修正 SparkR lint 錯誤並新增 lint-r GitHub Action
  • [SPARK-29904][SQL]剖析 JSON/CSV 數據源以微秒有效位數的時間戳
  • [SPARK-29904][SQL]剖析 JSON/CSV 數據源以微秒有效位數的時間戳
  • [SPARK-26499][SQL]JdbcUtils.makeGetter 不會處理 ByteType
  • [SPARK-29682][SQL]正確解決 Expand 中的衝突屬性
  • [SPARK-29875][PYTHON][SQL]避免在Spark 2.4.x 中使用已被取代pyarrow.open_stream API
  • [SPARK-29850][SQL] sort-merge-join a empty table should not memory leak
  • [SPARK-28939][SQL]針對 toRdd 所執行的計劃傳播 SQLConf

維護更新

請參閱 Databricks Runtime 6.3 維護更新。

系統環境

  • 操作系統：Ubuntu 16.04.6 LTS
  • Java：1.8.0_252
  • Scala：2.11.12
  • Python：3.7.3
  • R：R 3.6.2 版 （2019-12-12）
  • Delta Lake：0.5.0

注意

雖然 Scala 2.12 可作為 Apache Spark 2.4 中的實驗功能使用，但 Databricks Runtime 6.3 不支援此功能。

本節內容：

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
asn1crypto 0.24.0 backcall 0.1.0 boto 2.49.0
boto3 1.9.162 botocore 1.12.163 certifi 2019.3.9
cffi 1.12.2 chardet 3.0.4 密碼編譯 2.6.1
cycler 0.10.0 Cython 0.29.6 decorator 4.4.0
docutils 0.14 idna 2.8 ipykernel 5.1.0
ipython 7.4.0 ipython-genutils 0.2.0 jedi 0.13.3
jmespath 0.9.4 jupyter-client 5.2.4 jupyter-core 4.4.0
kiwisolver 1.1.0 matplotlib 3.0.3 numpy 1.16.2
pandas 0.24.2 parso 0.3.4 patsy 0.5.1
pexpect 4.6.0 pickleshare 0.7.5 pip 19.0.3
prompt-toolkit 2.0.9 psycopg2 2.7.6.1 ptyprocess 0.6.0
pyarrow 0.13.0 pycparser 2.19 pycurl 7.43.0
Pygments 2.3.1 PyGObject 3.20.0 pyOpenSSL 19.0.0
pyparsing 2.4.6 PySocks 1.6.8 python-apt 1.1.0.b1+ubuntu0.16.04.5
python-dateutil 2.8.0 pytz 2018.9 pyzmq 18.0.0
requests 2.21.0 s3transfer 0.2.1 scikit-learn 0.20.3
scipy 1.2.1 seaborn 0.9.0 setuptools 40.8.0
六次 1.12.0 ssh-import-id 5.5 statsmodels 0.9.0
tornado 6.0.2 traitlets 4.3.2 自動升級 0.1
urllib3 1.24.1 virtualenv 16.4.1 wcwidth 0.1.7
wheel 0.33.1

已安裝的 R 連結庫

程式庫 版本 程式庫 版本 程式庫 版本
abind 1.4-5 askpass 1.1 assertthat 0.2.1
backports 1.1.5 base 3.6.2 base64enc 0.1-3
BH 1.69.0-1 bit 1.1-14 bit64 0.9-7
bitops 1.0-6 blob 1.2.0 boot 1.3-23
brew 1.0-6 callr 3.3.2 汽車 3.0-4
carData 3.0-2 caret 6.0-84 cellranger 1.1.0
chron 2.3-54 class 7.3-15 cli 1.1.0
clipr 0.7.0 clisymbols 1.2.0 叢集 2.1.0
codetools 0.2-16 colorspace 1.4-1 commonmark 1.7
compiler 3.6.2 config 0.3 covr 3.3.2
crayon 1.3.4 串 擾 1.0.0 curl 4.2
data.table 1.12.6 datasets 3.6.2 DBI 1.0.0
dbplyr 1.4.2 遞減 1.2.0 devtools 2.2.1
digest 0.6.22 doMC 1.3.6 dplyr 0.8.3
DT 0.9 省略符號 0.3.0 evaluate 0.14
fansi 0.4.0 fastmap 1.0.1 forcats 0.4.0
foreach 1.4.7 foreign 0.8-74 forge 0.2.0
fs 1.3.1 Gbm 2.1.5 泛型 0.0.2
ggplot2 3.2.1 gh 1.0.1 git2r 0.26.1
glmnet 2.0-18 glue 1.3.1 gower 0.2.1
graphics 3.6.2 grDevices 3.6.2 grid 3.6.2
gridExtra 2.3 gsubfn 0.7 gtable 0.3.0
h2o 3.26.0.2 避風港 2.1.1 hms 0.5.1
htmltools 0.4.0 htmlwidgets 1.5.1 httpuv 1.5.2
httr 1.4.1 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-9 iterators 1.0.12
jsonlite 1.6 KernSmooth 2.23-16 labeling 0.3
later 1.0.0 lattice 0.20-38 Lava 1.6.6
lazyeval 0.2.2 生命週期 0.1.0 littler 0.3.9
lme4 1.1-21 lubridate 1.7.4 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 maptools 0.9-8
MASS 7.3-51.5 矩陣 1.2-18 MatrixModels 0.4-1
備忘 1.1.0 方法 3.6.2 mgcv 1.8-31
mime 0.7 minqa 1.2.4 ModelMetrics 1.2.2
蒙塞爾 0.5.0 mvtnorm 1.0-11 nlme 3.1-143
nloptr 1.2.1 nnet 7.3-12 numDeriv 2016.8-1.1
openssl 1.4.1 openxlsx 4.1.2 parallel 3.6.2
pbkrtest 0.4-7 pillar 1.4.2 pkgbuild 1.0.6
pkgconfig 2.0.3 pkgKitten 0.1.5 pkgload 1.0.2
plogr 0.2.0 plyr 1.8.4 讚美 1.0.0
prettyunits 1.0.2 pROC 1.15.3 processx 3.4.1
prodlim 2018.04.18 進度 1.2.2 promises 1.1.0
proto 1.0.0 ps 1.3.0 purrr 0.3.3
quantreg 5.51 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.9.0 r2d3 0.2.3 R6 2.4.0
randomForest 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.2 RcppEigen 0.3.3.5.0
RCurl 1.95-4.12 readr 1.3.1 readxl 1.3.1
recipes 0.1.7 rematch 1.0.1 remotes 2.1.0
reshape2 1.4.3 rex 1.1.2 力拓 0.5.16
rlang 0.4.1 RODBC 1.3-16 roxygen2 6.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.2 rstudioapi 0.10 rversions 2.0.0
scales 1.0.0 sessioninfo 1.1.1 shiny 1.4.0
sourcetools 0.1.7 sp 1.3-1 sparklyr 1.0.4
SparkR 2.4.5 疏鬆M 1.77 spatial 7.3-11
splines 3.6.2 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.32 stats 3.6.2 stats4 3.6.2
stringi 1.4.3 stringr 1.4.0 survival 2.44-1.1
sys 3.3 tcltk 3.6.2 TeachingDemos 2.10
testthat 2.2.1 tibble 2.1.3 tidyr 1.0.0
tidyselect 0.2.5 timeDate 3043.102 tools 3.6.2
usethis 1.5.1 utf8 1.1.4 utils 3.6.2
vctrs 0.2.0 viridisLite 0.3.0 晶須 0.4
withr 2.1.2 xml2 1.2.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.0 zeallot 0.1.0
zip 2.0.4

已安裝的 Java 和 Scala 連結庫 （Scala 2.11 叢集版本）

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.595
com.amazonaws aws-java-sdk-cloudformation 1.11.595
com.amazonaws aws-java-sdk-cloudfront 1.11.595
com.amazonaws aws-java-sdk-cloudhsm 1.11.595
com.amazonaws aws-java-sdk-cloudsearch 1.11.595
com.amazonaws aws-java-sdk-cloudtrail 1.11.595
com.amazonaws aws-java-sdk-cloudwatch 1.11.595
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.595
com.amazonaws aws-java-sdk-codedeploy 1.11.595
com.amazonaws aws-java-sdk-cognitoidentity 1.11.595
com.amazonaws aws-java-sdk-cognitosync 1.11.595
com.amazonaws aws-java-sdk-config 1.11.595
com.amazonaws aws-java-sdk-core 1.11.595
com.amazonaws aws-java-sdk-datapipeline 1.11.595
com.amazonaws aws-java-sdk-directconnect 1.11.595
com.amazonaws aws-java-sdk-directory 1.11.595
com.amazonaws aws-java-sdk-dynamodb 1.11.595
com.amazonaws aws-java-sdk-ec2 1.11.595
com.amazonaws aws-java-sdk-ecs 1.11.595
com.amazonaws aws-java-sdk-efs 1.11.595
com.amazonaws aws-java-sdk-elasticache 1.11.595
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.595
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.595
com.amazonaws aws-java-sdk-elastictranscoder 1.11.595
com.amazonaws aws-java-sdk-emr 1.11.595
com.amazonaws aws-java-sdk-glacier 1.11.595
com.amazonaws aws-java-sdk-glue 1.11.595
com.amazonaws aws-java-sdk-iam 1.11.595
com.amazonaws aws-java-sdk-importexport 1.11.595
com.amazonaws aws-java-sdk-kinesis 1.11.595
com.amazonaws aws-java-sdk-kms 1.11.595
com.amazonaws aws-java-sdk-lambda 1.11.595
com.amazonaws aws-java-sdk-logs 1.11.595
com.amazonaws aws-java-sdk-machinelearning 1.11.595
com.amazonaws aws-java-sdk-opsworks 1.11.595
com.amazonaws aws-java-sdk-rds 1.11.595
com.amazonaws aws-java-sdk-redshift 1.11.595
com.amazonaws aws-java-sdk-route53 1.11.595
com.amazonaws aws-java-sdk-s3 1.11.595
com.amazonaws aws-java-sdk-ses 1.11.595
com.amazonaws aws-java-sdk-simpledb 1.11.595
com.amazonaws aws-java-sdk-simpleworkflow 1.11.595
com.amazonaws aws-java-sdk-sns 1.11.595
com.amazonaws aws-java-sdk-sqs 1.11.595
com.amazonaws aws-java-sdk-ssm 1.11.595
com.amazonaws aws-java-sdk-storagegateway 1.11.595
com.amazonaws aws-java-sdk-sts 1.11.595
com.amazonaws aws-java-sdk-support 1.11.595
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.595
com.amazonaws jmespath-java 1.11.595
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.azure azure-storage 7.0.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlet 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.42.Final
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.9.3
Junit Junit 4.12
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.0
net.snowflake spark-snowflake_2.11 2.5.9-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人-食譜 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.10
org.apache.ivy 常春藤 2.4.0
org.apache.orc orc-core-nohive 1.5.5
org.apache.orc orc-mapreduce-nohive 1.5.5
org.apache.orc orc-shims 1.5.5
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet parquet-encoding 1.10.1.2-databricks4
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.10
org.codehaus.janino janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.27.v20190418
org.eclipse.jetty jetty-continuation 9.3.27.v20190418
org.eclipse.jetty jetty-http 9.3.27.v20190418
org.eclipse.jetty jetty-io 9.3.27.v20190418
org.eclipse.jetty jetty-jndi 9.3.27.v20190418
org.eclipse.jetty jetty-plus 9.3.27.v20190418
org.eclipse.jetty jetty-proxy 9.3.27.v20190418
org.eclipse.jetty jetty-security 9.3.27.v20190418
org.eclipse.jetty jetty-server 9.3.27.v20190418
org.eclipse.jetty jetty-servlet 9.3.27.v20190418
org.eclipse.jetty jetty-servlets 9.3.27.v20190418
org.eclipse.jetty jetty-util 9.3.27.v20190418
org.eclipse.jetty jetty-webapp 9.3.27.v20190418
org.eclipse.jetty jetty-xml 9.3.27.v20190418
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged 澤西-瓜瓦 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core 澤西-通用 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hamcrest hamcrest-core 1.3
org.hamcrest hamcrest-library 1.3
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-core 1.10.19
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap 墊片 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark 閑置 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.3
org.yaml 蛇形 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52