共用方式為


Databricks Runtime 4.1 (不支援)

Databricks 於 2018 年 5 月發行此映射。

重要

此版本已於 2019 年 1 月 17 日淘汰。 如需 Databricks 執行時間淘汰原則和排程的詳細資訊,請參閱 Databricks 運行時間支援生命週期

下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 4.1 的相關信息。

Delta Lake

Databricks Runtime 4.1 版會將主要質量改進和功能新增至 Delta Lake。 Databricks 強烈建議所有 Delta Lake 客戶升級至新的運行時間。 此版本仍為私人預覽版,但代表即將推出正式發行的候選版本。

Delta Lake 現在也適用於 Azure Databricks 使用者的私人預覽版。 請連絡您的帳戶管理員,或註冊 。https://databricks.com/product/databricks-delta

重大變更

  • Databricks Runtime 4.1 包含交易通訊協議的變更,以啟用新功能,例如驗證。 使用 Databricks Runtime 4.1 建立的數據表會自動使用新版本,而且無法由舊版 Databricks Runtime 寫入。 您必須升級現有的數據表,才能利用這些改進功能。 若要升級現有的數據表,請先升級寫入數據表的所有作業。 然後執行:

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
    

    如需詳細資訊,請參閱 Azure Databricks 如何管理 Delta Lake 功能相容性?

  • 寫入現在會根據數據表的目前架構進行驗證,而不是自動新增目的地數據表中遺漏的數據行。 若要開啟先前的行為,請將 mergeSchema 選項設定為 true

  • 如果您執行的是舊版的 Databricks Delta,您必須先升級所有作業,才能使用 Databricks Runtime 4.1。 如果您看到上述任一錯誤,請升級至 Databricks Runtime 4.1:

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
    scala.MatchError
    
  • 數據表不能再有只有大小寫不同的數據行。

  • 差異特定的數據表組態現在必須加上前置詞 delta.

新功能

  • 架構管理 - Databricks Delta 現在會驗證現有數據表的附加和覆寫,以確保寫入的架構符合架構。

    • Databricks Delta 會繼續支援自動架構移轉。
    • Databricks Delta 現在支援下列 DDL 來明確修改架構:
      • ALTER TABLE ADD COLUMN 將新數據行新增至數據表
      • ALTER TABLE CHANGE COLUMNS 變更數據行順序
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    如需詳細資訊,請參閱 架構強制執行

  • 增強的 DDL 和數據表支援

    • 數據表 DDL 和 saveAsTable()的完整支援。 save()saveAsTable() 現在具有相同的語意。
    • 所有 DDL 與 DML 命令都支援資料表名稱與 delta.`<path-to-table>`
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • 詳細的數據表資訊 - 您可以執行 DESCRIBE DETAIL來檢視資料表目前的讀取器和寫入器版本。 請參閱 Azure Databricks 如何管理 Delta Lake 功能相容性?
    • 數據表詳細數據 - 源數據現在可供每個寫入數據表使用。 數據提要欄位也會顯示 Databricks Delta 數據表的詳細數據表資訊和歷程記錄。 如需詳細數據,請參閱 檢閱 Delta Lake 數據表詳細數據
    • 串流數據表 - 您可以使用 來建立 spark.readStream.format("delta").table("<table-name>")串流資料框架。
    • 僅限附加數據表 - Databricks Delta 現在支援基本數據控管。 您可以藉由設定 table 屬性delta.appendOnly=true來封鎖資料表的刪除和修改。
    • MERGE INTO source - 將更全面的支援新增至 的來源查詢規格 MERGE。 例如,您可以在來源中指定 LIMITORDER BYINLINE TABLE
    • 數據表 ACL 的完整支援。

效能改善

  • 減少統計數據收集額外負荷 - 統計數據集合的效率已改善,而且統計數據現在只會針對可設定的數據行數目收集,預設會設定為 32。 由於統計數據收集額外負荷降低,Databricks Delta 寫入效能已提升高達 2 倍。 若要設定資料行數目,請設定 table 屬性delta.dataSkippingNumIndexedCols=<number-of-columns>
  • 限制下推的支援 - 統計數據可用來限制針對具有數據分割數據行和述詞的查詢 LIMIT 掃描的檔案數目。 這適用於筆記本中的查詢,因為所有筆記本命令的隱含 limit=1000 作用。
  • 篩選串流來源中的下推 - 串流查詢現在會在啟動新數據流時使用數據分割來略過不相關的數據。
  • 改善的 OPTIMIZE - OPTIMIZE 平行處理原則現在會以單一Spark工作的形式執行,並將使用叢集上可用的所有平行處理原則(先前一次限制為100個壓縮檔)。
  • DML - UPDATEDELETEMERGE 中的數據在尋找需要重寫的檔案時,現在會使用統計數據。
  • 減少檢查點保留 - 檢查點現在會保留兩天(歷程記錄仍保留 30 次),以減少事務歷史記錄的記憶體成本。

API 行為

  • Databricks Delta 中 的行為 insertInto(<table-name>) 與其他數據源相同。
    • 如果未指定任何模式,或 modeErrorIfExistsIgnoreAppend,會將 DataFrame 中的數據附加至 Databricks Delta 數據表。
    • 如果 modeOverwrite,則會刪除現有數據表中的所有數據,並將 DataFrame 中的數據插入 Databricks Delta 數據表。
  • 如果快取,則必須手動取消快取 的 MERGE 目的地數據表。

使用性增強功能

  • 工作負載移轉驗證 - 將工作負載移轉至 Databricks Delta 時所犯的常見錯誤現在會擲回例外狀況,而不是失敗:
    • 使用 format("parquet") 來讀取或寫入數據表。
    • 直接讀取或寫入數據分割(也就是 /path/to/delta/part=1)。
    • 清理數據表的子目錄。
    • INSERT OVERWRITE DIRECTORY 在數據表上使用 Parquet。
  • 不區分大小寫的設定 - DataFrame 讀取器/寫入器和數據表屬性的選項現在不區分大小寫(包括讀取路徑和寫入路徑)。
  • 數據列名稱 - 資料表資料列名稱現在可以包含點。

已知問題

  • 多插入語句的插入位於不同的工作單位中,而不是相同的交易。

錯誤修正

  • 在快速更新數據表上啟動新數據流時,已修正無限迴圈。

棄用項目

結構化串流不會處理不是附加的輸入,如果在做為來源的數據表上發生任何修改,則會擲回例外狀況。 您先前可以使用 旗標覆寫此行為 ignoreFileDeletion ,但現在已被取代。 請改用 ignoreDeletesignoreChanges。 請參閱 Delta 數據表作為來源

其他變更和改善

  • 查詢監看程式 會針對使用UI建立的所有用途叢集啟用。
  • 改善 DBIO 快取的驅動程式端效能
  • 透過新的原生 Parquet 譯碼器改善 Parquet 譯碼器的效能
  • 改善常見子表達式消除的效能
  • 改善大型資料表聯結小型資料表的數據略過效能(事實維度數據表聯結)
  • display() 現在會將包含影像數據類型的數據行轉譯為豐富的 HTML。
  • 記錄、載入、註冊及部署 MLflow 模型的改善
    • 已將 dbml-local 升級至最新版本 0.4.1
    • 已修正使用 threshold 指定參數導出的模型 Bug
    • 已新增導出 OneVsRestModel的支援, GBTClassificationModel
  • 已升級一些已安裝的 Python 連結庫:
    • pip:從 9.0.1 到 10.0.0b2
    • setuptools:從 38.5.1 到 39.0.1
    • 龍捲風:4.5.3 至 5.0.1
    • wheel:0.30.0 至 0.31.0
  • 已升級數個已安裝的 R 連結庫。 請參閱已安裝的 R 連結
  • 已將 Azure Data Lake Store SDK 從 2.0.11 升級至 2.2.8。
  • 將 CUDA 從 8.0 升級至 9.0,並將 CUDNN 從 6.0 升級至 7.0 的 GPU 叢集。

Apache Spark

Databricks Runtime 4.1 包含 Apache Spark 2.3.0。 此版本包含 Databricks Runtime 4.0 (不支援)中包含的所有修正程式和改善,以及下列對 Spark 進行的其他錯誤修正和改進:

  • [SPARK-24007][SQL]EqualNull 保管庫 FloatType 和 DoubleType 可能會由 codegen 產生錯誤的結果。
  • [SPARK-23942][PYTHON][SQL]將 PySpark 中收集為查詢執行程式接聽程式的動作
  • [SPARK-23815][CORE]Spark 寫入器動態數據分割覆寫模式可能無法在多層級分割區上寫入輸出
  • [SPARK-23748][SS]修正 SS 連續程式不支援 SubqueryAlias 問題
  • [SPARK-23963][SQL]在以文字為基礎的Hive數據表上正確處理查詢中的大量數據行
  • [SPARK-23867][SCHEDULER] 在 logWarning 中使用 dropdCount
  • [SPARK-23816][CORE]已終止的工作應該忽略 FetchFailures。
  • [SPARK-23809][SQL]Active SparkSession 應該由 getOrCreate 設定
  • [SPARK-23966][SS]重構通用 CheckpointFileManager 介面中寫入邏輯的所有檢查點檔案
  • [SPARK-21351][SQL]根據子系輸出更新可為 Null
  • [SPARK-23847][PYTHON][SQL]將asc_nulls_first、asc_nulls_last新增至 PySpark
  • [SPARK-23822][SQL]改善 Parquet 架構不相符的錯誤訊息
  • [SPARK-23823][SQL]在 transformExpression 中保留原始來源
  • [SPARK-23838][WEBUI]在 [SQL] 索引標籤中,執行中的 SQL 查詢會顯示為「已完成」
  • [SPARK-23802][SQL]PropagateEmptyRelation 可能會讓查詢計劃處於未解析的狀態
  • [SPARK-23727][SQL]支援在 parquet 中推送 DateType 的篩選
  • [SPARK-23574][SQL]當 DataSourceV2ScanExec 中只有 1 個數據讀取器處理站時,報表 SinglePartition。
  • [SPARK-23533][SS]新增變更 ContinuousDataReader startOffset 的支援
  • [SPARK-23491][SS]從 ContinuousExecution 重新設定移除明確的作業取消
  • [SPARK-23040][CORE]傳回隨機讀取器的可中斷反覆運算器
  • [SPARK-23827][SS]StreamingJoinExec 應該確保輸入數據分割成特定數目的數據分割
  • [SPARK-23639][SQL]在SparkSQL CLI中的 init 中繼存放區用戶端之前取得令牌
  • [SPARK-23806]Broadcast.unpersist 可在使用時造成嚴重例外狀況...
  • [SPARK-23599][SQL]在 Uuid 運算式中使用 RandomUUIDGenerator
  • [SPARK-23599][SQL]從虛擬隨機數新增 UUID 產生器
  • [SPARK-23759][UI]無法將Spark UI系結至特定的主機名/IP
  • [SPARK-23769][CORE]拿掉不必要地停用 Scalastyle 檢查的批注
  • [SPARK-23614][SQL]修正使用快取時不正確的重複使用交換
  • [SPARK-23760][SQL]CodegenContext.withSubExprEliminationExprs 應該正確儲存/還原 CSE 狀態
  • [SPARK-23729][CORE]解析 Glob 時尊重 URI 片段
  • [SPARK-23550][CORE] 清除 Utils
  • [SPARK-23288][SS]修正含 parquet 接收的輸出計量
  • [SPARK-23264][SQL]修正 scala。literals.sql.out 中的 MatchError
  • [SPARK-23649][SQL]略過UTF-8中不允許的字元
  • [SPARK-23691][PYTHON]盡可能在 PySpark 測試中使用sql_conf公用程式
  • [SPARK-23644][CORE][UI]在 SHS 中使用 REST 呼叫的絕對路徑
  • [SPARK-23706][PYTHON] spark.conf.get(value, default=None) 應該在 PySpark 中產生 None
  • [SPARK-23623][SS]避免在 CachedKafkaConsumer 中同時使用快取取用者
  • [SPARK-23670][SQL]修正 SparkPlanGraphWrapper 上的記憶體流失
  • [SPARK-23608][CORE][WEBUI]在 attachSparkUI 和 detachSparkUI 函式之間新增 SHS 中的同步處理,以避免 Jetty 處理程式發生並行修改問題
  • [SPARK-23671][CORE]修正條件以啟用 SHS 線程集區。
  • [SPARK-23658][LAUNCHER]InProcessAppHandle 在 getLogger 中使用錯誤的類別
  • [SPARK-23642][DOCS]AccumulatorV2 子類別 isZero scaladoc 修正
  • [SPARK-22915][MLLIB]spark.ml.feature 的串流測試,從 N 到 Z
  • [SPARK-23598][SQL]將 BufferedRowIterator 中的方法設為公用,以避免大型查詢的運行時間錯誤
  • [SPARK-23546][SQL]重構 CodegenContext 中的無狀態方法/值
  • [SPARK-23523][SQL]修正規則 OptimizeMetadataOnlyQuery 所造成的不正確結果
  • [SPARK-23462][SQL] 改善 StructType 中的遺漏字段錯誤訊息
  • [SPARK-23624][SQL]修訂 Datasource V2 中方法 pushFilters 的檔
  • [SPARK-23173][SQL]避免在從 JSON 載入數據時建立損毀的 parquet 檔案
  • [SPARK-23436][SQL]只有當數據分割可以轉換成 Date 時,才會將分割區推斷為 Date
  • [SPARK-23406][SS]啟用串流自我聯結
  • [SPARK-23490][SQL]使用 CreateTable 中的現有數據表檢查 storage.locationUri
  • [SPARK-23524]不應該檢查大型本機隨機區塊是否有損毀。
  • [SPARK-23525][SQL]支援外部 Hive 資料表的 ALTER TABLE CHANGE COLUMN COMMENT
  • [SPARK-23434][SQL]Spark 不應該警告 HDFS 檔案路徑的元數據目錄
  • [SPARK-23457][SQL]先在 ParquetFileFormat 中註冊工作完成接聽程式
  • [SPARK-23329][SQL]修正三角函數的檔
  • [SPARK-23569][PYTHON]允許pandas_udf使用 python3 樣式型別批注函式
  • [SPARK-23570][SQL]在HiveExternalCatalogVersionsSuite 中新增Spark 2.3.0
  • [SPARK-23517][PYTHON]將 _pyspark.util。 exception_message Py4JJavaError 從 Java 端產生追蹤
  • [SPARK-23508][CORE]修正 BlockmanagerId 以防 blockManagerIdCache 造成 oom
  • [SPARK-23448][SQL]釐清檔中的 JSON 和 CSV 剖析器行為
  • [SPARK-23365][CORE]請勿在終止閑置執行程式時調整 num 執行程式。
  • [SPARK-23438][DSTREAMS]修正驅動程序當機時的 DStreams 資料遺失
  • [SPARK-23475][UI]顯示也略過階段
  • [SPARK-23518][SQL]當使用者只想要讀取和寫入數據框架時,請避免中繼存放區存取
  • [SPARK-23406][SS]啟用串流自我聯結
  • [SPARK-23541][SS]允許 Kafka 來源以比發行項分割區數目更大的平行處理原則讀取數據
  • [SPARK-23097][SQL][SS]將文字套接字來源移轉至 V2
  • [SPARK-23362][SS]將 Kafka Microbatch 來源遷移至 v2
  • [SPARK-23445]ColumnStat 重構
  • [SPARK-23092][SQL]將 MemoryStream 遷移至 DataSourceV2 API
  • [SPARK-23447][SQL]Cleanup codegen template for Literal
  • [SPARK-23366]改善 ReadAheadInputStream 中的經常性讀取路徑
  • [SPARK-22624][PYSPARK]公開範圍分割隨機顯示

維護 更新

請參閱 Databricks Runtime 4.1 維護更新

系統環境

  • 操作系統:Ubuntu 16.04.4 LTS
  • Java:1.8.0_162
  • Scala:2.11.8
  • Python:適用於 Python 2 叢集的 2.7.12 和 Python 3 叢集的 3.5.2。
  • R:R 3.4.4 版 (2018-03-15)
  • GPU 叢集:已安裝下列 NVIDIA GPU 連結庫:
    • 特斯拉司機 375.66
    • CUDA 9.0
    • cuDNN 7.0

已安裝的 Python 連結庫

程式庫 版本 程式庫 版本 程式庫 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密碼編譯 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 期貨 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.0b2 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 沖刷 0.32 seaborn 0.7.1
setuptools 39.0.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 六次 1.10.0 statsmodels 0.6.1
tornado 5.0.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.0
wsgiref 0.1.2

已安裝的 R 連結庫

程式庫 版本 程式庫 版本 程式庫 版本
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 汽車 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
叢集 2.0.7 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 遞減 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-69
Gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
避風港 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
Lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 maptools 0.9-2
MASS 7.3-49 矩陣 1.2-13 MatrixModels 0.4-1
備忘 1.1.0 方法 3.4.4 mgcv 1.8-23
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 蒙塞爾 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 讚美 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
力拓 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.0 疏鬆M 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.41-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
晶須 0.3-2 withr 2.1.2 xml2 1.2.0

已安裝的 Java 和 Scala 連結庫 (Scala 2.11 叢集版本)

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlet 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 收藏家 0.7
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人-食譜 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy 常春藤 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged 澤西-瓜瓦 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core 澤西-通用 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark 未使用的 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml 蛇形 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52