Databricks Runtime 4.2 （不支援）
Databricks 于 2018 年 7 月發行此映射。
重要
此版本已于 2019 年 3 月 5 日淘汰。 如需 Databricks 執行時間淘汰原則和排程的詳細資訊，請參閱 Databricks 執行時間支援生命週期 。
下列版本資訊提供由 Apache Spark 提供之 Databricks Runtime 4.2 的相關資訊。
Delta Lake
Databricks Runtime 4.2 會將重大品質改進和功能新增至 Delta Lake。 Databricks 強烈建議所有 Delta Lake 客戶升級至新的執行時間。 此版本仍為私人預覽版，但代表即將推出正式發行的候選版本。
新功能
- 資料流程現在可以直接寫入 Hive 中繼存放區
df.writeStream.table(...)中註冊的 Delta 資料表。
改善
所有 Delta Lake 命令和查詢現在都支援使用資料表的路徑作為識別碼來參考資料表：
delta.`<path-to-table>`先前
OPTIMIZE和VACUUM必要的非標準使用字串常值 （也就是'<path-to-table>'） 。DESCRIBE HISTORY現在會包含認可識別碼，且預設會排序為最舊。
錯誤修正
- 根據資料分割述詞進行篩選現在仍可正常運作，即使述詞的案例與資料表的情況不同也一樣。
- 修正在 Delta 資料表中執行布林資料行相等檢查時遺漏
AnalysisException的資料行（也就是booleanValue = true）。 CREATE TABLE建立現有資料表的指標時，不再修改交易記錄。 這可防止與並行資料流程發生不必要的衝突，並允許建立使用者只有資料的讀取權限之資料表的中繼存放區指標。- 在具有大量資料的資料流程上呼叫
display()，不再會導致驅動程式中的 OOM。 AnalysisException刪除基礎 Delta Lake 路徑時，現在會擲回 ，而不是傳回空的結果。- 需要特定通訊協定版本的 Delta Lake 組態 （例如，
appendOnly） 只能套用至適當版本的資料表。 - 更新 Delta 資料表的狀態時，現在會自動截斷長歷程以避免
StackOverFlowError。
結構化串流
新功能
Delta Lake 和 Kafka 現在完全支援 Trigger.Once 。 先前指定為來源選項或預設值的速率限制（例如
maxOffsetsPerTrigger或maxFilesPerTrigger），只會導致部分執行可用的資料。 使用時Trigger.Once，現在會忽略這些選項，允許處理所有目前可用的資料。在 Scala 中新增了新的串流
foreachBatch()，您可以在其中定義函式，以使用 DataFrame 工作處理每個微批次的輸出。 這可啟用下列專案：- 使用現有的批次資料來源，將微批次輸出寫入至尚未有串流資料來源的系統（例如，在每個微批次輸出上使用 Cassandra 批次寫入器）。
- 將 microbatch 輸出寫入多個位置。
- 將 DataFrame 和資料表作業套用至串流資料框架尚不支援的 microbatch 輸出（例如，將 microbatch 輸出向上插入至 Delta 資料表）。
已新增
from_avro/to_avro函式，以在 DataFrame 中讀取和寫入 Avro 資料，而不只是檔案，類似于from_json/to_json。 如需詳細資訊，請參閱 隨處 讀取和寫入 Avro 資料。已新增在 Python 中串流
foreach()的支援（已在 Scala 中提供）。 如需詳細資訊，請參閱 foreach 和 foreachBatch 檔 。
改善
- 當輸入資料流程中沒有任何資料時，使用具狀態作業快速產生輸出結果和/或狀態清除（
mapGroupsWithState資料流程聯結、串流匯總、串流匯總、串流卸載重復資料）。
錯誤修正
- 已修正串流聯結中的 SPARK-24588 錯誤， 其中聯結在之前有明確重新分割時回報的結果較少（例如 ，
df1.repartition("a", "b").join(df, "a")。
其他變更和改善
- 已新增對已啟用資料表存取控制 叢集之 SQL Deny 命令 的支援。 使用者現在可以以與之前授與特定許可權相同的方式來拒絕特定許可權。 拒絕的許可權將會取代已授與的許可權。 仍然允許特定物件的管理員和擁有者執行動作。
- 使用 ABFS 驅動程式的新 Azure Data Lake 儲存體 Gen2 資料來源。 請參閱 Azure Data Lake 儲存體 Gen2 和 Blob 儲存體連線
- 已升級一些已安裝的 Python 程式庫：
- pip：從 10.0.0b2 到 10.0.1
- setuptools：從 39.0.1 到 39.2.0
- 龍捲風：5.0.1 至 5.0.2
- wheel：0.31.0 至 0.31.1
- 已升級數個已安裝的 R 程式庫。 請參閱已安裝的 R 連結 庫 。
- 改善的 Parquet 支援
- 已將 Apache ORC 從 1.4.1 升級至 1.4.3
Apache Spark
Databricks Runtime 4.2 包含 Apache Spark 2.3.1。 此版本包含 Databricks Runtime 4.1（不支援） 中包含的 所有修正程式和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-24588] [SS] 串流聯結應該需要來自子系的 HashClusteredPartitioning
- [SPARK-23931] [SQL]在 function.scala
@scala.annotation.varargs中製作arrays_zip。 - [SPARK-24633] [SQL]修正 arrays_zip 需要分割時的 codegen
- [SPARK-24578] [CORE]將子領域的大小上限為傳回的 nio 緩衝區
- [SPARK-24613] [SQL]無法與後續相依快取比對具有 UDF 的快取
- [SPARK-24583] [SQL]InsertIntoDataSourceCommand 中的架構類型錯誤
- [SPARK-24565] [SS]在結構化串流中新增 API，以公開每個 microbatch 的輸出資料列作為 DataFrame
- [SPARK-24396] [SS][PYSPARK]新增適用于 Python 的結構化串流 ForeachWriter
- [SPARK-24216] [SQL]Spark TypedAggregateExpression 會使用 Scala 中不安全的 getSimpleName
- [SPARK-24452] [SQL][CORE]避免 int add 或 multiple 中可能的溢位
- [SPARK-24187] [R][SQL]將array_join函式新增至 SparkR
- [SPARK-24525] [SS]提供選項以限制 MemorySink 中的資料列數目
- [SPARK-24331] [SPARKR][SQL]將arrays_overlap、array_repeat、map_entries新增至 SparkR
- [SPARK-23931] [SQL]將arrays_zip函式新增至 Spark SQL
- [SPARK-24186] [R][SQL] 將反向和 concat 變更為 R 中的集合函式
- [SPARK-24198] [SPARKR][SQL]將配量函式新增至 SparkR
- [SPARK-23920] [SQL] 新增 array_remove，以移除陣列中等於專案的所有元素
- [SPARK-24197] [SPARKR][SQL]將array_sort函式新增至 SparkR
- [SPARK-24340] [CORE]在獨立叢集上結束執行程式之後，清除非隨機磁片區塊管理員檔案
- [SPARK-23935] [SQL]新增map_entries函式
- [SPARK-24500] [SQL]請確定資料流程會在樹狀結構轉換期間具體化。
- [SPARK-24495] [SQL]重新排序等號鍵時，EnsureRequirement 會傳回錯誤的計畫
- [SPARK-24506] [UI]將 UI 篩選新增至系結之後新增的索引標籤
- [SPARK-24468] [SQL]調整小數運算的有效位數時處理負數小數位數
- [SPARK-24313] [SQL]修正集合作業對複雜類型的解譯評估
- [SPARK-23922] [SQL]新增arrays_overlap函式
- [SPARK-24369] [SQL]正確處理具有相同引數集的多個相異匯總
- [SPARK-24455] [CORE] 修正 TaskSchedulerImpl 批註中的錯字
- [SPARK-24397] [PYSPARK]已在 Python 中新增 TaskCoNtext.getLocalProperty（key）
- [SPARK-24117] [SQL]整合 getSizePerRow
- [SPARK-24156] [SS]修正在無資料批次中從失敗復原的錯誤
- [SPARK-24414] [UI]計算階段的正確工作數目。
- [SPARK-23754] [PYTHON]在用戶端程式代碼中重新引發 StopIteration
- [SPARK-23991] [DSTREAMS]修正在 allocateBlocksToBatch 中 WAL 寫入失敗時的資料遺失
- [SPARK-24373] [SQL]將 AnalysisBarrier 新增至 RelationalGroupedDataset 的 和 KeyValueGroupedDataset 的子系
- [SPARK-24392] [PYTHON]將pandas_udf標籤為實驗性
- [SPARK-24334] 修正 ArrowPythonRunner 中的競爭狀況導致箭頭記憶體配置器的不完全關閉
- [SPARK-19112] [CORE]將遺漏的 shortCompressionCodecNames 新增至組態。
- [SPARK-24244] [SPARK-24368] [SQL]僅將必要資料行傳遞至 CSV 剖析器
- [SPARK-24366] [SQL]改善類型轉換的錯誤訊息
- [SPARK-24371] [SQL]已在適用于 Scala 的 DataFrame API 中新增 isInCollection...
- [SPARK-23925] [SQL]新增array_repeat集合函式
- [MINOR]在 toString 和 scaladoc 中新增埠 SSL 設定
- [SPARK-24378] [SQL]修正date_trunc函式不正確的範例
- [SPARK-24364] [SS]如果檔案路徑不存在，防止 InMemoryFileIndex 失敗
- [SPARK-24257] [SQL]LongToUnsafeRowMap 計算新大小可能錯誤
- [SPARK-24348] [SQL] element_at「 錯誤修正
- [SPARK-23930] [SQL]新增配量函式
- [SPARK-23416] [SS]新增 ContinuousExecution 的特定停止方法。
- [SPARK-23852] [SQL]升級至 Parquet 1.8.3
- [SPARK-24350] [SQL]修正 「array_position」 函式中的 ClassCastException
- [SPARK-24321] [SQL]將一般程式碼從除數/餘數擷取至基底特徵
- [SPARK-24309] [CORE]AsyncEventQueue 應該在中斷時停止。
- [SPARK-23850] [SQL]為 SQL 選項修訂新增個別的組態。
- [SPARK-22371] [CORE]傳回 None，而不是在垃圾收集累加器時擲回例外狀況。
- [SPARK-24002] [SQL]工作無法序列化，因為 org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
- [SPARK-23921] [SQL]新增array_sort函式
- [SPARK-23923] [SQL]新增基數函式
- [SPARK-24159] [SS]啟用串流 mapGroupswithState 的無資料微批次
- [SPARK-24158] [SS]啟用串流聯結的無資料批次
- [SPARK-24157] [SS]在 MicroBatchExecution 中啟用無資料批次以進行串流匯總和重復資料刪除
- [SPARK-23799] [SQL]FilterEstimation.evaluateInSet 會針對 STRING 產生錯誤的統計資料
- [SPARK-17916] [SQL]修正在設定 nullValue 時，要剖析為 null 的空字串。
- [SPARK-23916] [SQL]新增array_join函式
- [SPARK-23408] [SS]同步處理串流*JoinSuite 中的後續 AddData 動作
- [SPARK-23780] [R] 無法搭配新的 SparkR 使用 googleVis 程式庫
- [SPARK-23821] [SQL]集合函式：扁平化
- [SPARK-23627] [SQL]在資料集中提供 isEmpty
- [SPARK-24027] [SQL]支援使用 StringType 作為索引鍵的 MapType，方法是依from_json
- [SPARK-24035] [SQL]Pivot 的 SQL 語法 - 修正 antlr 警告
- [SPARK-23736] [SQL]擴充 concat 函式以支援陣列資料行
- [SPARK-24246] [SQL]藉由設定可用原因來改善 AnalysisException
- [SPARK-24263] [R] SparkR java 檢查中斷與 openjdk
- [SPARK-24262] [PYTHON]修正 UDF 類型比對錯誤訊息中的錯字
- [SPARK-24067] [串流][KAFKA]允許非連續位移
- [SPARK-10878] [CORE]修正多個用戶端同時解析成品時的競爭狀況
- [SPARK-19181] [CORE]修正 flaky 「SparkListenerSuite.local metrics」
- [SPARK-24068] 在架構推斷上將 DataFrameReader 的選項傳播至 Text 資料來源
- [SPARK-24214] [SS]修正 StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation 的 ToJSON
- [SPARK-23919] [SPARK-23924] [SPARK-24054] [SQL]新增array_position/element_at函式
- [SPARK-23926] [SQL]擴充反向函式以支援 ArrayType 引數
- [SPARK-23809] [SQL]Active SparkSession 應該由 getOrCreate 設定
- [SPARK-23094] [SPARK-23723] [SPARK-23724] [SQL]支援 JSON 檔案的自訂編碼
- [SPARK-24035] [SQL]Pivot 的 SQL 語法
- [SPARK-24069] [R] 新增array_min/array_max函式
- [SPARK-23976] [CORE]偵測 UTF8String.concat（）/ByteArray.concat（） 中的長度溢位
- [SPARK-24188] [CORE]還原 「/version」 API 端點。
- [SPARK-24128] [SQL]在隱含 CROSS JOIN 錯誤中提及組態選項
- [SPARK-23291] [SQL][R] 呼叫 Scala API 時，R 的子字串不應該將起始位置減少 1
- [SPARK-23697] [CORE]LegacyAccumulatorWrapper 應該正確定義 isZero
- [SPARK-24168] [SQL]WindowExec 不應該在執行程式端存取 SQLConf
- [SPARK-24143] 將 mapstatus 轉換為 時篩選空白區塊 （blockId， size） 配對
- [SPARK-23917] [SPARK-23918] [SQL]新增array_max/array_min函式
- [SPARK-23905] [SQL]新增 UDF 工作日
- [SPARK-16406] [SQL]改善 LogicalPlan.resolve 的效能
- [SPARK-24013] [SQL]在 ApproximatePercentile 中移除不必要的壓縮
- [SPARK-23433] [CORE]晚期僵屍工作完成會更新所有工作集
- [SPARK-24169] [SQL]JsonToStructs 不應該在執行程式端存取 SQLConf
- [SPARK-24133] [SQL]Backport [SPARK-24133] 調整大小 WritableColumnVectors 時檢查整數溢位
- [SPARK-24166] [SQL]InMemoryTableScanExec 不應該在執行程式端存取 SQLConf
- [SPARK-24133] [SQL]調整 WritableColumnVectors 的大小時檢查整數溢位
- [SPARK-24085] [SQL]當資料分割運算式中有純量子查詢時，查詢會傳回 UnsupportedOperationException
- [SPARK-24062] [THRIFT SERVER]修正 SASL 加密無法在節流伺服器中啟用問題
- [SPARK-23004] [SS]確定在串流匯總工作中只呼叫 StateStore.commit 一次
- [SPARK-23188] [SQL]讓向量化粗體讀取器批次大小可設定
- [SPARK-23375] [SPARK-23973] [SQL]在優化器中排除不必要的排序
- [SPARK-23877] [SQL]使用篩選述詞在僅限中繼資料查詢中剪除資料分割
- [SPARK-24033] [SQL]修正 Window Frame specifiedwindowframe 不相符的問題（RowFrame， -1， -1）
- [SPARK-23340] [SQL]將 Apache ORC 升級至 1.4.3
- 修正遺漏的 Null 檢查問題，此問題較可能由簡化的 experssion 程式碼產生觸發，並透過 SPARK-23986 公開，因為它使產生的原始程式碼變得更長一點，並觸發了有問題的程式碼路徑 （Code splitting by Expression.reduceCodeSize（） 的程式碼分割）。
- [SPARK-23989] [SQL] 交換應該在非序列化隨機顯示之前先複製資料
- [SPARK-24021] [CORE] 修正 BlacklistTracker updateBlacklistForFetchFailure 中的 Bug
- [SPARK-24014] [PYSPARK]將 onStreamingStarted 方法新增至 StreamingListener
- [SPARK-23963] [SQL]在以文字為基礎的 Hive 資料表上正確處理查詢中的大量資料行
- [SPARK-23948] 在 submitMissingTasks 中觸發 mapstage 的工作接聽程式
- [SPARK-23986] [SQL] freshName 可以產生非唯一的名稱
- [SPARK-23835] [SQL]將非 Null 檢查新增至 Tuple 的引數還原序列化
維護更新
請參閱 Databricks Runtime 4.2 維護更新 。
系統環境
- 作業系統 ：Ubuntu 16.04.4 LTS
- JAVA ：1.8.0_162
- Scala ：2.11.8
- Python ：適用于 Python 2 叢集的 2.7.12 和 Python 3 叢集的 3.5.2。
- R ：R 3.4.4 版 （2018-03-15）
- GPU 叢集 ：已安裝下列 NVIDIA GPU 程式庫：
- 特斯拉司機 375.66
- CUDA 9.0
- cuDNN 7.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 密碼編譯 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | 期貨 | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 10.0.1 | 層 | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | 沖刷 | 0.32 | seaborn | 0.7.1 |
| setuptools | 39.2.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | 六次 | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.2 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.1 |
| wsgiref | 0.1.2 |
Installed R libraries
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.4 | 汽車 | 3.0-0 |
| carData | 3.0-1 | caret | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
| 叢集 | 2.0.7-1 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| datasets | 3.4.4 | DBI | 0.8 | ddAlpha | 1.3.1.1 |
| DEoptimR | 1.0-8 | 遞減 | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | foreign | 0.8-70 |
| Gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | H2o | 3.16.0.2 |
| 避風港 | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| Lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | maps | 3.3.0 | maptools | 0.9-2 |
| MASS | 7.3-50 | 矩陣 | 1.2-14 | MatrixModels | 0.4-1 |
| 備忘 | 1.1.0 | 方法 | 3.4.4 | mgcv | 1.8-24 |
| mime | 0.5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | 蒙塞爾 | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | 讚美 | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
| 力拓 | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0.7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.1 | 疏鬆M | 1.77 |
| spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | stats | 3.4.4 |
| stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| survival | 2.42-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
| utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
| 晶 須 | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
已安裝的 JAVA 和 Scala 程式庫 （Scala 2.11 叢集版本）
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同學 | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | 番 石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JAVAEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-HTTPclient | commons-HTTPclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlet | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | 收藏家 | 0.7 |
| javax.activation | 啟用 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| Log4j | apache-log4j-extras | 1.2.17 |
| Log4j | Log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.3.2 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | 策展人-食譜 | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.HTTPcomponents | HTTPclient | 4.5.4 |
| org.apache.HTTPcomponents | HTTPcore | 4.4.8 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.3 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
| org.apache.parquet | parquet-column | 1.8.3-databricks2 |
| org.apache.parquet | parquet-common | 1.8.3-databricks2 |
| org.apache.parquet | parquet-encoding | 1.8.3-databricks2 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.3-databricks2 |
| org.apache.parquet | parquet-jackson | 1.8.3-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-HTTP | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | 澤西-瓜瓦 | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | 澤西-通用 | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | 閒置 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | 蛇形 | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |