Databricks Runtime 7.0 （不支援）

  • 發行項

Databricks 於 2020 年 6 月發行此映射。

下列版本資訊提供由 Apache Spark 3.0 提供之 Databricks Runtime 7.0 的相關信息。

新功能

Databricks Runtime 7.0 包含下列新功能：

  • Scala 2.12

    Databricks Runtime 7.0 會將 Scala 從 2.11.12 升級至 2.12.10。 Scala 2.12 和 2.11 之間的變更清單位於 Scala 2.12.0 版本資訊中。

  • Databricks Runtime 6.4 中發行的自動載入器（公開預覽版）已在 Databricks Runtime 7.0 中改善

    自動載入器可讓您在 ETL 期間抵達雲端 Blob 存放區時，以更有效率的方式以累加方式處理新的資料檔。 這是檔案型結構化串流的改善，可重複列出雲端目錄並追蹤已看見的檔案，而且在目錄成長時可能非常沒有效率。 自動載入器也比以檔案通知為基礎的結構化串流更方便且有效，這需要您在雲端手動設定檔案通知服務，而且不會讓您回填現有的檔案。 如需詳細資訊，請參閱 什麼是自動載入器？。

    在 Databricks Runtime 7.0 上，您不再需要要求自定義 Databricks 運行時間映像，才能使用自動載入器。

  • COPY INTO （公開預覽）可讓您使用等冪重試將數據載入 Delta Lake，已在 Databricks Runtime 7.0 中改善

    SQL 命令在 Databricks Runtime 6.4 中以公開預覽版的形式發行， COPY INTO 可讓您使用等冪重試將數據載入 Delta Lake。 若要將數據載入 Delta Lake，您必須使用 Apache Spark DataFrame API。 如果在載入期間發生失敗，您必須有效地處理它們。 新的 COPY INTO 命令提供熟悉的宣告式介面，以在 SQL 中載入數據。 此命令會追蹤先前載入的檔案，並在發生失敗時安全地重新執行。 如需詳細資訊，請參閱 COPY INTO。

改善

  • Azure Synapse （先前稱為 SQL 數據倉儲） 連接器支援 COPY 語句。

    的主要優點 COPY 是較低的特殊許可權使用者可以將數據寫入 Azure Synapse，而不需要 Azure Synapse 的嚴格 CONTROL 許可權。

  • %matplotlib inline不再需要magic命令，才能在筆記本單元格中內嵌顯示 Matplolib 物件。 根據預設，它們一律會內嵌顯示。

  • Matplolib 圖形現在會以 transparent=False呈現，因此不會遺失使用者指定的背景。 您可以藉由設定 Spark 組態 spark.databricks.workspace.matplotlib.transparent true來覆寫此行為。

  • 在高併行模式叢集上執行結構化串流生產作業時，作業的重新啟動偶爾會失敗，因為先前執行的作業未正確終止。 Databricks Runtime 6.3 引進了在叢集上設定 SQL 組態 spark.sql.streaming.stopActiveRunOnRestart true 的能力，以確保先前的執行停止。 此設定預設會在 Databricks Runtime 7.0 中設定。

主要連結庫變更

Python 套件

升級的主要 Python 套件：

  • boto3 1.9.162 -> 1.12.0
  • matplotlib 3.0.3 -> 3.1.3
  • numpy 1.16.2 -> 1.18.1
  • pandas 0.24.2 -> 1.0.1
  • pip 19.0.3 -> 20.0.2
  • pyarrow 0.13.0 -> 0.15.1
  • psycopg2 2.7.6 -> 2.8.4
  • scikit-learn 0.20.3 -> 0.22.1
  • scipy 1.2.1 -> 1.4.1
  • seaborn 0.9.0 -> 0.10.0

已移除 Python 套件：

  • boto （使用 boto3）
  • pycurl

注意

Databricks Runtime 7.0 中的 Python 環境使用 Python 3.7，這與已安裝的 Ubuntu 系統 Python 不同：/usr/bin/python且會連結至 Python 2.7，並/usr/bin/python2/usr/bin/python3連結到 Python 3.6。

R 套件

已新增 R 套件：

  • broom
  • highr
  • isoband
  • 針織機
  • markdown
  • modelr
  • reprex
  • rmarkdown
  • rvest
  • selectr
  • tidyverse
  • tinytex
  • xfun

已移除 R 套件：

  • abind
  • bitops
  • 汽車
  • carData
  • doMC
  • Gbm
  • H2o
  • littler
  • lme4
  • mapproj
  • maps
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • 力拓
  • sp
  • 疏鬆M
  • statmod
  • zip

Java 和 Scala 連結庫

  • 用來處理Hive使用者定義函式和Hive SerDes的Apache Hive版本已升級至2.3。
  • 先前 Azure 儲存體 和 金鑰保存庫 jar 已封裝為 Databricks Runtime 的一部分，這可防止您使用連結至叢集的不同連結庫版本。 和 com.microsoft.azure.keyvault 下的com.microsoft.azure.storage類別不再位於 Databricks Runtime 中的類別路徑上。 如果您相依於其中一個類別路徑，您現在必須將 Azure 儲存體 SDK 或 Azure 金鑰保存庫 SDK 附加至叢集。

行為變更

本節列出從 Databricks Runtime 6.6 到 Databricks Runtime 7.0 的行為變更。 當您將工作負載從較低的 Databricks Runtime 版本移轉至 Databricks Runtime 7.0 和更新版本時，您應該注意這些情況。

Spark 行為變更

由於 Databricks Runtime 7.0 是建置在 Spark 3.0 上的第一個 Databricks Runtime，因此當您從 Databricks Runtime 5.5 LTS 或 6.x 移轉工作負載時，應該注意許多變更，這些變更是建置在 Spark 2.4 上。 這些變更列於本版本資訊文章 Apache Spark 一節中每個功能區域的「行為變更」一節：

其他行為變更

  • 升級至 Scala 2.12 涉及下列變更：

    • 封裝數據格串行化會以不同的方式處理。 下列範例說明行為變更及其處理方式。

      執行 foo.bar.MyObjectInPackageCell.run() 如下列封裝數據格中所定義，將會觸發錯誤 java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

      package foo.bar

case class MyIntStruct(int: Int)

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column

object MyObjectInPackageCell extends Serializable {

  // Because SparkSession cannot be created in Spark executors,
  // the following line triggers the error
  // Could not initialize class foo.bar.MyObjectInPackageCell$
  val spark = SparkSession.builder.getOrCreate()

  def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))

  val theUDF = udf(foo)

  val df = {
    val myUDFInstance = theUDF(col("id"))
    spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
  }

  def run(): Unit = {
    df.collect().foreach(println)
  }
}

      若要解決此錯誤，您可以在可串行化類別內包裝 MyObjectInPackageCell 。

    • 使用 DataStreamWriter.foreachBatch 的某些案例需要原始程式碼更新。 這項變更是因為 Scala 2.12 已從 Lambda 運算式自動轉換成 SAM 類型，而且可能會導致模棱兩可。

      例如，下列 Scala 程式代碼無法編譯：

      streams
  .writeStream
  .foreachBatch { (df, id) => myFunc(df, id) }

      若要修正編譯錯誤，請明確變更 foreachBatch { (df, id) => myFunc(df, id) } 或使用 foreachBatch(myFunc _) JaVA API： foreachBatch(new VoidFunction2 ...)。

  • 因為用來處理 Hive 使用者定義函式和 Hive SerDes 的 Apache Hive 版本已升級為 2.3，因此需要兩個變更：

    • Hive 的 SerDe 介面會由抽象類 AbstractSerDe取代。 針對任何自訂 Hive SerDe 實作，需要移轉至 AbstractSerDe 。
    • 設定 spark.sql.hive.metastore.jars 為 builtin 表示Hive 2.3中繼存放區用戶端將用來存取 Databricks Runtime 7.0 的中繼存放區。 如果您需要存取Hive 1.2型外部中繼存放區，請將 設定 spark.sql.hive.metastore.jars 為包含Hive 1.2 jar的資料夾。

取代和移除

  • Databricks Runtime 4.3 中已取代略過索引的數據，並在 Databricks Runtime 7.0 中移除。 建議您改用 Delta 數據表，以提供 改善的數據略過功能。
  • 在 Databricks Runtime 7.0 中，Apache Spark 的基礎版本使用 Scala 2.12。 由於針對 Scala 2.11 編譯的連結庫可以非預期的方式停用 Databricks Runtime 7.0 叢集，因此執行 Databricks Runtime 7.0 和更新版本之叢集的叢集不會安裝設定為安裝在所有叢集上的連結庫。 [叢集連結 庫 ] 索引標籤會顯示狀態 Skipped 和取代訊息，說明連結庫處理中的變更。 不過，如果您在 Azure Databricks 平臺 3.20 版發行至工作區之前，已在舊版 Databricks Runtime 上建立叢集，而您現在編輯該叢集以使用 Databricks Runtime 7.0，則所有叢集上設定要安裝的連結庫都會安裝在該叢集上。 在此情況下，已安裝連結庫中任何不相容的 JAR 都可能導致叢集停用。 因應措施是複製叢集或建立新的叢集。

Apache Spark

Databricks Runtime 7.0 包含 Apache Spark 3.0。

本節內容：

Core、Spark SQL、結構化串流

重點

效能增強

擴充性增強功能

  • 目錄外掛程式 API （SPARK-31121）
  • 資料源 V2 API 重構 （SPARK-25390）
  • Hive 3.0 和 3.1 中繼存放區支援 （SPARK-27970），（SPARK-24360）
  • 將 Spark 外掛程式介面延伸至驅動程式 （SPARK-29396）
  • 使用執行程式外掛程式擴充具有使用者定義計量的 Spark 計量系統 （SPARK-28091）
  • 擴充資料行式處理支援的開發人員 API （SPARK-27396）
  • 使用 DSV2 的內建來源移轉：parquet、ORC、CSV、JSON、Kafka、Text、Avro （SPARK-27589）
  • SparkExtensions 中的 Allow FunctionInjection （SPARK-25560）
  • 允許匯總工具註冊為 UDAF （SPARK-27296）

連線 或增強功能

  • 透過非決定性表示式的數據行剪除 （SPARK-29768）
  • 資料來源資料表的支援 spark.sql.statistics.fallBackToHdfs （SPARK-25474）
  • 允許在檔案來源上使用子查詢篩選進行分割區剪除 （SPARK-26893）
  • 避免在資料源篩選中推送子查詢 （SPARK-25482）
  • 從檔案來源載入遞迴資料 （SPARK-27990）
  • Parquet/ORC
  • Csv
    • 支援 CSV 資料來源中的篩選下推 （SPARK-30323）
  • Hive SerDe
    • 使用原生數據源讀取 Hive serde 資料表時，沒有架構推斷 （SPARK-27119）
    • Hive CTAS 命令在可轉換時應該使用資料來源 （SPARK-25271）
    • 使用原生資料來源優化插入分割的 Hive 資料表 （SPARK-28573）
  • Apache Kafka
    • 新增 Kafka 標頭的支援 （SPARK-23539）
    • 新增 Kafka 委派令牌支援 （SPARK-25501）
    • 介紹 Kafka 來源的新選項：時間戳位移（開始/結束）（SPARK-26848）
    • minPartitions支援 Kafka 批次來源和串流來源 v1 中的選項（SPARK-30656）
    • 將 Kafka 升級至 2.4.1 （SPARK-31126）
  • 新的內建數據源

功能增強功能

SQL 相容性增強功能

  • 切換至職業公曆 （SPARK-26651）
  • 建置 Spark 自己的日期時間模式定義 （SPARK-31408）
  • 介紹用於數據表插入的 ANSI 存放區指派原則 （SPARK-28495）
  • 根據預設，遵循數據表插入中的 ANSI 存放區指派規則 （SPARK-28885）
  • 新增 SQLConf spark.sql.ansi.enabled （SPARK-28989）
  • 支援匯總表示式的 ANSI SQL 篩選子句 （SPARK-27986）
  • 支援 ANSI SQL 函 OVERLAY 式 （SPARK-28077）
  • 支援 ANSI 巢狀方括弧批注 （SPARK-28880）
  • 在整數溢位時擲回例外狀況 （SPARK-26218）
  • 間隔算術運算的溢位檢查 （SPARK-30341）
  • 將無效字串轉換成數值類型時擲回例外狀況 （SPARK-30292）
  • 讓間隔乘以和除溢行為與其他作業一致 （SPARK-30919）
  • 新增 char 和 decimal 的 ANSI 類型別名 （SPARK-29941）
  • SQL 剖析器定義符合 ANSI 規範的保留關鍵詞 （SPARK-26215）
  • ANSI 模式開啟時，禁止保留關鍵詞作為標識碼 （SPARK-26976）
  • 支援 ANSI SQL LIKE ... ESCAPE 語法 （SPARK-28083）
  • 支援 ANSI SQL 布爾值-述詞語法 （SPARK-27924）
  • 更佳支援相互關聯的子查詢處理 （SPARK-18455）

監視和偵錯性增強功能

  • 新的結構化串流 UI （SPARK-29543）
  • SHS：允許執行串流應用程式的事件記錄檔變換 （SPARK-28594）
  • 新增 API，讓使用者定義和觀察批次和串流查詢的任意計量 （SPARK-29345）
  • 追蹤每個查詢規劃時間的檢測 （SPARK-26129）
  • 將基本隨機計量放入 SQL 交換運算子中 （SPARK-26139）
  • SQL 語句會顯示在 SQL 索引標籤中，而不是呼叫月臺 （SPARK-27045）
  • 將工具提示新增至 SparkUI （SPARK-29449）
  • 改善記錄伺服器的並行效能 （SPARK-29043）
  • EXPLAIN FORMATTED 指令 （SPARK-27395）
  • 支援傾印截斷的計劃，併產生檔案的程式代碼 （SPARK-26023）
  • 增強描述架構以描述查詢的輸出 （SPARK-26982）
  • 新增 SHOW VIEWS 指令 （SPARK-31113）
  • 改善 SQL 剖析器的錯誤訊息 （SPARK-27901）
  • 原生支援 Prometheus 監視 （SPARK-29429）

PySpark 增強功能

  • 重新設計的 pandas UDF 與類型提示 （SPARK-28264）
  • Pandas UDF 管線 （SPARK-26412）
  • 支援 StructType 作為 Scalar Pandas UDF 的自變數和傳回型別 （SPARK-27240 ）
  • 透過 Pandas UDF 支援資料框架共同群組 （SPARK-27463）
  • 新增 mapInPandas 以允許 DataFrames 的迭代器 （SPARK-28198）
  • 某些 SQL 函式也應該採用資料行名稱 （SPARK-26979）
  • 讓 PySpark SQL 例外狀況更具 Pythonic （SPARK-31849）

檔和測試涵蓋範圍增強功能

其他值得注意的變更

  • 內建 Hive 執行從 1.2.1 升級至 2.3.6（SPARK-23710、SPARK-28723、SPARK-31381）
  • 預設使用 Apache Hive 2.3 相依性 （SPARK-30034）
  • GA Scala 2.12 和移除 2.11 （SPARK-26132）
  • 改善動態設定中逾時執行程式邏輯 （SPARK-20286）
  • 隨機服務所提供的磁碟保存 RDD 區塊，並針對動態配置忽略 （SPARK-27677）
  • 取得新的執行程式以避免因封鎖清單而停止回應 （SPARK-22148）
  • 允許共享 Netty 的記憶體集區設定器 （SPARK-24920）
  • 修正 和 UnsafeExternalSorter$SpillableIterator 之間的TaskMemoryManager死結 （SPARK-27338）
  • 介紹 AdmissionControl 結構化串流 API （SPARK-30669）
  • Spark 歷程記錄 主頁面效能改善 （SPARK-25973）
  • 加速和精簡 SQL 接聽程式中的計量匯總 （SPARK-29562）
  • 從相同主機擷取隨機區塊時避免網路 （SPARK-27651）
  • 改善 的 DistributedFileSystem 檔案清單 （SPARK-27801）

Spark 核心、Spark SQL 和結構化串流的行為變更

下列移轉指南列出 Apache Spark 2.4 與 3.0 之間的行為變更。 這些變更可能需要更新您已在較低 Databricks Runtime 版本上執行的作業：

這些移轉指南未涵蓋下列行為變更：

  • 在Spark 3.0中，已移除已被取代的類別 org.apache.spark.sql.streaming.ProcessingTime 。 請改用 org.apache.spark.sql.streaming.Trigger.ProcessingTime。 同樣地， org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger 已被移除贊成 Trigger.Continuous，並 org.apache.spark.sql.execution.streaming.OneTimeTrigger 一直隱藏在贊成 Trigger.Once。 （SPARK-28199）
  • 在 Databricks Runtime 7.0 中，讀取 Hive SerDe 資料表時，根據預設，Spark 不允許在不是數據表分割的子目錄中讀取檔案。 若要開啟它，請將組態 spark.databricks.io.hive.scanNonpartitionedDirectory.enabled 設定為 true。 這不會影響 Spark 原生數據表讀取器和檔案讀取器。

程式設計指南：

MLlib

重點

MLlib 的行為變更

下列移轉指南列出 Apache Spark 2.4 與 3.0 之間的行為變更。 這些變更可能需要更新您已在較低 Databricks Runtime 版本上執行的作業：

移轉指南中未涵蓋下列行為變更：

  • 在Spark 3.0中，Pyspark中的多類別羅吉斯回歸現在會傳回 LogisticRegressionSummary，而不是子類別 BinaryLogisticRegressionSummary。 無論如何，所 BinaryLogisticRegressionSummary 公開的其他方法將無法在此案例中運作。 （SPARK-31681）
  •  在Spark 3.0中， pyspark.ml.param.shared.Has* mixins 不再提供任何 set*(self, value) setter 方法，請改用個別 self.set(self.*, value) 方法。 如需詳細資訊，請參閱SPARK-29093。 （SPARK-29093）

程式設計手冊

SparkR

  • SparkR 互操作性中的箭號優化 （SPARK-26759）
  • 透過向量化 R gapply（）， dapply（）， createDataFrame， collect（） 的效能增強
  • IDE R 殼層的「積極執行」（SPARK-24572）
  • 適用於 Power Iteration Clustering 的 R API （SPARK-19827）

SparkR 的行為變更

下列移轉指南列出 Apache Spark 2.4 與 3.0 之間的行為變更。 這些變更可能需要更新您已在較低 Databricks Runtime 版本上執行的作業：

程式設計手冊

GraphX

程序設計指南： GraphX 程式設計手冊。

棄用項目

已知問題

  • 使用模式字母 『D』 剖析年份的日期會傳回錯誤的結果，如果遺漏年份欄位。 這可能發生在 SQL 函式中，例如 to_timestamp 使用模式字串將 datetime 字串剖析為 datetime 值。 （SPARK-31939）
  • 如果索引鍵有 -0.0 和 0.0 值，則子查詢內的聯結/視窗/匯總可能會導致錯誤的結果。 （SPARK-31958）
  • 窗口查詢可能會意外失敗，並出現模棱兩可的自我聯結錯誤。 （SPARK-31956）
  • 使用運算符串 dropDuplicates 流查詢可能無法使用 Spark 2.x 所撰寫的檢查點重新啟動。 （SPARK-31990）

維護更新

請參閱 Databricks Runtime 7.0 維護更新。

系統環境

  • 操作系統：Ubuntu 18.04.4 LTS
  • Java：1.8.0_252
  • Scala：2.12.10
  • Python：3.7.5
  • R：R 3.6.3 版 （2020-02-29）
  • Delta Lake 0.7.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.4.5 cffi 1.14.0
chardet 3.0.4 密碼編譯 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.14.1
jmespath 0.9.4 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 matplotlib 3.1.3
numpy 1.18.1 pandas 1.0.1 parso 0.5.2
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.0.2 prompt-toolkit 3.0.3 psycopg2 2.8.4
ptyprocess 0.6.0 pyarrow 0.15.1 pycparser 2.19
Pygments 2.5.2 PyGObject 3.26.1 pyOpenSSL 19.1.0
pyparsing 2.4.6 PySocks 1.7.1 python-apt 1.6.5+ubuntu0.3
python-dateutil 2.8.1 pytz 2019.3 pyzmq 18.1.1
requests 2.22.0 s3transfer 0.3.3 scikit-learn 0.22.1
scipy 1.4.1 seaborn 0.10.0 setuptools 45.2.0
六次 1.14.0 ssh-import-id 5.7 statsmodels 0.11.0
tornado 6.0.3 traitlets 4.3.3 自動升級 0.1
urllib3 1.25.8 virtualenv 16.7.10 wcwidth 0.1.8
wheel 0.34.2

已安裝的 R 連結庫

R 連結庫會從 2020-04-22 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.1.6
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
boot 1.3-25 brew 1.0-6 broom 0.5.6
callr 3.4.3 caret 6.0-86 cellranger 1.1.0
chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 叢集 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1.7 compiler 3.6.3
config 0.3 covr 3.5.0 crayon 1.3.4
串 擾 1.1.0.1 curl 4.3 data.table 1.12.8
datasets 3.6.3 DBI 1.1.0 dbplyr 1.4.3
遞減 1.2.0 devtools 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0.13 省略符號 0.3.0
evaluate 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
foreign 0.8-76 forge 0.2.0 fs 1.4.1
泛型 0.0.2 ggplot2 3.3.0 gh 1.1.0
git2r 0.26.1 glmnet 3.0-2 globals 0.12.5
glue 1.4.0 gower 0.2.1 graphics 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 避風港 2.2.0
highr 0.8 hms 0.5.3 htmltools 0.4.0
htmlwidgets 1.5.1 httpuv 1.5.2 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.1 iterators 1.0.12
jsonlite 1.6.1 KernSmooth 2.23-17 針織機 1.28
labeling 0.3 later 1.0.0 lattice 0.20-41
Lava 1.6.7 lazyeval 0.2.2 生命週期 0.2.0
lubridate 1.7.8 magrittr 1.5 markdown 1.1
MASS 7.3-51.6 矩陣 1.2-18 備忘 1.1.0
方法 3.6.3 mgcv 1.8-31 mime 0.9
ModelMetrics 1.2.2.2 modelr 0.1.6 蒙塞爾 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.1 parallel 3.6.3 pillar 1.4.3
pkgbuild 1.0.6 pkgconfig 2.0.3 pkgload 1.0.2
plogr 0.2.0 plyr 1.8.6 讚美 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.2
prodlim 2019.11.13 進度 1.2.2 promises 1.1.0
proto 1.0.0 ps 1.3.2 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.4.6 readr 1.3.1 readxl 1.3.1
recipes 0.1.10 rematch 1.0.1 rematch2 2.1.1
remotes 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.5
rmarkdown 2.1 RODBC 1.3-16 roxygen2 7.1.0
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.2.0 rstudioapi 0.11 rversions 2.0.1
rvest 0.3.5 scales 1.1.0 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.4.0.2
sourcetools 0.1.7 sparklyr 1.2.0 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.2 stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 survival 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2.10
testthat 2.3.2 tibble 3.0.1 tidyr 1.0.2
tidyselect 1.0.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.22 tools 3.6.3 usethis 1.6.0
utf8 1.1.4 utils 3.6.3 vctrs 0.2.4
viridisLite 0.3.0 晶須 0.4 withr 2.2.0
xfun 0.13 xml2 1.3.1 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1

已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.咖啡因 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
net.razorvine pyolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.0
net.snowflake spark-snowflake_2.12 2.5.9-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人-食譜 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet parquet-encoding 1.10.1.2-databricks4
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity 速率 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core 澤西-通用 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap 墊片 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 閑置 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml 蛇形 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52