共用方式為

Databricks Runtime 11.0 （不支援）

  • 發行項

下列版本資訊提供由 Apache Spark 3.3.0 提供之 Databricks Runtime 11.0 的相關信息。 Databricks 於 2022 年 6 月發行了這些映射。

新功能和改善

新版 Apache Spark

Databricks Runtime 11.0 和 Databricks Runtime 11.0 Photon 包括 Apache Spark 3.3.0。 如需詳細資訊，請參閱 Apache Spark。

Python 筆記本現在使用 IPython 核心

在 Databricks Runtime 11.0 和更新版本中，Python 筆記本會使用 IPython 核心來執行 Python 程式代碼。 請參閱 IPython 核心。

支援ipywidgets

您現在可以使用ipywidgets讓您的 Databricks Python 筆記本成為互動式。 請參閱 ipywidgets。

Synapse 連接器現在以非舊版模式寫入 Parquet 數據

Azure Synapse 連接器現在會以非舊版模式寫入 Parquet 數據。 當針對批次和串流工作負載使用PolyBase和COPY命令時，INT96它會保留時間戳格式。

當 ABFS 用戶端使用 SAS 令牌時，現在會強制執行 HTTPS 配置

當 Azure Blob 檔案系統 （ABFS） 用戶端使用共用存取簽章 （SAS） 令牌時，現在會強制執行 HTTPS 配置。

SQL： DESC 現在是 的別名 DESCRIBE

您現在可以在描述外部位置或記憶體認證時使用 DESC 作為別名 DESCRIBE 。 例如：

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL：新的 current_version 函式輸出版本詳細數據

如果可用，新的 current_version 函式會輸出目前的 Databricks Runtime 版本、如果有的話，目前的 Databricks SQL 版本，以及其他相關的版本詳細數據。 使用此新函式來查詢版本相關信息。 請參閱 current_version函式。

卸除遺漏的 Delta 數據表條件約束現在會產生錯誤

如果您現在嘗試依名稱卸除 Delta 數據表條件約束，而且該條件約束不存在，您會收到錯誤。 若要取得先前的行為，如果條件約束不存在，則不會擲回錯誤，您現在 IF EXISTS 必須使用 語句。 請參閱 ALTER TABLE。

SQL：語句中的新 EXCEPT 子句會排除選取範圍中的數據 SELECT 行

SELECT 語句現在支援 EXCEPT 子句，以排除選取範圍中的數據行。 例如，SELECT * EXCEPT (x) FROM table傳回 除 以外的x所有數據table行。 也允許巢狀數據行。 例如，傳回所有table的數據行，SELECT * EXCEPT (x.a) FROM table但省略 結構 x中的欄位a。

支援卸除 Delta 資料表中的數據行 （公開預覽）

您可以使用 ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> 或 ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) ，從 Delta 數據表分別卸除數據行或數據行清單作為僅限元數據的作業。 數據行實際上會「虛刪除」，因為它們仍在基礎 Parquet 檔案中，但 Delta 數據表不再顯示。

您可以使用 REORG TABLE <table-name> APPLY (PURGE) 來觸發檔案重寫的檔案，其中包含任何虛刪除的數據，例如卸除的數據行。

您可以使用 VACUUM 從實體記憶體中移除已刪除的檔案，包括包含已卸除數據行且已重寫的 REORG TABLE舊檔案。

COPY INTO 改進功能

您現在可以建立空的佔位元 Delta 資料表，以便稍後在命令期間 COPY INTO 推斷架構：

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

上述 SQL 語句具有等冪性，而且可以排程執行，以將數據完全擷取到 Delta 數據表。

注意

空的 Delta 資料表無法在 之外 COPY INTO使用。 您無法使用 INSERT INTO 和 MERGE INTO 將數據寫入無架構的 Delta 資料表。 使用 將數據插入數據表 COPY INTO之後，數據表是可查詢的。

如果您擷取的數據因某些損毀問題而無法讀取，您可以在 中將 設定 ignoreCorruptFiles 為 true ，以略過損毀的 FORMAT_OPTIONS檔案：

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

此命令 COPY INTO 會傳回因為數據行損 num_skipped_corrupt_files 毀而略過的檔案數目。 當您在 Delta 數據表上執行DESCRIBE HISTORY之後，operationMetrics此計量也會出現在數據行底numSkippedCorruptFiles下。

未追蹤 COPY INTO損毀的檔案，因此在修正損毀時，可以在後續執行中重載。 您可以在 模式中VALIDATE執行COPY INTO，以查看哪些檔案已損毀。

CONVERT TO DELTA 現在支援 Unity 目錄的環境 （公開預覽）

在 已啟用 Unity 目錄的環境中， CONVERT TO DELTA 您現在可以：

  • 將外部位置中的 Parquet 檔案轉換為 Delta Lake。
  • 將 Parquet 外部資料表轉換為 Delta 資料表。

行為變更

SQL： lpad 和 rpad 函式現在支援位元組序列

lpad 和 rpad 函式已更新，除了字串之外，還新增位元組序列的支援。

中的 format_string 字串格式，且 printf 不再允許 %0$

在和 printf 函式中format_string指定格式%0$現在預設會擲回錯誤。 這項變更是保留舊版 Databricks Runtime 和一般第三方資料庫的預期行為。 當您使用自變數索引來指出自變數在自變數清單中的位置時，第一個自變數應該一律參考 %1$ 。

CSV 檔案中的 Null 值現在預設會寫入為未加上批注的空字串

CSV 檔案中的 Null 值先前是以引弧括住的空字串撰寫。 在此版本中，CSV 檔案中的 Null 值現在預設會寫入為未加上批注的空字串。 若要變更回先前的行為，請將 寫入作業的選項""設定nullValue為 。

數據表屬性 external 現在已保留

external屬性現在是預設的保留數據表屬性。 當您搭配 CREATE TABLE ... TBLPROPERTIES 和 ALTER TABLE ... SET TBLPROPERTIES 子句使用 external 屬性時，現在會擲回例外狀況。

Log4j 從Log4j 1升級至Log4j 2

Log4j 1 正在升級至 Log4j 2。 正在移除舊版Log4j 1相依性。

如果您相依於先前包含在 Databricks Runtime 中的 Log4j 1 類別，這些類別就不再存在。 您應該將相依性升級至Log4j 2。

如果您有相依於 Log4j 2 的自定義外掛程式或組態檔，這些外掛程式可能無法再使用此版本中的 Log4j 2 版本。 如需協助，請連絡 Azure Databricks 帳戶小組。

從 Maven 安裝的連結庫現在預設會在計算平面中解析

當您在叢集上安裝連結庫時，Maven 連結庫現在預設會在計算平面中解析。 叢集必須能夠存取 Maven Central。 或者，您可以藉由設定 Spark 組態屬性來還原為先前的行為：

spark.databricks.libraries.enableMavenResolution false

錯誤修正

  • 已修正 Apache Spark 與 Databricks Runtime 之間的 、 UnaryNode和 BinaryNode 二進位相容性LeafNode，而且類別現在與 Apache Spark 3.3.0 和更新版本相容。 如果您在搭配 Databricks Runtime 使用第三方套件時遇到下列或類似訊息，請使用 Apache Spark 3.3.0 或更新版本重建套件： Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected。

連結庫升級

  • 升級的 Python 連結庫：
    • platformdirs from 2.5.1 to 2.5.2
    • protobuf 從 3.20.0 到 3.20.1
  • 升級的 R 連結庫：
    • 從 1.2.2 到 1.2.3 的 Blob
    • 從 0.7.12 到 0.8.0 的掃把
    • 從 6.0-91 到 6.0-92 的插入號
    • cli 從 3.2.0 到 3.3.0
    • dplyr 從 1.0.8 到 1.0.9
    • 從 1.24.0 到 1.25.0 的未來
    • future.apply 從 1.8.1 到 1.9.0
    • 從 1.5.0 到 1.6.0 的 gert
    • ggplot2 從 3.3.5 到 3.3.6
    • 從 4.1-3 到 4.1-4 的 glmnet
    • 從 2.4.3 到 2.5.0
    • httr 從 1.4.2 到 1.4.3
    • 從 1.38 到 1.39 的針織器
    • magrittr 從 2.0.2 到 2.0.3
    • 平行從 1.30.0 到 1.31.1
    • ps 從 1.6.0 到 1.7.0
    • 從 1.1-2 到 1.1-3 的 RColorBrewer
    • RcppEigen 從 0.3.3.9.1 到 0.3.3.9.2
    • readxl 從 1.3.1 到 1.4.0
    • 從 2.13 到 2.14 的 rmarkdown
    • 從 2.0.2 到 2.0.3 的 rprojroot
    • RSQLite 從 2.2.11 到 2.2.13
    • 從 1.1.1 調整為 1.2.0
    • 測試從 3.1.2 到 3.1.4
    • 從 3.1.6 到 3.1.7 的 tibble
    • tinytex from 0.37 to 0.38
    • tzdb 從 0.2.0 到 0.3.0
    • 從 1.0-4 到 1.1-0 的 uuid
    • 從 0.3.8 到 0.4.1 的 vctrs
  • 升級的 Java 連結庫：
    • com.fasterxml.jackson.core.jackson-annotations from 2.13.0 to 2.13.3
    • com.fasterxml.jackson.core.jackson-core 從 2.13.0 到 2.13.3
    • com.fasterxml.jackson.core.jackson-databind 從 2.13.0 到 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 從 2.13.0 到 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda，從 2.13.0 到 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer，從 2.13.0 到 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12，從 2.13.0 到 2.13.3
    • com.google.crypto.tink.tink 從 1.6.0 到 1.6.1
    • com.ning.compress-lzf 從 1.0.3 到 1.1
    • dev.ludovic.netlib.arpack 從 2.2.0 到 2.2.1
    • dev.ludovic.netlib.blas 從 2.2.0 到 2.2.1
    • dev.ludovic.netlib.lapack 從 2.2.0 到 2.2.1
    • io.netty.netty-all 從 4.1.73.Final 到 4.1.74.Final
    • 從 4.1.73.Final 到 4.1.74.Final 的 io.netty.netty-buffer
    • 從 4.1.73.Final 到 4.1.74.Final 的 io.netty.netty-codec
    • io.netty.netty-common 從 4.1.73.Final 到 4.1.74.Final
    • 從 4.1.73.Final 到 4.1.74.Final 的 io.netty.netty-handler
    • io.netty.netty-resolver，從 4.1.73.Final 到 4.1.74.Final
    • 從 2.0.46.Final 到 2.0.48.Final 的 io.netty.netty-tcnative-classes
    • 從 4.1.73.Final 到 4.1.74.Final 的 io.netty.netty-transport
    • io.netty.netty-transport-classes-epoll 從 4.1.73.Final 到 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue 從 4.1.73.Final 到 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64，從 4.1.73.Final 到 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64，從 4.1.73.Final 到 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64，從 4.1.73.Final 到 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64，從 4.1.73.Final 到 4.1.74.Final
    • io.netty.netty-transport-native-unix-common，從 4.1.73.Final 到 4.1.74.Final
    • joda-time.joda-time 從 2.10.12 到 2.10.13
    • org.apache.commons.commons-math3 從 3.4.1 到 3.6.1
    • org.apache.httpcomponents.httpcore，從 4.4.12 到 4.4.14
    • org.apache.orc.orc-core 從 1.7.3 到 1.7.4
    • org.apache.orc.orc-mapreduce 從 1.7.3 到 1.7.4
    • org.apache.orc.orc-shims from 1.7.3 到 1.7.4
    • org.eclipse.jetty.jetty-client，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation 從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io 從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common 從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet，從 9.4.43.v20210629 到 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client 從 2.2.5 到 2.7.4
    • org.postgresql.postgresql 從 42.2.19 到 42.3.3
    • org.roaringbitmap.RoaringBitmap 從 0.9.23 到 0.9.25
    • org.roaringbitmap.shims from 0.9.23 to 0.9.25
    • org.rocksdb.rocksdbjni 從 6.20.3 到 6.24.2
    • org.slf4j.jcl-over-slf4j，從 1.7.32 到 1.7.36
    • org.slf4j.jul-to-slf4j，從 1.7.32 到 1.7.36
    • org.slf4j.slf4j-api 從 1.7.30 到 1.7.36

Apache Spark

Databricks Runtime 11.0 包含 Apache Spark 3.3.0。

本節內容：

Spark SQL 和 Core

ANSI 模式

  • ANSI 模式的新明確轉換語法規則 （SPARK-33354）
  • 如果 ANSI 模式下的 index 為 null，Elt（） 應該傳回 null （SPARK-38304）
  • 如果元素不存在於陣列/對應中，選擇性地傳回 Null 結果 （SPARK-37750）
  • 允許在數值類型和時間戳類型之間轉換 （SPARK-37714）
  • 預設停用 ANSI 保留關鍵字 （SPARK-37724）
  • 使用存放區指派規則來解析函式調用 （SPARK-37438）
  • 新增設定以允許在 Datetime 與 Numeric 之間轉換 （SPARK-37179）
  • 新增組態以選擇性地強制執行 ANSI 保留關鍵字 （SPARK-37133）
  • 不允許間隔與字串常值之間的二進位作業 （SPARK-36508）

功能增強功能

  • 支援 ANSI SQL INTERVAL 型態 （SPARK-27790）
  • 錯誤訊息改善 （SPARK-38781）
  • Spark SQL 的隱藏檔案元資料支援 （SPARK-37273）
  • 支援原始字串常值 （SPARK-36371）
  • Batch Dataset.observe（） 的協助程序類別 （SPARK-34806）
  • 支援指定重新平衡的初始資料分割編號 （SPARK-38410）
  • 支援 API 的 dropNamespace 串聯模式 （SPARK-37929）
  • 允許在日期時間類型之間儲存指派和隱含轉換 （SPARK-37707）
  • 收集，第一個和最後一個應該是決定性聚合函數 （SPARK-32940）
  • 為具有複雜多載的函式新增 ExpressionBuilder （SPARK-37164）
  • 依名稱將陣列支援新增至等位 （SPARK-36546）
  • 新增 df.withMetadata：更新數據框架元數據的語法糖 （SPARK-36642）
  • 支援原始字串常值 （SPARK-36371）
  • 使用 CAST 剖析具有預設模式的日期/時間戳 （SPARK-36418）
  • 支援資料集巢狀架構中的實值類別 （SPARK-20384）
  • 新增 AS OF 語法支援 （SPARK-37219）
  • 在 TABLESAMPLE 中新增 REPEATABLE 以指定種子 （SPARK-37165）
  • 新增 ansi 語法 set catalog xxx 以變更目前的目錄 （SPARK-36841）
  • 支援 ILIKE （ALL |ANY |部分） - 不區分大小寫的 LIKE （SPARK-36674， SPARK-36736， SPARK-36778）
  • 支援查詢階段以格式化說明模式顯示執行時間統計資料 （SPARK-38322）
  • 新增排序合併聯結的溢出大小計量 （SPARK-37726）
  • 更新 SHOW FUNCTIONS 的 SQL 語法 （SPARK-37777）
  • 支援 DROP COLUMN [IF EXISTS] 語法 （SPARK-38939）
  • 新的內建函式及其擴充功能 （SPARK-38783）

效能增強

  • 神秘 階段程式代碼產生
    • 新增程式代碼 gen 來排序匯總，而不分組索引鍵 （SPARK-37564）
    • 新增完整外部排序合併聯結的程式代碼 Gen （SPARK-35352）
    • 新增完整外部隨機哈希聯結的程式代碼 Gen （SPARK-32567）
    • 為存在排序合併聯結新增程式碼 Gen （SPARK-37316）
  • 下推（篩選）
    • 透過 RebalancePartitions 向下推入篩選 （SPARK-37828）
    • 下推布爾資料行篩選 （SPARK-36644）
    • 如果聯結條件是空的，則左半/反聯結右側的下推限制 1 （SPARK-37917）
    • 轉譯更多適用於下推的標準聚合函數 （SPARK-37527）
    • 支援透過匯總/等位傳播空關聯性 （SPARK-35442）
    • 資料列層級執行時間篩選 （SPARK-32268）
    • 支援資料列層級執行時間篩選中的左半聯結 （SPARK-38565）
    • 支援取消複製 CTE 的述詞下推和資料行剪除 （SPARK-37670）
  • 矢量化
    • 實作 ConstantColumnVector 並改善隱藏檔案元數據的效能 （SPARK-37896）
    • 啟用 VectorizedPlainValuesReader.readBooleans 的向量化讀取 （SPARK-35867）
  • 合併/移除/取代節點
    • 如果它們之間有專案，請合併聯集 （SPARK-37915）
    • 如果我們可以安全地向上投出兩個轉換（SPARK-37922） 結合成一個轉換
    • 如果它是 RepartitionByExpression 的子系，請移除 Sort （SPARK-36703）
    • 如果外部聯結只有具有別名的數據流端有 DISTINCT，則移除外部聯結 （SPARK-37292）
    • 如果子系已經排序，請將哈希取代為排序匯總 （SPARK-37455）
    • 只有在我們不複製昂貴的運算式時才會折疊專案 （SPARK-36718）
    • 在 RewritePredicateSubquery 之後移除備援別名 （SPARK-36280）
    • 合並非相互關聯的純量子查詢 （SPARK-34079）
  • 分區
    • 如果沒有靜態數據分割剪除，請勿新增動態數據分割剪除 （SPARK-38148）
    • 改善優化器規則中的 RebalancePartitions （SPARK-37904）
    • 重新平衡資料分割新增小型資料分割因數 （SPARK-37357）
  • 加入
    • 微調邏輯以降級 DynamicJoinSelection 中的廣播哈希聯結 （SPARK-37753）
    • 建置 SEMI/ANTI 隨機哈希聯結的關聯時，忽略重複的聯結索引鍵 （SPARK-36794）
    • 即使引進額外的隨機顯示，支援優化扭曲聯結 （SPARK-33832）
  • AQE
    • 支援消除 AQE 優化器中的限制 （SPARK-36424）
    • 在一般和 AQE 優化器中優化一個數據列計劃 （SPARK-38162）
  • Aggregate.groupOnly 支援可折迭表達式 （SPARK-38489）
  • ByteArrayMethods arrayEquals 應該會快速略過與未對齊平台的檢查 （SPARK-37796）
  • 將樹狀結構模式剪除新增至 CTESubstitution 規則 （SPARK-37379）
  • 新增更多 Not 運算子簡化 （SPARK-36665）
  • 在 UnwrapCastInBinaryComparison 中支援 BooleanType （SPARK-36607）
  • 在第一個不可為 Null 的表達式之後，聯合卸除所有表達式 （SPARK-36359）
  • 新增邏輯計劃訪客以傳播不同的屬性 （SPARK-36194）

內建連接器增強功能

  • 一般
    • Lenient 從數據源串行化 datetime （SPARK-38437）
    • 當路徑的第一個字母在 create/alter 數據表中斜線時，將數據表位置視為絕對值 （SPARK-38236）
    • 從空白靜態數字類型分割中移除前置零 （SPARK-35561）
    • 支援 ignoreCorruptFiles 與 ignoreMissingFiles 資料來源選項 （SPARK-38767）
    • 新增指令 SHOW CATALOGS （SPARK-35973）
  • 實木 複合 地板
    • 依欄位識別碼啟用比對架構資料列名稱 （SPARK-38094）
    • 在 parquet 中讀取/寫入數據時移除檢查功能變數名稱 （SPARK-27442）
    • 支援向量化讀取布爾值搭配 Parquet DataPage V2 使用 RLE 編碼 （SPARK-37864）
    • 支援向量化路徑的 Parquet v2 資料頁編碼 （DELTA_BINARY_PACKED） （SPARK-36879）
    • 儲存在 Parquet/Avro 元資料的工作階段時區中重新設定時間戳 （SPARK-37705）
    • 依資料分割資料行向下推送群組以進行匯總 （SPARK-36646）
    • Parquet 的匯總 （最小值/最大值/計數） 下推 （SPARK-36645）
    • Parquet：依字段標識符啟用比對架構數據行 （SPARK-38094）
    • 如果使用 G1GC 和ON_HEAP，請減少預設頁面大小 LONG_ARRAY_OFFSET （SPARK-37593）
    • 實作 Parquet V2 支援的向量化DELTA_BYTE_ARRAY和DELTA_LENGTH_BYTE_ARRAY編碼 （SPARK-37974）
    • 支援 Parquet 向量化讀取器的複雜類型 （SPARK-34863）
  • ORC
    • 在 Orc 中讀取/ 寫入現有資料時移除檢查功能變數名稱 （SPARK-37965）
    • ORC 的匯總下推 （SPARK-34960）
    • 支援從 ORC 資料來源讀取與寫入 ANSI 間隔 （SPARK-36931）
    • 支援 ORC 資料來源中僅限數字的資料行名稱 （SPARK-36663）
  • Json
    • 剖析 JSON 讀取器中引號的 NaN 和 Infinity 值時，尊重 allowNonNumericNumbers （SPARK-38060）
    • 根據預設，在 CSV/JSON 中使用 CAST 作為日期時間 （SPARK-36536）
    • 在 Json 讀取器中 MapType 中對齊不支援之密鑰類型的錯誤訊息 （SPARK-35320）
  • Csv
    • 修正從 CSV 參照損毀的記錄資料行 （SPARK-38534）
    • null 值應該儲存為無任何值，而不是預設加上引號的空字串 “” （SPARK-37575）
  • Jdbc
    • 將 IMMEDIATE 語句新增至 DB2 方言截斷實作 （SPARK-30062）
  • 蜂巢
    • 支援撰寫 Hive 貯體資料表 （Hive 哈希的 Hive 檔案格式） （SPARK-32712）
    • 使用表示式來篩選用戶端的 Hive 分割區 （SPARK-35437）
    • 支援 HiveTableScanExec 的動態數據分割剪除 （SPARK-36876）
    • InsertIntoHiveDir 在可轉換時應該使用數據源 （SPARK-38215）
    • 支援使用 Hive 哈希撰寫 Hive 貯體數據表 （Parquet/ORC 格式） （SPARK-32709）

節點解除委任

  • 後援 儲存體 不應該嘗試解析任意的「遠端」主機名（SPARK-38062）
  • ExecutorMonitor.onExecutorRemoved 應將 ExecutorDecommission 處理為已完成 （SPARK-38023）

其他值得注意的變更

  • 將精細鎖定新增至 BlockInfoManager （SPARK-37356）
  • 支援將 Spark gpu/fpga 資源類型對應至自定義 YARN 資源類型 （SPARK-37208）
  • 如果扭曲，請報告精確的隨機顯示區塊大小 （SPARK-36967）
  • 支援網路層的 Netty 記錄 （SPARK-36719）

結構化串流

主要功能

  • 介紹 Trigger.AvailableNow 以多個批次執行 Trigger.Once 等串流查詢 （SPARK-36533）

其他值得注意的變更

  • 針對具有回溯兼容性的具狀態運算符使用 StatefulOpClusteredDistribution （SPARK-38204）
  • 使用金鑰的數據批次修正 flatMapGroupsWithState 逾時 （SPARK-38320）
  • 修正與 RocksDB 狀態存放區提供者串流外部聯結的更正問題 （SPARK-38684）
  • 支援 Kafka 數據源上的 Trigger.AvailableNow （SPARK-36649）
  • 優化 RocksDB 狀態存放區提供者上的寫入路徑 （SPARK-37224）
  • 引進新的數據源，為每個微批次提供一組一致的數據列 （SPARK-37062）
  • 針對具有回溯兼容性的具狀態運算符使用 HashClusteredDistribution （SPARK-38204）

PySpark

Spark 上的 Pandas API

主要改進
  • 預設為 'distributed-sequence' 索引優化 （SPARK-36559， SPARK-36338）
    • 支援在 Spark 上的 pandas API 中指定索引類型和名稱 （SPARK-36709）
    • 在 Spark 上的 Pandas API 的 SQL 方案中顯示預設索引類型 （SPARK-38654）
主要功能
  • 實作 SparkSQL 原生ps.merge_asof （SPARK-36813）
  • 在 Spark 上的 pandas API 中支援 TimedeltaIndex （SPARK-37525）
  • 支援 Python 的 timedelta （SPARK-37275， SPARK-37510）
  • 在 CategoricalAccessor/CategoricalIndex 中實作函式 （SPARK-36185）
  • 在 Spark 上的 pandas API 中使用 Python 的標準字串格式器進行 SQL API （SPARK-37436）
  • 支援 timedelta Series/Index 的基本作業 （SPARK-37510）
  • 支援 ps。MultiIndex.dtypes （SPARK-36930）
  • 實作 Index.map （SPARK-36469）
  • 實作數列。xor 和 Series。rxor （SPARK-36653）
  • 實作整數 ps 的一元運算符 invert 。數列/索引 （SPARK-36003）
  • 實作 DataFrame.cov （SPARK-36396）
  • 支援的 str 和 timestamp for （Series|DataFrame.describe（） （SPARK-37657）
  • 支援 的 DataFrame.renameLambda column 參數 （SPARK-38763）

其他值得注意的變更

重大變更
  • 卸除 docs 和 python/docs 中 Python 3.6 支持的參考 （SPARK-36977）
  • 將內建的泡泡取代為 cloudpickle 來移除具名駭客攻擊 （SPARK-32079）
  • 將熊貓的最低版本調整為 1.0.5 （SPARK-37465）
  • 主要改進
    • 提供 Python/Pandas UDF 的分析工具 （SPARK-37443）
    • 在 PySpark 中使用 Python 的標準字串格式器進行 SQL API （SPARK-37516）
    • 在 PySpark 例外狀況中公開 SQL 狀態和錯誤類別 （SPARK-36953）
    • 嘗試在 Python 背景工作角色當機時擷取 faulthanlder （SPARK-36062）
主要功能
  • 在 Python 中實作 DataFrame.mapInArrow （SPARK-37228）
  • 在 PySpark 中使用 Python 的標準字串格式器進行 SQL API （SPARK-37516）
  • 新增 df.withMetadata pyspark API （SPARK-36642）
  • 支援 Python 的 timedelta （SPARK-37275）
  • 在 pyspark.sql.catalog 中公開 tableExists （SPARK-36176）
  • 在 pyspark.sql.catalog 中公開 databaseExists （SPARK-36207）
  • 在 pyspark sql 目錄中公開 functionExists （SPARK-36258）
  • 將 Dataframe.observation 新增至 PySpark （SPARK-36263）
  • 將max_by/min_by API 新增至 PySpark （SPARK-36972）
  • 支援在建立數據框架時推斷巢狀聽寫為結構 （SPARK-35929）
  • 將位/octet_length API 新增至 Scala、Python 和 R （SPARK-36751）
  • 支援 Python 上的 ILIKE API （SPARK-36882）
  • 新增 Python DataFrame API 的 isEmpty 方法 （SPARK-37207）
  • 新增多個資料行以新增支援 （SPARK-35173）
  • 在 PySpark 中新增 SparkContext.addArchive （SPARK-38278）
  • 使 sql 類型 reprs eval-able （SPARK-18621）
  • python/pyspark/mllib 中 fpm.py 的內嵌類型提示 （SPARK-37396）
  • 實 dropna 作 參數 SeriesGroupBy.value_counts （SPARK-38837）

MLLIB

主要功能

  • 將 distanceMeasure 参數新增至 trainKMeansModel （SPARK-37118）
  • 公開羅吉斯Regression.setInitialModel，例如 KMeans 等 do （SPARK-36481）
  • 支援 CrossValidatorModel 取得每個 paramMap 的標準度量偏差 （SPARK-36425）

主要改進

  • 延遲配置來優化 MLlib 中的某些樹狀結構匯總 （SPARK-35848）
  • 將 _shared_params_code_gen.py 重寫為 ml/param/shared.py 的內嵌類型提示（SPARK-37419）

其他值得注意的變更

SparkR

UI

  • 階段層級的猜測計量摘要 （SPARK-36038）
  • 整合隨機讀取區塊時間，以在 StagePage 中隨機顯示讀取擷取等候時間 （SPARK-37469）
  • 在 UI 中新增 SQL 執行的修改組態 （SPARK-34735）
  • 讓 ThriftServer 辨識 spark.sql.redaction.string.regex （SPARK-36400）
  • 在 UI 中啟動應用程式之後附加和啟動處理程式 （SPARK-36237）
  • 將認可持續時間新增至 SQL 索引標籤節點 （SPARK-34399）
  • 支援 Spark 歷程記錄伺服器中的 RocksDB 後端 （SPARK-37680）
  • 在 UI 中顯示 Pandas API 的選項 （SPARK-38656）
  • 在 SQL UI 頁面中將 'SQL' 重新命名為 'SQL / DataFrame'（SPARK-38657）

組建

維護更新

請參閱 Databricks Runtime 11.0 （不支援）。

系統環境

  • 操作系統：Ubuntu 20.04.4 LTS
  • Java：Zulu 8.56.0.21-CA-linux64
  • Scala：2.12.14
  • Python：3.9.5
  • R：4.1.3
  • Delta Lake：1.2.1

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
Antergos Linux 2015.10 （ISO-Rolling） argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.4 distro-info 0.23ubuntu1
entrypoints 0.3 facets-overview 1.0.0 filelock 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 notebook 6.4.5
numpy 1.20.3 封裝 21.0 pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
火熱 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 requests 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 六次 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 terminado 0.9.4
testpath 0.5.0 threadpoolctl 2.2.0 tornado 6.1
traitlets 5.1.0 自動升級 0.1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
wheel 0.37.0 widgetsnbextension 3.6.0

已安裝的 R 連結庫

R 連結庫會從 2022-05-06 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.8.0
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-92 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.3.0 clipr 0.8.0
叢集 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 遞減 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
省略符號 0.3.2 evaluate 0.15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.25.0
future.apply 1.9.0 漱口 1.2.0 泛型 0.1.2
格特 1.6.0 ggplot2 3.3.6 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 避風港 2.5.0
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
ids 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 針織機 1.39
labeling 0.4.2 later 1.3.0 lattice 0.20-45
Lava 1.6.10 生命週期 1.0.1 listenv 0.8.0
lubridate 1.8.0 magrittr 2.0.3 markdown 1.1
MASS 7.3-56 矩陣 1.4-1 備忘 2.0.1
方法 4.1.3 mgcv 1.8-40 mime 0.12
ModelMetrics 1.2.2.2 modelr 0.1.8 蒙塞爾 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 parallelly 1.31.1
pillar 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
讚美 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.5.3 prodlim 2019.11.13 進度 1.2.2
progressr 0.10.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-26 ps 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 recipes 0.2.0 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.2 reprex 2.0.1
reshape2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.2
sass 0.4.1 scales 1.2.0 selectr 0.4-2
sessioninfo 1.2.2 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
spatial 7.3-11 splines 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.3 stats4 4.1.3
stringi 1.7.6 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.38
tools 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 晶須 0.4 withr 2.5.0
xfun 0.30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.咖啡因 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink 小 叮噹 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlet 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏家 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人-食譜 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy 常春藤 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structure 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core 澤西-通用 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap 墊片 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 閑置 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml 蛇形 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1