Databricks Runtime 12.0 （不支援）
下列版本資訊提供由 Apache Spark 3.3.1 提供之 Databricks Runtime 12.0 的相關信息。
Databricks 於 2022 年 12 月發行了這些映像。
新功能和改善
- 預測性 I/O 為 GA
- Photon 寫入器支援 zstd 壓縮
- 支援獨立叢集的階段層級工作資源配置檔
- 使用 選擇性覆寫的 SQL 支援
REPLACE WHERE - SQL 現在支援浮浮水印
- PySpark 記憶體分析
- DELETE 和 UPDATE 的動態剪除
- 數據分割數據操作語言作業的數據列層級刪除計量
預測性 I/O 為 GA
預測性 I/O 現已正式推出。 如需詳細資訊，請參閱 什麼是預測性 I/O？。
Photon 寫入器支援 zstd 壓縮
當 zstd 啟用時，Photon 原生寫入器現在支援 zstd 壓縮編解碼器，方法是將 設定 spark.sql.parquet.compression.codec 為 zstd。
支援獨立叢集的階段層級工作資源配置檔
在停用動態配置時，您現在可以在獨立叢集上使用階段層級排程。 若要使用此功能，請針對每個階段使用 指定工作資源 ResourceProfileBuilder 。
使用 選擇性覆寫的 SQL 支援 REPLACE WHERE
您現在可以使用下列模式，選擇性地覆寫與 Delta 數據表中任意表示式相符的數據。
INSERT INTO table_name REPLACE WHERE predicate append_relation
請參閱 使用 replaceWhere 的任意選擇性覆寫。
SQL 現在支援浮浮水印
您現在可以使用 Delta Live Tables SQL 介面和針對串流數據框架的 SQL 查詢來指定浮水印。 請參閱 WATERMARK 子句。
PySpark 記憶體分析
現在已針對 PySpark 使用者定義函式啟用記憶體分析。 這會提供使用者定義函式中每一行程式代碼的記憶體遞增、記憶體使用量和出現次數的相關信息。
DELETE 和 UPDATE 的動態剪除
使用已啟用 Photon 的計算時， DELETE 現在 UPDATE 請使用動態檔案和數據分割剪除，以提升效能。 例如，當較小的源數據表用來更新或刪除較大數據表中的數據列時，就會啟用動態剪除。
數據分割數據操作語言作業的數據列層級刪除計量
使用分割述詞時，用戶現在可以稽核執行資料操作語言 （DML） 作業時刪除的數據列數目，例如 DELETE、 TRUNCATE和 replaceWhere。
錯誤修正
修正了自動載入器中 JSON 剖析的問題，其中所有數據行都保留為字元串。 先前 cloudFiles.inferColumnTypes 未設定或設定為 false ，且 JSON 包含巢狀物件。
連結庫升級
- 升級的 Python 連結庫：
- argon2-cffi 從 20.1.0 到 21.3.0
- attrs 從 21.2.0 到 21.4.0
- backports.entry-points-select from 1.1.1 to 1.2.0
- 從 4.0.0 到 4.1.0 的漂白
- boto3 從 1.21.18 到 1.21.32
- 從 1.24.18 到 1.24.32 的 botocore
- cffi 從 1.14.6 到 1.15.0
- 從 8.0.3 按兩下至 8.0.4
- 從 0.10.0 到 0.11.0 的 cycler
- Cython 從 0.29.24 到 0.29.28
- debugpy 從 1.4.1 到 1.5.1
- 裝飾專案從 5.1.0 到 5.1.1
- 從 0.3 到 0.4 的進入點
- 從 3.2 到 3.3 的 idna
- 從 6.12.1 到 6.15.3 的 ipykernel
- 從 7.32.0 到 8.5.0 的 ipython
- 從 7.7.0 到 7.7.2 的 ipywidgets
- jedi 從 0.18.0 到 0.18.1
- joblib 從 1.0.1 到 1.1.0
- jsonschema 從 3.2.0 到 4.4.0
- kiwisolver 從 1.3.1 到 1.3.2
- matplotlib 從 3.4.3 到 3.5.1
- nbclient 從 0.5.3 到 0.5.13
- nbconvert 從 6.1.0 到 6.4.4
- nbformat 從 5.1.3 到 5.3.0
- 從 1.5.1 到 1.5.5 的 nest-asyncio
- 從 6.4.5 到 6.4.8 的筆記本
- 從 1.20.3 到 1.21.5 的 numpy
- 封裝從 21.0 到 21.3
- pandas from 1.3.4 to 1.4.2
- pandocfilters from 1.4.3 to 1.5.0
- 從 0.8.2 到 0.8.3 的 parso
- 枕頭從 8.4.0 到 9.0.1
- 從 2.5.2 到 2.5.4 的 platformdirs
- 從 5.9.0 到 5.6.0 的繪圖
- prometheus-client 從 0.11.0 到 0.13.1
- protobuf 從 4.21.5 到 3.19.4
- pycparser 從 2.20 到 2.21
- 從 2.10.0 到 2.11.2 的 Pygments
- pyodbc 從 4.0.31 到 4.0.32
- pyzmq 從 22.2.1 到 22.3.0
- 要求從 2.26.0 到 2.27.1
- s3transfer 從 0.5.2 到 0.5.0
- scikit-learn 從 0.24.2 到 1.0.2
- scipy 從 1.7.1 到 1.7.3
- 從 0.12.2 到 0.13.2 的 statsmodel
- terminado 從 0.9.4 到 0.13.1
- tomli 從 2.0.1 到 1.2.2
- 從 5.1.0 到 5.1.1 的特性
- 從 1.26.7 到 1.26.9 的 urllib3
- widgetsnbextension 從 3.6.0 到 3.6.1
- 升級的 R 連結庫：
- base 從 4.1.3 到 4.2.2
- 釀造從 1.0-7 到 1.0-8
- bslib 從 0.4.0 到 0.4.1
- 從 3.7.2 到 3.7.3 的呼叫者
- 2.3-57 到 2.3-58 的 chron
- cli 從 3.3.0 到 3.4.1
- 叢集從 2.1.3 到 2.1.4
- 從 1.8.0 到 1.8.1 的 commonmark
- 編譯程式從 4.1.3 到 4.2.2
- cpp11 從 0.4.2 到 0.4.3
- 從 1.5.1 到 1.5.2 的 crayon
- curl 從 4.3.2 到 4.3.3
- 從 1.14.2 到 1.14.4 的 data.table
- 從 4.1.3 到 4.2.2 的數據集
- desc 從 1.4.1 到 1.4.2
- 從 2.4.4 到 2.4.5 的 devtools
- 摘要從 0.6.29 到 0.6.30
- e1071 從 1.7-11 到 1.7-12
- 從 0.16 評估為 0.18
- fontawesome from 0.3.0 to 0.4.0
- 從 1.28.0 到 1.29.0 的未來
- future.apply 從 1.9.1 到 1.10.0
- 從 1.2.0 到 1.2.1
- 從 1.8.0 到 1.9.1 的 gert
- ggplot2 從 3.3.6 到 3.4.0
- gh 從 1.3.0 到 1.3.1
- 從 0.1.1 到 0.1.2 的 gitcreds
- 從 4.1.3 到 4.2.2 的圖形
- grDevices 從 4.1.3 到 4.2.2
- 從 4.1.3 到 4.2.2 的方格
- 從 1.6.5 到 1.6.6 的 HTTPuv
- isoband 從 0.2.5 到 0.2.6
- jsonlite 從 1.8.0 到 1.8.3
- 從 1.6.10 到 1.7.0 的熔岩
- 從 1.0.1 到 1.0.3 的生命週期
- 從 1.8.0 到 1.9.0 的 lubridate
- Markdown 從 1.1 到 1.3
- MASS 從 7.3-56 到 7.3-58
- 從 1.4-1 到 1.5-1 的矩陣
- 從 4.1.3 到 4.2.2 的方法
- mgcv 從 1.8-40 到 1.8-41
- nlme 從 3.1-157 到 3.1-160
- nnet 從 7.3-17 到 7.3-18
- openssl 從 2.0.2 到 2.0.4
- 平行從 4.1.3 到 4.2.2
- 從 1.3.0 到 1.3.1 的 pkgload
- processx 從 3.7.0 到 3.8.0
- ps 從 1.7.1 到 1.7.2
- 從 0.3.4 到 0.3.5 的 purrr
- 從 1.2.2 到 1.2.4 的不規則
- RcppEigen 從 0.3.3.9.2 到 0.3.3.9.3
- 自 2.1.2 到 2.1.3 的 readr
- 從 1.0.1 到 1.0.3 的食譜
- 從 1.0.5 到 1.0.6 的 rlang
- 從 2.16 到 2.18 的 rmarkdown
- 從 4.1.16 到 4.1.19 的 rpart
- RSQLite 從 2.2.16 到 2.2.18
- 閃亮從 1.7.2 到 1.7.3
- 從 3.3.0 到 3.3.1 的 SparkR
- 從 4.1.3 到 4.2.2 的曲線
- 從 4.1.3 到 4.2.2 的統計數據
- stats4 從 4.1.3 到 4.2.2
- sys 從 3.4 到 3.4.1
- tcltk 從 4.1.3 到 4.2.2
- 測試從 3.1.4 到 3.1.5
- 從 1.2.0 到 1.2.1 的 tidyr
- 從 1.1.2 到 1.2.0 的 tidyselect
- timeDate 從 4021.104 到 4021.106
- tinytex from 0.41 to 0.42
- 從 4.1.3 到 4.2.2 的工具
- utils from 4.1.3 to 4.2.2
- 從 0.4.1 到 0.5.0 的 vctrs
- 從 1.5.7 到 1.6.0 的 vroom
- 從 0.32 到 0.34 的 xfun
- yaml 從 2.3.5 到 2.3.6
- zip 從 2.2.0 到 2.2.2
- 升級的 Java 連結庫：
- com.fasterxml.jackson.core.jackson-databind 從 2.13.4 到 2.13.4.2
- org.apache.parquet.parquet-column from 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.parquet.parquet-common，從 1.12.0-databricks-0007 到 1.12.3-databricks-0001
- org.apache.parquet.parquet-encoding，從 1.12.0-databricks-0007 到 1.12.3-databricks-0001
- org.apache.parquet.parquet-format-structure，從 1.12.0-databricks-0007 到 1.12.3-databricks-0001
- org.apache.parquet.parquet-hadoop 從 1.12.0-databricks-0007 到 1.12.3-databricks-0001
- org.apache.parquet.parquet-jackson 從 1.12.0-databricks-0007 到 1.12.3-databricks-0001
- org.apache.yetus.audience-annotations from 0.5.0 to 0.13.0
Apache Spark
Databricks Runtime 12.0 包含 Apache Spark 3.3.1。 此版本包含 Databricks Runtime 11.3 LTS 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] 還原 “[SC-113542][SS] 翻轉 Kafka 位移擷取組態的預設值”
- [SPARK-40646] [SC-116061]還原 “[SC-113379][SQL] 修正在 JSON 數據源和 JSON 函式中傳回部分結果」
- [SPARK-41195] [SC-116305][SQL]支援 PIVOT/UNPIVOT 與聯結子系
- [SPARK-41178] [SC-116139][SQL]修正 JOIN 與逗號之間的剖析器規則優先順序
- [SPARK-41072] [SC-116140][SC-116044][SC-115852][SQL][SS]將錯誤類別
STREAM_FAILED新增至StreamingQueryException - [SPARK-40921] 還原 “[SC-115140][SC-114585][SQL] 將 WHEN NOT MATCHED BY SOURCE 子句新增至 MERGE INTO
- [SPARK-37980] [SC-115758][SQL]擴充METADATA資料行以支援 Parquet 檔案的數據列索引
- [SPARK-41055] [SC-115582][SQL]將重新命名
_LEGACY_ERROR_TEMP_2424為GROUP_BY_AGGREGATE - [SPARK-41101] [SC-115849][PYTHON][PROTOBUF]PYSPARK-PROTOBUF 的訊息類別名稱支援
- [SPARK-40956] [SC-115867]Dataframe 覆寫命令的 SQL 對等專案
- [SPARK-41095] [SC-115659][SQL]將未解決的運算子轉換為內部錯誤
- [SPARK-41144] [SC-115866][SQL]未解決的提示不應該造成查詢失敗
- [SPARK-41137] [SC-115858][SQL]將重新命名
LATERAL_JOIN_OF_TYPE為INVALID_LATERAL_JOIN_TYPE - [SPARK-40998] [SC-114754][SQL]將錯誤類別
_LEGACY_ERROR_TEMP_0040重新命名為INVALID_IDENTIFIER - [SPARK-41015] [SC-115130][SQL][PROTOBUF]Data Generator 的 UnitTest Null 檢查
- [SPARK-40769] [SC-114923][CORE][SQL]將匯總表達式的類型檢查失敗移轉至錯誤類別
- [SPARK-41043] [SC-115183][SQL]將錯誤類別
_LEGACY_ERROR_TEMP_2429重新命名為NUM_COLUMNS_MISMATCH - [SPARK-40777] [SC-114855][SQL][PROTOBUF]Protobuf 匯入支援並行動錯誤類別。
- [SPARK-41019] [SC-114987][SQL]提供查詢內容給
failAnalysis() - [SPARK-41027] [SC-115131][SQL]使用
UNEXPECTED_INPUT_TYPE而非MAP_FROM_ENTRIES_WRONG_TYPE - [SPARK-40476] [SC-115868][SC-111163][ML][SQL]減少 ALS 的隨機大小
- [SPARK-41134] [SC-115851][SQL]改善內部錯誤的錯誤訊息
- [SPARK-37980] 還原 “ [SQL] 擴充 METADATA 數據行以支援 Parquet 檔案的數據列索引
- [SPARK-41109] [SC-115788][SQL]將錯誤類別重新命名_LEGACY_ERROR_TEMP_1216為 INVALID_LIKE_PATTERN
- [SPARK-40984] [SC-115844][CORE][SQL]使用
NON_FOLDABLE_INPUT而非FRAME_LESS_OFFSET_WITHOUT_FOLDABLE - [SPARK-41029] [SC-115828][SQL]優化 Scala 2.13 的
GenericArrayData建構函式使用 - [SPARK-40697] [SC-113648][SQL]新增讀取端字元填補以涵蓋外部數據檔
- [SPARK-40978] [SC-114574][SQL]將內容遷移
failAnalysis()至錯誤類別 - [SPARK-40663] [SC-114586][SQL]將執行錯誤移轉至錯誤類別：_LEGACY_ERROR_TEMP_2251-2275
- [SPARK-38959] [SC-115672][SC-112707][SQL]DS V2：支援數據列層級命令中的運行時間群組篩選
- [SPARK-40372] [SC-115668][SQL]將陣列類型檢查失敗移轉至錯誤類別
- [SPARK-41038] [SC-115371][SQL]將重新命名
MULTI_VALUE_SUBQUERY_ERROR為SCALAR_SUBQUERY_TOO_MANY_ROWS - [SPARK-40965] [SC-114443][SQL]將錯誤類別
_LEGACY_ERROR_TEMP_1208重新命名為FIELD_NOT_FOUND - [SPARK-40748] [SC-114696][SQL]將條件的類型檢查失敗移轉至錯誤類別
- [SPARK-40371] [SC-114557][SQL]將 NthValue 和 NTile 的類型檢查失敗移轉至錯誤類別
- [SPARK-41092] [SC-115547][SQL]請勿使用標識碼來比對間隔單位
- [SPARK-41009] [SC-115360][SQL]將錯誤類別
_LEGACY_ERROR_TEMP_1070重新命名為LOCATION_ALREADY_EXISTS - [SPARK-37980] [SQL]擴充METADATA資料行以支援 Parquet 檔案的數據列索引
- [SPARK-40967] [SC-114448][SQL]遷移
failAnalysis()至錯誤類別 - [SPARK-34265] [SC-115486][SC-113788][PYTHON][SQL]使用 SQL 計量檢測 Python UDF
- [SPARK-41012] [SC-114873][SQL]將重新命名
_LEGACY_ERROR_TEMP_1022為ORDER_BY_POS_OUT_OF_RANGE - [SPARK-41042] [SC-115142][SQL]將重新命名
PARSE_CHAR_MISSING_LENGTH為DATATYPE_MISSING_SIZE - [SPARK-40752] [SC-114442][SQL]將錯誤表達式的類型檢查失敗移轉至錯誤類別
- [SPARK-37945] [SC-115534][SQL][CORE]在算術運算的執行錯誤中使用錯誤類別
- [SPARK-40374] [SC-114705][SQL]將類型建立者的類型檢查失敗移轉至錯誤類別
- [SPARK-41056] [SC-115354][R] 修正 R 4.2 中引進的新R_LIBS_SITE行為
- [SPARK-41041][SC-115357][SQL]整合到
_LEGACY_ERROR_TEMP_1279TABLE_OR_VIEW_ALREADY_EXISTS - [SPARK-40663] [SC-114852][SQL]將執行錯誤移轉至錯誤類別：_LEGACY_ERROR_TEMP_2201-2225
- [SPARK-41020] [SC-114984][SQL]將錯誤類別
_LEGACY_ERROR_TEMP_1019重新命名為STAR_GROUP_BY_POS - [SPARK-41035] [SC-115233][SQL]請勿在 中修補聚合函數的可折迭子系
RewriteDistinctAggregates - [SPARK-39778] [SC-114353][SQL]改善錯誤類別和訊息
- [SPARK-40798] [SC-113782][SQL]改變分割區應該確認值遵循 storeAssignmentPolicy
- [SPARK-40810] [SC-113533][SQL]在 CreateDatabaseCommand 和 AlterDatabaseSetLocationCommand 中使用 SparkIllegalArgumentException，而不是 IllegalArgumentException
- [SPARK-40921] [SC-115140][SC-114585][SQL]將 WHEN NOT MATCHED BY SOURCE 子句新增至 MERGE INTO
- [SPARK-40360] [SC-114965]ALREADY_EXISTS和NOT_FOUND例外狀況
- [SPARK-41007] [SC-115085][SQL]為 java.math.BigInteger 新增遺漏的串行化程式
- [SPARK-40751] [SC-114254][SQL]將高階函式的類型檢查失敗移轉至錯誤類別
- [SPARK-40248] [SC-114704][SQL]使用較多的位來建置 Bloom 篩選
- [SPARK-41040] [SC-115145][SS]修正使用 readStream.table 時的自我聯集串流查詢失敗
- [SPARK-32380] [SC-114966][SQL]修正透過Hive從Spark存取 HBase 資料表
- [SPARK-40749] [SC-114860][SQL]將產生器的類型檢查失敗移轉至錯誤類別
- [SPARK-40925] [SC-114445][SQL][SS][WARMFIX][12.x]修正具狀態運算符延遲...
- [SPARK-40654] [SC-112783]拿掉暫存記錄行
- [SPARK-40742] [SC-114913][SC-112646][CORE][SQL]修正與泛型類型相關的Java編譯警告
- [SPARK-40657] [SC-113642][櫻桃選擇]在 Protob 中新增 Java 類別的支援...
- [SPARK-40898] [SC-113932][SQL]數據類型不符錯誤的引號函數名稱
- [SPARK-40760] [SC-113750][SQL]將間隔表達式的類型檢查失敗移轉至錯誤類別
- [SPARK-36114] [SC-113771][SQL]支援具有相互關聯非相等述詞的子查詢
- [SPARK-40856] [SC-113738][SQL]更新WRONG_NUM_PARAMS的錯誤範本
- [SPARK-40759] [SC-114251][SQL]將時間範圍的類型檢查失敗移轉至錯誤類別
- [SPARK-40750] [SC-113812][SQL]將數學表達式的類型檢查失敗移轉至錯誤類別
- [SPARK-40756] [SC-113749][SQL]將字串表達式的類型檢查失敗移轉至錯誤類別
- [SPARK-40768] [SC-113640][SQL]將類型檢查失敗bloom_filter_agg（） 遷移至錯誤類別
- [SPARK-40369] [SC-113402][CORE][SQL]透過反映將呼叫的類型檢查失敗移轉至錯誤類別
- [SPARK-39445] [SQL]如果 windowExpressions 在資料行剪除中是空的，請移除視窗
- [SPARK-40761] [SC-113245][SQL]將百分位數表達式的類型檢查失敗移轉至錯誤類別
- [SPARK-40361] [SC-112789][SQL]將算術類型檢查失敗移轉至錯誤類別
- [SPARK-40714] [SC-112576][SQL]刪除
PartitionAlreadyExistsException - [SPARK-40702] [SC-112437][SQL]修正 中的數據分割規格
PartitionsAlreadyExistException - [SPARK-40358] [SC-112631][SQL]將收集類型檢查失敗移轉至錯誤類別
- [SPARK-40910] [SC-114259][SQL]以 SparkUnsupportedOperationException 取代 UnsupportedOperationException
- [SPARK-39876] [SC-112429][SQL]將 UNPIVOT 新增至 SQL 語法
- [SPARK-39783] [SC-113389][SQL]引用 qualifiedName 修正錯誤訊息中資料行候選專案的反引號
- [SPARK-40663] [SC-112520][SQL]將執行錯誤移轉至錯誤類別：_LEGACY_ERROR_TEMP_2026-2282
- [SPARK-40975] [SC-114555][SQL]將錯誤類別
_LEGACY_ERROR_TEMP_0021重新命名為UNSUPPORTED_TYPED_LITERAL - [SPARK-37935] [SC-114472][SQL]排除個別的錯誤子類別欄位
- [SPARK-40944] [SC-114530][SQL]放寬 CREATE TABLE 資料行選項的排序條件約束
- [SPARK-40815] [SC-114528][SQL]新增
DelegateSymlinkTextInputFormat至因應措施SymlinkTextInputSplitBug - [SPARK-40933] [SC-114441][SQL]重新實作 df.stat。{cov， corr} 與內建 sql 函式
- [SPARK-40932] [SC-114439][CORE]修正已覆寫allGather的問題訊息
- [SPARK-39312] [SQL]在篩選下推下中使用 parquet 原生 In 述詞
- [SPARK-40862] [SC-114352][SQL]支援 RewriteCorrelatedScalarSubquery 中的非匯總子查詢
- [SPARK-40963] [SC-114446][SQL]在建立的項目中正確設定可為 Null
ExtractGenerator - [SPARK-40663] [SC-112295][SQL]將執行錯誤移轉至錯誤類別：_LEGACY_ERROR_TEMP_2000-2024
- [SPARK-40892] [SC-114347][SQL][SS]鬆散window_time規則的需求 - 允許多個window_time呼叫
- [SPARK-40540] [SC-111639][SQL]將編譯錯誤移轉至錯誤類別：_LEGACY_ERROR_TEMP_1100-1347
- [SPARK-40924] [SC-114258][SQL]修正輸入有奇數符號時 Unhex 的問題
- [SPARK-40821] [SC-113754][SQL][CORE][PYTHON][SS]引進window_time函式，從視窗數據行擷取事件時間
- [SPARK-40800] [SC-113772][SQL]OptimizeOneRowRelationSubquery 中的一律內嵌表達式
- [SPARK-40900] [SC-114006][SQL]使用數據框架作業重新實
frequentItems作 - [SPARK-40735] [SC-114022][SC-112657]以 /usr/bin/env bash 在腳本中持續叫用bash，讓程式代碼更具可移植性
- [SPARK-40773] [SC-113091][SQL]重構 checkCorrelationsInSubquery
- [SPARK-40615] [SC-113400][SQL]在取消排序子查詢時檢查不支援的數據類型
- [SPARK-40660] [SC-112293][CORE][SQL]切換至 XORShiftRandom 以散發元素
- [SPARK-40540] [SC-113926][SC-111331][SQL]將編譯錯誤移轉至錯誤類別
- [SPARK-40551] [SC-113135][SQL]DataSource V2：新增差異型數據列層級作業的 API
- [SPARK-39391] [SC-110676][CORE]重複使用 Partitioner 類別
- [SPARK-40368] [SC-113396][SQL]將 Bloom 篩選類型檢查失敗移轉至錯誤類別
- [SPARK-39146][SC-111814][CORE][SQL]引進可能重複使用的本機單一
ObjectMapper - [SPARK-40357] [SC-113786][SC-111352][SQL]將視窗類型檢查失敗移轉至錯誤類別
- [SPARK-40874] [SC-113756][PYTHON]修正啟用加密時 Python UDF 中的廣播
- [SPARK-40359] [SC-113770][SC-111146][SQL]將 CSV/JSON 運算式中的類型檢查失敗移轉至錯誤類別
- [SPARK-40880] [SC-113764][SQL]使用數據框架作業重新實
summary作 - [SPARK-40877] [SC-113763][SQL]使用數據框架作業重新實
crosstab作 - [SPARK-40382] [SC-113098][SQL]在中依語意對等子系將相異匯總表達式分組
RewriteDistinctAggregates - [SPARK-40826] [SC-113532][SS]新增其他檢查點重新命名檔案檢查
- [SPARK-40829] [SC-113426][SQL]CREATE TABLE LIKE 檢視中的 STORED AS serde 無法運作
- [SPARK-40844] [SC-113542][SS]翻轉 Kafka 位移擷取組態的預設值
- [SPARK-40488] [SC-113568][SC-111160]當數據源寫入失敗時，請勿包裝擲回的例外狀況
- [SPARK-40560][SC-113631][SC-111335][SQL]以
STANDARD錯誤格式重新命名message為messageTemplate - [SPARK-40618] [SC-113096][SQL]使用參考追蹤修正 MergeScalarSubqueries 規則中的 Bug 與巢狀子查詢
- [SPARK-40530] [SC-113528][SC-111332][SQL]新增錯誤相關的開發人員 API
- [SPARK-40806] [SC-113250][SQL]錯字修正：CREATE TABLE -> REPLACE TABLE
- [SPARK-40646] [SC-113379][SQL]修正在 JSON 數據源和 JSON 函式中傳回部分結果
- [SPARK-40654] [櫻桃選擇][SC-112783][SQL]Spark 的 Protobuf 支援 - 來自...
- [SPARK-40753] [SC-113539][SQL]修正目錄目錄作業測試案例中的 Bug
- [SPARK-40765] [SC-113056][SQL]在方法中
CommandUtils#calculateSingleLocationSize#getPathSize優化備援 fs 作業 - [SPARK-40114] [ES-479282][R][11.X]使用SparkR支援箭號9.0.0
- [SPARK-40479] [SC-110935][SQL]將非預期的輸入類型錯誤移轉至錯誤類別
- [SPARK-40473] [SC-113388][SC-111141][SQL]將剖析錯誤遷移至錯誤類別
- [SPARK-39853] [SC-111867][CORE]當動態設定停用時，獨立叢集的支持階段層級工作資源配置檔（來自 PR-47157 的後連接埠）
- [SPARK-40407] [SC-111161][SQL]修正 df.repartition 所造成的潛在數據扭曲
- [SPARK-40425] [SC-110840][SQL]DROP TABLE 不需要執行表格查閱
- [SPARK-40703] [SC-113242][SQL]在 SinglePartition 上引進隨機顯示以改善平行處理原則
- [SPARK-40640] [SC-113138][CORE]SparkHadoopUtil 可設定hadoop/hive組態選項的來源
- [SPARK-39062] [11.x][CORE]新增獨立叢集的階段層級資源排程支援
- [SPARK-33861] [SC-109877]還原 “[SQL] 簡化述詞中的條件式”
- [SPARK-40667] [SC-113136][SQL]重構檔案數據源選項
- [SPARK-40370] [SC-110677][SQL]移轉類型檢查無法移轉至 CAST 中的錯誤類別
- [SPARK-40611][SC-113105][SQL]改善和
getInterval的setInterval效能UnsafeRow - [SPARK-40733][SC-113126][SQL]使的結果
ShowCreateTableAsSerdeCommand中的內容SERDEPROPERTIES具有固定順序 - [SPARK-40585] [SC-112180][SQL]支援雙引號標識碼
- [SPARK-40772] [SC-112992][SQL]改善
spark.sql.adaptive.skewJoin.skewedPartitionFactor以支援Double值 - [SPARK-40565] [SC-112417][SQL]請勿將不具決定性篩選推送至 V2 檔案來源
- [SPARK-8731] [SC-112784]Beeline 無法在背景啟動時使用 -e 選項
- [SPARK-35242] [SC-111398][SQL]支援變更會話目錄的預設資料庫
- [SPARK-40426] [SC-110672][SQL]從 SparkThrowable.getMessageParameters 傳回地圖
- [SPARK-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB]優化程式代碼模式的
keys.zipWithIndex.toMap效能 - [SPARK-40521] [SC-112430][SQL]僅從Hive的建立分割區傳回 中的
PartitionsAlreadyExistException分割區 - [SPARK-40705] [SC-112567][SQL]將 Row 轉換成 Scala 2.13 的 JSON 時，處理使用可變數組的情況
- [SPARK-39895] [SC-112590][SQL][PYTHON]支援多個數據行卸除
- [SPARK-40607] [SC-112296][CORE][SQL][MLLIB][SS]拿掉備援字串插補器作業
- [SPARK-40420] [SC-112604][SC-110569][SQL]依 JSON 格式的名稱排序錯誤訊息參數
- [SPARK-40403] [SC-110564][SQL]使用longs計算不安全的數位大小，以避免錯誤訊息中的負大小
- [SPARK-40482] [SC-110831][SQL]恢復
SPARK-24544 Print actual failure cause when look up function failed - [SPARK-40400] [SC-112555][SC-110397][SQL]將錯誤訊息參數傳遞至例外狀況作為對應
- [SPARK-40628] [SC-112414][SQL]不要透過專案推入複雜左半/反聯結條件
- [SPARK-40562] [SC-111455][SQL]添加
spark.sql.legacy.groupingIdWithAppendedUserGroupBy - [SPARK-40501] [SC-111333][SQL]新增 PushProjectionThroughLimit for Optimizer
- [SPARK-39200][SC-111244][CORE]讓後援 儲存體 讀取內容
- [SPARK-38717] [SC-111241][SQL]處理Hive貯體規格案例保留行為
- [SPARK-40385] [SC-111123][SQL]修正隨附物件建構函式的解譯路徑
- [SPARK-40216][SC-112413][SQL]在和中
ParquetFileFormat擷取一般ParquetUtils.prepareWrite方法以重複資料刪除程序代碼ParquetWrite - [SPARK-40636] [SC-112160][CORE]修正錯誤時，BlockManagerDecommissioner 中的隨機顯示記錄
- [SPARK-40617] [SC-112009]修正處理 ExecutorMetricsPoller 階段TCMP 項目的競爭條件
- [SPARK-40618] [SC-112046][SQL]使用巢狀子查詢修正 MergeScalarSubqueries 規則中的 Bug
- [SPARK-40612] [SC-111933][CORE]修正非 YARN 資源管理員上用於委派令牌更新的主體
- [SPARK-40595] [SC-111662][SQL]改善未使用 CTE 關聯的錯誤訊息
- [SPARK-40314] [SC-111879][SQL][PYTHON]為內嵌和inline_outer新增 scala 和 python 系結
- [SPARK-40416] [SC-110945][SQL]移動子查詢表達式 CheckAnalysis 錯誤訊息以使用新的錯誤架構
- [SPARK-40318] [SC-111865][SC-109986][SQL] try_avg（） 應該從其子系擲回例外狀況
- [SPARK-40509] [SC-111644][SS][PYTHON]新增 applyInPandasWithState 的範例
- [SPARK-40310] [SC-111329][SC-109842][SQL] try_sum（） 應該從其子系擲回例外狀況
- [SPARK-40016] [SQL]在實作 try_sum（） 中移除不必要的 TryEval
- [SPARK-40527] [SC-111224][SQL]在 CreateStruct 中保留結構功能變數名稱或對應索引鍵
- [SPARK-38098] [SC-111178][PYTHON]將巢狀結構Type的ArrayType支援新增至箭頭型轉換
- [SPARK-40324] [SC-111359][SC-110293][SQL]在 AnalysisException 中提供查詢內容
- [SPARK-40492] [SC-111324][SS]在串流 StateStore 卸除之前進行維護
- [SPARK-40487] [SC-111124][SQL]在 BroadcastNestedLoopJoinExec 中建立 defaultJoin，以平行執行
- [SPARK-40474] [SC-111273][SQL]更正具有混合日期和時間之數據行的 CSV 架構推斷和數據剖析行為
- [SPARK-40508] [SC-111066][SQL]將未知的數據分割視為 UnknownPartitioning
- [SPARK-40496] [SC-111234][SC-111013][SQL]修正設定以控制 “enableDateTimeParsingFallback”
- [SPARK-40435] [SC-111214][SS][PYTHON]在 PySpark 中新增 applyInPandasWithState 的測試套件
- [SPARK-40434] [SC-111125][SS][PYTHON]在 PySpark 中實作 applyInPandasWithState
維護更新
請參閱 Databricks Runtime 12.0 維護更新。
系統環境
- 作業系統：Ubuntu 20.04.5 LTS
- Java：Zulu 8.64.0.19-CA-linux64
- Scala：2.12.14
- Python：3.9.5
- R：4.2.2
- Delta Lake：2.2.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.3.0 | bleach | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| 按一下 | 8.0.4 | 密碼編譯 | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | debugpy | 1.5.1 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| entrypoints | 0.4 | 執行 | 0.8.3 | facets-overview | 1.0.0 |
| fastjsonschema | 2.16.2 | filelock | 3.8.0 | fonttools | 4.25.0 |
| idna | 3.3 | ipykernel | 6.15.3 | ipython | 8.5.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | jedi | 0.18.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.1.0 |
| jsonschema | 4.4.0 | jupyter-client | 6.1.12 | jupyter_core | 4.11.2 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.5.1 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
| nbconvert | 6.4.4 | nbformat | 5.3.0 | nest-asyncio | 1.5.5 |
| notebook | 6.4.8 | numpy | 1.21.5 | 封裝 | 21.3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.5.4 | plotly | 5.6.0 | prometheus-client | 0.13.1 |
| prompt-toolkit | 3.0.20 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 7.0.0 | pycparser | 2.21 | Pygments | 2.11.2 |
| PyGObject | 3.36.0 | pyodbc | 4.0.32 | pyparsing | 3.0.4 |
| 火熱 | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.3.0 | requests | 2.27.1 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| 六次 | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tenacity | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | 自動升級 | 0.1 |
| urllib3 | 1.26.9 | virtualenv | 20.8.0 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | wheel | 0.37.0 | widgetsnbextension | 3.6.1 |
已安裝的 R 連結庫
R 連結庫會從 2022-11-11 上的 Microsoft CRAN 快照集安裝。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| 箭號 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | class | 7.3-20 | cli | 3.4.1 |
| clipr | 0.8.0 | clock | 0.6.1 | 叢集 | 2.1.4 |
| codetools | 0.2-18 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | credentials | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | 遞減 | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| 省略符號 | 0.3.2 | evaluate | 0.18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
| future.apply | 1.10.0 | 漱口 | 1.2.1 | 泛型 | 0.1.3 |
| 格特 | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | 避風港 | 2.5.1 |
| highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | 針織機 | 1.40 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| Lava | 1.7.0 | 生命週期 | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| MASS | 7.3-58 | 矩陣 | 1.5-1 | 備忘 | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| 蒙塞爾 | 0.5.0 | nlme | 3.1-160 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | 讚美 | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 進度 | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | 不雅 | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.1 | spatial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| survival | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | waldo | 0.4.0 |
| 晶須 | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）
| 群組識別碼 | 成品標識碼 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同學 | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | 小 叮噹 | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | 番 石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.2 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlet | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收藏家 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 泡菜 | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | 策展人-食譜 | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | 常春藤 | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-format-structure | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0001 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | 澤西-通用 | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | 墊片 | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 閑置 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | 蛇形 | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |