共用方式為

Databricks Runtime 13.1 （不支援）

  • 發行項

Azure Databricks 會在 2023 年 5 月發行這些映像。

下列版本資訊提供由 Apache Spark 3.4.0 提供之 Databricks Runtime 13.1 的相關信息。

新功能和改善

JDK 17 的叢集支援 （公開預覽）

Databricks 現在提供 Java 開發工具包 （JDK） 17 的叢集支援。 請參閱 Databricks SDK for Java。

在串流數據表中新增、變更或刪除數據

您現在可以使用 DML 語句來修改依 Delta Live Tables 管線發行至 Unity 目錄的串流數據表。 請參閱 在串流數據表 中新增、變更或刪除數據，以及 新增、變更或刪除目標串流數據表中的數據。 您也可以使用 DML 語句來修改 Databricks SQL 中建立的串流數據表。

使用 SQL 讀取 Kafka

您現在可以使用 read_kafka SQL 函式來讀取 Kafka 數據。 只有差異實時數據表或 Databricks SQL 中的串流數據表才支援使用 SQL 進行串流處理。 請參閱 read_kafka數據表值函式。

新的 SQL 內建函式

新增下列函式：

叢集範圍的 Python 連結庫的 Unity 目錄支援

Unity 目錄對連結庫使用方式有一些限制。 在 Databricks Runtime 13.1 和更新版本上，支援叢集範圍的 Python 連結庫，包括上傳為工作區檔案的 Python 轉輪檔案。 不支援使用 DBFS 檔案路徑參考的連結庫，無論是在 DBFS 根目錄或掛接至 DBFS 的外部位置。 不支援非 Python 程式庫。 請參閱叢集程式庫。

在 Databricks Runtime 13.0 和以下版本上，在已啟用 Unity 目錄的工作區中使用共用存取模式的叢集不支援叢集範圍連結庫。

在 Unity 目錄中針對優化寫入展開的預設啟用

針對在 Unity 目錄中註冊之 Delta 數據表的預設優化寫入支援已展開，以包含 CTAS 數據分割數據表的語句和 INSERT 作業。 此行為與 SQL 倉儲上的預設值一致。 請參閱 Azure Databricks 上 Delta Lake 的優化寫入。

結構化串流工作負載中具狀態運算子的進階支援

您現在可以將多個具狀態運算符鏈結在一起，這表示您可以將運算的輸出饋送至另一個具狀態作業，例如聯結。 請參閱 優化具狀態結構化串流查詢。

Unity 目錄的差異複製處於公開預覽狀態

您現在可以使用淺層複製，從現有的 Unity 目錄受控數據表建立新的 Unity 目錄受控數據表。 請參閱 Unity 目錄數據表的淺層複製。

結構化串流的發佈/子支援

您現在可以使用內建連接器來訂閱具有結構化串流的 Google Pub/Sub。 請參閱 訂閱Google Pub/Sub。

在結構化串流中的浮浮浮水印內卸除重複專案

您現在可以與指定的水位線閾值搭配使用 dropDuplicatesWithinWatermark ，以在結構化串流中刪除重複數據刪除記錄。 請參閱 在浮浮浮浮水印內卸除重複專案。

已擴充對 Iceberg 數據表與截斷數據分割數據行之 Delta 轉換的支援

您現在CLONE可以使用 和 CONVERT TO DELTA 搭配 Iceberg 資料表，其分割區定義於 、 long和string類型的int截斷數據行上。 不支援類型的 decimal 截斷數據行。

使用 Delta Lake 中的數據行對應串流架構變更

您現在可以提供架構追蹤位置，以啟用來自 Delta 資料表的串流，並啟用數據行對應。 請參閱使用資料行對應和結構描述變更進行串流。

拿掉起始版本

START VERSION 現在已針對淘汰 ALTER SHARE。

Python 可用的新 H3 運算式

h3_coverash3和 h3_coverash3string 表達式可供 Python 使用。

錯誤修正

Parquet failOnUnknownFields 不再以無訊息方式卸除類型不符的數據

如果只使用 failOnUnknownFields 選項或架構演進模式中的 failOnNewColumns 自動載入器讀取 Parquet 檔案，則具有不同資料類型的資料行現在會失敗，並建議使用 rescuedDataColumn。 如果提供其中一個數據類型，自動載入器現在會正確讀取，而且不再拯救整數、簡短或位元組類型。 Parquet 檔案建議其他兩種類型之一。

重大變更

將 sqlite-jdbc 版本升級至 3.42.0.0，以解決 CVE-2023-32697

將 sqlite-jdbc 版本從 3.8.11.2 升級至 3.42.0.0。 3.42.0.0 版的 API 與 3.8.11.2 完全相容。 如果您在程式代碼中使用 sqlite-jdbc，請檢查 sqlite-jdbc 相容性報告以取得詳細數據。 如果您移轉至 13.1 並使用 sqlite，請確認您的方法，並在 3.42.0.0 版中傳回類型。

連結庫升級

  • 升級的 Python 連結庫：
    • 從 1.0.2 到 1.0.3 的 facets-overview
    • filelock from 3.10.7 to 3.12.0
    • pyarrow 從 7.0.0 到 8.0.0
    • 從 8.0.1 到 8.1.0 的堅韌度
  • 升級的 R 連結庫：
  • 升級的 Java 連結庫：
    • com.github.ben-manes.咖啡因從 2.3.4 到 2.9.3
    • org.apache.orc.orc-core，從 1.8.2-shaded-protobuf 到 1.8.3-shaded-protobuf
    • org.apache.orc.orc-mapreduce 從 1.8.2-shaded-protobuf 到 1.8.3-shaded-protobuf
    • org.apache.orc.orc-shims from 1.8.2 到 1.8.3
    • org.checkerframework.checker-qual 從 3.5.0 到 3.19.0
    • 從 3.0.8 到 3.2.15 org.scalactic.scalactic_2.12
    • 從 3.0.8 到 3.2.15 org.scalatest.scalatest_2.12
    • org.xerial.sqlite-jdbc，從 3.8.11.2 到 3.42.0.0

Apache Spark

Databricks Runtime 13.1 包含 Apache Spark 3.4.0。 此版本包含 Databricks Runtime 13.0 中所包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：

  • [SPARK-42719] [DBRRM-199][SC-131578]還原 “[SC-125225] 'MapOutputTracker#getMap...
  • [SPARK-39696] [DBRRM-166][SC-130056][CORE]還原 [SC-127830]/
  • [SPARK-43331][SC-130064][CONNECT]新增 Spark 連線 SparkSession.interruptAll
  • [SPARK-16484] [13.1][CHERRY_PICK][SC-130076][SQL]使用8位緩存器代表DataSketches
  • [SPARK-43332][SC-130051][CONNECT][PYTHON]讓您能夠擴充 Spark 的 ChannelBuilder 連線 Client
  • [SPARK-43323] [SC-129966][SQL][PYTHON]修正已啟用箭頭的 DataFrame.toPandas 以正確處理例外狀況
  • [SPARK-42940] [SC-129896][SS][CONNECT]改善串流查詢的會話管理
  • [SPARK-43336] [SQL]時間戳與 TimestampNTZ 之間的轉換需要時區
  • [SPARK-43032] [SC-125756][CONNECT][SS]新增串流查詢管理員
  • [SPARK-16484] [SC-129975][SQL]新增 Datasketches HllSketch 的支援
  • [SPARK-43260] [SC-129281][PYTHON]將 Spark SQL pandas 箭號類型錯誤移轉至錯誤類別。
  • [SPARK-41766] [SC-129964][CORE]處理在執行程序註冊之前傳送的解除委任要求
  • [SPARK-43307] [SC-129971][PYTHON]將 PandasUDF 值錯誤移轉至錯誤類別
  • [SPARK-43206] [SC-129903][SS][CONNECT]StreamingQuery 例外狀況（） 包含堆疊追蹤
  • [SPARK-43311] [SC-129905][SS]新增 RocksDB 狀態存放區提供者記憶體管理增強功能
  • [SPARK-43237] [SC-129898][CORE]處理事件記錄檔中的 Null 例外狀況訊息
  • [SPARK-43320] [SC-129899][SQL][HIVE]直接呼叫Hive 2.3.9 API
  • [SPARK-43270][SC-129897][PYTHON]在中pyspark.sql.dataframe.DataFrame實__dir__()作以包含數據行
  • [SPARK-43183] 還原 “[SC-128938][SS] 引進新的回呼 ”...
  • [SPARK-43143] [SC-129902][SS][CONNECT]Scala StreamingQuery awaitTermination（）
  • [SPARK-43257] [SC-129675][SQL]以內部錯誤取代錯誤類別_LEGACY_ERROR_TEMP_2022
  • [SPARK-43198] [SC-129470][CONNECT]修正「無法初始化類別氰胺...」 使用篩選時發生錯誤
  • [SPARK-43165] [SC-129777][SQL]將 canWrite 移至 DataTypeUtils
  • [SPARK-43298] [SC-129729][PYTHON][ML] 具有純量輸入的predict_batch_udf失敗，批次大小為一
  • [SPARK-43298] [SC-129700]還原 “[PYTHON][ML] predict_batch_udf純量輸入失敗，批次大小為一」
  • [SPARK-43052] [SC-129663][CORE]在事件記錄檔中使用 Null 檔名處理 stacktrace
  • [SPARK-43183] [SC-128938][SS]將新的回呼 「onQueryIdle」 引入 StreamingQueryListener
  • [SPARK-43209] [SC-129190][CONNECT][PYTHON]將表達式錯誤移轉至錯誤類別
  • [SPARK-42151] [SC-128754][SQL]將UPDATE指派與資料表屬性對齊
  • [SPARK-43134] [SC-129468][CONNECT][SS]JVM 用戶端 StreamingQuery 例外狀況（） API
  • [SPARK-43298] [SC-129699][PYTHON][ML] 具有純量輸入的predict_batch_udf失敗，批次大小為一
  • [SPARK-43248] [SC-129660][SQL]平行收集分割區統計數據上的Path不必要的串行化/還原串行化
  • [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT]介紹 PySparkNotImplementedError
  • [SPARK-43146][SC-128804][CONNECT][PYTHON]針對 repr 和 repr_html 實作積極評估
  • [SPARK-42953][SC-129469][連線][Followup] 修正 Scala 用戶端 UDF 測試的 maven 測試組建
  • [SPARK-43144] [SC-129280]Scala 用戶端 DataStreamReader 數據表（） API
  • [SPARK-43136] [SC-129358][CONNECT]新增 groupByKey + mapGroup + coGroup 函式
  • [SPARK-43156] [SC-129672][SC-128532][SQL]修正 COUNT(*) is null 相互關聯的純量子查詢中的 Bug
  • [SPARK-43046][SC-129110][SS][連線] 已實作 Python API dropDuplicatesWithinWatermark for Spark 連線
  • [SPARK-43199] [SC-129467][SQL]使 InlineCTE 等冪
  • [SPARK-43293] [SC-129657][SQL] __qualified_access_only 在一般數據行中應該忽略
  • [SPARK-43276][SC-129461][CONNECT][PYTHON]將 Spark 連線 視窗錯誤移轉至錯誤類別
  • [SPARK-43174] [SC-129109][SQL]修正 SparkSQLCLIDriver 完成程式
  • [SPARK-43084] [SC-128654][SS]新增spark連線的 applyInPandasWithState 支援
  • [SPARK-43119] [SC-129040][SQL]支援以動態方式取得 SQL 關鍵詞到 JDBC API 和 TVF
  • [SPARK-43082][SC-129112][CONNECT][PYTHON]Spark 中箭號優化的 Python UDF 連線
  • [SPARK-43085] [SC-128432][SQL]支援多部分數據表名稱的數據行 DEFAULT 指派
  • [SPARK-43156] [SC-129463][SPARK-43098][SQL]停用 decorrelateInnerQuery 來擴充純量子查詢計數 Bug 測試
  • [SPARK-43226] [LC-671]定義檔案常數元數據的擷取器
  • [SPARK-43210] [SC-129189][CONNECT][PYTHON]介紹 PySparkAssertionError
  • [SPARK-43214] [SC-129199][SQL]LocalTableScanExec/CommandResultExec 的後置驅動程式端計量
  • [SPARK-43285] [SC-129347]修正 ReplE2ESuite 以 JDK 17 持續失敗
  • [SPARK-43268] [SC-129249][SQL]使用訊息建構例外狀況時，請使用適當的錯誤類別
  • [SPARK-43142] [SC-129299]修正具有特殊字元的屬性上的 DSL 運算式
  • [SPARK-43129][SC-128896]串流 Spark 連線 的 Scala 核心 API
  • [SPARK-43233] [SC-129250][SS]為主題分割區、位移範圍和工作標識元新增 Kafka Batch Reading 的記錄
  • [SPARK-43249] [SC-129195][CONNECT]修正 SQL 命令遺漏的統計數據
  • [SPARK-42945][SC-129188][CONNECT]Spark 連線 中的支援PYSPARK_JVM_STACKTRACE_ENABLED
  • [SPARK-43178] [SC-129197][CONNECT][PYTHON]將 UDF 錯誤遷移至 PySpark 錯誤架構
  • [SPARK-43123] [SC-128494][SQL]內部欄位元數據不應外洩至目錄
  • [SPARK-43217] [SC-129205]在 findNestedField 中的巢狀地圖/陣列中正確遞歸
  • [SPARK-43243] [SC-129294][PYTHON][CONNECT]新增層級參數以列印 Python 的Schema
  • [SPARK-43230] [SC-129191][CONNECT]簡化 DataFrameNaFunctions.fillna
  • [SPARK-43088] [SC-128403][SQL]Respect RequiresDistributionAndOrdering in CTAS/RTAS
  • [SPARK-43234] [SC-129192][CONNECT][PYTHON]從 Conect DataFrame 遷移 ValueError 至錯誤類別
  • [SPARK-43212] [SC-129187][SS][PYTHON]將結構化串流錯誤遷移至錯誤類別
  • [SPARK-43239][SC-129186][PS]從 info（） 移除null_counts
  • [SPARK-43190] [SC-128930][SQL]ListQuery.childOutput 應該與子輸出一致
  • [SPARK-43191] [SC-128924][CORE]取代 Hadoop CallerContext 的反映 w/ 直接呼叫
  • [SPARK-43193] [SC-129042][SS]拿掉HADOOP-12074的因應措施
  • [SPARK-42657] [SC-128621][CONNECT]支援將用戶端 REPL 類別檔尋找並傳輸至伺服器作為成品
  • [SPARK-43098] [SC-77059][SQL]修正純量子查詢具有 group by 子句時的正確性 COUNT Bug
  • [SPARK-43213] [SC-129062][PYTHON]新增 DataFrame.offset 至 vanilla PySpark
  • [SPARK-42982] [SC-128400][CONNECT][PYTHON]修正 createDataFrame 以遵守指定的架構 ddl
  • [SPARK-43124] [SC-129011][SQL]Dataset.show 專案 CommandResults 本機
  • [SPARK-42998] [SC-127422][CONNECT][PYTHON]使用 Null 結構修正 DataFrame.collect
  • [SPARK-41498] [SC-125343]還原「透過聯集傳播元數據」
  • [SPARK-42960] [SC-129010][CONNECT][SS]在 Python 中新增串流查詢await_termination（） 和 exception（） API
  • [SPARK-42552] [SC-128824][SQL]更正 antlr 剖析器兩階段剖析策略
  • [SPARK-43207] [SC-128937][CONNECT]新增協助程式函式以從常值表達式擷取值
  • [SPARK-43186] [SC-128841][SQL][HIVE]拿掉 FileSinkDesc 的因應措施
  • [SPARK-43107] [SC-128533][SQL]在廣播聯結數據流端套用的聯結值區
  • [SPARK-43195] [SC-128922][CORE]拿掉HadoopFSUtils中不必要的可串行化包裝函式
  • [SPARK-43137] [SC-128828][SQL]如果位置可折疊且為正數，請改善ArrayInsert。
  • [SPARK-37829] [SC-128827][SQL]Dataframe.joinWith 外部聯結應該傳回不相符數據列的 Null 值
  • [SPARK-43042][SC-128602][SS][連線] 新增 DataStreamReader 的數據表（） API 支援
  • [SPARK-43153] [SC-128753][CONNECT]當數據框架是本機時略過 Spark 執行
  • [SPARK-43064] [SC-128496][SQL]Spark SQL CLI SQL 索引標籤應該只顯示一次語句一次
  • [SPARK-43126] [SC-128447][SQL]將兩個Hive UDF運算式標示為具狀態
  • [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON]將巢狀 if 語句合併成單一 if 語句
  • [SPARK-43113] [SC-128749][SQL]在產生系結條件的程式代碼時評估數據流端變數
  • [SPARK-42895] [SC-127258][CONNECT]改善已停止Spark會話的錯誤訊息
  • [SPARK-42884] [SC-126662][CONNECT]新增 BlobTE REPL 整合
  • [SPARK-43168] [SC-128674][SQL]從 Datatype 類別移除 get PhysicalDataType 方法
  • [SPARK-43121] [SC-128455][SQL]在 BytesWritable.copyBytes 'HiveInspectors 中使用 ，而不是手動複製
  • [SPARK-42916] [SC-128389][SQL]JDBCTableCatalog 在讀取端保留 Char/Varchar 中繼
  • [SPARK-43050] [SC-128550][SQL]藉由取代群組函式來修正建構匯總表達式
  • [SPARK-43095] [SC-128549][SQL]避免一旦策略的等冪性中斷批次： Infer Filters
  • [SPARK-43130] [SC-128597][SQL]將 InternalType 移至 PhysicalDataType
  • [SPARK-43105] [SC-128456][CONNECT]縮寫 Proto 訊息中的位元組和字串
  • [SPARK-43099] [SC-128596][SQL]將 udf 註冊至 FunctionRegistry 時，請使用 getName 而非 getCanonicalName 取得產生器類別名稱
  • [SPARK-42994] [SC-128586][ML][CONNECT]PyTorch 散發者支援本機模式
  • [SPARK-42859]還原 “[SC-127935][CONNECT][PS] Spark 連線 上 Pandas API 的基本支援”
  • [SPARK-43021] [SC-128472][SQL] CoalesceBucketsInJoin 使用 AQE 時無法運作
  • [SPARK-43125][SC-128477][CONNECT]修正 連線 伺服器無法處理 Null 訊息的例外狀況
  • [SPARK-43147] [SC-128594] 修正本機檢查的 flake8 lint
  • [SPARK-43031][SC-128360][SS][連線] 啟用串流單元測試和 doctest
  • [SPARK-43039] [LC-67]支援檔案來源_metadata數據行中的自定義欄位。
  • [SPARK-43120] [SC-128407][SS]新增針對 RocksDB 狀態存放區追蹤釘選區塊記憶體使用量的支援
  • [SPARK-43110] [SC-128381][SQL]將 asIntegral 移至 PhysicalDataType
  • [SPARK-43118] [SC-128398][SS]拿掉 KafkaMicroBatchStream 中 UninterruptibleThread 不必要的判斷提示
  • [SPARK-43055] [SC-128331][CONNECT][PYTHON]支援重複的巢狀功能變數名稱
  • [SPARK-42437] [SC-128339][PYTHON][CONNECT]PySpark catalog.cacheTable 將允許指定儲存層級
  • [SPARK-42985] [SC-128332][CONNECT][PYTHON]修正 createDataFrame 以遵守 SQL 設定
  • [SPARK-39696] [SC-127830][CORE]修正TaskMetrics.externalAccums存取中的數據競爭
  • [SPARK-43103] [SC-128335][SQL]將 Integral 移至 PhysicalDataType
  • [SPARK-42741] [SC-125547][SQL]當常值為 null 時，請勿在二進位比較中解除包裝轉換
  • [SPARK-43057][SC-127948][CONNECT][PYTHON]將 Spark 連線 資料行錯誤遷移至錯誤類別
  • [SPARK-42859][SC-127935][CONNECT][PS]Spark 連線 上 pandas API 的基本支援
  • [SPARK-43013] [SC-127773][PYTHON]從 DataFrame 移 ValueError 至 PySparkValueError。
  • [SPARK-43089] [SC-128051][CONNECT]在 UI 中修訂偵錯字串
  • [SPARK-43028] [SC-128070][SQL]新增錯誤類別SQL_CONF_NOT_FOUND
  • [SPARK-42999][SC-127842][連線] Dataset#foreach， foreachPartition
  • [SPARK-43066] [SC-127937][SQL]在 JavaDatasetSuite 中新增 dropDuplicates 的測試
  • [SPARK-43075] [SC-127939][CONNECT]未安裝時，請變更 gRPC 為 grpcio 。
  • [SPARK-42953][SC-127809][連線] 具類型的篩選、map、flatMap、mapPartitions
  • [SPARK-42597] [SC-125506][SQL]支援將日期類型解除包裝至時間戳類型
  • [SPARK-42931] [SC-127933][SS]簡介 dropDuplicatesWithinWatermark
  • [SPARK-43073] [SC-127943][CONNECT]新增 proto 資料類型常數
  • [SPARK-43077] [SC-128050][SQL]改善UNRECOGNIZED_SQL_TYPE的錯誤訊息
  • [SPARK-42951][SC-128030][SS][連線] DataStreamReader API
  • [SPARK-43049] [SC-127846][SQL]針對 Oracle JDBC 的 StringType 使用 CLOB 而不是 VARCHAR（255）
  • [SPARK-43018] [SC-127762][SQL]修正具有時間戳常值之 INSERT 命令的錯誤
  • [SPARK-42855] [SC-127722][SQL]在 TableOutputResolver 中使用運行時間 Null 檢查
  • [SPARK-43030] [SC-127847][SQL]重複資料刪除與元數據行的關係
  • [SPARK-42993][SC-127829][ML][CONNECT]讓 PyTorch 散發者與 Spark 連線 相容
  • [SPARK-43058] [SC-128072][SQL]將 Numeric 和 Fractional 移至 PhysicalDataType
  • [SPARK-43056] [SC-127946][SS]只有在已暫停時，RocksDB 狀態存放區認可才會繼續背景工作
  • [SPARK-43059] [SC-127947][CONNECT][PYTHON]從 DataFrame 移轉 TypeError（讀取器|寫入器） 進入錯誤類別
  • [SPARK-43071] [SC-128018][SQL]支援 SELECT DEFAULT 搭配 ORDER BY、LIMIT、OFFSET for INSERT 來源關聯
  • [SPARK-43061] [SC-127956][CORE][SQL]介紹適用於 SQL 運算符執行的 PartitionEvaluator
  • [SPARK-43067] [SC-127938][SS]更正 Kafka 連接器中錯誤類別資源檔案的位置
  • [SPARK-43019] [SC-127844][SQL]將排序移至 PhysicalDataType
  • [SPARK-43010] [SC-127759][PYTHON]將資料行錯誤移轉至錯誤類別
  • [SPARK-42840] [SC-127782][SQL]將錯誤變更 _LEGACY_ERROR_TEMP_2004 為內部錯誤
  • [SPARK-43041] [SC-127765][SQL]還原連接器 API 中相容性例外狀況的建構函式
  • [SPARK-42939][SC-127761][SS][CONNECT]適用於 Spark 連線 的核心串流 Python API
  • [SPARK-42844] [SC-127766][SQL]將錯誤類別 _LEGACY_ERROR_TEMP_2008 更新為 INVALID_URL
  • [SPARK-42316] [SC-127720][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2044
  • [SPARK-42995][SC-127723][CONNECT][PYTHON]將 Spark 連線 DataFrame 錯誤遷移至錯誤類別
  • [SPARK-42983] [SC-127717][CONNECT][PYTHON]修正 createDataFrame 以正確處理 0 dim numpy 陣列
  • [SPARK-42955] [SC-127476][SQL]略過sparkThrowable的 classifyException 並包裝 AnalysisException
  • [SPARK-42949] [SC-127255][SQL]簡化 NAAJ 的程式代碼
  • [SPARK-43011] [SC-127577][SQL] array_insert 應該失敗，且索引為 0
  • [SPARK-42974] [SC-127487][CORE]還原 Utils.createTempDir 以使用 ShutdownHookManager 和清除 JavaUtils.createTempDir 方法。
  • [SPARK-42964] [SC-127585][SQL]PosgresDialect '42P07' 也表示數據表已經存在
  • [SPARK-42978] [SC-127351][SQL]Derby&PG：RENAME 無法以 schema-Name 限定 new-table-Name
  • [SPARK-37980] [SC-127668][SQL]在測試中盡可能透過 _metadata 存取row_index
  • [SPARK-42655] [SC-127591][SQL]不正確的模棱兩可數據行參考錯誤
  • [SPARK-43009][SC-127596][SQL]使用常數參數Any化sql()
  • [SPARK-43026] [SC-127590][SQL]使用非交換數據表快取套用 AQE
  • [SPARK-42963] [SC-127576][SQL]擴充 SparkSessionExtensions，將規則插入 AQE 查詢階段優化器
  • [SPARK-42918] [SC-127357]將 FileSourceStrategy 中元數據屬性的處理一般化
  • [SPARK-42806] [SC-127452][SPARK-42811][CONNECT]新增 Catalog 支援
  • [SPARK-42997] [SC-127535][SQL]TableOutputResolver 必須在數位和對應的錯誤訊息中使用正確的數據行路徑
  • [SPARK-43006][SC-127486][PYSPARK]修正 儲存體 Level eq（） 中的錯字
  • [SPARK-43005] [SC-127485][PYSPARK]修正 pyspark/pandas/config.py 中的錯字
  • [SPARK-43004] [SC-127457][CORE]修正 ResourceRequest.equals（） 中的錯字
  • [SPARK-42907] [SC-126984][CONNECT][PYTHON]實作 Avro 函式
  • [SPARK-42979] [SC-127272][SQL]將常值建構函式定義為關鍵詞
  • [SPARK-42946] [SC-127252][SQL]以變數替代為巢狀的敏感數據進行修訂
  • [SPARK-42952] [SC-127260][SQL]簡化分析器規則 PreprocessTableCreation 和 DataSourceAnalysis 的參數
  • [SPARK-42683] [LC-75]自動重新命名衝突的元數據行
  • [SPARK-42853] [SC-126101][FollowUp]修正衝突
  • [SPARK-42929] [SC-126748][CONNECT] 讓 mapInPandas / mapInArrow 支援 “is_barrier”
  • [SPARK-42968] [SC-127271][SS]新增選項以略過 DSv2 來源/接收的 StreamingWrite API 一部分的認可協調器
  • [SPARK-42954][SC-127261][PYTHON][CONNECT]新增YearMonthIntervalType至 PySpark 和 Spark 連線 Python 用戶端
  • [SPARK-41359] [SC-127256][SQL]在 PhysicalDataType UnsafeRow 中使用 而不是 DataType
  • [SPARK-42873] [SC-127262][SQL]將 Spark SQL 類型定義為關鍵字
  • [SPARK-42808] [SC-126302][CORE]避免每次在 中取得 availableProcessors MapOutputTrackerMaster#getStatistics
  • [SPARK-42937] [SC-126880][SQL] PlanSubqueries 應設定 InSubqueryExec#shouldBroadcast 為 true
  • [SPARK-42896] [SC-126729][SQL][PYTHON]進行 mapInPandas / mapInArrow 支援屏障模式執行
  • [SPARK-42874] [SC-126442][SQL]啟用新的黃金檔案測試架構以分析所有輸入檔
  • [SPARK-42922] [SC-126850][SQL]從 Random 移至 SecureRandom
  • [SPARK-42753] [SC-126369]ReusedExchange 是指不存在的節點
  • [SPARK-40822] [SC-126274][SQL]穩定的衍生數據行別名
  • [SPARK-42908] [SC-126856][PYTHON]需要 SparkContext 但未初始化時引發 RuntimeError
  • [SPARK-42779] [SC-126042][SQL]允許 V2 寫入指出諮詢隨機分割區大小
  • [SPARK-42914][SC-126727][PYTHON]重複使用 transformUnregisteredFunction 。DistributedSequenceID
  • [SPARK-42878] [SC-126882][CONNECT]DataFrameReader 中的數據表 API 也可以接受選項
  • [SPARK-42927] [SC-126883][CORE]將的 o.a.spark.util.Iterators#size 存取範圍變更為 private[util]
  • [SPARK-42943] [SC-126879][SQL]針對有效長度使用 LONGTEXT 而不是 StringType 的 TEXT
  • [SPARK-37677] [SC-126855][CORE]解壓縮可能會保留檔案許可權
  • [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON]實作 CoGrouped 對應 API
  • [SPARK-41876] [SC-126849][CONNECT][PYTHON]實作 DataFrame.toLocalIterator
  • [SPARK-42930] [SC-126761][CORE][SQL]將相關實作的 ProtobufSerDe 存取範圍變更為 private[protobuf]
  • [SPARK-42819] [SC-125879][SS]新增對串流中使用的 RocksDB 設定max_write_buffer_number和write_buffer_size的支援
  • [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON]釐清參數化 SQL 自變數的批注
  • [SPARK-42748] [SC-126455][CONNECT]伺服器端成品管理
  • [SPARK-42816] [SC-126365][CONNECT]支援最多 128 MB 的訊息大小上限
  • [SPARK-42850] [SC-126109][SQL]拿掉優化器中重複的規則 CombineFilters
  • [SPARK-42662] [SC-126355][CONNECT][PS]在 Spark 預設索引上新增 pandas API 的 Proto 訊息
  • [SPARK-42720] [SC-126136][PS][SQL]針對分散式序列預設索引使用表示式，而不是計劃
  • [SPARK-42790] [SC-126174][SQL]抽象化排除的方法，以取得 JDBC Docker 測試的更佳測試。
  • [SPARK-42900] [SC-126473][CONNECT][PYTHON]修正 createDataFrame 以遵守推斷和數據行名稱
  • [SPARK-42917] [SC-126657][SQL]正確 getUpdateColumnNullabilityQuery for DerbyDialect
  • [SPARK-42684] [SC-125157][SQL] v2 目錄預設不允許數據行預設值
  • [SPARK-42861] [SC-126635][SQL]使用 private[sql] 而不是 protected[sql] 以避免產生 API 檔
  • [SPARK-42920] [SC-126728][CONNECT][PYTHON]使用UDT啟用UDF的測試
  • [SPARK-42791] [SC-126617][SQL]建立新的黃金檔案測試架構進行分析
  • [SPARK-42911] [SC-126652][PYTHON]引進更多基本例外狀況
  • [SPARK-42904] [SC-126634][SQL]JDBC 目錄的 Char/Varchar 支援
  • [SPARK-42901] [SC-126459][CONNECT][PYTHON]移至 StorageLevel 個別的檔案以避免潛在 file recursively imports
  • [SPARK-42894][SC-126451][CONNECT]支援cachepersist/unpersiststorageLevel//Spark connect jvm 用戶端
  • [SPARK-42792] [SC-125852][SS]新增對串流具狀態運算符中使用的 RocksDB WRITE_FLUSH_BYTES支援
  • [SPARK-41233][SC-126441][CONNECT][PYTHON]將array_prepend新增至Spark 連線 Python 用戶端
  • [SPARK-42681] [SC-125149][SQL]放寬 ALTER TABLE ADD 的排序條件約束 |REPLACE 數據行描述元
  • [SPARK-42889] [SC-126367][CONNECT][PYTHON]實作快取、保存、取消保存和 storageLevel
  • [SPARK-42824] [SC-125985][CONNECT][PYTHON]為不支援的 JVM 屬性提供明確的錯誤訊息
  • [SPARK-42340] [SC-126131][CONNECT][PYTHON]實作群組對應 API
  • [SPARK-42892] [SC-126454][SQL]將 sameType 和相關方法移出 DataType
  • [SPARK-42827] [SC-126126][CONNECT]支援 functions#array_prepend Scala connect 用戶端
  • [SPARK-42823] [SC-125987][SQL] spark-sql shell 支援多部分命名空間進行初始化
  • [SPARK-42817] [SC-125960][CORE]在 ApplicationMaster 中記錄隨機服務名稱一次
  • [SPARK-42786][SC-126438][連線] 輸入選取
  • [SPARK-42800] [SC-125868][CONNECT][PYTHON][ML] 實作 ml 函式 {array_to_vector, vector_to_array}
  • [SPARK-42052] [SC-126439][SQL]HiveSimpleUDF 的 Codegen 支援
  • [SPARK-41233] [SC-126110][SQL][PYTHON]新增 array_prepend 函式
  • [SPARK-42864] [SC-126268][ML][3.4] 設為 IsotonicRegression.PointsAccumulator 私人
  • [SPARK-42876] [SC-126281][SQL]DataType 的 physicalDataType 應該是 private[sql]
  • [SPARK-42101] [SC-125437][SQL]讓 AQE 支援 InMemoryTableScanExec
  • [SPARK-41290] [SC-124030][SQL]支援 create/replace 數據表語句中數據行的 GENERATED ALWAYS AS 運算式
  • [SPARK-42870][SC-126220][CONNECT]移至toCatalystValueconnect-common
  • [SPARK-42247] [SC-126107][CONNECT][PYTHON]修正 UserDefinedFunction 以擁有 returnType
  • [SPARK-42875] [SC-126258][CONNECT][PYTHON]修正 toPandas 以正確處理時區和對應類型
  • [SPARK-42757] [SC-125626][CONNECT]實作 DataFrameReader 的 textFile
  • [SPARK-42803] [SC-126081][CORE][SQL][ML] 使用 getParameterCount 函式，而不是 getParameterTypes.length
  • [SPARK-42833][SC-126043][SQL]在中重構applyExtensionsSparkSession
  • [SPARK-41765] 還原 “[SC-123550][SQL] 提取 v1 寫入計量...
  • [SPARK-42848] [SC-126105][CONNECT][PYTHON]實作 DataFrame.registerTempTable
  • [SPARK-42020][SC-126103][CONNECT][PYTHON]在Spark連線中支援UserDefinedType
  • [SPARK-42818] [SC-125861][CONNECT][PYTHON]實作 DataFrameReader/Writer.jdbc
  • [SPARK-42812] [SC-125867][CONNECT]將client_type新增至 AddArtifactsRequest protobuf 訊息
  • [SPARK-42772] [SC-125860][SQL]將 JDBC 選項的預設值變更為 true
  • [SPARK-42771] [SC-125855][SQL]重構 HiveGenericUDF
  • [SPARK-25050] [SC-123839][SQL]Avro：撰寫複雜聯集
  • [SPARK-42765][SC-125850][CONNECT][PYTHON]啟用從匯入pandas_udfpyspark.sql.connect.functions
  • [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation 應尊重 spark.shuffle.reduceLocality.enabled
  • [SPARK-42480] [SC-125173][SQL]改善卸除數據分割的效能
  • [SPARK-42689] [SC-125195][CORE][SHUFFLE]允許 ShuffleDriverComponent 宣告是否可靠地儲存隨機數據
  • [SPARK-42726] [SC-125279][CONNECT][PYTHON]實現 DataFrame.mapInArrow
  • [SPARK-41765] [SC-123550][SQL]將 v1 寫入計量提取至 WriteFiles
  • [SPARK-41171] [SC-124191][SQL]如果 partitionSpec 是空的，則透過視窗推斷和下推視窗限制
  • [SPARK-42686] [SC-125292][CORE]延遲TaskMemoryManager中偵錯訊息的格式設定
  • [SPARK-42756] [SC-125443][CONNECT][PYTHON]協助程式函式，將 proto 常值轉換成 Python 用戶端中的值
  • [SPARK-42793] [SC-125627][CONNECT] connect 模組需要 build_profile_flags
  • [SPARK-42701][SC-125192][SQL]新增函式try_aes_decrypt()
  • [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame 不適用於不可為 Null 的架構
  • [SPARK-42733] [SC-125542][CONNECT][待處理]不使用路徑或數據表寫入
  • [SPARK-42777] [SC-125525][SQL]支援將 TimestampNTZ 目錄統計數據轉換為計劃統計數據
  • [SPARK-42770][SC-125558][CONNECT]新增 truncatedTo(ChronoUnit.MICROS) 以在 Java 17 每日測試 GA 工作通過中進行SQLImplicitsTestSuite
  • [SPARK-42752] [SC-125550][PYSPARK][SQL]讓 PySpark 例外狀況在初始化期間可列印
  • [SPARK-42732] [SC-125544][PYSPARK][CONNECT]支援 Spark 聯機會話 getActiveSession 方法
  • [SPARK-42755] [SC-125442][CONNECT]將因數常值轉換成 connect-common
  • [SPARK-42747] [SC-125399][ML] 修正 LoR 和 AFT 的內部狀態不正確
  • [SPARK-42740] [SC-125439][SQL]修正某些內建方言的下推位移或分頁無效的錯誤
  • [SPARK-42745] [SC-125332][SQL]改善 AliasAwareOutputExpression 可與 DSv2 搭配運作
  • [SPARK-42743] [SC-125330][SQL]支援分析 TimestampNTZ 數據行
  • [SPARK-42721] [SC-125371][CONNECT]RPC 記錄攔截器
  • [SPARK-42691] [SC-125397][CONNECT][PYTHON]實作 Dataset.semanticHash
  • [SPARK-42688][SC-124922][CONNECT]將 proto 要求 連線 client_id重新命名為 session_id
  • [SPARK-42310] [SC-122792][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1289
  • [SPARK-42685] [SC-125339][CORE]優化 Utils.bytesToString 例程
  • [SPARK-42725] [SC-125296][CONNECT][PYTHON]讓 LiteralExpression 支援數位參數
  • [SPARK-42702] [SC-125293][SPARK-42623][SQL]支援子查詢和 CTE 中的參數化查詢
  • [SPARK-42697] [SC-125189][WEBUI]修正 /api/v1/applications 以傳回持續時間字段的總運行時間，而不是 0
  • [SPARK-42733] [SC-125278][CONNECT][PYTHON]修正 DataFrameWriter.save 以在沒有路徑參數的情況下運作
  • [SPARK-42376] [SC-124928][SS]介紹運算子之間的水位線傳播
  • [SPARK-42710] [SC-125205][CONNECT][PYTHON]將 FrameMap proto 重新命名為 MapPartitions
  • [SPARK-37099] [SC-123542][SQL]介紹以排名為基礎的篩選的 Window 群組限制，以優化 top-k 計算
  • [SPARK-42630][SC-125207][CONNECT][PYTHON]介紹 UnparsedDataType 並延遲剖析 DDL 字串，直到 Spark 連線 Client 可用為止
  • [SPARK-42690] [SC-125193][CONNECT]實作 Scala 用戶端的 CSV/JSON 剖析函式
  • [SPARK-42709][SC-125172][PYTHON]拿掉可用的假設__file__
  • [SPARK-42318] [SC-122648][SPARK-42319][SQL]將名稱指派給 LEGACY_ERROR_TEMP（2123|2125）
  • [SPARK-42723] [SC-125183][SQL]支援剖析器數據類型 json 「timestamp_ltz」 作為 TimestampType
  • [SPARK-42722][SC-125175][CONNECT][PYTHON]Python 連線 def schema（） 不應該快取架構
  • [SPARK-42643] [SC-125152][CONNECT][PYTHON]註冊 Java （aggregate） 使用者定義函式
  • [SPARK-42656] [SC-125177][CONNECT][待處理]修正spark-connect 腳本
  • [SPARK-41516] [SC-123899][SQL]允許 jdbc 方言覆寫用來建立數據表的查詢
  • [SPARK-41725] [SC-124396][CONNECT]渴望執行DF.sql（）
  • [SPARK-42687] [SC-124896][SS]串流中不支援 pivot 作業的更佳錯誤訊息
  • [SPARK-42676] [SC-124809][SS]將串流查詢的暫存檢查點寫入本機文件系統，即使以不同的方式設定預設 FS
  • [SPARK-42303] [SC-122644][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1326
  • [SPARK-42553] [SC-124560][SQL]確保 「間隔」之後至少一個時間單位
  • [SPARK-42649] [SC-124576][CORE]從第三方來源檔案頂端移除標準 Apache 授權標頭
  • [SPARK-42611] [SC-124395][SQL]在解析期間插入 char/varchar 長度檢查內部欄位
  • [SPARK-42419][SC-124019][CONNECT][PYTHON]遷移至 Spark 連線 資料行 API 的錯誤架構。
  • [SPARK-42637] [SC-124522][CONNECT]新增 SparkSession.stop（）
  • [SPARK-42647] [SC-124647][PYTHON]變更 numpy 已取代和已移除類型的別名
  • [SPARK-42616] [SC-124389][SQL]SparkSQLCLIDriver 只能關閉已啟動的 hive sessionState
  • [SPARK-42593] [SC-124405][PS]取代和移除將在 pandas 2.0 中移除的 API。
  • [SPARK-41870] [SC-124402][CONNECT][PYTHON]修正 createDataFrame 以處理重複的數據行名稱
  • [SPARK-42569] [SC-124379][CONNECT]針對不支援的會話 API 擲回例外狀況
  • [SPARK-42631] [SC-124526][CONNECT]在 Scala 用戶端中支援自定義擴充功能
  • [SPARK-41868] [SC-124387][CONNECT][PYTHON]修正 createDataFrame 以支持持續時間
  • [SPARK-42572] [SC-124171][SQL][SS]修正 StateStoreProvider.validateStateRowFormat 的行為

維護更新

請參閱 Databricks Runtime 13.1 維護更新。

系統環境

  • 操作系統：Ubuntu 22.04.2 LTS
  • Java：Zulu 8.70.0.23-CA-linux64
  • Scala：2.12.15
  • Python：3.10.12
  • R：4.2.2
  • Delta Lake：2.4.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 按一下 8.0.4 密碼編譯 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0.12 entrypoints 0.4
執行 1.2.0 facets-overview 1.0.3 fastjsonschema 2.16.3
filelock 3.12.0 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keyring 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.12 numpy 1.21.5 oauthlib 3.2.0
封裝 21.3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 8.0.0
pycparser 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
火熱 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
pyzmq 23.2.0 requests 2.28.1 繩 1.7.0
s3transfer 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
seaborn 0.11.2 秘密 儲存體 3.3.1 Send2Trash 1.8.0
setuptools 63.4.1 六次 1.16.0 soupsieve 2.3.1
ssh-import-id 5.11 stack-data 0.6.2 statsmodels 0.13.2
tenacity 8.1.0 terminado 0.13.1 testpath 0.6.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.1 typing_extensions 4.3.0
ujson 5.4.0 自動升級 0.1 urllib3 1.26.11
virtualenv 20.16.3 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 whatthepatch 1.0.2 wheel 0.37.1
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

已安裝的 R 連結庫

R 連結庫會從 2023-02-10 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
箭號 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 叢集 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 遞減 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
省略符號 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 漱口 1.3.0 泛型 0.1.3
格特 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 避風港 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 針織機 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
Lava 1.7.1 生命週期 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 矩陣 1.5-1 備忘 2.0.1
方法 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
蒙塞爾 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 讚美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 進度 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 不雅 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
晶須 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.咖啡因 咖啡因 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 原生
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1 原生
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 原生
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 原生
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink 小 叮噹 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.4
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlet 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏家 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人-食譜 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core 澤西-通用 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap 墊片 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest 相容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml 蛇形 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1