Databricks Runtime 14.0(지원되지 않음)

  • 아티클

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.0에 대한 정보를 제공합니다.

Databricks는 2023년 9월에 이러한 이미지를 공개했습니다.

새로운 기능 및 향상 기능

업데이트에 대한 예측 I/O는 GA입니다.

이제 업데이트에 대한 예측 I/O를 일반 공급할 수 있습니다. 예측 I/O란?을 참조하세요.

삭제 벡터는 GA입니다.

삭제 벡터는 이제 일반 공급됩니다. 삭제 벡터가란?을 참조하세요.

Spark 3.5.0은 GA입니다.

이제 Apache Spark 3.5.0을 일반 공급할 수 있습니다. Spark 릴리스 3.5.0을 참조하세요.

Python용 사용자 정의 테이블 함수에 대한 공개 미리 보기

UDF(사용자 정의 테이블 함수)를 사용하면 스칼라 값 대신 테이블을 반환하는 함수를 등록할 수 있습니다. Python 사용자 정의 테이블 함수란?을 참조하세요.

행 수준 동시성을 위한 공개 미리 보기

행 수준 동시성은 행 수준에서 변경 내용을 검색하고 동일한 데이터 파일에서 다른 행을 업데이트하거나 삭제하는 동시 쓰기의 경쟁 변경 내용을 자동으로 해결하여 동시 쓰기 작업 간의 충돌을 줄입니다. 행 수준 동시성과의 쓰기 충돌을 참조 하세요.

기본 현재 작업 디렉터리가 변경되었습니다.

로컬로 실행되는 코드의 기본 현재 작업 디렉터리(CWD)는 이제 실행 중인 Notebook 또는 스크립트가 포함된 디렉터리입니다. 여기에는 Spark를 사용하지 않는 Python 또는 R 코드와 같은 %sh 코드가 포함됩니다. 기본 현재 작업 디렉터리가란?을 참조하세요.

sparklyr의 알려진 문제

설치된 패키지 버전 sparklyr (버전 1.8.1)은 Databricks Runtime 14.0과 호환되지 않습니다. 사용 sparklyr하려면 버전 1.8.3 이상을 설치합니다.

공유 클러스터 아키텍처에서 Spark 커넥트 소개

Databricks Runtime 14.0 이상을 사용하면 공유 클러스터는 기본적으로 Python REPL의 Spark 드라이버와 함께 Spark 커넥트 사용합니다. 내부 Spark API는 더 이상 사용자 코드에서 액세스할 수 없습니다.

이제 Spark 커넥트 레거시 REPL 통합 대신 REPL의 Spark 드라이버와 상호 작용합니다.

사용 가능한 Spark 버전 API 업데이트 나열

설정하여 Photon을 사용하도록 설정하고 runtime_engine = PHOTONgraviton 인스턴스 유형을 선택하여 활성화 aarch64 합니다. Azure Databricks는 올바른 Databricks 런타임 버전을 설정합니다. 이전에는 Spark 버전 API가 각 버전에 대한 구현별 런타임을 반환했습니다. REST API 참조에서 GET /api/2.0/clusters/spark-version을 참조하세요.

호환성이 손상되는 변경

Databricks Runtime 14.0 이상에서 공유 액세스 모드의 클러스터는 클라이언트-서버 통신에 Spark 커넥트 사용합니다. 여기에는 다음과 같은 변경 내용이 포함됩니다.

공유 액세스 모드 제한에 대한 자세한 내용은 Unity 카탈로그에 대한 컴퓨팅 액세스 모드 제한을 참조 하세요.

공유 액세스 모드를 사용하는 클러스터의 Python

  • sqlContext를 사용할 수 없는 경우 Azure Databricks는 인스턴스에 변수 SparkSession 를 spark 사용하는 것이 좋습니다.
  • Spark 컨텍스트(sc)는 Notebook에서 더 이상 사용할 수 없거나 공유 액세스 모드가 있는 클러스터에서 Databricks 커넥트 사용할 때 사용할 수 없습니다. 다음 sc 함수는 더 이상 사용할 수 없습니다.
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, , binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, hadoopFile, hadoopRDDstoprunJobsetLocalPropertyunionsetSystemPropertyuiWebUrlsetJobGroupnewAPIHadoopRDDgetConf
  • 데이터 세트 정보 기능은 더 이상 지원되지 않습니다.
  • Apache Spark를 쿼리할 때 JVM에 대한 종속성이 더 이상 없으므로 JVM과 관련된 내부 API(예: _jsc, _jconf, _jvm, _jsparkSession_jreader, _jc, _jmap_jseq_jdf, ) 및 _jcols 더 이상 지원되지 않습니다.
  • 동적 런타임 구성 값만 사용하여 구성 값에 spark.conf 액세스하는 경우 액세스할 수 있습니다.
  • 델타 라이브 테이블 분석 명령은 공유 클러스터에서 아직 지원되지 않습니다.

공유 액세스 모드를 사용하는 클러스터의 델타

  • Python에서는 Apache Spark를 쿼리할 때 JVM에 대한 종속성이 더 이상 없습니다. JVM과 관련된 내부 API(예: DeltaTable._jdt, DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder) 및 DeltaOptimizeBuilder._jbuilder 더 이상 지원되지 않습니다.

공유 액세스 모드가 있는 클러스터의 SQL

  • DBCACHE 및 DBUNCACHE 명령은 더 이상 지원되지 않습니다.
  • 다음과 같은 cache table db as show databases 드문 사용 사례는 더 이상 지원되지 않습니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • asttokens from 2.2.1 to 2.0.5
    • attrs from 21.4.0 to 22.1.0
    • botocore from 1.27.28 to 1.27.96
    • 2022.9.14에서 2022.12.7로 인증
    • 37.0.1에서 39.0.1까지의 암호화
    • debugpy from 1.6.0 to 1.6.7
    • docstring-to-markdown 0.12에서 0.11로
    • 1.2.0에서 0.8.3으로 실행
    • facets-overview from 1.0.3 to 1.1.1
    • googleapis-common-protos 1.56.4에서 1.60.0으로
    • grpcio에서 1.48.1에서 1.48.2로
    • idna from 3.3 to 3.4
    • ipykernel 6.17.1에서 6.25.0으로
    • ipython 8.10.0에서 8.14.0으로
    • Jinja2에서 2.11.3에서 3.1.2로
    • jsonschema from 4.16.0 to 4.17.3
    • jupyter_core 4.11.2에서 5.2.0으로
    • kiwisolver from 1.4.2 to 1.4.4
    • 태그금고 2.0.1에서 2.1.1로
    • matplotlib에서 3.5.2에서 3.7.0으로
    • nbconvert from 6.4.4 to 6.5.4
    • nbformat from 5.5.0 to 5.7.0
    • nest-asyncio에서 1.5.5~ 1.5.6
    • notebook from 6.4.12 to 6.5.2
    • numpy from 1.21.5 to 1.23.5
    • 21.3에서 22.0으로 패키징
    • pandas from 1.4.4 to 1.5.3
    • pathspec에서 0.9.0에서 0.10.3으로
    • patsy from 0.5.2 to 0.5.3
    • 베개 9.2.0에서 9.4.0으로
    • pip에서 22.2.2에서 22.3.1로
    • protobuf 3.19.4에서 4.24.0으로
    • 1.2.2에서 1.2.5까지의 pytoolconfig
    • pytz from 2022.1 to 2022.7
    • s3transfer from 0.6.0 to 0.6.1
    • seaborn from 0.11.2 to 0.12.2
    • setuptools from 63.4.1 to 65.6.3
    • 수프가 2.3.1에서 2.3.2.post1로
    • 0.6.2에서 0.2.0까지의 스택 데이터
    • statsmodels 0.13.2에서 0.13.5로
    • terminado from 0.13.1 to 0.17.1
    • traitlets from 5.1.1 to 5.7.1
    • typing_extensions 4.3.0에서 4.4.0으로
    • urllib3에서 1.26.11에서 1.26.14로
    • virtualenv 20.16.3에서 20.16.7로
    • 휠을 0.37.1에서 0.38.4로
  • 업그레이드된 R 라이브러리:
    • 화살표를 10.0.1에서 12.0.1로
    • base from 4.2.2 to 4.3.1
    • Blob을 1.2.3에서 1.2.4로
    • 빗자루 1.0.3에서 1.0.5까지
    • bslib from 0.4.2 to 0.5.0
    • cachem from 1.0.6 to 1.0.8
    • caret from 6.0-93 to 6.0-94
    • chron from 2.3-59 to 2.3-61
    • 클래스 7.3-21에서 7.3-22로
    • cli from 3.6.0 to 3.6.1
    • 0.6.1에서 0.7.0까지의 시계
    • commonmark from 1.8.1 to 1.9.0
    • 컴파일러 4.2.2에서 4.3.1로
    • cpp11에서 0.4.3에서 0.4.4로
    • curl from 5.0.0 to 5.0.1
    • data.table from 1.14.6 to 1.14.8
    • 4.2.2에서 4.3.1까지의 데이터 세트
    • dbplyr에서 2.3.0에서 2.3.3으로
    • 다이제스트 0.6.31에서 0.6.33으로
    • downlit from 0.4.2 to 0.4.3
    • dplyr에서 1.1.0에서 1.1.2로
    • dtplyr에서 1.2.2에서 1.3.1로
    • 0.20에서 0.21로 평가
    • fastmap from 1.1.0 to 1.1.1
    • 0.5.0에서 0.5.1까지의 fontawesome
    • fs from 1.6.1 to 1.6.2
    • future from 1.31.0 to 1.33.0
    • future.apply 1.10.0에서 1.11.0으로
    • 1.3.0에서 1.5.1로 가글
    • ggplot2에서 3.4.0에서 3.4.2로
    • gh에서 1.3.1에서 1.4.0으로
    • glmnet from 4.1-6 to 4.1-7
    • googledrive 2.0.0에서 2.1.1로
    • googlesheets4에서 1.0.1에서 1.1.1로
    • 그래픽 4.2.2에서 4.3.1로
    • grDevices 4.2.2에서 4.3.1로
    • 4.2.2에서 4.3.1로 그리드
    • 0.3.1에서 0.3.3까지 gtable
    • 1.2.0에서 1.3.0으로 하드 햇
    • 2.5.1에서 2.5.3으로
    • hms from 1.1.2 to 1.1.3
    • htmltools from 0.5.4 to 0.5.5
    • 1.6.1에서 1.6.2로의 htmlwidgets
    • httpuv from 1.6.8 to 1.6.11
    • 1.4.4에서 1.4.6으로 httr
    • 0.9-13에서 0.9-14로 ipred
    • jsonlite from 1.8.4 to 1.8.7
    • KernSmooth에서 2.23-20에서 2.23-21로
    • 1.42에서 1.43까지의 니트러
    • 이후 1.3.0에서 1.3.1로
    • 0.20-45에서 0.21-8로 래티
    • 용암 1.7.1에서 1.7.2.1로
    • 1.9.1에서 1.9.2로 윤활유
    • markdown from 1.5 to 1.7
    • MASS from 7.3-58.2 to 7.3-60
    • 1.5-1에서 1.5-4.1까지의 행렬
    • 메서드를 4.2.2에서 4.3.1로
    • mgcv from 1.8-41 to 1.8-42
    • 0.1.10에서 0.1.11까지의 모델러
    • nnet from 7.3-18 to 7.3-19
    • openssl from 2.0.5 to 2.0.6
    • 4.2.2에서 4.3.1로 병렬 처리
    • 병렬로 1.34.0에서 1.36.0으로
    • 1.8.1에서 1.9.0으로의 기둥
    • pkgbuild 1.4.0에서 1.4.2로
    • pkgload from 1.3.2 to 1.3.2.1
    • pROC 1.18.0에서 1.18.4로
    • processx from 3.8.0 to 3.8.2
    • prodlim from 2019.11.13 to 2023.03.31
    • profvis from 0.3.7 to 0.3.8
    • ps from 1.7.2 to 1.7.5
    • Rcpp에서 1.0.10에서 1.0.11로
    • readr from 2.1.3 to 2.1.4
    • readxl from 1.4.2 to 1.4.3
    • 1.0.4에서 1.0.6까지의 레시피
    • 1.0.6에서 1.1.1로의 rlang
    • rmarkdown from 2.20 to 2.23
    • Rserve 1.8-12에서 1.8-11로
    • RSQLite 2.2.20에서 2.3.1로
    • rstudioapi 0.14에서 0.15.0으로
    • sass from 0.4.5 to 0.4.6
    • 1.7.4에서 1.7.4.1로 반짝입니다.
    • sparklyr에서 1.7.9에서 1.8.1로
    • 3.4.1에서 3.5.0까지의 SparkR
    • 4.2.2에서 4.3.1까지의 스플라인
    • 통계는 4.2.2에서 4.3.1로
    • stats4에서 4.2.2에서 4.3.1로
    • 3.5-3에서 3.5-5까지의 생존
    • sys from 3.4.1 to 3.4.2
    • tcltk from 4.2.2 to 4.3.1
    • testthat from 3.1.6 to 3.1.10
    • tibble from 3.1.8 to 3.2.1
    • tidyverse from 1.3.2 to 2.0.0
    • tinytex from 0.44 to 0.45
    • 4.2.2에서 4.3.1까지의 도구
    • tzdb에서 0.3.0에서 0.4.0으로
    • usethis from 2.1.6 to 2.2.2
    • utils from 4.2.2 to 4.3.1
    • vctrs 0.5.2에서 0.6.3으로
    • viridisLite 0.4.1에서 0.4.2로
    • vroom from 1.6.1 to 1.6.3
    • waldo from 0.4.0 to 0.5.1
    • xfun from 0.37 to 0.39
    • xml2에서 1.3.3에서 1.3.5로
    • zip을 2.2.2에서 2.3.0으로
  • 업그레이드된 Java 라이브러리:
    • com.fasterxml.jackson.core.jackson-annotations from 2.14.2 to 2.15.2
    • com.fasterxml.jackson.core.jackson-core 2.14.2에서 2.15.2로
    • com.fasterxml.jackson.core.jackson-databind from 2.14.2 to 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.14.2에서 2.15.2로
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.14.2에서 2.15.2로
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 from 2.13.4 to 2.15.1
    • com.fasterxml.jackson.module.jackson-module-module-paranamer from 2.14.2 to 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12에서 2.14.2에서 2.15.2로
    • com.github.luben.zstd-jni from 1.5.2-5 to 1.5.5-4
    • com.google.code.gson.gson from 2.8.9 to 2.10.1
    • com.google.crypto.tink.tink 1.7.0에서 1.9.0으로
    • 1.15에서 1.16.0까지의 commons-codec.commons-codec
    • commons-io.commons-io 2.11.0에서 2.13.0으로
    • io.airlift.aircompressor 0.21 ~ 0.24
    • io.dropwizard.metrics.metrics-core 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-graphite를 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-health검사s 4.2.10에서 4.2.19까지
    • io.dropwizard.metrics.metrics-jetty9에서 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-jmx에서 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-json을 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-jvm에서 4.2.10에서 4.2.19로
    • 4.2.10에서 4.2.19까지의 io.dropwizard.metrics.metrics-servlet
    • io.netty.netty-all from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-buffer from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-codec from 4.1.87.Final to 4.1.93.Final
    • 4.1.87.Final에서 4.1.93.Final까지 io.netty.netty-codec-http
    • 4.1.87.Final에서 4.1.93.Final까지 io.netty.netty-codec-http2
    • 4.1.87.Final에서 4.1.93.Final까지 io.netty.netty-codec-socks
    • io.netty.netty-common from 4.1.87.Final to 4.1.93.Final
    • 4.1.87.Final에서 4.1.93.Final까지의 io.netty.netty-handler
    • io.netty.netty-handler-proxy from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-resolver from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-transport from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-transport-classes-epoll from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-transport-native-epoll에서 4.1.87.Final-linux-x86_64 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue에서 4.1.87.Final-osx-x86_64 4.1.93.Final-osx-x86_64
    • 4.1.87.Final에서 4.1.93.Final까지 io.netty.netty-transport-native-unix-common
    • org.apache.arrow.arrow-format from 11.0.0 to 12.0.1
    • org.apache.arrow.arrow-memory-core 11.0.0에서 12.0.1로
    • org.apache.arrow.arrow-memory-netty from 11.0.0 to 12.0.1
    • org.apache.arrow.arrow-vector from 11.0.0 to 12.0.1
    • org.apache.avro.avro 1.11.1 ~ 1.11.2
    • org.apache.avro.avro-ipc from 1.11.1 to 1.11.2
    • org.apache.avro.avro-mapred from 1.11.1 to 1.11.2
    • org.apache.commons.commons-compress from 1.21 to 1.23.0
    • org.apache.hadoop.hadoop-client-runtime from 3.3.4 to 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api from 2.19.0 to 2.20.0
    • org.apache.logging.log4j.log4j-api from 2.19.0 to 2.20.0
    • org.apache.logging.log4j.log4j-core 2.19.0에서 2.20.0으로
    • org.apache.logging.log4j.log4j-slf4j2-impl from 2.19.0 to 2.20.0
    • org.apache.orc.orc-core에서 1.8.4-shaded-protobuf에서 1.9.0-shaded-protobuf로
    • org.apache.orc.orc-mapreduce from 1.8.4-shaded-protobuf to 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims from 1.8.4 to 1.9.0
    • org.apache.xbean.xbean-asm9-shaded from 4.22 to 4.23
    • org.검사erframework.검사er-qual에서 3.19.0에서 3.31.0으로
    • org.glassfish.jersey.containers.jersey-container-servlet 2.36에서 2.40까지
    • org.glassfish.jersey.containers.jersey-container-servlet-core 2.36에서 2.40까지
    • org.glassfish.jersey.core.jersey-client from 2.36 to 2.40
    • org.glassfish.jersey.core.jersey-common from 2.36 to 2.40
    • org.glassfish.jersey.core.jersey-server 2.36에서 2.40까지
    • org.glassfish.jersey.inject.jersey-hk2에서 2.36에서 2.40까지
    • org.javassist.javassist from 3.25.0-GA to 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client 2.7.4에서 2.7.9로
    • org.postgresql.postgresql from 42.3.8 to 42.6.0
    • org.roaringbitmap.RoaringBitmap 0.9.39에서 0.9.45로
    • org.roaringbitmap.shims 0.9.39에서 0.9.45로
    • org.rocksdb.rocksdbjni 7.8.3에서 8.3.2로
    • org.scala-lang.modules.scala-collection-compat_2.12부터 2.4.3~ 2.9.0
    • org.slf4j.jcl-over-slf4j from 2.0.6 to 2.0.7
    • org.slf4j.jul-to-slf4j from 2.0.6 to 2.0.7
    • org.slf4j.slf4j-api from 2.0.6 to 2.0.7
    • org.xerial.snappy.snappy-java에서 1.1.10.1~ 1.1.10.3
    • org.yaml.snakeyaml from 1.33 to 2.0

Apache Spark

Databricks Runtime 14.0. 이 릴리스에는 Databricks Runtime 13.3 LTS에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • 이제 Spark-snowflake 커넥터 v2.12.0을 사용하도록 클러스터 환경 변수 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 를 설정할 수 있습니다.
  • [SPARK-44877] [DBRRM-482] [SC-140437] [CONNECT] [PYTHON] Spark 커넥트 python protobuf 함수 지원
  • [SPARK-44882] [DBRRM-463] [SC-140430] [PYTHON] [CONNECT] PySpark에서 함수 uuid/random/chr 제거
  • [SPARK-44740] [DBRRM-462] [SC-140320] [CONNECT] [팔로우] 아티팩트에 대한 메타데이터 값 수정
  • [SPARK-44822] [DBRRM-464] [PYTHON] [SQL] 기본적으로 비결정적 Python UDF 만들기
  • [SPARK-44836] [DBRRM-468] [SC-140228] [PYTHON] 화살표 Python UDTF 리팩터링
  • [SPARK-44738] [DBRRM-462] [SC-139347] [PYTHON] [CONNECT] 누락된 클라이언트 메타데이터를 호출에 추가
  • [SPARK-44722] [DBRRM-462] [SC-139306] [CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: 'NoneType' 개체에 'message' 특성이 없습니다.
  • [SPARK-44625] [DBRRM-396] [SC-139535] [CONNECT] Spark커넥트ExecutionManager를 사용하여 모든 실행 추적
  • [SPARK-44663] [SC-139020] [DBRRM-420] [PYTHON] Python UDF에 대한 화살표 최적화를 기본적으로 사용하지 않도록 설정
  • [SPARK-44709] [DBRRM-396] [SC-139250] [CONNECT] 흐름 제어를 수정하기 위해 새 스레드에서 다시 연결할 수 있는 실행에서 ExecuteGrpcResponseSender를 실행합니다.
  • [SPARK-44656] [DBRRM-396] [SC-138924] [CONNECT] 모든 반복기를 CloseableIterator로 만들기
  • [SPARK-44671] [DBRRM-396] [SC-138929] [PYTHON] [CONNECT] 초기 요청이 Python 클라이언트의 서버에 도달하지 않은 경우 ExecutePlan 다시 시도
  • [SPARK-44624] [DBRRM-396] [SC-138919] [CONNECT] 초기 요청이 서버에 도달하지 않은 경우 ExecutePlan 다시 시도
  • [SPARK-44574] [DBRRM-396] [SC-138288] [SQL] [CONNECT] sq/api로 이동한 오류도 AnalysisException을 사용해야 합니다.
  • [SPARK-44613] [DBRRM-396] [SC-138473] [CONNECT] 인코더 개체 추가
  • [SPARK-44626] [DBRRM-396] [SC-138828] [SS] [CONNECT] Spark 커넥트 대한 클라이언트 세션 시간이 초과될 때 스트리밍 쿼리 종료에 대한 후속 작업
  • [SPARK-44642] [DBRRM-396] [SC-138882] [CONNECT] 서버에서 오류가 발생한 후 ExecutePlanResponseReattachableIterator의 ReleaseExecute
  • [SPARK-41400] [DBRRM-396] [SC-138287] [CONNECT] 커넥트 클라이언트 촉매 종속성 제거
  • [SPARK-44664] [DBRRM-396] [PYTHON] [CONNECT] Python 클라이언트에서 반복기를 닫을 때 실행 해제
  • [SPARK-44631] [DBRRM-396] [SC-138823] [CONNECT] [CORE] [14.0.0] 격리된 세션 캐시가 제거될 때 세션 기반 디렉터리 제거
  • [SPARK-42941] [DBRRM-396] [SC-138389] [SS] [CONNECT] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396] [SC-138570] [CONNECT] 현수 반복기를 그대로 둡니다.
  • [SPARK-44424] [DBRRM-396] [CONNECT] [PYTHON] [14.0.0] Spark 커넥트 기존 실행과 다시 연결하기 위한 Python 클라이언트
  • [SPARK-44637] [SC-138571] ExecuteResponseObserver에 대한 액세스 동기화
  • [SPARK-44538] [SC-138178] [CONNECT] [SQL] Row.jsonValue 및 친구 복원
  • [SPARK-44421] [SC-138434] [SPARK-44423] [CONNECT] Spark 커넥트 다시 연결할 수 있는 실행
  • [SPARK-44418] [SC-136807] [PYTHON] [CONNECT] protobuf를 3.19.5에서 3.20.3으로 업그레이드
  • [SPARK-44587] [SC-138315] [SQL] [CONNECT] protobuf 마샬러 재귀 제한 늘리기
  • [SPARK-44591] [SC-138292] [CONNECT] [SQL] SparkListenerSQLExecutionStart에 jobTags 추가
  • [SPARK-44610] [SC-138368] [SQL] DeduplicateRelations는 새 인스턴스를 만들 때 별칭 메타데이터를 유지해야 합니다.
  • [SPARK-44542] [SC-138323] [CORE] 예외 처리기에서 SparkExitCode 클래스를 즉시 로드
  • [SPARK-44264] [SC-138143] [PYTHON] Deepspeed용 E2E 테스트
  • [SPARK-43997] [SC-138347] [CONNECT] Java UDF에 대한 지원 추가
  • [SPARK-44507] [SQL] [CONNECT] [14.x] [14.0] AnalysisException을 sql/api로 이동
  • [SPARK-44453] [SC-137013] [PYTHON] difflib를 사용하여 assertDataFrameEqual에 오류 표시
  • [SPARK-44394] [SC-138291] [CONNECT] [WEBUI] [14.0] Spark 커넥트 대한 Spark UI 페이지 추가
  • [SPARK-44611] [SC-138415] [CONNECT] scala-xml 제외 안 함
  • [SPARK-44531] [SC-138044] [CONNECT] [SQL] [14.x] [14.0] sql/api로 인코더 유추 이동
  • [SPARK-43744] [SC-138289] [CONNECT] [14.x] [14.0] 클래스 로드 문제 cau...
  • [SPARK-44590] [SC-138296] [SQL] [CONNECT] SqlCommandResult에 대한 화살표 일괄 처리 레코드 제한 제거
  • [SPARK-43968] [SC-138115] [PYTHON] 잘못된 수의 출력을 사용하여 Python UDF에 대한 오류 메시지 개선
  • [SPARK-44432] [SC-138293] [SS] [CONNECT] Spark 커넥트 세션 시간이 초과되면 스트리밍 쿼리를 종료합니다.
  • [SPARK-44584] [SC-138295] [CONNECT] Scala 클라이언트에서 AddArtifactsRequest 및 ArtifactStatusesRequest에 대한 client_type 정보 설정
  • [SPARK-44552] [14.0] [SC-138176] [SQL] 다음에서 정의 제거 private object ParseStateIntervalUtils
  • [SPARK-43660] [SC-136183] [CONNECT] [PS] Spark 커넥트 사용 resample
  • [SPARK-44287] [SC-136223] [SQL] RowToColumnarExec 및 ColumnarToRowExec SQL 연산자에서 PartitionEvaluator API를 사용합니다.
  • [SPARK-39634] [SC-137566] [SQL] 행 인덱스 생성과 함께 파일 분할 허용
  • [SPARK-44533] [SC-138058] [PYTHON] Python UDTF의 분석에서 누적기, 브로드캐스트 및 Spark 파일에 대한 지원 추가
  • [SPARK-44479] [SC-138146] [PYTHON] 열 없음 pandas DataFrame을 허용하도록 ArrowStreamPandasUDFSerializer 수정
  • [SPARK-44425] [SC-138177] [CONNECT] 사용자가 제공한 sessionId가 UUID인지 확인
  • [SPARK-44535] [SC-138038] [CONNECT] [SQL] 필요한 스트리밍 API를 sql/api로 이동
  • [SPARK-44264] [SC-136523] [ML] [PYTHON] Deepspeed Distributed Learning 클래스 DeepspeedTorchDistributor 작성
  • [SPARK-42098] [SC-138164] [SQL] ResolveInlineTable이 RuntimeReplaceable 식으로 처리할 수 없는 해결 방법
  • [SPARK-44060] [SC-135693] [SQL] 빌드 쪽 외부 순서 섞기 해시 조인을 위한 코드 gen
  • [SPARK-44496] [SC-137682] [SQL] [CONNECT] SCSC에 필요한 인터페이스를 sql/api로 이동
  • [SPARK-44532] [SC-137893] [CONNECT] [SQL] ArrowUtils를 sql/api로 이동
  • [SPARK-44413] [SC-137019] [PYTHON] assertDataFrameEqual에서 지원되지 않는 arg 데이터 형식에 대한 오류 명확히
  • [SPARK-44530] [SC-138036] [CORE] [CONNECT] SparkBuildInfo를 common/util로 이동
  • [SPARK-36612] [SC-133071] [SQL] 순서가 섞인 해시 조인에서 왼쪽 외부 조인 빌드 왼쪽 또는 오른쪽 외부 조인 빌드를 지원합니다.
  • [SPARK-44519] [SC-137728] [CONNECT] Spark커넥트ServerUtils에서 jar에 대한 잘못된 매개 변수를 생성했습니다.
  • [SPARK-44449] [SC-137818] [CONNECT] 직접 화살표 역직렬화를 위한 업캐스팅
  • [SPARK-44131] [SC-136346] [SQL] Scala API에 대한 call_function 추가 및 사용 중단 call_udf
  • [SPARK-44541] [SQL] 다음에서 쓸모없는 함수 hasRangeExprAgainstEventTimeCol 제거 UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859] [SQL] 조건이 FalseLiteral인 경우 필터의 maxRows/maxRowsPerPartition은 0입니다.
  • [SPARK-44540] [SC-137873] [UI] jsonFormatter의 사용되지 않는 스타일시트 및 javascript 파일 제거
  • [SPARK-44466] [SC-137856] [SQL] modifiedConfigs로 SPARK_DRIVER_PREFIXSPARK_EXECUTOR_PREFIX 시작하는 구성 제외
  • [SPARK-44477] [SC-137508] [SQL] TYPE_CHECK_FAILURE_WITH_HINT 오류 하위 클래스로 처리
  • [SPARK-44509] [SC-137855] [PYTHON] [CONNECT] Spark 커넥트 Python 클라이언트에서 작업 취소 API 집합 추가
  • [SPARK-44059] [SC-137023] 기본 제공 함수에 대한 명명된 인수의 분석기 지원 추가
  • [SPARK-38476] [SC-136448] [CORE] org.apache.spark.storage에서 오류 클래스 사용
  • [SPARK-44486] [SC-137817] [PYTHON] [CONNECT] 에 대한 PyArrow self_destruct 기능 구현 toPandas
  • [SPARK-44361] [SC-137200] [SQL] MapInBatchExec에서 PartitionEvaluator API 사용
  • [SPARK-44510] [SC-137652] [UI] dataTables를 1.13.5로 업데이트하고 일부 캐시되지 않은 png 파일을 제거합니다.
  • [SPARK-44503] [SC-137808] [SQL] TVF 호출에 대한 TABLE 인수 후 PARTITION BY 및 ORDER BY 절에 대한 SQL 문법 추가
  • [SPARK-38477] [SC-136319] [CORE] org.apache.spark.shuffle에서 오류 클래스 사용
  • [SPARK-44299] [SC-136088] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_227 이름 할당[4-6,8]
  • [SPARK-44422] [SC-137567] [CONNECT] Spark 커넥트 세분화된 인터럽트
  • [SPARK-44380] [SC-137415] [SQL] [PYTHON] Python에서 분석할 Python UDTF 지원
  • [SPARK-43923] [SC-137020] [CONNECT] Post listenerBus events durin...
  • [SPARK-44303] [SC-136108] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2320-2324]
  • [SPARK-44294] [SC-135885] [UI] HeapHistogram 열이 예기치 않게 선택 상자와 함께 표시되는 수정
  • [SPARK-44409] [SC-136975] [SQL] 다른 사용자와 일관성을 유지하기 위해 Dataset.to char/varchar 처리
  • [SPARK-44334] [SC-136576] [SQL] [UI] 작업이 없는 실패한 DDL/DML에 대한 REST API 응답의 상태는 완료되지 않고 실패해야 합니다.
  • [SPARK-42309] [SC-136703] [SQL] 클래스를 소개 INCOMPATIBLE_DATA_TO_TABLE 하고 하위 클래스를 제공합니다.
  • [SPARK-44367] [SC-137418] [SQL] [UI] 실패한 각 쿼리에 대해 UI에 오류 메시지 표시
  • [SPARK-44474] [SC-137195] [CONNECT] Spark커넥트ServiceSuite에서 다시 활성화 가능한 "응답 관찰 테스트"
  • [SPARK-44320] [SC-136446] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055] [CONNECT] 커넥트 서버 시작 로그에 호스트 이름 및 포트가 표시되어야 합니다.
  • [SPARK-44309] [SC-136193] [UI] 실행기 탭에 실행기 추가/제거 시간 표시
  • [SPARK-42898] [SC-137556] [SQL] 문자열/날짜 캐스트에 표준 시간대 ID가 필요하지 않음을 표시합니다.
  • [SPARK-44475] [SC-137422] [SQL] [CONNECT] DataType 및 Parser를 sql/api로 재배치
  • [SPARK-44484] [SC-137562] [SS] StreamingQueryProgress json 메서드에 batchDuration 추가
  • [SPARK-43966] [SC-137559] [SQL] [PYTHON] 비결정적 테이블 반환 함수 지원
  • [SPARK-44439] [SC-136973] [CONNECT] [SS] ID만 클라이언트로 다시 보내도록 listListeners 수정
  • [SPARK-44341] [SC-137054] [SQL] [PYTHON] PartitionEvaluator API를 통해 컴퓨팅 논리를 정의하고 WindowExec 및 WindowInPandasExec에서 사용합니다.
  • [SPARK-43839] [SC-132680] [SQL] 으로 변환 _LEGACY_ERROR_TEMP_1337UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2305-2309]
  • [SPARK-44201] [SC-136778] [CONNECT] [SS] Spark용 Scala에서 스트리밍 수신기에 대한 지원 추가 커넥트
  • [SPARK-44260] [SC-135618] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[1215-1245-2329] & 검사오류()를 사용하여 _CharVarchar_Suite 예외 검사
  • [SPARK-42454] [SC-136913] [SQL] SPJ: BatchScanExec에서 모든 SPJ 관련 매개 변수 캡슐화
  • [SPARK-44292] [SC-135844] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2315-2319]
  • [SPARK-44396] [SC-137221] [커넥트] 직접 화살표 역직렬화
  • [SPARK-44324] [SC-137172] [SQL] [CONNECT] CaseInsensitiveMap을 sql/api로 이동
  • [SPARK-44395] [SC-136744] [SQL] StreamingTableSuite에 테스트 다시 추가
  • [SPARK-44481] [SC-137401] [CONNECT] [PYTHON] pyspark.sql.is_remote을 API로 만들기
  • [SPARK-44278] [SC-137400] [CONNECT] 스레드 로컬 속성을 클린 GRPC 서버 인터셉터 구현
  • [SPARK-44264] [SC-137211] [ML] [PYTHON] Deepspeed를 사용하여 함수의 분산 학습 지원
  • [SPARK-44430] [SC-136970] [SQL] 옵션이 잘못된 경우 원인 AnalysisException 추가
  • [SPARK-44264] [SC-137167] [ML] [PYTHON] TorchDistributor에 FunctionPickler 통합
  • [SPARK-44216] [SC-137046] [PYTHON] assertSchemaEqual API 공개
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-43203] [SC-134528] [SQL] 모든 Drop Table 케이스를 DataSource V2로 이동
  • [SPARK-43755] [SC-137171] [CONNECT] [MINOR] 복사를 사용하는 대신 열기 AdaptiveSparkPlanHelper.allChildrenMetricGenerator
  • [SPARK-44264] [SC-137187] [ML] [PYTHON] 사용자 지정 "run_training_on_file" 함수 포인터를 허용하도록 TorchDistributor 리팩터링
  • [SPARK-43755] [SC-136838] [CONNECT] SparkExecutePlanStreamHandler에서 다른 스레드로 실행 이동
  • [SPARK-44411] [SC-137198] [SQL] ArrowEvalPythonExec 및 BatchEvalPythonExec에서 PartitionEvaluator API 사용
  • [SPARK-44375] [SC-137197] [SQL] DebugExec에서 PartitionEvaluator API 사용
  • [SPARK-43967] [SC-137057] [PYTHON] 빈 반환 값이 있는 일반 Python UDF 지원
  • [SPARK-43915] [SC-134766] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2438-2445]
  • [SPARK-43965] [SC-136929] [PYTHON] [CONNECT] Spark 커넥트 Python UDTF 지원
  • [SPARK-44154] [SC-137050] [SQL] BitmapExpressionUtilsSuite에 더 많은 단위 테스트가 추가되었으며 비트맵 집계 식이 약간 개선되었습니다.
  • [SPARK-44169] [SC-135497] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2300-2304]
  • [SPARK-44353] [SC-136578] [CONNECT] [SQL] StructType.toAttributes 제거
  • [SPARK-43964] [SC-136676] [SQL] [PYTHON] 화살표 최적화 Python UDF 지원
  • [SPARK-44321] [SC-136308] [CONNECT] AnalysisException에서 ParseException 분리
  • [SPARK-44348] [SAS-1910] [SC-136644] [CORE] [CONNECT] [PYTHON] 관련 변경 내용이 있는 다시 활성화 가능한 test_artifact
  • [SPARK-44145] [SC-136698] [SQL] 실행 준비가 되면 콜백
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [CONNECT] 교차 유효성 검사기 추정기 테스트 사용
  • [SPARK-44399] [SC-136669] [PYHTON] [CONNECT] useArrow가 None인 경우에만 Python UDF에서 SparkSession 가져오기
  • [SPARK-43631] [SC-135300] [CONNECT] [PS] Spark 커넥트 사용하여 Series.interpolate 사용
  • [SPARK-44374] [SC-136544] [PYTHON] [ML] Spark Connect용 분산 ML에 대한 예제 코드 추가
  • [SPARK-44282] [SC-135948] [CONNECT] Spark 커넥트 Scala Client에서 사용할 DataType 구문 분석 준비
  • [SPARK-44052] [SC-134469] [CONNECT] [PS] Spark 커넥트 적절한 Column 또는 DataFrame 클래스를 가져오기 위해 util을 추가합니다.
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [CONNECT] 교차 유효성 검사기 추정기 구현
  • [SPARK-44290] [SC-136300] [CONNECT] Spark 커넥트 세션 기반 파일 및 보관
  • [SPARK-43710] [SC-134860] [PS] [CONNECT] functions.date_part Spark 커넥트 지원
  • [SPARK-44036] [SC-134036] [CONNECT] [PS] 티켓을 정리하고 통합하여 작업을 간소화합니다.
  • [SPARK-44150] [SC-135790] [PYTHON] [CONNECT] 화살표 Python UDF에서 일치하지 않는 반환 형식에 대한 명시적 화살표 캐스팅
  • [SPARK-43903] [SC-134754] [PYTHON] [CONNECT] Arrow Python UDF에서 ArrayType 입력 지원 개선
  • [SPARK-44250] [SC-135819] [ML] [PYTHON] [CONNECT] 분류 평가기 구현
  • [SPARK-44255] [SC-135704] [SQL] StorageLevel을 일반/유틸리티로 재배치
  • [SPARK-42169] [SC-135735] [SQL] to_csv 함수에 대한 코드 생성 구현(StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] PythonUDTFRunner를 리팩터링하여 반환 형식을 별도로 보냅니다.
  • [SPARK-43353] [SC-132734] [PYTHON] 다시 마이그레이션기본 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-44133] [SC-134795] [PYTHON] MyPy를 0.920에서 0.982로 업그레이드
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
  • [SPARK-43353] "[SC-132734][ES-729763][PYTHON] 다시 마이그레이션기본 세션 오류를 오류 클래스로 되돌리기"
  • [SPARK-44100] [SC-134576] [ML] [CONNECT] [PYTHON] 네임스페이스를 다음으로 pyspark.mlv2 이동 pyspark.ml.connect
  • [SPARK-44220] [SC-135484] [SQL] StringConcat을 sql/api로 이동
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [CONNECT] Catalog.listFunctions에 대한 선택적 패턴 추가
  • [SPARK-43982] [SC-134529] [ML] [PYTHON] [CONNECT] Spark 연결에서 ML에 대한 파이프라인 예측 도구 구현
  • [SPARK-43888] [SC-132893] [CORE] 로깅을 일반/유틸리티로 재배치
  • [SPARK-42941] 되돌리기 "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde"
  • [SPARK-43624] [SC-134557] [PS] [CONNECT] Spark커넥트Planner에 추가 EWM 합니다.
  • [SPARK-43981] [SC-134137] [PYTHON] [ML] Spark Connect에서 ML에 대한 기본 저장/로드 구현
  • [SPARK-43205] [SC-133371] [SQL] SQLQueryTestSuite 수정
  • [SPARK-43376] 되돌리기 "[SC-130433][SQL] 테이블 캐시를 사용하여 하위 쿼리 다시 사용 개선"
  • [SPARK-44040] [SC-134366] [SQL] QueryStageExec 위의 AggregateExec 노드가 있는 경우 컴퓨팅 통계 수정
  • [SPARK-43919] [SC-133374] [SQL] 행에서 JSON 기능 추출
  • [SPARK-42618] [SC-134433] [PYTHON] [PS] 다음 주 릴리스에서 pandas 관련 동작 변경에 대한 경고
  • [SPARK-43893] [SC-133381] [PYTHON] [CONNECT] 화살표 최적화 Python UDF에서 비원자 데이터 형식 지원
  • [SPARK-43627] [SC-134290] [SPARK-43626] [PS] [CONNECT] Spark 커넥트 사용하도록 설정합니다pyspark.pandas.spark.functions.{kurt, skew}.
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Python 사용자 정의 테이블 함수 지원
  • [SPARK-43616] [SC-133849] [PS] [CONNECT] Spark 커넥트 사용 pyspark.pandas.spark.functions.mode
  • [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach 지원
  • [SPARK-43684] [SC-134107] [SPARK-43685] [SPARK-43686] [SPARK-43691] [CONNECT] [PS] Spark 커넥트 대한 수정 사항 (NullOps|NumOps).(eq|ne) 입니다.
  • [SPARK-43645] [SC-134151] [SPARK-43622] [PS] [CONNECT] Spark 커넥트 사용 pyspark.pandas.spark.functions.{var, stddev}
  • [SPARK-43617] [SC-133893] [PS] [CONNECT] Spark 커넥트 사용 pyspark.pandas.spark.functions.product
  • [SPARK-43610] [SC-133832] [CONNECT] [PS] Spark 커넥트 사용하도록 설정합니다InternalFrame.attach_distributed_column.
  • [SPARK-43621] [SC-133852] [PS] [CONNECT] Spark 커넥트 사용 pyspark.pandas.spark.functions.repeat
  • [SPARK-43921] [SC-133461] [PROTOBUF] 빌드 시 Protobuf 설명자 파일 생성
  • [SPARK-43613] [SC-133727] [PS] [CONNECT] Spark 커넥트 사용 pyspark.pandas.spark.functions.covar
  • [SPARK-43376] [SC-130433] [SQL] 테이블 캐시를 사용하여 다시 사용 하위 쿼리 개선
  • [SPARK-43612] [SC-132011] [CONNECT] [PYTHON] Python 클라이언트에서 SparkSession.addArtifact 구현
  • [SPARK-43920] [SC-133611] [SQL] [CONNECT] sql/api 모듈 만들기
  • [SPARK-43097] [SC-133372] [ML] 배포자 위에 구현된 새 pyspark ML 로지스틱 회귀 예측 도구
  • [SPARK-43783] [SC-133240] [SPARK-43784] [SPARK-43788] [ML] MLv2(Spark Connect의 ML)가 pandas = 2.0을 지원합니다 >.
  • [SPARK-43024] [SC-132716] [PYTHON] pandas를 2.0.0으로 업그레이드
  • [SPARK-43881] [SC-133140] [SQL] [PYTHON] [CONNECT] Catalog.listDatabases에 대한 선택적 패턴 추가
  • [SPARK-39281] [SC-131422] [SQL] JSON/CSV 데이터 원본에서 레거시 형식으로 타임스탬프 형식 유추 속도 향상
  • [SPARK-43792] [SC-132887] [SQL] [PYTHON] [CONNECT] Catalog.listCatalogs에 대한 선택적 패턴 추가
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python 클라이언트 DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378] [SQL] [PYTHON] 중첩된 타임스탬프 형식 지원
  • [SPARK-43353] [SC-132734] [PYTHON] 다시 마이그레이션기본 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-43304] [SC-129969] [CONNECT] [PYTHON] 다음으로 마이그레이션 NotImplementedErrorPySparkNotImplementedError
  • [SPARK-43516] [SC-132202] [ML] [PYTHON] [CONNECT] spark3.5용 sparkML의 기본 인터페이스: 추정기/변환기/모델/계산기
  • [SPARK-43128] 되돌리기 "[SC-131628][CONNECT][SS] 네이티브 Scala Api와 lastProgress 일치하게 만들고 recentProgress 반환StreamingQueryProgress"
  • [SPARK-43543] [SC-131839] [PYTHON] Pandas UDF에서 중첩된 MapType 동작 수정
  • [SPARK-38469] [SC-131425] [CORE] org.apache.spark.network에서 오류 클래스 사용
  • [SPARK-43309] [SC-129746] [SPARK-38461] [CORE] 범주를 사용하여 INTERNAL_ERROR 확장하고 오류 클래스 INTERNAL_ERROR_BROADCAST 추가
  • [SPARK-43265] [SC-129653] 오류 프레임워크를 공통 유틸리티 모듈로 이동
  • [SPARK-43440] [SC-131229] [PYTHON] [CONNECT] 화살표 최적화 Python UDF 등록 지원
  • [SPARK-43528] [SC-131531] [SQL] [PYTHON] pandas DataFrame을 사용하여 createDataFrame에서 중복된 필드 이름 지원
  • [SPARK-43412] [SC-130990] [PYTHON] [CONNECT] 화살표 최적화 Python UDF용 EvalType 소개 SQL_ARROW_BATCHED_UDF
  • [SPARK-40912] [SC-130986] [CORE] KryoDeserializationStream의 예외 오버헤드
  • [SPARK-39280] [SC-131206] [SQL] JSON/CSV 데이터 원본에서 사용자 제공 형식으로 타임스탬프 형식 유추 속도 향상
  • [SPARK-43473] [SC-131372] [PYTHON] pandas DataFrame에서 createDataFrame의 구조체 형식 지원
  • [SPARK-43443] [SC-131024] [SQL] 잘못된 값을 사용할 때 타임스탬프 형식 유추에 대한 벤치마크 추가
  • [SPARK-41532] [SC-130523] [CONNECT] [클라이언트] 여러 데이터 프레임을 포함하는 작업에 대한 검사 추가
  • [SPARK-43296] [SC-130627] [CONNECT] [PYTHON] Spark 커넥트 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-43324] [SC-130455] [SQL] 델타 기반 원본에 대한 UPDATE 명령 처리
  • [SPARK-43347] [SC-130148] [PYTHON] Python 3.7 지원 제거
  • [SPARK-43292] [SC-130525] [CORE] [CONNECT] 모듈로 core 이동하고 ExecutorClassLoader 단순화Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Spark 파티션 데이터에서 데이터를 로드하는 토치 배포자 데이터 로더 추가
  • [SPARK-43331] [SC-130061] [CONNECT] Spark 커넥트 SparkSession.interruptAll 추가
  • [SPARK-43306] [SC-130320] [PYTHON] Spark SQL 형식에서 오류 클래스로 마이그레이션 ValueError
  • [SPARK-43261] [SC-129674] [PYTHON] Spark SQL 형식에서 오류 클래스로 마이그레이션 TypeError 합니다.
  • [SPARK-42992] [SC-129465] [PYTHON] PySparkRuntimeError 소개
  • [SPARK-16484] [SC-129975] [SQL] Datasketches HllSketch에 대한 지원 추가
  • [SPARK-43165] [SC-128823] [SQL] CanWrite를 DataTypeUtils로 이동
  • [SPARK-43082] [SC-129112] [CONNECT] [PYTHON] Spark 커넥트 화살표 최적화 Python UDF
  • [SPARK-43084] [SC-128654] [SS] Spark 연결에 대한 applyInPandasWithState 지원 추가
  • [SPARK-42657] [SC-128621] [CONNECT] 클라이언트 쪽 REPL 클래스 파일을 찾아서 서버로 아티팩트로 전송하도록 지원
  • [SPARK-43098] [SC-77059] [SQL] 스칼라 하위 쿼리에 group by 절이 있는 경우 정확성 COUNT 버그 수정
  • [SPARK-42884] [SC-126662] [CONNECT] Ammonite REPL 통합 추가
  • [SPARK-42994] [SC-128333] [ML] [CONNECT] PyTorch 배포자가 로컬 모드를 지원합니다.
  • [SPARK-41498] [SC-125343] "Union을 통해 메타데이터 전파" 되돌리기
  • [SPARK-42993] [SC-127829] [ML] [CONNECT] PyTorch 배포자를 Spark 커넥트 호환되도록 만들기
  • [SPARK-42683] [LC-75] 충돌하는 메타데이터 열의 이름을 자동으로 바꿉니다.
  • [SPARK-42874] [SC-126442] [SQL] 모든 입력 파일에 대한 분석을 위해 새 골든 파일 테스트 프레임워크 사용
  • [SPARK-42779] [SC-126042] [SQL] V2 쓰기가 권고 순서 섞기 파티션 크기를 나타내도록 허용
  • [SPARK-42891] [SC-126458] [CONNECT] [PYTHON] 공동 그룹화된 맵 API 구현
  • [SPARK-42791] [SC-126134] [SQL] 분석을 위한 새 골든 파일 테스트 프레임워크 만들기
  • [SPARK-42615] [SC-124237] [CONNECT] [PYTHON] AnalyzePlan RPC 리팩터링 및 추가 session.version
  • [SPARK-41302] "[ALL TESTS][SC-122423][SQL] _LEGACY_ERROR_TEMP_1185 이름 할당" 되돌리기
  • [SPARK-40770] [SC-122652] [PYTHON] 스키마 불일치에 대한 applyInPandas에 대한 오류 메시지 개선
  • [SPARK-40770] 되돌리기 "[ALL TESTS][SC-122652][PYTHON] 스키마 불일치에 대한 applyInPandas에 대한 향상된 오류 메시지"
  • [SPARK-42398] [SC-123500] [SQL] 기본 열 값 DS v2 인터페이스 구체화
  • [SPARK-40770] [모든 테스트] [SC-122652] [PYTHON] 스키마 불일치에 대한 applyInPandas에 대한 오류 메시지 개선
  • [SPARK-40770] 되돌리기 "[SC-122652][PYTHON] 스키마 불일치에 대한 applyInPandas에 대한 향상된 오류 메시지"
  • [SPARK-40770] [SC-122652] [PYTHON] 스키마 불일치에 대한 applyInPandas에 대한 오류 메시지 개선
  • [SPARK-42038] [모든 테스트] "되돌리기 "[SC-122533][SQL] SPJ: 부분적으로 클러스터된 배포 지원""
  • [SPARK-42038] 되돌리기 "[SC-122533][SQL] SPJ: 부분적으로 클러스터된 배포 지원"
  • [SPARK-42038] [SC-122533] [SQL] SPJ: 부분적으로 클러스터된 배포 지원
  • [SPARK-40550] [SC-120989] [SQL] DataSource V2: 델타 기반 원본에 대한 DELETE 명령 처리
  • [SPARK-40770] 되돌리기 "[SC-122652][PYTHON] 스키마 불일치에 대한 applyInPandas에 대한 향상된 오류 메시지"
  • [SPARK-40770] [SC-122652] [PYTHON] 스키마 불일치에 대한 applyInPandas에 대한 오류 메시지 개선
  • [SPARK-41302] "[SC-122423][SQL] _LEGACY_ERROR_TEMP_1185 이름 할당" 되돌리기
  • [SPARK-40550] 되돌리기 "[SC-120989][SQL] DataSource V2: 델타 기반 원본에 대한 DELETE 명령 처리"
  • [SPARK-42123] 되돌리기 "[SC-121453][SQL] DESCRIBE 및 SHOW CREATE TABLE 출력에 열 기본값 포함"
  • [SPARK-42146] [SC-121172] [CORE] sql 모듈에서 이 메서드를 사용할 때 maven 빌드를 통과하도록 리팩터링 Utils#setStringField
  • [SPARK-42119] 되돌리기 "[SC-121342][SQL] 기본 제공 테이블 반환 함수 인라인 및 inline_outer 추가"

중요 사항

Spark 커넥트

Spark SQL

기능

함수

데이터 원본

쿼리 최적화

코드 생성 및 쿼리 실행

기타 주목할 만한 변경 내용

PySpark

기능

기타 주목할 만한 변경 내용

핵심

구조적 스트리밍

ML

UI

빌드 및 기타

제거, 동작 변경 및 사용 중단

예정된 제거

다음 Spark 주 릴리스에서 다음 기능이 제거됩니다.

  • Java 8 및 Java 11에 대한 지원 및 지원되는 최소 Java 버전은 Java 17입니다.
  • Scala 2.12 지원 및 지원되는 최소 Scala 버전은 2.13입니다.

마이그레이션 가이드

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

시스템 환경

  • 운영 체제: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • 델타 레이크: 2.4.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 검정색 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 에서 8.0.4 comm 0.1.2
contourpy 1.0.5 암호화 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0.4
실행 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 fonttools 4.25.0 GCC 런타임 라이브러리 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-상태 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
Keyring 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 Notebook 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 패키징 22.0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 six 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.13.5 tenacity 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

설치된 R 라이브러리

R 라이브러리는 2023-07-13에 Posit 패키지 관리자 CRAN 스냅샷 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 캐럿 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 갈등 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 다이어그램 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 줄임표 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 제네릭(generics) 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 주기 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 행렬 1.5-4.1 memoise 2.0.1
메서드 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 진행률 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
프록시 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 spatial 7.3-15 splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 통계 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
survival 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 timechange 0.2.0 timeDate 4022.108
tinytex 0.45 tools 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
utils 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-네이티브
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-네이티브
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-네이티브
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-네이티브
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics 메트릭 주석 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 아이비 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.9.0-셰이드-프로토부프
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1