Databricks Runtime 14.3 LTS

  • 아티클

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.3 LTS에 대한 정보를 제공합니다.

Databricks는 2024년 2월에 이러한 이미지를 공개했습니다.

새로운 기능 및 향상 기능

Photon 없이 삭제 벡터 MERGE 최적화 지원

삭제 벡터 최적화를 활용하기 위한 MERGE 작업에는 Photon이 더 이상 필요하지 않습니다. 삭제 벡터가란?을 참조하세요.

이제 공유 액세스 모드에서 완전히 지원되는 Spark 카탈로그 API

이제 공유 액세스 모드로 spark.catalog 구성된 컴퓨팅의 Python 및 Scala 모두에서 API의 모든 함수를 사용할 수 있습니다.

이제 Delta UniForm을 일반 공급

이제 UniForm을 일반적으로 사용할 수 있으며 테이블 기능을 사용합니다 IcebergCompatV2 . 이제 기존 테이블에서 UniForm을 사용하거나 업그레이드할 수 있습니다. 델타 테이블과의 Iceberg 호환성에 대해서는 유니 폼(Universal Format)을 참조 하세요.

새 SQL 함수 EXECUTE IMMEDIATE

이제 EXECUTE IMMEDIATE 구문을 사용하여 SQL에서 매개 변수가 있는 쿼리를 지원할 수 있습니다. EXECUTE IMMEDIATE를 참조하세요.

델타 테이블에 대한 통계 건너뛰기 데이터 다시 계산

이제 데이터 건너뛰기에 사용되는 열을 변경한 후 델타 로그에 저장된 통계를 다시 계산할 수 있습니다. 델타 통계 열 지정을 참조 하세요.

상태 저장 스트리밍 쿼리에 대한 쿼리 상태 정보

이제 구조적 스트리밍 상태 데이터 및 메타데이터를 쿼리할 수 있습니다. 구조적 스트리밍 상태 정보 읽기를 참조하세요.

공유 클러스터에서 Kafka 인증에 Microsoft Entra ID(이전의 Azure Active Directory) 사용

이제 공유 액세스 모드로 구성된 컴퓨팅에서 Microsoft Entra ID를 사용하여 OAuth를 통해 Event Hubs 서비스를 인증할 수 있습니다. Microsoft Entra ID(이전의 Azure Active Directory) 및 Azure Event Hubs를 사용하여 서비스 주체 인증을 참조 하세요.

쿼리 성능을 개선하기 위해 파일 및 파티션 정리에 대한 지원이 추가됨

JOIN 조건에서 null 허용 같음을 사용하는 일부 쿼리의 속도를 높이기 위해 EqualNullSafe 이제 JOIN의 DynamicPartitionPruning 연산자를 지원 DynamicFilePruning 합니다.

SQL 세션에서 임시 변수 선언

이 릴리스에서는 쿼리 내에서 설정한 다음 참조할 수 있는 세션에서 임시 변수를 선언하는 기능을 소개합니다. 변수를 참조 하세요.

사용되지 않는 기능을 제거하기 위한 Thriftserver 업데이트

Thriftserver 코드는 사용되지 않는 기능에 대한 코드를 제거하도록 업데이트되었습니다. 이러한 변경으로 인해 다음 구성은 더 이상 지원되지 않습니다.

  • 속성을 사용하여 hive.aux.jars.path 구성된 Hive 보조 JAR은 연결에 hive-thriftserver 대해 더 이상 지원되지 않습니다.
  • 속성 또는 HIVE_CONF_DIR 환경 변수를 사용하여 hive.server2.global.init.file.location 위치가 구성된 Hive 전역 init 파일().hiverc은 연결에 hive-thriftserver 대해 더 이상 지원되지 않습니다.

Unity 카탈로그 볼륨에서 truststore 및 키 저장소 파일 사용

이제 Unity 카탈로그 볼륨의 truststore 및 키 저장소 파일을 사용하여 avro 또는 프로토콜 버퍼 데이터에 대한 Confluent 스키마 레지스트리에 인증할 수 있습니다. avro 또는 프로토콜 버퍼에 대한 설명서를 참조하세요.

네이티브 XML 파일 형식 지원(공개 미리 보기)

네이티브 XML 파일 형식 지원은 이제 공개 미리 보기로 제공됩니다. XML 파일 형식 지원을 사용하면 일괄 처리 또는 스트리밍을 위해 XML 데이터를 수집, 쿼리 및 구문 분석할 수 있습니다. 스키마 및 데이터 형식을 자동으로 유추 및 발전시키고, 같은 from_xmlSQL 식을 지원하며, XML 문서를 생성할 수 있습니다. 외부 jar가 필요하지 않으며 자동 로더, read_filesCOPY INTO및 델타 라이브 테이블에서 원활하게 작동합니다. XML 파일 읽기 및 쓰기를 참조하세요.

Cloudflare R2 스토리지 지원(공개 미리 보기)

이제 Cloudflare R2를 Unity 카탈로그에 등록된 데이터에 대한 클라우드 스토리지로 사용할 수 있습니다. Cloudflare R2는 주로 데이터가 지역을 넘을 때 클라우드 공급자가 청구하는 데이터 송신 요금을 방지하려는 델타 공유 사용 사례를 위한 것입니다. R2 스토리지는 AWS S3, Azure Data Lake Storage Gen2 및 Google Cloud Storage에서 지원되는 모든 Databricks 데이터 및 AI 자산을 지원합니다. Cloudflare R2 복제본(replica) 사용 또는 스토리지를 R2로 마이그레이션하고 Cloudflare R2에 연결하기 위한 스토리지 자격 증명 만들기를 참조하세요.

공유 액세스 Unity 카탈로그 클러스터에서 작업 영역 파일 지원에 대한 Spark 및 dbutils 액세스

이제 공유 액세스 모드의 Unity 카탈로그 클러스터에서 작업 영역 파일에 대한 Spark 및 dbutils 읽기 및 쓰기 액세스가 지원됩니다. 작업 영역 파일 작업을 참조하세요.

공유 액세스 Unity 카탈로그 클러스터에 대한 Init 스크립트 및 클러스터 라이브러리 지원

이제 클러스터 정책을 사용한 설치를 포함하여 공유 액세스 모드에서 Unity 카탈로그 클러스터에 클러스터 범위 init 스크립트 및 Python 및 JAR 라이브러리를 설치하는 것이 일반 공급됩니다. Databricks는 Unity 카탈로그 볼륨에서 init 스크립트 및 라이브러리를 설치하는 것이 좋습니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • fastjsonschema 2.19.0에서 2.19.1로
    • filelock from 3.12.4 to 3.13.1
    • googleapis-common-protos 1.61.0에서 1.62.0으로
    • 22.0에서 23.2로 패키징
  • 업그레이드된 R 라이브러리:
    • 0.8-82에서 0.8-85로 외화
    • nlme from 3.1-162 to 3.1-163
    • rpart from 4.1.19 to 4.1.21
  • 업그레이드된 Java 라이브러리:
    • com.databricks.databricks-sdk-java 0.7.0에서 0.13.0까지
    • org.apache.orc.orc-core에서 1.9.1-shaded-protobuf에서 1.9.2-shaded-protobuf로
    • org.apache.orc.orc-mapreduce from 1.9.1-shaded-protobuf to 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims from 1.9.1 to 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12에서 2.9.0~ 2.11.0

Apache Spark

Databricks Runtime 14.3에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 14.2에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-46541] [SC-153546] [SQL] [CONNECT] 자체 조인에서 모호한 열 참조 수정
  • [SPARK-45433] 되돌리기 "[SC-145163][SQL] CSV/JSON 스키마 유추 수정...
  • [SPARK-46723] [14.3] [SASP-2792] [SC-153425] [CONNECT] [SCALA] addArtifact를 다시 시도 가능하게 만들기
  • [SPARK-46660] [SC-153391] [CONNECT] ReattachExecute는 SessionHolder의 업데이트 활성도를 요청합니다.
  • [SPARK-46670] [SC-153273] [PYTHON] [SQL] 정적 및 런타임 Python 데이터 원본을 분리하여 DataSourceManager를 자체 복제 가능으로 만들기
  • [SPARK-46720] [SC-153410] [SQL] [PYTHON] Python 데이터 원본을 리팩터링하여 다른 DSv2 기본 제공 데이터 원본과 일치
  • [SPARK-46684] [SC-153275] [PYTHON] [CONNECT] 인수를 올바르게 전달하도록 CoGroup.applyInPandas/Arrow 수정
  • [SPARK-46667] [SC-153271] [SC-153263] [SQL] XML: 여러 XML 데이터 원본에 오류 throw
  • [SPARK-46382] [SC-151881] [SQL] XML: Default ignoreSurroundingSpaces to true
  • [SPARK-46382] [SC-153178] [SQL] XML: 에 대한 문서 업데이트 ignoreSurroundingSpaces
  • [SPARK-45292] 되돌리기 "[SC-151609][SQL][HIVE] IsolatedClientLoader에서 공유 클래스에서 Guava 제거"
  • [SPARK-45292] [SC-151609] [SQL] [HIVE] IsolatedClientLoader에서 공유 클래스에서 Guava 제거
  • [SPARK-46311] [SC-150137] [CORE] 동안 드라이버의 최종 상태 기록 Master.removeDriver
  • [SPARK-46413] [SC-151052] [PYTHON] Arrow Python UDF의 returnType 유효성 검사
  • [SPARK-46633] [WARMFIX] [SC-153092] [SQL] 길이가 0인 블록을 처리하도록 Avro 판독기 수정
  • [SPARK-46537] [SC-151286] [SQL] NPE 및 어설션을 명령에서 내부 오류로 변환
  • [SPARK-46179] [SC-151678] [SQL] Postgres부터 시작하여 다른 DBMS를 사용하여 골든 파일에 대해 다른 DBMS를 실행하는 CrossDbmsQueryTestSuites를 추가합니다.
  • [SPARK-44001] [SC-151413] [PROTOBUF] 잘 알려진 protobuf 래퍼 형식의 래핑 해제를 허용하는 옵션 추가
  • [SPARK-40876] [SC-151786] [SQL] Parquet 판독기에서 더 큰 규모로 소수 자릿수에 대한 확장 형식 승격
  • [SPARK-46605] [SC-151769] [CONNECT] 연결 모듈 지원에서 함수 만들기 lit/typedLits.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005] [SQL] 리터럴 유효성 검사는 null 필드로 드릴다운하면 안 됩니다.
  • [SPARK-37039] [SC-153094] [PS] 누락된 값으로 제대로 작동하도록 수정 Series.astype
  • [SPARK-46312] [SC-150163] [CORE] 다음에서 사용 lower_camel_casestore_types.proto
  • [SPARK-46630] [SC-153084] [SQL] XML: 쓰기에서 XML 요소 이름 유효성 검사
  • [SPARK-46627] [SC-152981] [SS] [UI] 스트리밍 UI에서 타임라인 도구 설명 콘텐츠 수정
  • [SPARK-46248] [SC-151774] [SQL] XML: ignoreCorruptFiles 및 ignoreMissingFiles 옵션 지원
  • [SPARK-46386] [SC-150766] [PYTHON] 관찰 어설션 개선(pyspark.sql.observation)
  • [SPARK-46581] [SC-151789] [CORE] AccumulatorV2에서 isZero에 대한 주석 업데이트
  • [SPARK-46601] [SC-151785] [CORE] handleStatusMessage에서 로그 오류 수정
  • [SPARK-46568] [SC-151685] [PYTHON] Python 데이터 원본 옵션을 대/소문자를 구분하지 않는 사전으로 만들기
  • [SPARK-46611] [SC-151783] [CORE] SimpleDateFormat을 DateTimeFormatter로 바꿔 ThreadLocal 제거
  • [SPARK-46604] [SC-151768] [SQL] Literal.apply 지원 s.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223] [SQL] [PYTHON] pyspark.sql.functions.user 및 session_user 출력 이름 수정
  • [SPARK-46621] [SC-151794] [PYTHON] Py4J 캡처된 예외의 Exception.getMessage에서 null 주소 지정
  • [SPARK-46598] [SC-151767] [SQL] OrcColumnarBatchReader는 누락된 열에 대한 열 벡터를 만들 때 메모리 모드를 준수해야 합니다.
  • [SPARK-46613] [SC-151778] [SQL] [PYTHON] Python 데이터 원본을 조회하지 못한 경우 전체 예외 기록
  • [SPARK-46559] [SC-151364] [MLLIB] export 패키지 이름에서 백틱으로 래핑
  • [SPARK-46522] [SC-151784] [PYTHON] 이름 충돌이 있는 Python 데이터 원본 등록 차단
  • [SPARK-45580] [SC-149956] [SQL] 중첩된 하위 쿼리가 존재 조인이 되는 핸들 케이스
  • [SPARK-46609] [SC-151714] [SQL] PartitioningPreservingUnaryExecNode에서 지수 폭발 방지
  • [SPARK-46535] [SC-151288] [SQL] 열 통계 없이 확장된 열을 설명할 때 NPE 수정
  • [SPARK-46599] [SC-147661] [SC-151770] [SQL] XML: 호환성 검사 위해 TypeCoercion.findTightestCommonType 사용
  • [SPARK-40876] [SC-151129] [SQL] Parquet 판독기에서 형식 승격 확대
  • [SPARK-46179] [SC-151069] [SQL] SQLQueryTestSuite에서 재사용 가능한 함수로 코드 끌어오기
  • [SPARK-46586] [SC-151679] [SQL] 에서와 같이 customCollectionCls 지원 s.c.immutable.ArraySeqMapObjects
  • [SPARK-46585] [SC-151622] [CORE] 에서 사용하는 mutable.ArraySeq.toSeq 대신 직접 생성됨 metricPeaksimmutable.ArraySeqExecutor
  • [SPARK-46488] [SC-151173] [SQL] 타임스탬프 구문 분석 중 trimAll 호출 건너뛰기
  • [SPARK-46231] [SC-149724] [PYTHON] PySpark 오류 프레임워크로 다시 기본 NotImplementedError 모두 TypeError 마이그레이션
  • [SPARK-46348] [SC-150281] [CORE] 지원 spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164] [CORE] 로그 Spark HA 복구 기간
  • [SPARK-46358] [SC-150307] [CONNECT] 에서 검사 조건을 간소화합니다.ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078] [SQL] 인라인 테이블 식을 평가하기 전에 현재 시간/날짜를 대체합니다.
  • [SPARK-46563] [SC-151441] [SQL] conf spark.sql.debug.maxToStringFields를 따르지 않는 simpleString 보기
  • [SPARK-46101] [SC-149211] [CORE] [SQL] [MLLIB] [SS] [R] [CONNCT] [GRAPHX] (string|array).size를 (string|array).length로 바꾸어 스택 깊이를 줄입니다.
  • [SPARK-46539] [SC-151469] [SQL] SELECT * EXCEPT(구조체의 모든 필드)로 인해 어설션 오류가 발생합니다.
  • [SPARK-46565] [SC-151414] [PYTHON] Python 데이터 원본에 대한 오류 클래스 및 오류 메시지 구체화
  • [SPARK-46576] [SC-151614] [SQL] 지원되지 않는 데이터 원본 저장 모드에 대한 오류 메시지 개선
  • [SPARK-46540] [SC-151355] [PYTHON] Python 데이터 원본 읽기 함수가 Row 개체라는 이름을 출력할 때 열 이름 적용
  • [SPARK-46577] [SC-151448] [SQL] HiveMetastoreLazyInitializationSuite가 hive의 SessionState를 누출합니다.
  • [SPARK-44556] [SC-151562] [SQL] vectorizedReader를 사용하도록 설정할 때 다시 사용 OrcTail
  • [SPARK-46587] [SC-151618] [SQL] XML: XSD 큰 정수 변환 수정
  • [SPARK-46382] [SC-151297] [SQL] XML: 요소 사이에 산재된 값 캡처
  • [SPARK-46567] [SC-151447] [CORE] ReadAheadInputStream에 대한 ThreadLocal 제거
  • [SPARK-45917] [SC-151269] [PYTHON] [SQL] 시작 시 Python 데이터 원본 자동 등록
  • [SPARK-28386] [SC-151014] [SQL] GROUP BY 및 HAVING을 사용하여 ORDER BY 열을 확인할 수 없음
  • [SPARK-46524] [SC-151446] [SQL] 잘못된 저장 모드에 대한 오류 메시지 개선
  • [SPARK-46294] [SC-150672] [SQL] init 및 0 값의 의미 체계 정리
  • [SPARK-46301] [SC-150100] [CORE] 지원 spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324] [SQL] 항상 true이므로 검사 c>=0ExternalCatalogUtils#needsEscaping 제거합니다.
  • [SPARK-46553] [SC-151360] [PS] FutureWarning for interpolate with object dtype
  • [SPARK-45914] [SC-151312] [PYTHON] Python 데이터 원본 쓰기에 대한 커밋 및 중단 API 지원
  • [SPARK-46543] [SC-151350] [PYTHON] [CONNECT] 빈 필드에 대해 throw PySparkValueError 만들기 json_tuple
  • [SPARK-46520] [SC-151227] [PYTHON] Python 데이터 원본 쓰기에 대한 덮어쓰기 모드 지원
  • [SPARK-46502] [SC-151235] [SQL] UnwrapCastInBinaryComparison에서 타임스탬프 형식 지원
  • [SPARK-46532] [SC-151279] [CONNECT] 의 메타데이터에 메시지 매개 변수 전달 ErrorInfo
  • [SPARK-46397] 되돌리기 "[SC-151311][PYTHON][CONNECT] 함수 sha2 가 유효하지 않은 numBits경우 발생 PySparkValueError 시켜야 합니다."
  • [SPARK-46170] [SC-149472] [SQL] SparkSessionExtensions에서 적응 쿼리 포스트 플래너 전략 규칙 삽입 지원
  • [SPARK-46444] [SC-151195] [SQL] V2SessionCatalog#createTable은 테이블을 로드하지 않아야 합니다.
  • [SPARK-46397] [SC-151311] [PYTHON] [CONNECT] 함수 sha2 가 올바르지 않은 경우 발생 PySparkValueError 해야 합니다. numBits
  • [SPARK-46145] [SC-149471] [SQL] spark.catalog.listTables는 테이블 또는 뷰를 찾을 수 없을 때 예외를 throw하지 않습니다.
  • [SPARK-46272] [SC-151012] [SQL] DSv2 원본을 사용하여 CTAS 지원
  • [SPARK-46480] [SC-151127] [CORE] [SQL] 테이블 캐시 태스크를 시도할 때 NPE 수정
  • [SPARK-46100] [SC-149051] [CORE] [PYTHON] (string|array).size를 (string|array).length로 바꾸어 스택 깊이를 줄입니다.
  • [SPARK-45795] [SC-150764] [SQL] DS V2는 푸시다운 모드를 지원합니다.
  • [SPARK-46485] [SC-151133] [SQL] V1Write는 필요하지 않은 경우 정렬을 추가하면 안 됩니다.
  • [SPARK-46468] [SC-151121] [SQL] 키를 그룹화하지 않고 집계를 사용하여 EXISTS 하위 쿼리에 대한 COUNT 버그 처리
  • [SPARK-46246] [SC-150927] [SQL] EXECUTE IMMEDIATE SQL 지원
  • [SPARK-46498] [SC-151199] [CORE] 다음에서 제거 shuffleServiceEnabledo.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807] [SQL] 기본적으로 rebase 구성을 모드로 CORRECTED 설정
  • [SPARK-45525] [SC-151120] [SQL] [PYTHON] DSv2를 사용하여 Python 데이터 원본 쓰기 지원
  • [SPARK-46505] [SC-151187] [CONNECT] 에서 바이트 임계값을 구성할 수 있도록 설정 ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025] [SQL] 레거시 datetime rebasing SQL 구성 제거
  • [SPARK-46443] [SC-151123] [SQL] 10진수 정밀도와 배율은 H2 방언으로 결정해야 합니다.
  • [SPARK-46384] [SC-150694] [SPARK-46404] [SS] [UI] 구조적 스트리밍 페이지에서 작업 기간 스택 차트 수정
  • [SPARK-46207] [SC-151068] [SQL] DataFrameWriterV2에서 MergeInto 지원
  • [SPARK-46452] [SC-151018] [SQL] DataWriter에 새 API를 추가하여 레코드 반복기 작성
  • [SPARK-46273] [SC-150313] [SQL] DSv2 원본을 사용하여 INSERT INTO/OVERWRITE 지원
  • [SPARK-46344] [SC-150267] [CORE] 드라이버가 성공적으로 존재하지만 마스터 연결이 끊어지면 제대로 경고
  • [SPARK-46284] [SC-149944] [PYTHON] [CONNECT] Python에 함수 추가 session_user
  • [SPARK-46043] [SC-149786] [SQL] DSv2 원본을 사용하여 테이블 만들기 지원
  • [SPARK-46323] [SC-150191] [PYTHON] pyspark.sql.functions.now의 출력 이름을 수정합니다.
  • [SPARK-46465] [SC-151059] [PYTHON] [CONNECT] PySpark에 추가 Column.isNaN
  • [SPARK-46456] [SC-151050] [CORE] SparkContext 종료 차단을 해제하도록 Jetty 서버 중지 시간 제한을 설정하려면 추가 spark.ui.jettyStopTimeout
  • [SPARK-43427] [SC-150356] [PROTOBUF] spark protobuf: 부호 없는 정수 형식 업캐스트 허용
  • [SPARK-46399] [SC-151013] [14.x] [코어] Spark 수신기를 사용하기 위해 Application End 이벤트에 exit 상태 추가
  • [SPARK-46423] [SC-150752] [PYTHON] [SQL] DataSource.lookupDataSourceV2에서 Python 데이터 원본 인스턴스 만들기
  • [SPARK-46424] [SC-150765] [PYTHON] [SQL] Python 데이터 원본에서 Python 메트릭 지원
  • [SPARK-46330] [SC-151015] HybridStore를 사용하도록 설정한 경우 오랫동안 Spark UI 블록 로드
  • [SPARK-46378] [SC-150397] [SQL] 집계를 프로젝트로 변환한 후에도 정렬 제거
  • [SPARK-45506] [SC-146959] [CONNECT] Spark에 ivy URI 지원 추가커넥트 addArtifact
  • [SPARK-45814] [SC-147871] [CONNECT] [SQL] 메모리 누수 방지를 위해 ArrowConverters.createEmptyArrowBatch 호출 닫기()를 만듭니다.
  • [SPARK-46427] [SC-150759] [PYTHON] [SQL] Python 데이터 원본의 설명을 설명에서 예쁘게 변경
  • [SPARK-45597] [SC-150730] [PYTHON] [SQL] SQL에서 Python 데이터 원본을 사용하여 테이블 만들기 지원(DSv2 exec)
  • [SPARK-46402] [SC-150700] [PYTHON] getMessageParameters 및 getQueryContext 지원 추가
  • [SPARK-46453] [SC-150897] [CONNECT] 에서 internalError() 예외 throw SessionHolder
  • [SPARK-45758] [SC-147454] [SQL] hadoop 압축 코덱에 대한 매퍼 소개
  • [SPARK-46213] [PYTHON] 오류 프레임워크 소개 PySparkImportError
  • [SPARK-46230] [SC-149960] [PYTHON] PySpark로 마이그레이션 RetriesExceeded 오류
  • [SPARK-45035] [SC-145887] [SQL] 여러 줄 CSV/JSON을 사용하여 ignoreCorruptFiles/ignoreMissingFiles를 수정하면 오류가 보고됩니다.
  • [SPARK-46289] [SC-150846] [SQL] 해석된 모드에서 UDT 순서 지정 지원
  • [SPARK-46229] [SC-150798] [PYTHON] [CONNECT] spark 커넥트 groupBy 및 공동 그룹에 applyInArrow 추가
  • [SPARK-46420] [SC-150847] [SQL] SparkSQLCLIDriver에서 사용되지 않는 전송 제거
  • [SPARK-46226] [PYTHON] 모든 다시 마이그레이션기본 RuntimeError PySpark 오류 프레임워크로 마이그레이션
  • [SPARK-45796] [SC-150613] [SQL] GROUP(ORDER BY col) 내에서 지원 MODE()
  • [SPARK-40559] [SC-149686] [PYTHON] [14.X] groupBy 및 공동 그룹에 applyInArrow 추가
  • [SPARK-46069] [SC-149672] [SQL] 타임스탬프 형식을 날짜 형식으로 래핑 해제 지원
  • [SPARK-46406] [SC-150770] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1023 이름 할당
  • [SPARK-46431] [SC-150782] [SS] 세션 반복기로 internalError 변환 IllegalStateException
  • [SPARK-45807] [SC-150751] [SQL] ViewCatalog API 개선
  • [SPARK-46009] [SC-149771] [SQL] [CONNECT] PercentileCont 및 PercentileDisc의 구문 분석 규칙을 functionCall에 병합
  • [SPARK-46403] [SC-150756] [SQL] getBytesUnsafe 메서드를 사용하여 parquet 이진 디코딩
  • [SPARK-46389] [SC-150779] [CORE] 예외를 throw할 RocksDB/LevelDB 때 checkVersion 인스턴스를 수동으로 닫습니다.
  • [SPARK-46360] [SC-150376] [PYTHON] 새 getMessage API를 사용하여 오류 메시지 디버깅 향상
  • [SPARK-46233] [SC-149766] [PYTHON] 모든 다시 마이그레이션기본 AttributeError PySpark 오류 프레임워크로 마이그레이션
  • [SPARK-46394] [SC-150599] [SQL] true로 설정된 경우 spark.sql.legacy.keepCommandOutputSchema 특수 문자가 있는 스키마에 대한 spark.catalog.listDatabases() 문제 해결
  • [SPARK-45964] [SC-148484] [SQL] 촉매 패키지의 XML 및 JSON 패키지에서 프라이빗 sql 접근자 제거
  • [SPARK-45856] [SC-148691] Spark 커넥트 ArtifactManager를 SparkSession으로 이동(sql/core)
  • [SPARK-46409] [SC-150714] [CONNECT] spark-connect-scala-client 시작 스크립트 수정
  • [SPARK-46416] [SC-150699] [CORE] 에 추가 @tailrecHadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154] [SQL] 에서 문자 집합 제한 encode()
  • [SPARK-46253] [SC-150416] [PYTHON] MapInArrow를 사용하여 Python 데이터 원본 읽기 계획
  • [SPARK-46339] [SC-150266] [SS] 일괄 처리 번호 이름을 가진 디렉터리를 메타데이터 로그로 처리해서는 안 됩니다.
  • [SPARK-46353] [SC-150396] [CORE] 단위 테스트 검사 향상 RegisterWorker 을 위한 리팩터링
  • [SPARK-45826] [SC-149061] [SQL] DataFrame 쿼리 컨텍스트에서 스택 추적에 대한 SQL 구성 추가
  • [SPARK-45649] [SC-150300] [SQL] OffsetWindowFunctionFrame에 대한 준비 프레임워크 통합
  • [SPARK-46346] [SC-150282] [CORE] 마스터를 수정하여 작업자를 msg로 UNKNOWNALIVERegisterWorker 업데이트
  • [SPARK-46388] [SC-150496] [SQL] HiveAnalysis의 패턴 가드를 놓친 경우 query.resolved
  • [SPARK-46401] [SC-150609] [CORE] 대신 getCardinality() > 0 사용 RoaringBitmap!isEmpty()RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603] [SQL] JDBC 테이블 카탈로그의 예외 분류
  • [SPARK-45798] [SC-150513] [CONNECT] 후속 작업: SessionHolderInfo에 serverSessionId 추가
  • [SPARK-46153] [SC-146564] [SC-150508] [SQL] XML: TimestampNTZType 지원 추가
  • [SPARK-46075] [SC-150393] [CONNECT] Spark커넥트SessionManager의 향상된 기능
  • [SPARK-46357] [SC-150596] setConf의 잘못된 설명서 사용을 conf.set으로 바꾸기
  • [SPARK-46202] [SC-150420] [CONNECT] 사용자 지정 대상 디렉터리를 지원하기 위해 새 ArtifactManager API 노출
  • [SPARK-45824] [SC-147648] [SQL] 에서 오류 클래스 적용 ParseException
  • [SPARK-45845] [SC-148163] [SS] [UI] 스트리밍 UI에 제거된 상태 행 수 추가
  • [SPARK-46316] [SC-150181] [CORE] 모듈에서 core 사용 buf-lint-action
  • [SPARK-45816] [SC-147656] [SQL] 타임스탬프에서 정수로 캐스팅하는 동안 오버플로되는 경우 반환 NULL
  • [SPARK-46333] [SC-150263] [SQL] 촉매로 대체 IllegalStateExceptionSparkException.internalError
  • [SPARK-45762] [SC-148486] [CORE] 시작 순서를 변경하여 사용자 jar에 정의된 순서 섞기 관리자 지원
  • [SPARK-46239] [SC-149752] [CORE] 정보 숨기기 Jetty
  • [SPARK-45886] [SC-148089] [SQL] DataFrame 컨텍스트에서 callSite 전체 스택 추적 출력
  • [SPARK-46290] [SC-150059] [PYTHON] saveMode를 DataSourceWriter의 부울 플래그로 변경
  • [SPARK-45899] [SC-148097] [CONNECT] errorInfoToThrowable에서 errorClass 설정
  • [SPARK-45841] [SC-147657] [SQL] 다음을 통해 스택 추적 노출 DataFrameQueryContext
  • [SPARK-45843] [SC-147721] [CORE] REST 제출 API 지원 killall
  • [SPARK-46234] [SC-149711] [PYTHON] PySpark 오류 프레임워크 소개 PySparkKeyError
  • [SPARK-45606] [SC-147655] [SQL] 다중 계층 런타임 필터에 대한 릴리스 제한 사항
  • [SPARK-45725] [SC-147006] [SQL] 기본값이 아닌 IN 하위 쿼리 런타임 필터 제거
  • [SPARK-45694] [SC-147314] [SPARK-45695] [SQL] 사용되지 않는 API 사용량 View.force 정리 및 ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488] [SQL] 더 일반적인 만들기 withOrigin
  • [SPARK-46292] [SC-150086] [CORE] [UI] MasterPage에서 작업자 요약 표시
  • [SPARK-45685] [SC-146881] [CORE] [SQL] 대신 사용 LazyListStream
  • [SPARK-45888] [SC-149945] [SS] 상태(메타데이터) 데이터 원본에 오류 클래스 프레임워크 적용
  • [SPARK-46261] [SC-150111] [CONNECT] DataFrame.withColumnsRenamed dict/map 순서를 유지해야 합니다.
  • [SPARK-46263] [SC-149933] [SQL] [SS] [ML] [MLLIB] [UI] 정리 SeqOps.view 및 ArrayOps.view 변환
  • [SPARK-46029] [SC-149255] [SQL] 작은따옴표 _ 이스케이프 및 % DS V2 푸시다운
  • [SPARK-46275] [SC-150189] Protobuf: 역직렬화가 실패하면 허용 모드에서 null을 반환합니다.
  • [SPARK-46320] [SC-150187] [CORE] 지원 spark.master.rest.host
  • [SPARK-46092] [SC-149658] [SQL] 오버플로되는 Parquet 행 그룹 필터를 푸시다운하지 마세요.
  • [SPARK-46300] [SC-150097] [PYTHON] [CONNECT] 열에서 사소한 동작 일치를 전체 테스트 검사와 일치
  • [SPARK-46298] [SC-150092] [PYTHON] [CONNECT] Catalog.createExternalTable의 사용 중단 경고, 테스트 사례 및 오류 일치
  • [SPARK-45689] [SC-146898] [SPARK-45690] [SPARK-45691] [CORE] [SQL] 사용 유형과 관련된 StringContext/StringOps/RightProjection/LeftProjection/Either 사용되지 않는 API 사용량 정리 BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407] [SQL] v2에서 SHOW TABLE EXTENDED 지원
  • [SPARK-45737] [SC-147011] [SQL] 에서 불필요한 .toArray[InternalRow] 제거 SparkPlan#executeTake
  • [SPARK-46249] [SC-149797] [SS] 백그라운드 작업과의 경합을 방지하기 위해 RocksDB 메트릭을 획득하기 위한 인스턴스 잠금 필요
  • [SPARK-46260] [SC-149940] [PYTHON] [SQL] DataFrame.withColumnsRenamed 는 받아쓰기 순서를 준수해야 합니다.
  • [SPARK-46274] [SC-150043] [SQL] 변환하기 전에 범위 연산자 computeStats()를 검사 긴 유효성을 수정합니다.
  • [SPARK-46040] [SC-149767] [SQL] [Python] 일반 식을 지원하도록 '분석' 분할/순서 지정 열에 대한 UDTF API 업데이트
  • [SPARK-46287] [SC-149949] [PYTHON] [CONNECT] DataFrame.isEmpty 는 모든 데이터 형식으로 작동해야 합니다.
  • [SPARK-45678] [SC-146825] [CORE] tryOrFetchFailedException에서 BufferReleasingInputStream.available/reset을 다룹니다.
  • [SPARK-45667] [SC-146716] [CORE] [SQL] [CONNECT] 에 관련된 사용되지 않는 API 사용량을 정리합니다 IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992] [SQL] 구문 소개 select * except
  • [SPARK-46269] [SC-149816] [PS] 더 많은 NumPy 호환성 함수 테스트 사용
  • [SPARK-45807] [SC-149851] [SQL] ViewCatalog에 createOrReplaceView(..) / replaceView(..) 추가
  • [SPARK-45742] [SC-147212] [CORE] [CONNECT] [MLLIB] [PYTHON] Scala 배열에 래핑 immutable.ArraySeq할 암시적 함수를 소개합니다.
  • [SPARK-46205] [SC-149655] [CORE] 를 사용하여 성능 향상 PersistenceEngineKryoSerializer
  • [SPARK-45746] [SC-149359] [Python] UDTF 'analyze' 또는 'eval' 메서드가 잘못된 값을 수락하거나 반환하는 경우 특정 오류 메시지를 반환합니다.
  • [SPARK-46186] [SC-149707] [CONNECT] ExecuteThreadRunner가 시작되기 전에 중단된 경우 잘못된 상태 전환 수정
  • [SPARK-46262] [SC-149803] [PS] Pandas-on-Spark 개체에 대한 np.left_shift 테스트를 사용하도록 설정합니다.
  • [SPARK-45093] [SC-149679] [CONNECT] [PYTHON] AddArtifactHandler에 대한 오류 처리 및 변환을 올바르게 지원합니다.
  • [SPARK-46188] [SC-149571] [문서] [3.5] Spark 문서의 생성된 테이블 CSS 수정
  • [SPARK-45940] [SC-149549] [PYTHON] DataSourceReader 인터페이스에 InputPartition 추가
  • [SPARK-43393] [SC-148301] [SQL] 주소 시퀀스 식 오버플로 버그입니다.
  • [SPARK-46144] [SC-149466] [SQL] INSERT INTO 실패 ... 조건에 하위 쿼리가 포함된 경우 REPLACE 문
  • [SPARK-46118] [SC-149096] [SQL] [SS] [CONNECT] 대신 SQLContext.conf 사용하고 SparkSession.sessionState.conf 사용되지 않는 것으로 표시 SQLContext.conf
  • [SPARK-45760] [SC-147550] [SQL] 식 중복을 방지하기 위해 With 식 추가
  • [SPARK-43228] [SC-149670] [SQL] 조인 키는 CoalesceBucketsInJoin의 PartitioningCollection과도 일치합니다.
  • [SPARK-46223] [SC-149691] [PS] 사용하지 않는 코드를 클린 사용하여 SparkPandasNotImplementedError 테스트
  • [SPARK-46119] [SC-149205] [SQL] 에 대한 메서드 재정 toString 의 UnresolvedAlias
  • [SPARK-46206] [SC-149674] [PS] SQL 프로세서에 대해 더 좁은 범위 예외 사용
  • [SPARK-46191] [SC-149565] [CORE] 기존 파일의 경우 오류 msg 개선 FileSystemPersistenceEngine.persist
  • [SPARK-46036] [SC-149356] [SQL] raise_error 함수에서 오류 클래스 제거
  • [SPARK-46055] [SC-149254] [SQL] 카탈로그 데이터베이스 API 구현 다시 쓰기
  • [SPARK-46152] [SC-149454] [SQL] XML: XML 스키마 유추에서 DecimalType 지원 추가
  • [SPARK-45943] [SC-149452] [SQL] DetermineTableStats를 해결 규칙으로 이동
  • [SPARK-45887] [SC-148994] [SQL] codegen 및 non-codegen 구현을 정렬합니다. Encode
  • [SPARK-45022] [SC-147158] [SQL] 데이터 세트 API 오류에 대한 컨텍스트 제공
  • [SPARK-45469] [SC-145135] [CORE] [SQL] [CONNECT] [PYTHON] 다음으로 바꾸기 toIteratoriteratorIterableOnce
  • [SPARK-46141] [SC-149357] [SQL] spark.sql.legacy.ctePrecedencePolicy의 기본값을 CORRECTED로 변경
  • [SPARK-45663] [SC-146617] [CORE] [MLLIB] 다음으로 바꾸기 IterableOnceOps#aggregateIterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493] [SQL] ComputeCurrentTime 규칙에서 리터럴 개체 다시 사용
  • [SPARK-45803] [SC-147489] [CORE] 더 이상 사용되지 않는 항목 제거 RpcAbortException
  • [SPARK-46148] [SC-149350] [PS] pyspark.pandas.mlflow.load_model 테스트 수정(Python 3.12)
  • [SPARK-46110] [SC-149090] [PYTHON] 카탈로그, conf, 연결, 관찰, pandas 모듈에서 오류 클래스 사용
  • [SPARK-45827] [SC-149203] [SQL] codegen 및 벡터화된 판독기 사용 안 함으로 변형 수정
  • [SPARK-46080] "[SC-149012][PYTHON] Cloudpickle을 3.0.0으로 업그레이드" 되돌리기
  • [SPARK-45460] [SC-144852] [SQL] 다음으로 바꾸기 scala.collection.convert.ImplicitConversionsscala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019] [SQL] 특정 명령에 대한 UnresolvedNamespace의 특수 해상도 제거
  • [SPARK-45600] [SC-148976] [PYTHON] Python 데이터 원본 등록 세션 수준 만들기
  • [SPARK-46074] [SC-149063] [CONNECT] [SCALA] UDF 오류에 대한 오류 메시지의 세부 정보가 부족합니다.
  • [SPARK-46114] [SC-149076] [PYTHON] 오류 프레임워크용 PySparkIndexError 추가
  • [SPARK-46120] [SC-149083] [CONNECT] [PYTHON] 도우미 함수 제거 DataFrame.withPlan
  • [SPARK-45927] [SC-148660] [PYTHON] Python 데이터 원본에 대한 업데이트 경로 처리
  • [SPARK-46062] [14.x] [SC-148991] [SQL] CTE 정의와 참조 간에 isStreaming 플래그 동기화
  • [SPARK-45698] [SC-146736] [CORE] [SQL] [SS] 관련된 사용되지 않는 API 사용량 정리 Buffer
  • [SPARK-46064] [SC-148984] [SQL] [SS] EliminateEventTimeWatermark를 분석기로 이동하고 확인된 자식에만 적용되도록 변경
  • [SPARK-45922] [SC-149038] [CONNECT] [클라이언트] 사소한 재시도 리팩터링(여러 정책에 대한 후속 작업)
  • [SPARK-45851] [SC-148419] [CONNECT] [SCALA] scala 클라이언트에서 여러 정책 지원
  • [SPARK-45974] [SC-149062] [SQL] RowLevelOperationRuntimeGroupFiltering에 대한 scan.filterAttributes 비어있지 않은 판단 추가
  • [SPARK-46085] [SC-149049] [CONNECT] Scala Spark 커넥트 클라이언트의 Dataset.groupingSets
  • [SPARK-45136] [SC-146607] [CONNECT] Ammonite 지원을 사용하여 ClosureCleaner 향상
  • [SPARK-46084] [SC-149020] [PS] 범주 형식에 대한 데이터 형식 캐스팅 작업을 리팩터링합니다.
  • [SPARK-46083] [SC-149018] [PYTHON] SparkNoSuchElementException을 정식 오류 API로 만들기
  • [SPARK-46048] [SC-148982] [PYTHON] [CONNECT] Python Spark 커넥트 DataFrame.groupingSets 지원
  • [SPARK-46080] [SC-149012] [PYTHON] Cloudpickle을 3.0.0으로 업그레이드
  • [SPARK-46082] [SC-149015] [PYTHON] [CONNECT] Spark 커넥트 사용하여 Pandas Functions API에 대한 protobuf 문자열 표현 수정
  • [SPARK-46065] [SC-148985] [PS] 를 사용할 create_map리팩터링 (DataFrame|Series).factorize()
  • [SPARK-46070] [SC-148993] [SQL] 핫 루프 외부의 SparkDateTimeUtils.getZoneId에서 regex 패턴 컴파일
  • [SPARK-46063] [SC-148981] [PYTHON] [CONNECT] 큐트, 롤업, groupby 및 피벗에서 인수 형식과 관련된 오류 메시지 개선
  • [SPARK-44442] [SC-144120] [MESOS] Mesos 지원 제거
  • [SPARK-45555] [SC-147620] [PYTHON] 실패한 어설션에 대한 디버깅 가능한 개체 포함
  • [SPARK-46048] [SC-148871] [PYTHON] [SQL] PySpark에서 DataFrame.groupingSets 지원
  • [SPARK-45768] [SC-147304] [SQL] [PYTHON] SQL에서 Python 실행을 위한 런타임 구성으로 장애 처리기 만들기
  • [SPARK-45996] [SC-148586] [PYTHON] [CONNECT] Spark 커넥트 대한 적절한 종속성 요구 사항 메시지 표시
  • [SPARK-45681] [SC-146893] [UI] UI에서 일관된 오류 렌더링을 위해 UIUtils.errorMessageCell의 js 버전을 복제합니다.
  • [SPARK-45767] [SC-147225] [CORE] 삭제 TimeStampedHashMap 및 해당 UT
  • [SPARK-45696] [SC-148864] [CORE] fix 메서드 tryCompleteWith in trait Promise는 더 이상 사용되지 않습니다.
  • [SPARK-45503] [SC-146338] [SS] Conf를 추가하여 RocksDB 압축 설정
  • [SPARK-45338] [SC-143934] [CORE] [SQL] 다음으로 바꾸기 scala.collection.JavaConvertersscala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804] [SQL] 다음에서 수정 ArrayIndexOutOfBoundsExceptionconv()
  • [SPARK-45912] [SC-144982] [SC-148467] [SQL] XSDToSchema API의 향상된 기능: 클라우드 스토리지 접근성을 위한 HDFS API로 변경
  • [SPARK-45819] [SC-147570] [CORE] REST 제출 API 지원 clear
  • [SPARK-45552] [14.x] [SC-146874] [PS] 에 유연한 매개 변수 도입 assertDataFrameEqual
  • [SPARK-45815] [SC-147877] [SQL] [스트리밍] [14.x] [체리 픽] 다른 스트리밍 원본에 대한 인터페이스를 제공하여 열을 추가 _metadata 합니다.
  • [SPARK-45929] [SC-148692] [SQL] 데이터 프레임 API에서 groupingSets 작업 지원
  • [SPARK-46012] [SC-148693] [CORE] 앱 상태 파일이 없는 경우 EventLogFileReader에서 롤링 로그를 읽지 않아야 합니다.
  • [SPARK-45965] [SC-148575] [SQL] DSv2 분할 식을 functions.partitioning으로 이동
  • [SPARK-45971] [SC-148541] [CORE] [SQL] 패키지 이름을 로 수정합니다 SparkCollectionUtils . org.apache.spark.util
  • [SPARK-45688] [SC-147356] [SPARK-45693] [CORE] 및 수정과 관련하여 MapOps 사용되지 않는 API 사용량 정리 method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645] [SC-148497] [SQL] XML에서 대신 옵션 제거 treatEmptyValuesAsNulls 및 사용 nullValue
  • [SPARK-45988] [SC-148580] [SPARK-45989] [PYTHON] Python 3.11 이상에서 GenericAlias를 처리 list 하도록 typehints 수정
  • [SPARK-45999] [SC-148595] [PS] 전용 PandasProduct 사용 cumprod
  • [SPARK-45986] [SC-148583] [ML] [PYTHON] Python 3.11에서 수정 pyspark.ml.torch.tests.test_distributor
  • [SPARK-45994] [SC-148581] [PYTHON] 다음으로 변경 description-filedescription_file
  • [SPARK-45575] [SC-146713] [SQL] df 읽기 API에 대한 시간 이동 옵션 지원
  • [SPARK-45747] [SC-148404] [SS] 상태 메타데이터의 접두사 키 정보를 사용하여 세션 창 집계에 대한 읽기 상태 처리
  • [SPARK-45898] [SC-148213] [SQL] 카탈로그 테이블 API를 다시 작성하여 해결되지 않은 논리 계획 사용
  • [SPARK-45828] [SC-147663] [SQL] dsl에서 사용되지 않는 메서드 제거
  • [SPARK-45990] [SC-148576] [SPARK-45987] [PYTHON] [CONNECT] 지원하려면 4.25.1로 업그레이드 protobufPython 3.11
  • [SPARK-45911] [SC-148226] [CORE] TLS1.3을 RPC SSL의 기본값으로 설정
  • [SPARK-45955] [SC-148429] [UI] 화염 그래프 및 스레드 덤프 세부 정보에 대한 지원 축소
  • [SPARK-45936] [SC-148392] [PS] 최적화 Index.symmetric_difference
  • [SPARK-45389] [SC-144834] [SQL] [3.5] 파티션 메타데이터 가져오기에 대한 MetaException 일치 규칙 수정
  • [SPARK-45655] [SC-148085] [SQL] [SS] CollectMetrics의 AggregateFunctions 내에서 비결정적 식 허용
  • [SPARK-45946] [SC-148448] [SS] RocksDBSuite에서 기본 문자 집합을 전달하기 위해 사용되지 않는 FileUtils 쓰기 사용 수정
  • [SPARK-45511] [SC-148285] [SS] 상태 데이터 원본 - 판독기
  • [SPARK-45918] [SC-148293] [PS] 최적화 MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288] [CONNECT] [PYTHON] 명령에서 관찰된 메트릭 반환
  • [SPARK-45867] [SC-147916] [CORE] 지원 spark.worker.idPattern
  • [SPARK-45945] [SC-148418] [CONNECT] 에 대한 도우미 함수 추가 parser
  • [SPARK-45930] [SC-148399] [SQL] MapInPandas/MapInArrow에서 비결정적 UDF 지원
  • [SPARK-45810] [SC-148356] [Python] 입력 테이블에서 행 사용을 중지하는 Python UDTF API 만들기
  • [SPARK-45731] [SC-147929] [SQL] 또한 명령을 사용하여 파티션 통계 ANALYZE TABLE 업데이트
  • [SPARK-45868] [SC-148355] [CONNECT] spark.table 바닐라 스파크에서 동일한 파서 사용
  • [SPARK-45882] [SC-148161] [SQL] BroadcastHashJoinExec 전파 분할은 CoalescedHashPartitioning을 준수해야 합니다.
  • [SPARK-45710] [SC-147428] [SQL] 오류 _LEGACY_ERROR_TEMP_21 이름 할당[59,60,61,62]
  • [SPARK-45915] [SC-148306] [SQL] decimal(x, 0)을 에서 IntegralType과 동일하게 처리 PromoteStrings
  • [SPARK-45786] [SC-147552] [SQL] 부정확한 10진수 곱하기 및 나누기 결과 수정
  • [SPARK-45871] [SC-148084] [CONNECT] 모듈과 관련된 .toBufferconnect 최적화 컬렉션 변환
  • [SPARK-45822] [SC-147546] [CONNECT] Spark커넥트SessionManager는 중지된 sparkcontext를 조회할 수 있습니다.
  • [SPARK-45913] [SC-148289] [PYTHON] PySpark 오류에서 내부 특성을 비공개로 설정합니다.
  • [SPARK-45827] [SC-148201] [SQL] Spark에서 Variant 데이터 형식을 추가합니다.
  • [SPARK-44886] [SC-147876] [SQL] CREATE/REPLACE TABLE에 대한 CLUSTER BY 절 소개
  • [SPARK-45756] [SC-147959] [CORE] 지원 spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956] [CONNECT] 서버 쪽 세션 ID 어설션
  • [SPARK-45896] [SC-148091] [SQL] 올바른 예상 형식의 구문 ValidateExternalType
  • [SPARK-45902] [SC-148123] [SQL] 사용되지 않는 함수 resolvePartitionColumns 제거 DataSource
  • [SPARK-45909] [SC-148137] [SQL] 에서 안전하게 업캐스트할 수 있는 경우 캐스트 제거 NumericTypeIsNotNull
  • [SPARK-42821] [SC-147715] [SQL] splitFiles 메서드에서 사용되지 않는 매개 변수 제거
  • [SPARK-45875] [SC-148088] [CORE] 모듈에서 core 제거 MissingStageTableRowData
  • [SPARK-45783] [SC-148120] [PYTHON] [CONNECT] Spark 커넥트 모드를 사용하지만 원격 URL 설정되지 않은 경우 오류 메시지 개선
  • [SPARK-45804] [SC-147529] [UI] spark.ui.threadDump.flamegraphEnabled 구성을 추가하여 불꽃 그래프 켜기/끄기
  • [SPARK-45664] [SC-146878] [SQL] orc 압축 코덱에 대한 매퍼 소개
  • [SPARK-45481] [SC-146715] [SQL] parquet 압축 코덱에 대한 매퍼 소개
  • [SPARK-45752] [SC-148005] [SQL] 검사 참조되지 않은 CTE 관계에 대한 코드 간소화
  • [SPARK-44752] [SC-146262] [SQL] XML: Spark 문서 업데이트
  • [SPARK-45752] [SC-147869] [SQL] CheckAnalysis0에서 참조되지 않은 CTE를 모두 검사
  • [SPARK-45842] [SC-147853] [SQL] 분석기를 사용하도록 카탈로그 함수 API 리팩터링
  • [SPARK-45639] [SC-147676] [SQL] [PYTHON] DataFrameReader에서 Python 데이터 원본 로드 지원
  • [SPARK-45592] [SC-146977] [SQL] InMemoryTableScanExec를 사용하는 AQE의 정확성 문제
  • [SPARK-45794] [SC-147646] [SS] 스트리밍 상태 메타데이터 정보를 쿼리하는 상태 메타데이터 원본 소개
  • [SPARK-45739] [SC-147059] [PYTHON] 오류 처리기용 EOFException 대신 IOException만 Catch
  • [SPARK-45677] [SC-146700] 관찰 API에 대한 더 나은 오류 로깅
  • [SPARK-45544] [SC-146873] [CORE] TransportContext에 SSL 지원 통합
  • [SPARK-45654] [SC-147152] [PYTHON] Python 데이터 원본 쓰기 API 추가
  • [SPARK-45771] [SC-147270] [CORE] 기본적으로 사용 spark.eventLog.rolling.enabled
  • [SPARK-45713] [SC-146986] [PYTHON] Python 데이터 원본 등록 지원
  • [SPARK-45656] [SC-146488] [SQL] 다른 데이터 세트에 이름이 같은 명명된 관찰 시 관찰 수정
  • [SPARK-45808] [SC-147571] [CONNECT] [PYTHON] SQL 예외에 대한 더 나은 오류 처리
  • [SPARK-45774] [SC-147353] [CORE] [UI] 지원 spark.master.ui.historyServerUrl : ApplicationPage
  • [SPARK-45776] [SC-147327] [CORE] SPARK-39553에 추가된 MapOutputTrackerMaster#unregisterShuffle 방어 null 검사 제거합니다.
  • [SPARK-45780] [SC-147410] [CONNECT] InheritableThread에서 모든 Spark 커넥트 클라이언트 스레드로컬 전파
  • [SPARK-45785] [SC-147419] [CORE] 앱 번호 회전 지원 spark.deploy.appNumberModulo
  • [SPARK-45793] [SC-147456] [CORE] 기본 제공 압축 코덱 개선
  • [SPARK-45757] [SC-147282] [ML] 이진 변환기에서 NNZ의 다시 계산 방지
  • [SPARK-45209] [SC-146490] [CORE] [UI] 실행기 스레드 덤프 페이지에 대한 화염 그래프 지원
  • [SPARK-45777] [SC-147319] [CORE] 지원 spark.test.appId : LocalSchedulerBackend
  • [SPARK-45523] [SC-146331] [PYTHON] 바로 가기를 사용하도록 null 검사 리팩터링
  • [SPARK-45711] [SC-146854] [SQL] avro 압축 코덱에 대한 매퍼 소개
  • [SPARK-45523] [SC-146077] [Python] Null을 허용하지 않는 열에 대해 UDTF가 None을 반환하는 경우 유용한 오류 메시지를 반환합니다.
  • [SPARK-45614] [SC-146729] [SQL] 오류 _LEGACY_ERROR_TEMP_215 이름 할당[6,7,8]
  • [SPARK-45755] [SC-147164] [SQL] 전역 제한을 적용하여 개선 Dataset.isEmpty()1
  • [SPARK-45569] [SC-145915] [SQL] 오류 _LEGACY_ERROR_TEMP_2153 이름 할당
  • [SPARK-45749] [SC-147153] [CORE] [WEBUI] 열을 올바르게 정렬 Duration 하는 수정 Spark History Server
  • [SPARK-45754] [SC-147169] [CORE] 지원 spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880] [SQL] 을 사용하여 단순화 DataFrameStatFunctions.countMinSketchCountMinSketchAgg
  • [SPARK-45753] [SC-147167] [CORE] 지원 spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177] [CORE] [UI] 열이 있는 경우에만 열을 표시 Resource 하도록 개선 MasterPage
  • [SPARK-45112] [SC-143259] [SQL] SQL 데이터 세트 함수에서 UnresolvedFunction 기반 해상도 사용

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

유지 관리 업데이트

Databricks Runtime 14.3 기본 테넌트 업데이트를 참조하세요. 초기 릴리스에서 주석 처리됩니다.

시스템 환경

  • 운영 체제: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • 델타 레이크: 3.1.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 검정색 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 에서 8.0.4 comm 0.1.2
contourpy 1.0.5 암호화 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0.4
실행 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-상태 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
Notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 패키징 23.2 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
six 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

설치된 R 라이브러리

R 라이브러리는 Posit 패키지 관리자 CRAN 스냅샷 2023-02-10에 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 캐럿 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 갈등 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 다이어그램 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 줄임표 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-85 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 제네릭(generics) 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 주기 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 행렬 1.5-4.1 memoise 2.0.1
메서드 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 진행률 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
프록시 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 통계 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0.45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-네이티브
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-네이티브
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-네이티브
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-네이티브
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics 메트릭 주석 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 아이비 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.9.2-셰이드-프로토부프
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1