Databricks Runtime 12.2 LTS

  • 아티클

다음 릴리스 정보는 Apache Spark 3.3.2에서 제공하는 Databricks Runtime 12.2 LTS에 대한 정보를 제공합니다.

Databricks는 2023년 3월에 이러한 이미지를 공개했습니다.

새로운 기능 및 향상 기능

Delta Lake 스키마 진화는 병합 문에서 원본 열 지정을 지원합니다.

이제 스키마 진화를 사용하는 경우 병합 문에 대한 삽입 또는 업데이트 작업의 원본 테이블에만 있는 열을 지정할 수 있습니다. Databricks Runtime 12.1 이하에서는 병합을 사용하여 스키마 진화에만 INSERT * 또는 UPDATE SET * 작업을 사용할 수 있습니다. Delta Lake 병합을 위한 자동 스키마 진화를 참조하세요.

구조적 스트리밍 워크로드는 공유 액세스 모드를 사용하는 클러스터에서 지원됩니다.

이제 구조적 스트리밍을 사용하여 공유 클러스터에서 Unity 카탈로그와 상호 작용할 수 있습니다. 몇 가지 제한 사항이 적용됩니다. Unity 카탈로그에서 지원하는 구조적 스트리밍 기능을 참조하세요.

예측 I/O의 새로운 기능

이제 Foreachbatch 싱크에 대한 Photon 지원을 사용할 수 있습니다. 원본에서 스트리밍하고 델타 테이블로 병합하거나 여러 싱크에 쓰는 워크로드는 이제 Photonized Foreachbatch 싱크를 활용할 수 있습니다.

암시적 횡적 열 별칭 지원

이제 Azure Databricks는 기본적으로 암시적 횡적 열 별칭을 지원합니다. 이제 동일한 SELECT 목록의 앞부분에 지정된 식을 다시 사용할 수 있습니다. 예를 들어 지정된 SELECT 1 AS a경우 a + 1 AS bin a + 1 은 a 이전에 정의된 1 AS a대로 확인할 수 있습니다. 확인 순서에 따라 자세한 내용은 이름 확인을 확인합니다. 이 기능을 끄려면 .로 설정할 spark.sql.lateralColumnAlias.enableImplicitResolutionfalse수 있습니다.

새 forEachBatch 기능

이제 Photon은 데이터 싱크에 쓰는 데 사용할 foreachBatch 때 지원됩니다.

쿼리 페더레이션에 대한 표준화된 커넥트ion 옵션

이제 통합 옵션 집합(호스트, 포트, 데이터베이스, 사용자, 암호)을 사용하여 쿼리 페더레이션에서 지원되는 데이터 원본에 연결할 수 있습니다. Port 는 선택 사항이며 지정하지 않는 한 각 데이터 원본에 대한 기본 포트 번호를 사용합니다.

배열 관리를 위한 확장 SQL 함수 라이브러리

이제 array_compact 사용하여 배열에서 모든 NULL 요소를 제거할 수 있습니다. 배열에 요소를 추가하려면 array_append 사용합니다.

문자열을 익명화하는 새 마스크 함수

마스크 함수를 호출하여 중요한 문자열 값을 익명화합니다.

일반적인 오류 조건은 이제 SQLSTATE를 반환합니다.

이제 Databricks 런타임에 문서화된 SQLSTATE 값이 포함된 대부분의 오류 조건은 SQL 표준 규격 방식으로 오류를 테스트하는 데 사용할 수 있습니다.

FROM 절에서 생성기 함수 호출

이제 쿼리의 일반 FROM 절에서 분해와 같은 테이블 반환 생성기 함수를 호출할 수 있습니다. 이렇게 하면 생성기 함수 호출이 다른 기본 제공 및 사용자 정의 테이블 함수와 정렬됩니다.

프로토콜 버퍼에 대한 지원은 일반적으로 사용할 수 있습니다.

함수와 to_protobuf 함수를 from_protobuf 사용하여 이진 형식과 구조체 형식 간에 데이터를 교환할 수 있습니다. 읽기 및 쓰기 프로토콜 버퍼를 참조 하세요.

버그 수정

  • 및 명령과 merge 관련된 updatedelete빈 트랜잭션에 대한 델타 커밋 동작의 일관성이 향상되었습니다. WriteSerializable 격리 수준에서 변경 내용이 없는 명령은 이제 빈 커밋을 만듭니다. Serializable 격리 수준에서 이러한 빈 트랜잭션은 이제 커밋을 만들지 않습니다.

동작 변경

새 횡적 열 별칭 기능을 사용하여 동작 변경

새 횡적 열 별칭 기능은 이름 확인 중에 다음과 같은 경우에 대한 동작 변경을 도입합니다.

  • 이제 횡적 열 별칭이 이름이 같은 상관 관계 참조보다 우선합니다. 예를 들어 이 쿼리SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)의 경우 내부 c1 AS c2 내부가 상관 관계 참조t.c1로 확인되었지만 이제는 횡적 열 별칭으로 변경됩니다1 AS c1c1. 이제 쿼리가 .를 반환합니다 NULL.
  • 이제 횡적 열 별칭이 동일한 이름의 함수 매개 변수보다 우선합니다. 예를 들어 함수의 경우 함수 CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xx 본문의 함수 본문이 함수 매개 변수 x로 확인되었지만 함수 본문의 횡적 열 별칭 x + 1 으로 변경됩니다. 이제 쿼리가 .를 SELECT * FROM func(1) 반환합니다 2, 2.
  • 횡적 열 별칭 기능을 해제하려면 .로 false설정합니다spark.sql.lateralColumnAlias.enableImplicitResolution. 자세한 내용은 이름 확인을 참조 하세요.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • filelock from 3.8.2 to 3.9.0
    • joblib에서 1.1.0에서 1.1.1로
    • platformdirs from 2.6.0 to 2.6.2
    • 1.0.3에서 1.0.4로의 whatthepatch
  • 업그레이드된 R 라이브러리:
    • 클래스 7.3-20에서 7.3-21로
    • codetools from 0.2-18 to 0.2-19
    • MASS from 7.3-58 to 7.3-58.2
    • nlme from 3.1-160 to 3.1-162
    • Rserve 1.8-11에서 1.8-12로
    • SparkR 3.3.1에서 3.3.2로

동작 변경

  • 이제 사용자는 정의된 위치로 스키마를 만들 때 모든 파일에 대한 권한과 MODIFY 권한이 SELECT 필요합니다.

Apache Spark

Databricks Runtime 12.2에는 Apache Spark 3.3.2가 포함됩니다. 이 릴리스에는 Databricks Runtime 12.1(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-42416] [SC-123205] [SC-122851] [SQL] 날짜 집합 작업은 분석된 논리 계획을 다시 확인해서는 안 됩니다.
  • [SPARK-41848] 되돌리기 "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] TaskResourceProfile로 과도하게 예약된 작업 수정"
  • [SPARK-42162] [SC-122711] [ES-556261] MultiCommutativeOp 식을 커밋 식의 큰 트리를 정식화하기 위한 메모리 최적화로 도입
  • [SPARK-42406] [SC-122998] [PROTOBUF] [체리 픽] Protobuf 함수에 대한 재귀 깊이 설정 수정
  • [SPARK-42002] [SC-122476] [CONNECT] [PYTHON] DataFrameWriterV2 구현
  • [SPARK-41716] [SC-122545] [CONNECT] 카탈로그에서 _catalog_to_pandas 이름을 _execute_and_fetch 이름 바꾸기
  • [SPARK-41490] [SC-121774] [SQL] _LEGACY_ERROR_TEMP_2441 이름 할당
  • [SPARK-41600] [SC-122538] [SPARK-41623] [SPARK-41612] [CONNECT] Catalog.cacheTable, isCached 및 uncache 구현
  • [SPARK-42191] [SC-121990] [SQL] udf 'luhn_검사' 지원
  • [SPARK-42253] [SC-121976] [PYTHON] 중복된 오류 클래스를 검색하기 위한 테스트 추가
  • [SPARK-42268] [SC-122251] [CONNECT] [PYTHON] protos에서 UserDefinedType 추가
  • [SPARK-42231] [SC-121841] [SQL] 다음으로 전환 MISSING_STATIC_PARTITION_COLUMNinternalError
  • [SPARK-42136] [SC-122554] BroadcastHashJoinExec 출력 분할 계산 리팩터링
  • [SPARK-42158] [SC-121610] [SQL] 통합 _LEGACY_ERROR_TEMP_1003FIELD_NOT_FOUND
  • [SPARK-42192] [12.x] [SC-121820] [PYTHON] Pyspark/sql/dataframe.py에서 PySparkTypeError로 TypeError 마이그레이션
  • [SPARK-35240] 되돌리기 "[SC-118242][SS] CheckpointFileManager 사용 ...
  • [SPARK-41488] [SC-121858] [SQL] _LEGACY_ERROR_TEMP_1176 이름 할당(및 1177)
  • [SPARK-42232] [SC-122267] [SQL] 이름 바꾸기 오류 클래스: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480] [SQL] 하위 쿼리 병합 후 고유 집계 다시 쓰기
  • [SPARK-42306] [SC-122539] [SQL] 통합 _LEGACY_ERROR_TEMP_1317UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354] [SQL] 이름 바꾸기 오류 클래스: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437] [CORE] handleBlockRemovalFailure SparkContext가 중지된 경우 무시 IOException
  • [SPARK-41295] [SC-122442] [SPARK-41296] [SQL] 오류 클래스 이름 바꾸기
  • [SPARK-42320] [SC-122478] [SQL] _LEGACY_ERROR_TEMP_2188 이름 할당
  • [SPARK-42255] [SC-122483] [SQL] _LEGACY_ERROR_TEMP_2430 이름 할당
  • [SPARK-42156] [SC-121851] [CONNECT] Spark커넥트Client는 지금 RetryPolicies를 지원합니다.
  • [SPARK-38728] [SC-116723] [SQL] 오류 클래스 테스트: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] PySpark의 자체 포함 예제
  • [SPARK-39347] [SC-122457] [SS] 이벤트 시간 < 0인 경우 시간 창 계산에 대한 버그 수정
  • [SPARK-42336] [SC-122458] [CORE] ResourceAllocator 대신 contains() 사용 getOrElse()
  • [SPARK-42125] [SC-121827] [CONNECT] [PYTHON] Spark 커넥트 Pandas UDF
  • [SPARK-42217] [SC-122263] [SQL] Window를 사용하여 쿼리에서 암시적 횡적 열 별칭 지원
  • [SPARK-35240] [SC-118242] [SS] 검사point 파일 조작에 CheckpointFileManager 사용
  • [SPARK-42294] [SC-122337] [SQL] V2 테이블의 DESCRIBE 출력에 열 기본값 포함
  • [SPARK-41979] "되돌리기 "[12.x][SC-121190][SQL] 오류 클래스에서 오류 메시지에 누락된 점 추가.""
  • [SPARK-42286] [SC-122336] [SQL] CAST를 사용하여 복잡한 expr에 대한 이전 codegen 코드 경로로 대체
  • [SPARK-42275] [SC-122249] [CONNECT] [PYTHON] 정적 입력에서 기본 제공 목록, 받아쓰기 사용 안 하세요.
  • [SPARK-41985] [SC-122172] [SQL] 더 많은 열 확인 규칙 중앙 집중화
  • [SPARK-42126] [SC-122330] [PYTHON] [CONNECT] Spark 커넥트 Python 스칼라 UDF에 대한 DDL 문자열의 반환 형식 허용
  • [SPARK-42197] [SC-122328] [SC-121514] [CONNECT] JVM 초기화 및 별도의 구성 그룹을 다시 사용하여 원격 로컬 모드로 설정
  • [SPARK-41575] [SC-120118] [SQL] _LEGACY_ERROR_TEMP_2054 이름 할당
  • [SPARK-41985] 되돌리기 "[SC-122172][SQL] 더 많은 열 확인 규칙 중앙 집중화"
  • [SPARK-42123] [SC-122234] [SC-121453] [SQL] DESCRIBE 및 SHOW CREATE TABLE 출력에 열 기본값 포함
  • [SPARK-41985] [SC-122172] [SQL] 더 많은 열 확인 규칙 중앙 집중화
  • [SPARK-42284] [SC-122233] [CONNECT] 클라이언트 테스트를 실행하기 전에 연결 서버 어셈블리가 빌드되었는지 확인 - SBT
  • [SPARK-42239] [SC-121790] [SQL] 통합 MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170] [SQL] DS V2 푸시다운은 JDBC 방언 자체 컴파일 SortOrder 을 지원합니다.
  • [SPARK-42259] [SC-122168] [SQL] ResolveGroupingAnalytics는 Python UDAF를 처리해야 합니다.
  • [SPARK-41979] "[12.x][SC-121190][SQL] 오류 클래스에서 오류 메시지에 누락된 점을 추가합니다."
  • [SPARK-42224] [12.x] [SC-121708] [CONNECT] Spark 커넥트 함수에 대한 오류 프레임워크로 TypeError 마이그레이션
  • [SPARK-41712] [12.x] [SC-121189] [PYTHON] [CONNECT] Spark 커넥트 오류를 PySpark 오류 프레임워크로 마이그레이션합니다.
  • [SPARK-42119] [SC-121913] [SC-121342] [SQL] 기본 제공 테이블 반환 함수 인라인 및 inline_outer 추가
  • [SPARK-41489] [SC-121713] [SQL] _LEGACY_ERROR_TEMP_2415 이름 할당
  • [SPARK-42082] [12.x] [SC-121163] [SPARK-41598] [PYTHON] [CONNECT] PySparkValueError 및 PySparkTypeError 소개
  • [SPARK-42081] [SC-121723] [SQL] 계획 변경 유효성 검사 개선
  • [SPARK-42225] [12.x] [SC-121714] [CONNECT] Spark커넥트IllegalArgumentException을 추가하여 Spark 커넥트 오류를 정확하게 처리합니다.
  • [SPARK-42044] [12.x] [SC-121280] [SQL] 에 대한 잘못된 오류 메시지 수정 MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x] [SC-121712] [PS] Series를 사용하여 DataFrame을 만들 때 열 매개 변수를 허용합니다.
  • [SPARK-42078] [12.x] [SC-120761] [PYTHON] JVM에서 throw된 오류를 PySparkException으로 마이그레이션합니다.
  • [SPARK-42133] [12.x] [SC-121250] Spark커넥트 Scala Client에 기본 데이터 세트 API 메서드 추가
  • [SPARK-41979] [12.x] [SC-121190] [SQL] 오류 클래스에서 오류 메시지에 누락된 점을 추가합니다.
  • [SPARK-42124] [12.x] [SC-121420] [PYTHON] [CONNECT] Spark 커넥트 스칼라 인라인 Python UDF
  • [SPARK-42051] [SC-121994] [SQL] HiveGenericUDF에 대한 Codegen 지원
  • [SPARK-42257] [SC-121948] [CORE] 사용되지 않는 변수 외부 정렬기 제거
  • [SPARK-41735] [SC-121771] [SQL] SPARKListenerSQLExecutionEnd에 대한 STANDARD 대신 MINIMAL 사용
  • [SPARK-42236] [SC-121882] [SQL] 구체화 NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775] [SQL] 에 대한 오류 메시지 개선 PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856] [CORE] 오류 클래스로 마이그레이션 SparkCoreErrors
  • [SPARK-42163] [SC-121839] [SQL] 접을 수 없는 배열 인덱스 또는 맵 키에 대한 스키마 정리 수정
  • [SPARK-40711] [SC-119990] [SQL] 창에 대한 유출 크기 메트릭 추가
  • [SPARK-42023] [SC-121847] [SPARK-42024] [CONNECT] [PYTHON] 지원 AtomicType -> StringType 강제 변환 만들기 createDataFrame
  • [SPARK-42202] [SC-121837] [커넥트][테스트] E2E 테스트 서버 중지 논리 개선
  • [SPARK-41167] [SC-117425] [SQL] 균형 잡힌 식 트리 조건자를 만들어 다중 유사 성능 향상
  • [SPARK-41931] [SC-121618] [SQL] 불완전한 복합 형식 정의에 대한 더 나은 오류 메시지
  • [SPARK-36124] [SC-121339] [SC-110446] [SQL] UNION을 통한 상관 관계가 있는 하위 쿼리 지원
  • [SPARK-42090] [SC-121290] [3.3] RetryingBlockTransferor에서 sasl 재시도 횟수 소개
  • [SPARK-42157] [SC-121264] [CORE] spark.scheduler.mode=FAIR FAIR 스케줄러를 제공해야 합니다.
  • [SPARK-41572] [SC-120772] [SQL] _LEGACY_ERROR_TEMP_2149 이름 할당
  • [SPARK-41983] [SC-121224] [SQL] 에 대한 오류 메시지 이름 바꾸기 및 개선 NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024] [SQL] 에 대한 오류 메시지 개선 INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210] [SC-120573] SQLSTATE 할당(1/2)
  • [SPARK-41415] [SC-121117] [3.3] SASL 요청 다시 시도
  • [SPARK-38591] [SC-121018] [SQL] flatMapSortedGroups 및 cogroupSorted 추가
  • [SPARK-41975] [SC-120767] [SQL] 에 대한 오류 메시지 개선 INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158] [SQL] [PROTOBUF] Protobuf 함수에 대한 누락된 옵션 추가
  • [SPARK-41984] [SC-120769] [SQL] 에 대한 오류 메시지 이름 바꾸기 및 개선 RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196] [SQL] 오류 클래스에 대한 NPE 수정: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176] [CONNECT] [PYTHON] 's doctest에서 withField잘못된 열 이름 수정
  • [SPARK-41283] [SC-121175] [CONNECT] [PYTHON] 커넥트 추가 array_append
  • [SPARK-41960] [SC-120773] [SQL] _LEGACY_ERROR_TEMP_1056 이름 할당
  • [SPARK-42134] [SC-121116] [SQL] 참조된 특성 없이 필터를 처리하도록 getPartitionFiltersAndDataFilters()를 수정합니다.
  • [SPARK-42096] [SC-121012] [CONNECT] 모듈에 대한 connect 일부 코드 클린up
  • [SPARK-42099] [SC-121114] [SPARK-41845] [CONNECT] [PYTHON] 수정 count(*) 및 count(col(*))
  • [SPARK-42045] [SC-120958] [SC-120450] [SQL] ANSI SQL 모드: Round/Bround에서 정수 오버플로에 대한 오류를 반환해야 합니다.
  • [SPARK-42043] [SC-120968] [CONNECT] E2E 테스트를 사용하는 Scala 클라이언트 결과
  • [SPARK-41884] [SC-121022] [CONNECT] 순진한 튜플을 중첩 행으로 지원
  • [SPARK-42112] [SC-121011] [SQL] [SS] 함수를 닫기 전에 ContinuousWriteRDD#compute null 검사 추가dataWriter
  • [SPARK-42077] [SC-120553] [CONNECT] [PYTHON] 리터럴은 지원되지 않는 DataType에 대해 TypeError를 throw해야 합니다.
  • [SPARK-42108] [SC-120898] [SQL] 분석기를 변환으로 만들기 Count(*)Count(1)
  • [SPARK-41666] [SC-120928] [SC-119009] [PYTHON] 매개 변수가 있는 SQL 지원 기준 sql()
  • [SPARK-40599] [SC-120930] [SQL] 대안이 모든 종류의 Seq가 될 수 있도록 multiTransform 규칙 형식 완화
  • [SPARK-41574] [SC-120771] [SQL] 로 INTERNAL_ERROR업데이트 _LEGACY_ERROR_TEMP_2009 합니다.
  • [SPARK-41579] [SC-120770] [SQL] _LEGACY_ERROR_TEMP_1249 이름 할당
  • [SPARK-41974] [SC-120766] [SQL] 다음으로 전환 INCORRECT_END_OFFSETINTERNAL_ERROR
  • [SPARK-41530] [SC-120916] [SC-118513] [CORE] MedianHeap의 이름을 PercentileMap으로 바꾸고 백분위수 지원
  • [SPARK-41757] [SC-120608] [SPARK-41901] [CONNECT] Column 클래스에 대한 문자열 표현 수정
  • [SPARK-42084] [SC-120775] [SQL] 정규화된 액세스 전용 제한 누출 방지
  • [SPARK-41973] [SC-120765] [SQL] _LEGACY_ERROR_TEMP_1311 이름 할당
  • [SPARK-42039] [SC-120655] [SQL] SPJ: KeyGroupedPartitioning#partitionValuesOpt에서 옵션 제거
  • [SPARK-42079] [SC-120712] [CONNECT] [PYTHON] proto 메시지 toDF 의 이름 바꾸기 withColumnsRenamed
  • [SPARK-42089] [SC-120605] [CONNECT] [PYTHON] 중첩된 람다 함수의 변수 이름 문제 해결
  • [SPARK-41982] [SC-120604] [SQL] 문자열 형식의 파티션은 숫자 형식으로 처리해서는 안 됩니다.
  • [SPARK-40599] [SC-120620] [SQL] TreeNode에 multiTransform 메서드를 추가하여 대안을 생성합니다.
  • [SPARK-42085] [SC-120556] [CONNECT] [PYTHON] from_arrow_schema 중첩 형식 지원
  • [SPARK-42057] [SC-120507] [SQL] [PROTOBUF] 오류 보고에서 예외가 처리되는 방식을 수정합니다.
  • [SPARK-41586] [12.x] [모든 테스트] [SC-120544] [PYTHON] PySpark에 대한 소개 pyspark.errors 및 오류 클래스입니다.
  • [SPARK-41903] [SC-120543] [CONNECT] [PYTHON] Literal 는 1-dim ndarray를 지원해야 합니다.
  • [SPARK-42021] [SC-120584] [CONNECT] [PYTHON] createDataFrame 지원 array.array
  • [SPARK-41896] [SC-120506] [SQL] 행 인덱스로 필터링하면 빈 결과가 반환됩니다.
  • [SPARK-41162] [SC-119742] [SQL] 집계를 사용하여 자체 조인에 대한 안티 및 세미 조인 수정
  • [SPARK-41961] [SC-120501] [SQL] LATERAL을 사용하여 테이블 반환 함수 지원
  • [SPARK-41752] [SC-120550] [SQL] [UI] 루트 실행에서 중첩된 실행 그룹화
  • [SPARK-42047] [SC-120586] [SPARK-41900] [CONNECT] [PYTHON] [12.X] 리터럴은 Numpy 데이터 형식을 지원해야 합니다.
  • [SPARK-42028] [SC-120344] [CONNECT] [PYTHON] nanoseconds timestampsl 잘림
  • [SPARK-42011] [SC-120534] [CONNECT] [PYTHON] DataFrameReader.csv 구현
  • [SPARK-41990] [SC-120532] [SQL] V1에서 V2로의 apply 필터 변환 대신 사용 FieldReference.column
  • [SPARK-39217] [SC-120446] [SQL] DPP가 정리 쪽에 공용 구조체가 있는 것을 지원합니다.
  • [SPARK-42076] [SC-120551] [CONNECT] [PYTHON] 데이터 변환을 로 변환 arrow -> rowsconversion.py
  • [SPARK-42074] [SC-120540] [SQL] TPCDSQueryBenchmark SQL 클래스 등록을 적용할 수 있도록 설정 KryoSerializer
  • [SPARK-42012] [SC-120517] [CONNECT] [PYTHON] DataFrameReader.orc 구현
  • [SPARK-41832] [SC-120513] [CONNECT] [PYTHON] 수정 DataFrame.unionByName, allow_missing_columns 추가
  • [SPARK-38651] [SC-120514] [SQL] 추가 spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406] [SQL] CheckOverflowInTableInsert ExpressionProxy를 자식으로 수락해야 합니다.
  • [SPARK-41232] [SC-120073] [SQL] [PYTHON] array_append 함수 추가
  • [SPARK-42041] [SC-120512] [SPARK-42013] [CONNECT] [PYTHON] DataFrameReader는 경로 목록을 지원해야 합니다.
  • [SPARK-42071] [SC-120533] [CORE] KyroSerializer에 등록 scala.math.Ordering$Reverse
  • [SPARK-41986] [SC-120429] [SQL] SinglePartition에 순서 섞기 소개
  • [SPARK-42016] [SC-120428] [CONNECT] [PYTHON] 중첩 열과 관련된 테스트 사용
  • [SPARK-42042] [SC-120427] [CONNECT] [PYTHON] DataFrameReader 는 StructType 스키마를 지원해야 합니다.
  • [SPARK-42031] [SC-120389] [CORE] [SQL] 재정의할 필요가 없는 메서드 정리 remove
  • [SPARK-41746] [SC-120463] [SPARK-41838] [SPARK-41837] [SPARK-41835] [SPARK-41836] [SPARK-41847] [CONNECT] [PYTHON] createDataFrame(rows/lists/tuples/dicts) 중첩 형식 지원
  • [SPARK-41437] [SC-117601] [SQL] [모든 테스트] v1 쓰기 대체를 위해 입력 쿼리를 두 번 최적화하지 마세요.
  • [SPARK-41840] [SC-119719] [CONNECT] [PYTHON] 누락된 별칭 추가 groupby
  • [SPARK-41846] [SC-119717] [CONNECT] [PYTHON] 창 함수에 doctests 사용
  • [SPARK-41914] [SC-120094] [SQL] FileFormatWriter는 outputOrdering에 액세스하기 전에 AQE 계획을 구체화합니다.
  • [SPARK-41805] [SC-119992] [SQL] WindowSpecDefinition에서 식 다시 사용
  • [SPARK-41977] [SC-120269] [SPARK-41978] [CONNECT] Float를 인수로 사용하는 SparkSession.range
  • [SPARK-42029] [SC-120336] [CONNECT] 시작 실패를 방지하기 위해 connect-common Guava 음영 규칙 추가
  • [SPARK-41989] [SC-120334] [PYTHON] pyspark.pandas에서 로깅 구성 중단 방지
  • [SPARK-42003] [SC-120331] [SQL] ResolveGroupByAll에서 중복 코드 줄이기
  • [SPARK-41635] [SC-120313] [SQL] 모든 오류 보고별 그룹 수정
  • [SPARK-41047] [SC-120291] [SQL] 라운드에 대한 문서 개선
  • [SPARK-41822] [SC-120122] [CONNECT] Scala/JVM 클라이언트에 대한 gRPC 연결 설정
  • [SPARK-41879] [SC-120264] [CONNECT] [PYTHON] DataFrame.collect 중첩 형식 지원
  • [SPARK-41887] [SC-120268] [CONNECT] [PYTHON] 허용 목록 형식 매개 변수 만들기 DataFrame.hint
  • [SPARK-41964] [SC-120210] [CONNECT] [PYTHON] 지원되지 않는 IO 함수 목록 추가
  • [SPARK-41595] [SC-120097] [SQL] FROM 절에서 생성기 함수 분해/explode_outer 지원
  • [SPARK-41957] [SC-120121] [CONNECT] [PYTHON] 에 대한 문서 테스트 사용 DataFrame.hint
  • [SPARK-41886] [SC-120141] [CONNECT] [PYTHON] DataFrame.intersect doctest 출력의 순서가 다릅니다.
  • [SPARK-41442] [SC-117795] [SQL] [모든 테스트] 유효한 메트릭과 병합하는 경우에만 SQLMetric 값을 업데이트합니다.
  • [SPARK-41944] [SC-120046] [CONNECT] 로컬 원격 모드가 켜진 경우 구성 전달
  • [SPARK-41708] [SC-119838] [SQL] v1write 정보 끌어오기 WriteFiles
  • [SPARK-41780] [SC-120000] [SQL] INVALID_PARAMETER_VALUE throw해야 합니다. 매개 변수 regexp 가 잘못된 경우 PATTERN
  • [SPARK-41889] [SC-119975] [SQL] invalidPatternError에 근본 원인 연결 및 오류 클래스 리팩터링 INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028] [SQL] AvroScanBuilder 및 JsonScanBuilder 사례 클래스 만들기
  • [SPARK-41945] [SC-120010] [CONNECT] [PYTHON] Python: 클라이언트에서 손실된 열 데이터를 pyarrow와 연결합니다. Table.to_pylist
  • [SPARK-41690] [SC-119102] [SC-119087] [SQL] [CONNECT] 불가지론적 인코더
  • [SPARK-41354] [SC-119995] [CONNECT] [PYTHON] RepartitionByExpression 구현
  • [SPARK-41581] [SC-119997] [SQL] 다음으로 업데이트 _LEGACY_ERROR_TEMP_1230INTERNAL_ERROR
  • [SPARK-41928] [SC-119972] [CONNECT] [PYTHON] 에 대해 지원되지 않는 목록 추가 functions
  • [SPARK-41933] [SC-119980] [CONNECT] 서버를 자동으로 시작하는 로컬 모드 제공
  • [SPARK-41899] [SC-119971] [CONNECT] [PYTHON] createDataFrame'은 사용자가 제공한 DDL 스키마를 준수해야 합니다.
  • [SPARK-41936] [SC-119978] [CONNECT] [PYTHON] withMetadata 프로토 다시 withColumns 사용
  • [SPARK-41898] [SC-119931] [CONNECT] [PYTHON] Window.rowsBetween, Window.rangeBetween 매개 변수 형식검사 pyspark와의 패리티
  • [SPARK-41939] [SC-119977] [CONNECT] [PYTHON] 함수에 대해 지원되지 않는 목록 catalog 추가
  • [SPARK-41924] [SC-119946] [CONNECT] [PYTHON] StructType에서 메타데이터를 지원하고 구현합니다. DataFrame.withMetadata
  • [SPARK-41934] [SC-119967] [CONNECT] [PYTHON] 지원되지 않는 함수 목록을 에 추가합니다. session
  • [SPARK-41875] [SC-119969] [CONNECT] [PYTHON] 에 대한 테스트 사례 추가 Dataset.to()
  • [SPARK-41824] [SC-119970] [CONNECT] [PYTHON] 연결 설명을 위한 문서 수집
  • [SPARK-41880] [SC-119959] [CONNECT] [PYTHON] 함수 from_json 가 리터럴이 아닌 스키마를 수락하게 만들기
  • [SPARK-41927] [SC-119952] [CONNECT] [PYTHON] 에 대해 지원되지 않는 목록 추가 GroupedData
  • [SPARK-41929] [SC-119949] [CONNECT] [PYTHON] 함수 추가 array_compact
  • [SPARK-41827] [SC-119841] [CONNECT] [PYTHON] 허용 열 목록 만들기 GroupBy
  • [SPARK-41925] [SC-119905] [SQL] 기본적으로 사용 spark.sql.orc.enableNestedColumnVectorizedReader
  • [SPARK-41831] [SC-119853] [CONNECT] [PYTHON] 허용 열 목록 만들기 DataFrame.select
  • [SPARK-41455] [SC-119858] [CONNECT] [PYTHON] DataFrame.collect 표준 시간대 정보 카드
  • [SPARK-41923] [SC-119861] [CONNECT] [PYTHON] 지원되지 않는 목록에 추가 DataFrame.writeTo
  • [SPARK-41912] [SC-119837] [SQL] 하위 쿼리는 CTE의 유효성을 검사하지 않아야 합니다.
  • [SPARK-41828] [SC-119832] [CONNECT] [PYTHON] [12.X] createDataFrame 빈 데이터 프레임 지원
  • [SPARK-41905] [SC-119848] [CONNECT] 조각의 문자열로 이름 지원
  • [SPARK-41869] [SC-119845] [CONNECT] dropDuplicates에서 단일 문자열 거부
  • [SPARK-41830] [SC-119840] [CONNECT] [PYTHON] DataFrame.sample PySpark와 동일한 매개 변수 허용
  • [SPARK-41849] [SC-119835] [CONNECT] DataFrameReader.text 구현
  • [SPARK-41861] [SC-119834] [SQL] v2 ScanBuilders의 build() 반환 형식 검사 만들기
  • [SPARK-41825] [SC-119710] [CONNECT] [PYTHON] 관련 문서 테스트 사용 DataFrame.show
  • [SPARK-41855] [SC-119804] [SC-119410] [SPARK-41814] [SPARK-41851] [SPARK-41852] [CONNECT] [PYTHON] [12.X] 없음/NaN 핸들을 올바르게 만들기 createDataFrame
  • [SPARK-41833] [SC-119685] [SPARK-41881] [SPARK-41815] [CONNECT] [PYTHON] 없음/NaN/Array/Binary porperly 핸들 만들기 DataFrame.collect
  • [SPARK-39318] [SC-119713] [SQL] tpch-plan-stability WithStats 골든 파일 제거
  • [SPARK-41791] [SC-119745] 새 파일 원본 메타데이터 열 형식 추가
  • [SPARK-41790] [SC-119729] [SQL] TRANSFORM 판독기 및 작성기 형식을 올바르게 설정
  • [SPARK-41829] [SC-119725] [CONNECT] [PYTHON] 다음에서 누락된 순서 지정 매개 변수를 추가합니다.SortsortWithinPartitions
  • [SPARK-41576] [SC-119718] [SQL] _LEGACY_ERROR_TEMP_2051 이름 할당
  • [SPARK-41821] [SC-119716] [CONNECT] [PYTHON] DataFrame.describe에 대한 문서 테스트 수정
  • [SPARK-41871] [SC-119714] [CONNECT] DataFrame 힌트 매개 변수는 str, float 또는 int일 수 있습니다.
  • [SPARK-41720] [SC-119076] [SQL] UnresolvedFunc를 UnresolvedFunctionName으로 이름 바꾸기
  • [SPARK-41573] [SC-119567] [SQL] _LEGACY_ERROR_TEMP_2136 이름 할당
  • [SPARK-41862] [SC-119492] [SQL] Orc 판독기에서 DEFAULT 값과 관련된 정확성 버그 수정
  • [SPARK-41582] [SC-119482] [SC-118701] [CORE] [SQL] 대신 다시 사용 INVALID_TYPED_LITERAL_LEGACY_ERROR_TEMP_0022

유지 관리 업데이트

Databricks Runtime 12.2 기본 테넌트 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 검정색 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
에서 8.0.4 암호화 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0.11 entrypoints 0.4 실행 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 mccabe 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
Notebook 6.4.8 numpy 1.21.5 패키징 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.2 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requests 2.27.1 requests-unixsocket 0.2.0 rope 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.4
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2022-11-11)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 캐럿 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-21 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 4.3.3
data.table 1.14.4 데이터 세트 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
줄임표 0.3.2 evaluate 0.18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 제네릭(generics) 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ID 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 주기 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58.2 행렬 1.5-1 memoise 2.0.1
메서드 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 진행률 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
프록시 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0.42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy 아이비 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.76
org.apache.orc orc-mapreduce 1.76
org.apache.orc orc-shims 1.76
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1