Databricks Runtime 11.3 LTS
다음은 Apache Spark 3.3.0에서 제공하는 Databricks Runtime 11.3 LTS에 대한 릴리스 정보를 제공합니다. Databricks는 2022년 10월에 이 이미지를 릴리스했습니다.
참고 항목
LTS는 이 버전이 장기적인 지원을 받고 있다는 것을 의미합니다. Databricks Runtime LTS 버전 수명 주기를 참조 하세요.
새로운 기능 및 향상 기능
- 구조적 스트리밍 트리거는 한 번 사용되지 않습니다.
- 자동 로더의 원본 경로 변경
- Databricks Kinesis 커넥터에서 이제 EFO 모드에서 Kinesis 데이터 스트림 읽기 지원
- 새로운 H3 지리 공간적 함수 및 모든 H3 함수에 대한 Photon 지원 추가
- 예측 I/O의 새로운 기능
- 선택적 쿼리 스캔을 위해 초기 파티션 증가
- 새 AQE 플랜 버전 시각화
- 새 비동기 진행률 추적 및 로그 제거 모드
- Unity 카탈로그의 구조적 스트리밍에서
display()지원 - 이제 파이프라인 이벤트가 JSON 형식으로 기록
- Python을 사용하는 구조적 스트리밍에서 임의 상태 저장 처리
- CSV 파일의 날짜 유추
- Apache Parquet 및 Apache Iceberg 테이블에 대한 복제 지원(공개 미리 보기)
- SQL을 사용하여 Unity 카탈로그 관리형 테이블의 스키마 및 카탈로그 수준 스토리지 위치 지정
구조적 스트리밍 트리거는 한 번 사용되지 않습니다.
이 Trigger.Once 설정은 더 이상 사용되지 않습니다. Databricks는 사용하는 Trigger.AvailableNow것이 좋습니다. 구조적 스트리밍 트리거 간격 구성을 참조 하세요.
자동 로더의 원본 경로 변경
이제 새 검사point 디렉터리를 선택하지 않고도 디렉터리 목록 모드로 구성된 자동 로더의 디렉터리 입력 경로를 변경할 수 있습니다. 자동 로더의 원본 경로 변경을 참조하세요.
Databricks Kinesis 커넥터에서 이제 EFO 모드에서 Kinesis 데이터 스트림 읽기 지원
이제 Databricks Runtime 11.3 LTS의 Databricks Kinesis 구조적 스트리밍 원본을 사용하여 향상된 팬아웃 모드에서 Kinesis 데이터 스트림으로부터 읽은 쿼리를 실행할 수 있습니다. 이렇게 하면 분할된 데이터베이스당, 소비자당 및 푸시 모드의 레코드 전달 전용 처리량이 허용됩니다.
새로운 H3 지리 공간적 함수 및 모든 H3 함수에 대한 Photon 지원 추가
h3_maxchild, h3_minchild, h3_pointash3 및 h3_pointash3string이라는 4개의 새로운 H3 함수가 도입됩니다. 이러한 함수는 SQL, Scala 및 Python에서 사용할 수 있습니다. 이제 Photon에서 모든 H3 식이 지원됩니다. H3 지리 공간적 함수를 참조하세요.
예측 I/O의 새로운 기능
Photon은 프레임을 실행하기 위한 범위 모드를 지원합니다 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon은 프레임 증가에 대한 범위 모드도 지원합니다 RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.
선택적 쿼리 스캔을 위해 초기 파티션 증가
Photon 지원 클러스터에서 take/tail/limit, Databrics SQL에서 LIMIT를 사용하면 선택적 쿼리에 대해 스캔할 초기 파티션 값이 10으로 증가했습니다. 파티션이 10개이면 여러 소규모 작업을 시작하고 확장 속도가 느려지는 오버헤드를 방지할 수 있습니다. spark.sql.limit.selectiveInitialNumPartitions를 통해 이를 구성할 수도 있습니다.
새 AQE 플랜 버전 시각화
AQE(적응 쿼리 실행)에서 런타임 플랜 업데이트를 시각화할 수 있는 AQE 플랜 버전을 소개합니다.
새 비동기 진행률 추적 및 로그 제거 모드
비동기 진행률 추적 및 비동기 로그 제거라는 구조적 스트리밍 모드가 도입됩니다. 비동기 로그 제거 모드는 백그라운드에서 진행률 추적에 사용되는 로그를 제거하여 스트리밍 쿼리의 대기 시간을 줄입니다.
Unity 카탈로그의 구조적 스트리밍에서 display() 지원
이제 구조적 스트리밍을 사용하여 Unity 카탈로그에 등록된 테이블을 사용할 때 display()를 사용할 수 있습니다.
이제 파이프라인 이벤트가 JSON 형식으로 기록
이제 Azure Databricks는 JSON 형식으로 드라이버 로그에 파이프라인 이벤트를 씁니다. 각 이벤트는 JSON 구문 분석이 가능하지만 큰 이벤트에는 모든 필드가 포함되지 않거나 필드가 잘릴 수 있습니다. 각 이벤트는 Event received: 접두사를 사용하여 한 줄로 로그됩니다. 다음은 예제 이벤트입니다.
Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}
Python을 사용하는 구조적 스트리밍에서 임의 상태 저장 처리
PySpark에서 임의 상태 저장 처리를 수행하는 데 사용할 수 있는 applyInPandasWithState 함수가 도입됩니다. 이는 Java API의 flatMapGroupsWithState 함수와 동일합니다.
CSV 파일의 날짜 유추
CSV 파일에서 날짜 형식 열의 향상된 유추가 도입됩니다. 열의 레코드에서 날짜 형식이 일관적이면 해당 열을 DateType으로 유추할 수 있습니다. 여러 열에서 날짜 형식을 조합할 수도 있습니다. Azure Databricks는 각 열의 날짜 형식을 자동으로 유추할 수 있습니다. Databricks Runtime 11.3 LTS 이전의 CSV 파일에서 날짜 열은 StringType으로 남아 있습니다.
Apache Parquet 및 Apache Iceberg 테이블에 대한 복제 지원(공개 미리 보기)
이제 복제본을 사용하여 Apache Parquet 및 Apache Iceberg 테이블을 미러링하는 Delta 테이블을 만들고 증분 업데이트할 수 있습니다. 원본 Parquet 테이블을 업데이트하고 복제 명령을 사용하여 복제된 Delta 테이블에 변경 사항을 증분 적용할 수 있습니다. Delta Lake에 Parquet 및 Iceberg 테이블 증분 복제를 참조하세요.
SQL을 사용하여 Unity 카탈로그 관리형 테이블의 스키마 및 카탈로그 수준 스토리지 위치 지정
이제 MANAGED LOCATION SQL 명령을 사용하여 카탈로그 및 스키마 수준에서 관리 테이블의 클라우드 스토리지 위치를 지정할 수 있습니다. CREATE CATALOG 및 CREATE SCHEMA를 참조하세요.
동작 변경
Databricks 커넥트 11.3.2
이제 Databricks 커넥트 클라이언트 업데이트 11.3.2가 지원됩니다. Databricks 커넥트 및 Databricks 커넥트 릴리스 정보를 참조하세요.
Azure Databricks Snowflake 커넥터 업데이트
Azure Databricks Snowflake 커넥터는 오픈 소스 리포지토리인 Snowflake Data Source for Apache Spark에서 최신 버전의 코드로 업데이트되었습니다. 이제 오픈 소스 버전의 모든 기능을 유지하면서 조건자 푸시다운 및 내부 쿼리 계획 푸시다운을 포함하여 Databricks Runtime 11.3 LTS와 완벽하게 호환됩니다.
이제 S3A용 Hadoop 캐시가 사용하지 않도록 설정되었습니다.
이제 S3A용 Hadoop 캐시(FileSystem Apache Hadoop Main 3.3.4 API)가 비활성화됩니다. 이는 다른 클라우드 스토리지 커넥터와 정렬하기 위한 것입니다. 파일 시스템 캐싱에 의존하는 워크로드의 경우 자격 증명 공급자를 포함하여 새로 만들어진 파일 시스템에 올바른 Hadoop 구성이 제공되는지 확인합니다.
Delta Lake 통계 컬렉션 스키마가 이제 테이블 스키마 정의의 열 순서와 일치
이 변경 내용은 DataFrame 및 테이블 열 순서가 일치하지 않아 열에 대한 통계가 수집되지 않는 Delta Lake 프로토콜 버그를 해결합니다. 경우에 따라 이전에 추적되지 않은 필드의 통계 컬렉션으로 인해 쓰기 성능이 저하될 수 있습니다. Delta Lake에 대한 데이터 건너뛰기 참조
쿼리에서 연산자 뒤에 shuffle이 있는 경우 applyInPandasWithState에서 오류 발생
쿼리의 연산자 뒤에 shuffle이 있는 경우 연산자 applyInPandasWithState에서 오류가 발생합니다. 이는 사용자가 연산 후에 shuffle을 추가하거나 최적화 프로그램 또는 싱크에서 암시적으로 shuffle을 추가하는 경우 발생합니다.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- distlib: 0.3.5에서 0.3.6으로
- 업그레이드된 R 라이브러리:
- broom: 1.0.0에서 1.0.1로
- callr: 3.7.1에서 3.7.2로
- dplyr: 1.0.9에서 1.0.10으로
- dtplyr: 1.2.1에서 1.2.2로
- forcats: 0.5.1에서 0.5.2로
- future: 1.27.0에서 1.28.0으로
- future.apply: 1.9.0에서 1.9.1로
- gert: 1.7.0에서 1.8.0으로
- globals: 0.16.0에서 0.16.1로
- gtable: 0.3.0에서 0.3.1로
- haven: 2.5.0에서 2.5.1로
- hms: 1.1.1에서 1.1.2로
- httr: 1.4.3에서 1.4.4로
- knitr: 1.39에서 1.40으로
- modelr: 0.1.8에서 0.1.9로
- pillar: 1.8.0에서 1.8.1로
- progressr: 0.10.1에서 0.11.0으로
- readxl: 1.4.0에서 1.4.1로
- reprex: 2.0.1에서 2.0.2로
- rlang: 1.0.4에서 1.0.5로
- rmarkdown: 2.14에서 2.16으로
- RSQLite: 2.2.15에서 2.2.16으로
- rstudioapi: 0.13에서 0.14로
- rversions: 2.1.1에서 2.1.2로
- rvest: 1.0.2에서 1.0.3으로
- scales: 1.2.0에서 1.2.1로
- sparklyr: 1.7.7에서 1.7.8로
- stringr: 1.4.0에서 1.4.1로
- survival: 3.2-13에서 3.4-0으로
- tinytex: 0.40에서 0.41로
- viridisLite: 0.4.0에서 0.4.1로
- 업그레이드된 Java 라이브러리:
- com.fasterxml.jackson.core.jackson-annotations: 2.13.3에서 2.13.4로
- com.fasterxml.jackson.core.jackson-core: 2.13.3에서 2.13.4로
- com.fasterxml.jackson.core.jackson-databind: 2.13.3에서 2.13.4로
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor: 2.13.3에서 2.13.4로
- com.fasterxml.jackson.datatype.jackson-datatype-joda: 2.13.3에서 2.13.4로
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310: 2.13.3에서 2.13.4로
- com.fasterxml.jackson.module.jackson-module-paranamer: 2.13.3에서 2.13.4로
- com.fasterxml.jackson.module.jackson-module-scala_2.12: 2.13.3에서 2.13.4로
- org.apache.hadoop.hadoop-client-api: 3.3.2-databricks에서 3.3.4-databricks로
- org.apache.hadoop.hadoop-client-runtime: 3.3.2에서 3.3.4로
- org.apache.orc.orc-core: 1.7.5에서 1.7.6으로
- org.apache.orc.orc-mapreduce: 1.7.5에서 1.7.6으로
- org.apache.orc.orc-shims: 1.7.5에서 1.7.6으로
- org.apache.parquet.parquet-column: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
- org.apache.parquet.parquet-common: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
- org.apache.parquet.parquet-encoding: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
- org.apache.parquet.parquet-format-structures: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
- org.apache.parquet.parquet-hadoop: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
- org.apache.parquet.parquet-jackson: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
- org.glassfish.jersey.containers.jersey-container-servlet: 2.34에서 2.36으로
- org.glassfish.jersey.containers.jersey-container-servlet-core: 2.34에서 2.36으로
- org.glassfish.jersey.core.jersey-client: 2.34에서 2.36으로
- org.glassfish.jersey.core.jersey-common: 2.34에서 2.36으로
- org.glassfish.jersey.core.jersey-server: 2.34에서 2.36으로
- org.glassfish.jersey.inject.jersey-hk2: 2.34에서 2.36으로
Apache Spark
Databricks Runtime 11.3 LTS에는 Apache Spark 3.3.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 11.2(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-39957] [WARMFIX][SC-111425][CORE] 드라이버의 ExecutorExitCode 수신이 가능하도록 하는 onDisconnected 지연
- [SPARK-39955] [WARMFIX][SC-111424][CORE] LaunchTask 메시지 보내기 실패로 인한 단계 오류 방지를 위해 LaunchTask 프로세스 개선
- [SPARK-40474] [SC-106248][Cherry-Pick] datetime 열에 대한 CSV 스키마 유추 동작 수정 및 Date 필드에 대한 자동 탐지 도입
- [SPARK-40535] [SC-111243][SQL] 입력 행이 빈 경우 AggregatingAccumulator의 버퍼가 만들어지지 않는 버그 수정
- [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] PySpark에서 applyInPandasWithState 구현
- [SPARK-40460] [SC-110832][SS]
_metadata를 선택할 때 스트리밍 메트릭 수정 - [SPARK-40324] [SC-109943][SQL] 쿼리 컨텍스트를
ParseException에 제공 - [SPARK-40466] [SC-110899] [SS] DSv1을 사용할 수 없는 동안 DSv2를 사용하지 않도록 설정한 경우 오류 메시지 개선
- [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext가 반복 호출이 가능하도록 저렴해야 함
- [SPARK-40169] [SC-110772][SQL] 데이터 스키마에 대한 참조 없이 Parquet 필터를 푸시다운해서는 안 됨
- [SPARK-40467] [SC-110759][SS] FlatMapGroupsWithState를 여러 테스트 도구 모음으로 분할
- [SPARK-40468] [SC-110813][SQL] _corrupt_record가 선택될 때 CSV에서 열 삭제 수정
- [SPARK-40291] [SC-110085][SQL] 절 오류로 그룹화되지 않은 열에 대한 메시지 개선
- [SPARK-40398] [SC-110762][CORE][SQL] Arrays.stream api 대신 Loop 사용
- [SPARK-40433] [SC-110684][SS][PYTHON] PythonSQLUtils에 toJVMRow를 추가하여 pickle 처리된 PySpark 행을 JVM 행으로 변환
- [SPARK-40414] [SC-110568][SQL][PYTHON] PythonArrowInput 및 PythonArrowOutput에 대한 추가 제네릭 형식
- [SPARK-40352] [SC-109945][SQL] 함수 별칭 추가: len, datepart, dateadd, date_diff 및 curdate
- [SPARK-40470] [SC-110761][SQL] “arrays_zip” 함수에서 GetArrayStructFields 및 GetMapValue 처리
- [SPARK-40387] [SC-110685][SQL] Spark Decimal 구현 개선
- [SPARK-40429] [SC-110675][SQL] 참조된 열이 출력에 있을 때만 KeyGroupedPartitioning 설정
- [SPARK-40432] [SC-110716][SS][PYTHON] PySpark에서 GroupStateImpl 및 GroupStateTimeout 도입
- [SPARK-39915] [SC-110496][SQL] 출력 분할이 AQE에서 사용자 지정인지 확인
- [SPARK-29260] HMS가 지원하는 경우 [SQL] 지원
ALTER DATABASE SET LOCATION - [SPARK-40185] [SC-110056][SQL] 후보 목록이 비어 있을 때 열 제안 제거
- [SPARK-40362] [SC-110401][SQL] BinaryComparison 정규화 수정
- [SPARK-40411] [SC-110381][SS] 부모 특성을 갖도록 FlatMapGroupsWithStateExec 리팩터링
- [SPARK-40293] [SC-110084][SQL] 더욱 유의미한 V2 테이블 오류 메시지
- [SPARK-38734] [SC-110383][SQL] 오류 클래스
INDEX_OUT_OF_BOUNDS제거 - [SPARK-40292] [SC-110300][SQL] 중첩된 구조체에서 배열이 참조될 때 "arrays_zip" 함수의 열 이름 수정
- [SPARK-40276] [SC-109674][CORE] RDD.takeOrdered의 결과 크기 감소
- [SPARK-40197] [SC-109176][SQL] 쿼리 계획을 MULTI_VALUE_SUBQUERY_ERROR에 대한 컨텍스트로 바꾸기
- [SPARK-40300] [SC-109942][SQL]
DATATYPE_MISMATCH오류 클래스로 마이그레이션 - [SPARK-40149] [SC-110055][SQL] Project를 통해 메타데이터 열 전파
- [SPARK-40280] [SC-110146][SQL] 주석이 추가된 int 및 long에 대한 Parquet 푸시다운 지원 추가
- [SPARK-40220] [SC-110143][SC-109175][SQL] 오류 메시지 매개 변수의 빈 맵 출력 금지
- [SPARK-40295] [SC-110070][SQL] 쓰기 배포/순서 지정에서 리터럴 인수가 있는 v2 함수 허용
- [SPARK-40156] [SC-109264][SQL]
url_decode()에서 오류 클래스를 반환해야 함 - [SPARK-39195] [SQL] 커밋된 파일이 작업 상태와 일치하지 않는 경우 Spark OutputCommitCoordinator에서 단계를 중단해야 함
- [SPARK-40260] [SC-109424][SQL] 위치의 GROUP BY 컴파일 오류에 오류 클래스 사용
- [SPARK-40205] [SC-110144][SC-109082][SQL] ELEMENT_AT_BY_INDEX_ZERO의 쿼리 컨텍스트 제공
- [SPARK-40112] [SC-109676][SQL] TO_BINARY() 함수 개선
- [SPARK-40209] [SC-109081][SQL] 오류 시
changePrecision()의 Decimal에서 간격 값을 변경하지 말 것 - [SPARK-40319] [SC-109873][SQL] PARSE_DATETIME_BY_NEW_PARSER에 대한 중복 쿼리 실행 오류 메서드 제거
- [SPARK-40222] [SC-109209][SQL] 숫자 try_add/try_divide/try_subtract/try_multiply는 자식으로부터 오류를 발생시켜야 함
- [SPARK-40183] [SC-108907][SQL] 10진수 변환의 오버플로에 대해 오류 클래스 NUMERIC_VALUE_OUT_OF_RANGE 사용
- [SPARK-40180] [SC-109069][SQL]
spark-sql의 오류 메시지 형식 지정 - [SPARK-40153] [SC-109165][SQL] resolve 함수 및 테이블 기반 함수 통합
- [SPARK-40308] [SC-109880][SQL]
str_to_map함수에 대해 접을 수 없는 구분 기호 인수 허용 - [SPARK-40219] [SC-110052][SC-109663][SQL] 확인된 뷰 논리 계획에 중복 조회 방지를 위해 스키마가 있어야 함
- [SPARK-40098] [SC-109939][SC-108693][SQL] Thrift Server의 오류 메시지 형식 지정
- [SPARK-39917] [SC-109038][SQL] 숫자/간격 산술 오버플로에 대해 다른 오류 클래스 사용
- [SPARK-40033] [SC-109875][SQL] element_at을 통해 중첩된 스키마 삭제 지원
- [SPARK-40194] [SC-109660][SQL] 빈 정규식의 SPLIT 함수는 후행 빈 문자열을 잘라야 함
- [SPARK-40228] [SC-109835][SQL] 자식이 저렴한 식이 아닌 경우 multiLike를 단순화하지 말 것
- [SPARK-40039] [SC-109896][SC-109260][SS] Hadoop의 Abortable 인터페이스를 기반으로 하는 스트리밍 검사점 파일 관리자 도입
- [SPARK-40285] [SC-109679][SQL] Spark
Decimal에 대해roundTo[Numeric]단순화 - [SPARK-39896] [SC-109658][SQL] In/InSet 다운캐스트의 리터럴이 실패할 때 UnwrapCastInBinaryComparison이 작동해야 함
- [SPARK-40040] [SC-109662][SQL] Join 조건이 비어 있는 경우 양쪽에 로컬 제한 푸시
- [SPARK-40055] [SC-109075][SQL] listCatalogs는 spark_catalog 구현이 defaultSessionCatalog인 경우에도 spark_catalog를 반환해야 함
- [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N)이 N 파티션 비 AQE 파트를 만들 수 없음
- [SPARK-40207] [SC-109401][SQL] 데이터 원본에서 데이터 형식을 지원하지 않는 경우 열 이름 지정
- [SPARK-40245] [SC-109295][SQL] 파티션 또는 데이터 필터 열을 읽지 않을 때 FileScan 일치 확인 수정
- [SPARK-40113] [SC-109405][SQL] Reactor ParquetScanBuilder DataSourceV2 인터페이스 구현
- [SPARK-40211] [SC-109226][CORE][SQL] take() 동작에서 초기 파티션 번호 사용자 지정 허용
- [SPARK-40252] [SC-109379][SQL]
Stream.collect(Collectors.joining)를StringJoinerApi로 바꾸기 - [SPARK-40247] [SC-109272][SQL] BitSet 일치 확인 수정
- [SPARK-40067] [SQL] Scan#name() 대신 Table#name()을 사용하여 SparkUI의 BatchScan 노드에서 테이블 이름 채우기
- [SPARK-39966] [SQL] SupportsDelete에서 V2 필터 사용
- [SPARK-39607] [SC-109268][SQL][DSV2] 작성 시 배포 및 순서 지정 지원 V2 함수
- [SPARK-40224] [SC-109271][SQL] 대체가 정렬 기반인 경우 ObjectHashAggregateExec에서 메모리를 즉시 릴리스
- [SPARK-40013] [SQL] DS V2 식에 기본값
toString이 있어야 함 - [SPARK-40214] [SC-109079][PYTHON][SQL] 함수에 ‘get’ 추가
- [SPARK-40192] [SC-109089][SQL][ML] 중복 groupby 제거
- [SPARK-40146] [SC-108694][SQL] map 값을 가져오는 codegen 단순화
- [SPARK-40109] [SQL] 새 SQL 함수: get()
- [SPARK-39929] [SQL] DS V2는 문자열 함수(비 ANSI) 푸시다운을 지원함
- [SPARK-39819] [SQL] DS V2 집계 푸시다운에서 상위 N 또는 페이징(식을 사용하여 정렬) 사용 가능
- [SPARK-40213] [SC-109077][SQL] 라틴어-1 문자에 대한 ASCII 값 변환 지원
- [SPARK-39887] [SQL] RemoveRedundantAliases는 프로젝션 노드의 출력을 고유하게 만드는 별칭을 유지해야 함
- [SPARK-39764] [SQL] PhysicalOperation을 ScanOperation과 동일하게 만듦
- [SPARK-39964] [SQL] DS V2 푸시다운에서 좌표 이동 경로를 통합해야 함
- [SPARK-39528] [SQL] SupportsRuntimeFiltering에서 V2 필터 사용
- [SPARK-40066] [SQL] ANSI 모드: 항상 잘못된 액세스에서 null을 반환하여 열 매핑
- [SPARK-39912] [SPARK-39828][SQL] CatalogImpl 구체화
- [SPARK-39833] [SC-108736][SQL] DSv1에서 Parquet 열 인덱스를 사용하지 않도록 설정하여 파티션 및 데이터 열이 겹치는 경우 정확성 문제 수정
- [SPARK-39880] [SQL] V2 SHOW FUNCTIONS 명령은 v1과 같은 정규화된 함수 이름을 인쇄해야 함
- [SPARK-39767] [SQL] UnresolvedDBObjectName 제거 및 UnresolvedIdentifier 추가
- [SPARK-40163] [SC-108740][SQL] feat: SparkSession.config(Map)
- [SPARK-40136] [SQL] SQL 쿼리 컨텍스트의 조각 수정
- [SPARK-40107] [SC-108689][SQL] FileFormatWriter에서 empty2null 변환 끌어오기
- [SPARK-40121] [PYTHON][SQL] Python UDF 사용된 프로젝션 초기화
- [SPARK-40128] [SQL] VectorizedColumnReader에서 DELTA_LENGTH_BYTE_ARRAY를 독립 실행형 열 인코딩으로 인식하도록 설정
- [SPARK-40132] [ML] rawPredictionCol을 MultilayerPerceptronClassifier.setParams로 복원
- [SPARK-40050] [SC-108696][SQL]
EliminateSorts를 개선하여LocalLimit를 통한 정렬 제거 지원 - [SPARK-39629] [SQL] v2 SHOW FUNCTION 지원
- [SPARK-39925] [SC-108734][SQL] array_sort(column, comparator) 오버로드를 DataFrame 연산에 추가
- [SPARK-40117] [PYTHON][SQL] DataFrameWriterV2.overwrite에서 조건을 java로 변환
- [SPARK-40105] [SQL] ReplaceCTERefWithRepartition에서 재분할 개선
- [SPARK-39503] [SQL] v1 데이터베이스 테이블 및 함수에 대한 세션 카탈로그 이름 추가
- [SPARK-39889] [SQL] 0으로 나눈 숫자/간격에 다른 오류 클래스 사용
- [SPARK-39741] [SQL] 인코딩/디코딩을 기본 제공 함수로 지원하고 URL 관련 함수 정리
- [SPARK-40102] [SQL] SparkPlan에서 IllegalStateException 대신 SparkException 사용
- [SPARK-40014] [SQL] ANSI 간격을 10진수로 캐스트 지원
- [SPARK-39776] [SQL][FOLLOW] ANSI 모드에서 PlanStabilitySuite의 UT 업데이트
- [SPARK-39963] [SQL]
SimplifyCasts.isWiderCast단순화
유지 관리 업데이트
Databricks Runtime 11.3 기본 테넌트 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 20.04.5 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.1.3
- Delta Lake: 2.1.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| argon2-cffi | 20.1.0 | async-generator | 1.10 | attrs | 21.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | 검정색 | 22.3.0 |
| bleach | 4.0.0 | boto3 | 1.21.18 | botocore | 1.24.18 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 에서 | 8.0.3 | 암호화 | 3.4.8 |
| cycler | 0.10.0 | Cython | 0.29.24 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | decorator | 5.1.0 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | entrypoints | 0.3 | facets-overview | 1.0.0 |
| filelock | 3.8.0 | idna | 3.2 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| jedi | 0.18.0 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.1 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | mistune | 0.8.4 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | Notebook | 6.4.5 | numpy | 1.20.3 |
| 패키징 | 21.0 | pandas | 1.3.4 | pandocfilters | 1.4.3 |
| parso | 0.8.2 | pathspec | 0.9.0 | patsy | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 8.4.0 |
| pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | protobuf | 4.21.5 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pycparser | 2.20 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requests | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
설치된 R 라이브러리
R 라이브러리는 Microsoft CRAN 스냅샷(2022-09-08)에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.1 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.2 |
| 캐럿 | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | credentials | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.10 | dtplyr | 1.2.2 |
| e1071 | 1.7-11 | 줄임표 | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.2 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.28.0 | future.apply | 1.9.1 | gargle | 1.2.0 |
| 제네릭(generics) | 0.1.3 | gert | 1.8.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.1 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.1 | hardhat | 1.2.0 |
| haven | 2.5.1 | highr | 0.9 | hms | 1.1.2 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.4 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.40 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | 주기 | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | 행렬 | 1.4-1 |
| memoise | 2.0.1 | 메서드 | 4.1.3 | mgcv | 1.8-40 |
| mime | 0.12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.9 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.1 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| 진행률 | 1.2.2 | progressr | 0.11.0 | promises | 1.2.0.1 |
| proto | 1.0.0 | 프록시 | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.1 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.2 | reshape2 | 1.4.4 |
| rlang | 1.0.5 | rmarkdown | 2.16 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.16 | rstudioapi | 0.14 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.2 |
| scales | 1.2.1 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.8 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| 통계 | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.1 | survival | 3.4-0 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.41 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.1 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 프로파일러 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.1 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | 아이비 | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.76 |
| org.apache.orc | orc-mapreduce | 1.76 |
| org.apache.orc | orc-shims | 1.76 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0007 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |