Databricks Runtime 11.0(지원되지 않음)

  • 아티클

다음 릴리스 정보는 Apache Spark 3.3.0에서 제공하는 Databricks Runtime 11.0에 대한 정보를 제공합니다. Databricks는 이러한 이미지를 2022년 6월에 릴리스했습니다.

새로운 기능 및 향상 기능

새로운 버전의 Apache Spark

Databricks Runtime 11.0 및 Databricks Runtime 11.0 Photon은 Apache Spark 3.3.0을 포함합니다. 자세한 내용은 Apache Spark를 참조하세요.

Python Notebook에서 이제 IPython 커널 사용

Databricks Runtime 11.0 이상에서는 Python Notebook이 IPython 커널을 사용하여 Python 코드를 실행할 수 있습니다. IPython 커널을 참조하세요.

ipywidget 지원

이제 ipywidget을 사용하여 Databricks Python Notebook을 대화형으로 만들 수 있습니다. ipywidget을 참조하세요.

Synapse 커넥터는 이제 레거시가 아닌 모드로 Parquet 데이터를 기록함

Azure Synapse 커넥터는 이제 레거시가 아닌 모드로 Parquet 데이터를 기록합니다. 일괄 처리 및 스트리밍 워크로드 모두에 INT96 PolyBase 및 COPY 명령을 사용할 때 타임스탬프 형식을 유지합니다.

이제 ABFS 클라이언트가 SAS 토큰을 사용할 때 HTTPS 체계가 적용됨

ABFS(Azure Blob 파일 시스템) 클라이언트가 SAS(공유 액세스 서명) 토큰을 사용하는 경우 이제 HTTPS 체계가 적용됩니다.

SQL: 이제 DESC가 DESCRIBE의 별칭임

이제 외부 위치 또는 스토리지 자격 증명을 설명할 때 DESC를 DESCRIBE의 별칭으로 사용할 수 있습니다. 예시:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: 새 current_version 함수가 버전 세부 정보를 출력함

새 current_version 함수는 현재 Databricks Runtime 버전(사용 가능한 경우), 현재 Databricks SQL 버전(사용 가능한 경우) 및 기타 관련 버전 세부 정보를 출력합니다. 이 새 함수를 사용하여 버전 관련 정보를 쿼리합니다. current_version 함수를 참조하세요.

누락된 Delta 테이블 제약 조건을 삭제할 경우 오류가 발생함

이제 이름으로 Delta 테이블 제약 조건을 삭제하려고 하는 경우 해당 제약 조건이 없으면 오류가 발생합니다. 제약 조건이 없는 경우 오류를 throw하지 않는 이전 동작을 가져오려면 이제 IF EXISTS 문을 사용해야 합니다. ALTER TABLE을 참조하세요.

SQL: SELECT 문의 새 EXCEPT 절은 선택 영역에서 열을 제외함

SELECT 문은 이제 선택 영역에서 열을 제외하는 EXCEPT 절을 지원합니다. 예를 들어 SELECT * EXCEPT (x) FROM table은 x를 제외한 table의 모든 열을 반환합니다. 중첩 열도 허용됩니다. 예를 들어 SELECT * EXCEPT (x.a) FROM table은 table의 모든 열을 반환하지만 x 구조체에서 a 필드를 생략합니다.

Delta 테이블에서 열 삭제 지원(공개 미리 보기)

Delta 테이블에서 각각 열 또는 열 목록을 삭제하는 ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> 또는 ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *)를 메타데이터 전용 작업으로 사용할 수 있습니다. 열은 여전히 기본 Parquet 파일에 있지만 Delta 테이블에 더 이상 표시되지 않으므로 효과적으로 "일시 삭제"됩니다.

REORG TABLE <table-name> APPLY (PURGE)를 사용하여 삭제된 열과 같이 일시 삭제된 데이터가 포함된 파일에서 파일 다시 쓰기를 트리거할 수 있습니다.

VACUUM을 사용하여 삭제된 열을 포함하고 REORG TABLE에서 다시 작성한 이전 파일을 포함하는 삭제된 파일을 실제 스토리지에서 제거할 수 있습니다.

COPY INTO 개선 사항

이제 나중에 COPY INTO 명령 중에 스키마가 유추되도록 빈 자리 표시자 Delta 테이블을 만들 수 있습니다.

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

이전의 SQL 문은 멱등적이며 Delta 테이블에 정확히 한 번 데이터를 수집하도록 실행되도록 예약할 수 있습니다.

참고 항목

빈 Delta 테이블은 COPY INTO 외부에서 사용할 수 없습니다. INSERT INTO 및 MERGE INTO를 사용하여 스키마가 없는 Delta 테이블에 데이터를 쓸 수 없습니다. 데이터가 COPY INTO를 사용하여 테이블에 삽입되면 테이블을 쿼리할 수 있습니다.

일부 손상 문제로 인해 수집 중인 데이터를 읽을 수 없는 경우 FORMAT_OPTIONS에서 ignoreCorruptFiles를 true로 설정하여 손상된 파일을 건너뛸 수 있습니다.

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

COPY INTO 명령은 num_skipped_corrupt_files 열의 손상으로 인해 건너뛴 파일 수를 반환합니다. 이 메트릭은 Delta 테이블에서 DESCRIBE HISTORY를 실행한 후 numSkippedCorruptFiles 아래의 operationMetrics 열에도 표시됩니다.

손상된 파일은 COPY INTO에서 추적하지 않으므로 손상이 수정되면 후속 실행에서 다시 로드할 수 있습니다. VALIDATE 모드에서 COPY INTO를 실행하면 어떤 파일이 손상되었는지 확인할 수 있습니다.

CONVERT TO DELTA가 이제 Unity Catalog 사용 환경에서 지원됨(공개 미리 보기)

이제 Unity-Catalog 지원 환경에서 CONVERT TO DELTA를 사용하여 다음을 수행할 수 있습니다.

  • 외부 위치의 Parquet 파일을 Delta Lake로 변환합니다.
  • Parquet 외부 테이블을 Delta 테이블로 변환합니다.

동작 변경

SQL: lpad 및 rpad 함수가 이제 바이트 시퀀스를 지원함

문자열 외에도 바이트 시퀀스에 대한 지원을 추가하도록 lpad 및 rpad 함수가 업데이트되었습니다.

format_string 및 printf의 문자열 형식에 %0$가 더 이상 허용되지 않음

이제 format_string 및 printf 함수에 %0$ 형식을 지정하면 기본적으로 오류가 발생합니다. 이 변경은 이전 버전의 Databricks Runtime 및 일반적인 타사 데이터베이스에서 예상되는 동작을 유지하기 위한 것입니다. 인수 인덱스를 사용하여 인수 목록에서 인수의 위치를 나타내는 경우 첫 번째 인수는 항상 %1$를 참조해야 합니다.

이제 CSV 파일의 Null 값이 기본적으로 따옴표로 묶이지 않은 빈 문자열로 작성됨

CSV 파일의 Null 값은 이전에 따옴표로 묶인 빈 문자열로 작성되었습니다. 이 릴리스에서는 이제 CSV 파일의 Null 값이 기본적으로 따옴표로 묶이지 않은 빈 문자열로 작성됩니다. 이전 동작으로 다시 변경하려면 쓰기 작업에 대한 nullValue 옵션을 ""으로 설정합니다.

이제 테이블 속성 external이 예약됨

이제 external 속성은 기본적으로 예약된 테이블 속성입니다. 이제 CREATE TABLE ... TBLPROPERTIES 및 ALTER TABLE ... SET TBLPROPERTIES 절과 함께 external 속성을 사용할 때 예외가 throw됩니다.

Log4j가 Log4j 1에서 Log4j 2로 업그레이드됨

Log4j 1이 Log4j 2로 업그레이드됩니다. 레거시 Log4j 1 종속성이 제거됩니다.

이전에 Databricks Runtime 내에 포함되었던 Log4j 1 클래스는 더 이상 존재하지 않습니다. 종속성을 Log4j 2로 업그레이드해야 합니다.

Log4j 2에 종속된 사용자 지정 플러그 인 또는 구성 파일이 있는 경우 이 릴리스의 Log4j 2 버전에서는 더 이상 작동하지 않을 수 있습니다. 도움이 필요하면 Azure Databricks 계정 팀에 문의하세요.

Maven에서 설치된 라이브러리는 이제 기본적으로 컴퓨팅 평면에서 확인됩니다.

이제 Maven 라이브러리는 클러스터에 라이브러리를 설치할 때 기본적으로 컴퓨팅 평면에서 확인됩니다. 클러스터에는 Maven Central에 대한 액세스 권한이 있어야 합니다. 또는 Spark 구성 속성을 설정하여 이전 동작으로 되돌릴 수 있습니다.

spark.databricks.libraries.enableMavenResolution false

버그 수정

  • Apache Spark와 Databricks Runtime 간의 LeafNode, UnaryNode 및 BinaryNode에 대한 이진 호환성이 수정되었으며 클래스는 이제 Apache Spark 3.3.0 이상과 호환됩니다. Databricks Runtime에서 타사 패키지를 사용할 때 다음 또는 유사한 메시지가 발생하는 경우 Apache Spark 3.3.0 이상을 사용하여 패키지를 다시 빌드합니다. Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • platformdirs를 2.5.1에서 2.5.2로
    • protobuf를 3.20.0에서 3.20.1로
  • 업그레이드된 R 라이브러리:
    • blob를 1.2.2에서 1.2.3으로
    • broom을 0.7.12에서 0.8.0으로
    • caret를 6.0-91에서 6.0-92로
    • cli를 3.2.0에서 3.3.0으로
    • dplyr을 1.0.8에서 1.0.9로
    • future를 1.24.0에서 1.25.0으로
    • future.apply를 1.8.1에서 1.9.0으로
    • gert를 1.5.0에서 1.6.0으로
    • ggplot2를 3.3.5에서 3.3.6으로
    • glmnet을 4.1-3에서 4.1-4로
    • haven을 2.4.3에서 2.5.0으로
    • httr을 1.4.2에서 1.4.3으로
    • knitr을 1.38에서 1.39로
    • magrittr을 2.0.2에서 2.0.3으로
    • parallelly를 1.30.0에서 1.31.1로
    • ps를 1.6.0에서 1.7.0으로
    • RColorBrewer를 1.1-2에서 1.1-3으로
    • RcppEigen을 0.3.3.9.1에서 0.3.3.9.2로
    • readxl을 1.3.1에서 1.4.0으로
    • rmarkdown을 2.13에서 2.14로
    • rprojroot를 2.0.2에서 2.0.3으로
    • RSQLite를 2.2.11에서 2.2.13으로
    • scales를 1.1.1에서 1.2.0으로
    • testthat를 3.1.2에서 3.1.4로
    • tibble을 3.1.6에서 3.1.7로
    • tinytex를 0.37에서 0.38로
    • tzdb를 0.2.0에서 0.3.0으로
    • uuid를 1.0-4에서 1.1-0으로
    • vctrs를 0.3.8에서 0.4.1로
  • 업그레이드된 Java 라이브러리:
    • com.fasterxml.jackson.core.jackson-annotations를 2.13.0에서 2.13.3으로
    • com.fasterxml.jackson.core.jackson-core를 2.13.0에서 2.13.3으로
    • com.fasterxml.jackson.core.jackson-databind를 2.13.0에서 2.13.3으로
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor을 2.13.0에서 2.13.3으로
    • com.fasterxml.jackson.datatype.jackson-datatype-joda를 2.13.0에서 2.13.3으로
    • com.fasterxml.jackson.module.jackson-module-paranamer를 2.13.0에서 2.13.3으로
    • com.fasterxml.jackson.module.jackson-module-scala_2.12를 2.13.0에서 2.13.3으로
    • com.google.crypto.tink.tink를 1.6.0에서 1.6.1로
    • com.ning.compress-lzf를 1.0.3에서 1.1로
    • dev.ludovic.netlib.arpack를 2.2.0에서 2.2.1로
    • dev.ludovic.netlib.blas를 2.2.0에서 2.2.1로
    • dev.ludovic.netlib.lapack를 2.2.0에서 2.2.1로
    • io.netty.netty-all을 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-buffer를 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-codec을 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-common을 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-handler를 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-resolver를 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-tcnative-classes를 2.0.46.Final에서 2.0.48.Final로
    • io.netty.netty-transport를 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-transport-classes-epoll을 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-transport-classes-kqueue를 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-transport-native-epoll-linux-aarch_64를 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-transport-native-epoll-linux-x86_64를 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-transport-native-kqueue-osx-aarch_64를 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-transport-native-kqueue-osx-x86_64를 4.1.73.Final에서 4.1.74.Final로
    • io.netty.netty-transport-native-unix-common을 4.1.73.Final에서 4.1.74.Final로
    • joda-time.joda-time을 2.10.12에서 2.10.13으로
    • org.apache.commons.commons-math3을 3.4.1에서 3.6.1로
    • org.apache.httpcomponents.httpcore를 4.4.12에서 4.4.14로
    • org.apache.orc.orc-core를 1.7.3에서 1.7.4로
    • org.apache.orc.orc-mapreduce를 1.7.3에서 1.7.4로
    • org.apache.orc.orc-shims를 1.7.3에서 1.7.4로
    • org.eclipse.jetty.jetty-client를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-continuation을 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-http를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-io를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-jndi를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-plus를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-proxy를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-security를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-server를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-servlet를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-servlets를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-util을 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-util-ajax를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-webapp을 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.jetty-xml을 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.websocket.websocket-api를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.websocket.websocket-client를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.websocket.websocket-common을 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.websocket.websocket-server를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.eclipse.jetty.websocket.websocket-servlet를 9.4.43.v20210629에서 9.4.46.v20220331로
    • org.mariadb.jdbc.mariadb-java-client를 2.2.5에서 2.7.4로
    • org.postgresql.postgresql을 42.2.19에서 42.3.3으로
    • org.roaringbitmap.RoaringBitmap을 0.9.23에서 0.9.25로
    • org.roaringbitmap.shims를 0.9.23에서 0.9.25로
    • org.rocksdb.rocksdbjni를 6.20.3에서 6.24.2로
    • org.slf4j.jcl-over-slf4j를 1.7.32에서 1.7.36으로
    • org.slf4j.jul-to-slf4j를 1.7.32에서 1.7.36으로
    • org.slf4j.slf4j-api를 1.7.30에서 1.7.36로

Apache Spark

Databricks Runtime 11.0에는 Apache Spark 3.3.0이 포함됩니다.

이 섹션의 내용:

Spark SQL 및 Core

ANSI 모드

  • ANSI 모드의 새 명시적 캐스팅 구문 규칙(SPARK-33354)
  • Elt()는 ANSI 모드에서 인덱스가 Null인 경우 Null을 반환해야 함(SPARK-38304)
  • 배열/맵에 요소가 없으면 선택적으로 null 결과를 반환함(SPARK-37750)
  • 숫자 형식과 타임스탬프 형식 간에 캐스팅 허용(SPARK-37714)
  • 기본적으로 ANSI 예약 키워드 사용 안 함(SPARK-37724)
  • 함수 호출 확인에 저장소 할당 규칙 사용(SPARK-37438)
  • Datetime 및 Numeric 사이의 캐스팅을 허용하는 구성 추가(SPARK-37179)
  • 선택적으로 ANSI 예약 키워드를 적용하는 구성 추가(SPARK-37133)
  • Interval과 String 리터럴 간에 이진 작업 허용 안 함(SPARK-36508)

기능 향상

  • ANSI SQL INTERVAL 형식 지원(SPARK-27790)
  • 오류 메시지 개선 사항(SPARK-38781)
  • Spark SQL의 숨겨진 파일 메타데이터 지원(SPARK-37273)
  • 원시 문자열 리터럴 지원(SPARK-36371)
  • 일괄 처리 Dataset.observe()에 대한 도우미 클래스(SPARK-34806)
  • 리밸런스를 위해 초기 파티션 번호 지정 지원(SPARK-38410)
  • dropNamespace API에 대한 계단식 모드 지원(SPARK-37929)
  • 날짜/시간 형식 간에 저장소 할당 및 암시적 캐스트 허용(SPARK-37707)
  • 첫 번째 및 마지막 수집은 결정적 집계 함수여야 함(SPARK-32940)
  • 복잡한 오버로드가 있는 함수에 대한 ExpressionBuilder 추가(SPARK-37164)
  • 이름으로 공용 구조체에 배열 지원 추가(SPARK-36546)
  • df.withMetadata 추가: 데이터 프레임의 메타데이터를 업데이트하는 구문 suger(SPARK-36642)
  • 원시 문자열 리터럴 지원(SPARK-36371)
  • 기본 패턴을 사용한 날짜/타임스탬프 구문 분석에 CAST 사용(SPARK-36418)
  • 데이터 세트에 대한 중첩 스키마에 값 클래스 지원(SPARK-20384)
  • AS OF 구문 지원 추가(SPARK-37219)
  • TABLESAMPLE에 REPEATABLE을 추가하여 시드 지정(SPARK-37165)
  • 현재 카탈로그를 변경하는 ansi 구문 set catalog xxx 추가(SPARK-36841)
  • ILIKE (ALL | ANY | SOME) 지원 - 대/소문자를 구분하지 않는 LIKE(SPARK-36674, SPARK-36736, SPARK-36778)
  • 지원 쿼리 단계는 형식화된 설명 모드에서 런타임 통계 표시(SPARK-38322)
  • 정렬 병합 조인에 대한 스필 크기 메트릭 추가(SPARK-37726)
  • SHOW FUNCTIONS의 SQL 구문 업데이트(SPARK-37777)
  • DROP COLUMN [IF EXISTS] 구문 지원(SPARK-38939)
  • 새로운 기본 제공 함수 및 해당 확장(SPARK-38783)

성능 향상

  • 전체 단계 코드 생성
    • 그룹화 키 없이 집계 정렬을 위한 code-gen 추가(SPARK-37564)
    • 전체 외부 정렬 병합 조인을 위한 code-gen 추가(SPARK-35352)
    • 전체 외부 섞인 해시 조인에 대한 code-gen 추가(SPARK-32567)
    • 존재 정렬 병합 조인을 위한 code-gen 추가(SPARK-37316)
  • 푸시다운(필터)
    • RebalancePartitions를 통한 푸시다운 필터(SPARK-37828)
    • 푸시다운 부울 열 필터(SPARK-36644)
    • 조인 조건이 비어 있는 경우 왼쪽 semi/anti 조인의 오른쪽에 대한 푸시다운 제한 1(SPARK-37917)
    • 푸시다운에 대한 더 많은 표준 집계 함수 변환(SPARK-37527)
    • 집계/공용 구조체를 통한 빈 관계 전파 지원(SPARK-35442)
    • 행 수준 런타임 필터링(SPARK-32268)
    • 행 수준 런타임 필터에서 왼쪽 세미 조인 지원(SPARK-38565)
    • 중복 제거된 CTE에 대한 조건자 푸시다운 및 열 정리 지원(SPARK-37670)
  • 벡터화
    • ConstantColumnVector 구현 및 숨김 파일 메타데이터의 성능 개선(SPARK-37896)
    • VectorizedPlainValuesReader.readBooleans에 대한 벡터화된 읽기 사용(SPARK-35867)
  • 노드 결합/제거/바꾸기
    • 공용 구조체 간 프로젝트가 있는 경우 공용 구조체 결합(SPARK-37915)
    • 두 개의 캐스트를 안전하게 업캐스팅할 수 있으면 하나의 캐스트로 결합(SPARK-37922)
    • RepartitionByExpression의 자식 항목인 경우 정렬 제거(SPARK-36703)
    • 별칭이 있는 스트리밍된 쪽에 DISTINCT만 있는 경우 외부 조인 제거(SPARK-37292)
    • 자식 항목이 이미 정렬된 경우 해시를 정렬 집계로 바꾸기(SPARK-37455)
    • 고가의 식을 복제하지 않는 경우에만 프로젝트 축소(SPARK-36718)
    • RewritePredicateSubquery 이후 중복 별칭 제거(SPARK-36280)
    • 상관 관계가 없는 스칼라 하위 쿼리 병합(SPARK-34079)
  • 분할
    • 정적 파티션 정리가 있는 경우 동적 파티션 정리 추가 안 함(SPARK-38148)
    • Optimizer 규칙에서 RebalancePartitions 개선(SPARK-37904)
    • 파티션 재조정을 위한 작은 파티션 인수 추가(SPARK-37357)
  • 가입
    • DynamicJoinSelection에서 브로드캐스트 해시 조인을 강등하도록 논리 미세 조정(SPARK-37753)
    • SEMI/ANTI 순서가 섞인 해시 조인에 대한 관계를 빌드할 경우 중복 조인 키 무시(SPARK-36794)
    • 추가 순서 섞기 도입이 있더라도 기울어진 조인 최적화 지원(SPARK-33832)
  • AQE
    • AQE 최적화 프로그램의 제한 제거 지원(SPARK-36424)
    • 일반 및 AQE Optimizer에서 하나의 행 계획 최적화(SPARK-38162)
  • Aggregate.groupOnly에서 접을 수 있는 식 지원(SPARK-38489)
  • ByteArrayMethods arrayEquals는 정렬되지 않은 플랫폼에서 정렬 검사를 빠르게 건너뛰어야 함(SPARK-37796)
  • CTESubstitution 규칙에 트리 패턴 정리 추가(SPARK-37379)
  • 더 많은 Not 연산자 단순화 추가(SPARK-36665)
  • UnwrapCastInBinaryComparison에서 BooleanType 지원(SPARK-36607)
  • null을 허용하지 않는 첫 번째 식 이후의 drop all 식 병합(SPARK-36359)
  • 논리적 플랜 방문자를 추가하여 고유 특성 전파(SPARK-36194)

기본 제공 커넥터 개선 사항

  • 일반
    • 데이터 원본에서 datetime의 Lenient serialization(SPARK-38437)
    • create/alter 테이블에서 경로의 첫 문자가 슬래시일 때 테이블 위치를 절댓값으로 처리(SPARK-38236)
    • 빈 정적 번호 형식 파티션에서 선행 0 제거(SPARK-35561)
    • 데이터 원본 옵션에서 ignoreCorruptFiles 및 ignoreMissingFiles 지원(SPARK-38767)
    • SHOW CATALOGS 명령 추가(SPARK-35973)
  • 쪽모이 세공 마루
    • 필드 ID별로 일치하는 스키마 열 이름 사용(SPARK-38094)
    • parquet에서 데이터를 읽고 쓸 때 확인 필드 이름 제거(SPARK-27442)
    • Parquet DataPage V2에서 RLE 인코딩을 사용하는 벡터화된 읽기 부울 값 지원(SPARK-37864)
    • 벡터화된 경로에 대한 Parquet v2 데이터 페이지 인코딩(DELTA_BINARY_PACKED) 지원(SPARK-36879)
    • Parquet/Avro 메타데이터에 저장된 세션 표준 시간대의 타임스탬프 다시 지정(SPARK-37705)
    • 집계의 파티션 열별 푸시다운 그룹(SPARK-36646)
    • Parquet에 대한 집계(최소/최대/개수) 푸시다운(SPARK-36645)
    • Parquet: 필드 ID별로 일치하는 스키마 열 사용(SPARK-38094)
    • G1GC 및 ON_HEAP이 사용되는 경우 LONG_ARRAY_OFFSET으로 기본 페이지 크기 축소(SPARK-37593)
    • Parquet V2 지원을 위한 벡터화된 DELTA_BYTE_ARRAY 및 DELTA_LENGTH_BYTE_ARRAY 인코딩 구현(SPARK-37974)
    • Parquet 벡터화된 판독기에 대한 복합 형식 지원(SPARK-34863)
  • 오크
    • Orc에서 기존 데이터 읽기/쓰기 시 검사 필드 이름 제거(SPARK-37965)
    • ORC에 대한 집계 푸시다운(SPARK-34960)
    • ORC 데이터 원본 간의 ANSI 간격 읽기 및 쓰기 지원(SPARK-36931)
    • ORC 데이터 원본에서 숫자 전용 열 이름 지원(SPARK-36663)
  • JSON
    • JSON 판독기에서 인용된 NaN 및 Infinity 값을 구문 분석할 때 allowNonNumericNumbers 준수(SPARK-38060)
    • 기본적으로 CSV/JSON에서 날짜/시간에 CAST 사용(SPARK-36536)
    • Json 판독기에서 MapType에 지원되지 않는 키 형식에 대한 오류 메시지 정렬(SPARK-35320)
  • Csv
    • CSV에서 손상된 레코드 열 참조 수정(SPARK-38534)
    • null 값은 기본적으로 따옴표로 묶인 빈 문자열 "" 대신 아무것도 아닌 것으로 저장되어야 함(SPARK-37575)
  • Jdbc
    • DB2 언어 잘림 구현에 IMMEDIATE 문 추가(SPARK-30062)
  • 하이브
    • Hive 버킷 테이블(Hive 해시를 사용하는 Hive 파일 형식) 작성 지원(SPARK-32712)
    • 식을 사용하여 클라이언트 쪽에서 Hive 파티션 필터링(SPARK-35437)
    • HiveTableScanExec에 대한 동적 파티션 정리 지원(SPARK-36876)
    • InsertIntoHiveDir은 컨버터블인 경우 데이터 원본을 사용해야 함(SPARK-38215)
    • Hive 버킷 테이블(Hive 해시가 있는 Parquet/ORC 형식) 작성 지원(SPARK-32709)

Node 서비스 해제

  • FallbackStorage는 임의의 "remote" 호스트 이름을 확인하려고 시도하면 안 됨(SPARK-38062)
  • ExecutorMonitor.onExecutorRemoved는 ExecutorDecommission을 완료된 것으로 처리해야 함(SPARK-38023)

기타 주목할 만한 변경 내용

  • BlockInfoManager에 세분화된 잠금 추가(SPARK-37356)
  • 사용자 지정 YARN 리소스 종류에 대한 Spark gpu/fpga 리소스 종류 매핑 지원(SPARK-37208)
  • 기울어진 경우 정확한 순서 섞기 블록 크기 보고(SPARK-36967)
  • 네트워크 계층에서 Netty Logging 지원(SPARK-36719)

구조적 스트리밍

주요 기능

  • 여러 일괄 처리에서 Trigger.Once와 같은 스트리밍 쿼리를 실행하기 위한 Trigger.AvailableNow 도입(SPARK-36533)

기타 주목할 만한 변경 내용

  • 이전 버전과의 호환성을 위해 상태 저장 연산자에서 StatefulOpClusteredDistribution 사용(SPARK-38204)
  • 키에 대한 데이터를 사용하여 flatMapGroupsWithState 시간 제한을 일괄 처리로 수정(SPARK-38320)
  • RocksDB 상태 저장소 공급자를 사용한 스트림-스트림 외부 조인의 정확성 문제 해결(SPARK-38684)
  • Kafka 데이터 원본에서 Trigger.AvailableNow 지원(SPARK-36649)
  • RocksDB 상태 저장소 공급자에서 쓰기 경로 최적화(SPARK-37224)
  • 마이크로 일괄 처리당 일관된 행 세트를 제공하기 위한 새로운 데이터 원본 도입(SPARK-37062)
  • 이전 버전과의 호환성을 위해 상태 저장 연산자에서 HashClusteredDistribution 사용(SPARK-38204)

PySpark

Spark 기반 Pandas API

주요 개선 사항
  • 기본값인 'distributed-sequence' 인덱스 최적화(SPARK-36559, SPARK-36338)
    • Spark의 pandas API에서 인덱스 유형 및 이름 지정 지원(SPARK-36709)
    • Spark의 pandas API에 대한 SQL 플랜의 기본 인덱스 형식 표시(SPARK-38654)
주요 기능

기타 주목할 만한 변경 내용

호환성이 손상되는 변경
  • docs 및 python/docs에서 Python 3.6 지원에 대한 참조 삭제(SPARK-36977)
  • 기본 제공 pickle을 cloudpickle로 대체하여 namedtuple hack 제거(SPARK-32079)
  • 최소 pandas 버전을 1.0.5로 범프(SPARK-37465)
  • 주요 개선 사항
    • Python/Pandas UDF용 프로파일러 제공(SPARK-37443)
    • PySpark에서 SQL API에 Python의 표준 문자열 포맷터 사용(SPARK-37516)
    • PySpark 예외에서 SQL 상태 및 오류 클래스 노출(SPARK-36953)
    • Python 작업자가 충돌할 때 faulthanlder 캡처 시도(SPARK-36062)
주요 기능
  • Python에서 DataFrame.mapInArrow 구현(SPARK-37228)
  • PySpark에서 SQL API에 Python의 표준 문자열 포맷터 사용(SPARK-37516)
  • df.withMetadata pyspark API 추가(SPARK-36642)
  • Python의 timedelta 지원(SPARK-37275)
  • pyspark.sql.catalog에서 tableExists 노출(SPARK-36176)
  • pyspark.sql.catalog에서 databaseExists 노출(SPARK-36207)
  • pyspark sql 카탈로그에서 functionExists 노출(SPARK-36258)
  • PySpark에 Dataframe.observation 추가(SPARK-36263)
  • PySpark에 max_by/min_by API 추가(SPARK-36972)
  • DataFrame을 만들 때 중첩된 사전을 구조체로 유추하도록 지원(SPARK-35929)
  • Scala, Python 및 R에 bit/octet_length API 추가(SPARK-36751)
  • Python에서 ILIKE API 지원(SPARK-36882)
  • Python DataFrame API에 대한 isEmpty 메서드 추가(SPARK-37207)
  • 여러 열을 추가하여 지원 추가(SPARK-35173)
  • PySpark에서 SparkContext.addArchive 추가(SPARK-38278)
  • sql type reprs를 평가 가능하게 만들기(SPARK-18621)
  • python/pyspark/mllib의 fpm.py에 대한 인라인 형식 힌트(SPARK-37396)
  • SeriesGroupBy.value_counts의 dropna 매개 변수 구현(SPARK-38837)

MLLIB

주요 기능

  • trainKMeansModel에 distanceMeasure 매개 변수 추가(SPARK-37118)
  • KMeans et al do와 같은 LogisticRegression.setInitialModel 노출(SPARK-36481)
  • CrossValidatorModel이 각 paramMap에 대한 메트릭의 표준 편차를 가져오도록 지원(SPARK-36425)

주요 개선 사항

  • 할당을 지연하여 MLlib에서 일부 treeAggregate 최적화(SPARK-35848)
  • _shared_params_code_gen.py를 ml/param/shared.py에 대한 인라인 형식 힌트로 다시 작성(SPARK-37419)

기타 주목할 만한 변경 내용

SparkR

UI

  • 단계 수준의 추측 메트릭 요약(SPARK-36038)
  • StagePage에서 읽기 페치 대기 시간을 섞는 통합 순서 섞기 읽기 블록 시간(SPARK-37469)
  • UI에서 SQL 실행을 위해 수정된 구성 추가(SPARK-34735)
  • ThriftServer가 spark.sql.redaction.string.regex를 인식하도록 함(SPARK-36400)
  • 애플리케이션이 UI에서 시작된 후 처리기 연결 및 시작(SPARK-36237)
  • SQL 탭의 그래프 노드에 커밋 기간 추가(SPARK-34399)
  • Spark 기록 서버에서 RocksDB 백 엔드 지원(SPARK-37680)
  • UI에 Spark의 Pandas API에 대한 옵션 표시(SPARK-38656)
  • SQL UI 페이지에서 'SQL'의 이름을 'SQL/DataFrame'으로 바꾸기(SPARK-38657)

빌드

유지 관리 업데이트

Databricks Runtime 11.0(지원되지 않음)을 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
Antergos Linux 2015.10(ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.4 distro-info 0.23ubuntu1
entrypoints 0.3 facets-overview 1.0.0 filelock 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 Notebook 6.4.5
numpy 1.20.3 패키징 21.0 pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 requests 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 six 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 terminado 0.9.4
testpath 0.5.0 threadpoolctl 2.2.0 tornado 6.1
traitlets 5.1.0 unattended-upgrades 0.1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
wheel 0.37.0 widgetsnbextension 3.6.0

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2022-05-06)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.8.0
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
캐럿 6.0-92 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 데이터 세트 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
줄임표 0.3.2 evaluate 0.15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.25.0
future.apply 1.9.0 gargle 1.2.0 제네릭(generics) 0.1.2
gert 1.6.0 ggplot2 3.3.6 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.5.0
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
ID 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 knitr 1.39
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.6.10 주기 1.0.1 listenv 0.8.0
lubridate 1.8.0 magrittr 2.0.3 markdown 1.1
MASS 7.3-56 행렬 1.4-1 memoise 2.0.1
메서드 4.1.3 mgcv 1.8-40 mime 0.12
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 parallelly 1.31.1
pillar 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.5.3 prodlim 2019.11.13 진행률 1.2.2
progressr 0.10.0 promises 1.2.0.1 proto 1.0.0
프록시 0.4-26 ps 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 recipes 0.2.0 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.2 reprex 2.0.1
reshape2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.2
sass 0.4.1 scales 1.2.0 selectr 0.4-2
sessioninfo 1.2.2 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
spatial 7.3-11 splines 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 통계 4.1.3 stats4 4.1.3
stringi 1.76 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.38
tools 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0.4 withr 2.5.0
xfun 0.30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy 아이비 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1