Databricks Runtime 12.0(지원되지 않음)

  • 아티클

다음 릴리스 정보는 Apache Spark 3.3.1에서 제공하는 Databricks Runtime 12.0에 대한 정보를 제공합니다.

Databricks는 2022년 12월에 이 이미지를 릴리스했습니다.

새로운 기능 및 향상 기능

예측 I/O는 GA입니다.

이제 예측 I/O를 일반적으로 사용할 수 있습니다. 자세한 내용은 예측 I/O란?을 참조하세요.

광자 작성기가 zstd 압축을 지원합니다.

이제 Photon 네이티브 작성기가 zstd를 사용하도록 설정 spark.sql.parquet.compression.codec 하여 zstd 압축 코덱을 지원합니다 zstd.

독립 실행형 클러스터에 대한 단계 수준 작업 리소스 프로필 지원

이제 동적 할당을 사용하지 않도록 설정한 경우 독립 실행형 클러스터에서 단계 수준 예약을 사용할 수 있습니다. 이 기능을 사용하려면 각 단계에 대해 ResourceProfileBuilder로 작업 리소스를 지정합니다.

REPLACE WHERE를 사용하여 선택적 덮어쓰기를 위한 SQL 지원

이제 다음 패턴을 사용하여 Delta 테이블의 임의 식과 일치하는 데이터를 선택적으로 덮어쓸 수 있습니다.

INSERT INTO table_name REPLACE WHERE predicate append_relation

replaceWhere를 사용하여 임의 선택적 덮어쓰기를 참조하세요.

이제 SQL에서 워터마크가 지원됩니다.

이제 Delta Live Tables SQL 인터페이스 및 스트리밍 DataFrame에 대한 SQL 쿼리에서 워터마크를 지정할 수 있습니다. WATERMARK 절을 참조하세요.

PySpark 메모리 프로파일링

이제 PySpark 사용자 정의 함수에 대해 메모리 프로파일링을 사용하도록 설정되었습니다. 이렇게 하면 사용자 정의 함수의 각 코드 줄에 대한 메모리 증가, 메모리 사용량 및 발생 횟수에 대한 정보가 제공됩니다.

DELETE 및 UPDATE에 대한 동적 정리

Photon 지원 컴퓨팅 DELETEUPDATE 을 사용하는 경우 이제 동적 파일 및 파티션 정리를 사용하여 성능을 향상시킵니다. 예를 들어 더 작은 원본 테이블을 사용하여 더 큰 테이블의 행을 업데이트하거나 삭제할 때 동적 정리를 사용할 수 있습니다.

분할된 데이터 조작 언어 작업에 대한 행 수준 삭제 메트릭

분할된 조건자를 사용하여 사용자는 이제 DELETE, TRUNCATE 및 replaceWhere와 같은 DML(데이터 조작 언어) 작업을 실행할 때 삭제되는 행 수를 감사할 수 있습니다.

버그 수정

모든 열이 문자열로 남아 있는 자동 로더의 JSON 구문 분석 문제를 해결했습니다. 이전에는 cloudFiles.inferColumnTypes가 설정되거나 false로 설정되지 않았으며 JSON에 중첩된 개체가 포함되어 있었습니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • argon2-cffi를 20.1.0에서 21.3.0으로
    • attrs를 21.2.0에서 21.4.0으로
    • backports.entry-points-selectable을 1.1.1에서 1.2.0으로
    • bleach를 4.0.0에서 4.1.0으로
    • boto3을 1.21.18에서 1.21.32로
    • botocore를 1.24.18에서 1.24.32로
    • cffi를 1.14.6에서 1.15.0으로
    • click을 8.0.3에서 8.0.4로 클릭
    • cycler를 0.10.0에서 0.11.0으로
    • Cython을 0.29.24에서 0.29.28로
    • debugpy를 1.4.1에서 1.5.1로
    • decorator를 5.1.0에서 5.1.1로
    • entrypoints를 0.3에서 0.4로
    • idna를 3.2에서 3.3으로
    • ipykernel을 6.12.1에서 6.15.3으로
    • ipython을 7.32.0에서 8.5.0으로
    • ipywidgets를 7.7.0에서 7.7.2로
    • jedi를 0.18.0에서 0.18.1로
    • joblib을 1.0.1에서 1.1.0으로
    • jsonschema를 3.2.0에서 4.4.0으로
    • kiwisolver를 1.3.1에서 1.3.2로
    • matplotlib를 3.4.3에서 3.5.1로
    • nbclient를 0.5.3에서 0.5.13으로
    • nbconvert를 6.1.0에서 6.4.4로
    • nbformat을 5.1.3에서 5.3.0으로
    • nest-asyncio를 1.5.1에서 1.5.5로
    • Notebook을 6.4.5에서 6.4.8로
    • numpy를 1.20.3에서 1.21.5로
    • packaging을 21.0에서 21.3으로
    • pandas를 1.3.4에서 1.4.2로
    • pandocfilters를 1.4.3에서 1.5.0로
    • parso를 0.8.2에서 0.8.3으로
    • Pillow를 8.4.0에서 9.0.1로
    • platformdirs를 2.5.2에서 2.5.4로
    • plotly를 5.9.0에서 5.6.0으로
    • prometheus-client를 0.11.0에서 0.13.1로
    • protobuf를 4.21.5에서 3.19.4로
    • pycparser를 2.20에서 2.21로
    • Pygments를 2.10.0에서 2.11.2로
    • pyodbc를 4.0.31에서 4.0.32로
    • pyzmq를 22.2.1에서 22.3.0으로
    • requests를 2.260에서 2.27.1로
    • s3transfer를 0.5.2에서 0.5.0으로
    • scikit-learn을 0.24.2에서 1.0.2로
    • scipy을 1.7.1에서 1.7.3으로
    • statsmodels를 0.12.2에서 0.13.2로
    • terminado를 0.9.4에서 0.13.1로
    • tomli를 2.0.1에서 1.2.2로
    • traitlet을 5.1.0에서 5.1.1로
    • urllib3을 1.26.7에서 1.26.9로
    • widgetsnbextension을 3.6.0에서 3.6.1로
  • 업그레이드된 R 라이브러리:
    • base를 4.1.3에서 4.2.2로
    • brew를 1.0-7에서 1.0-8로
    • bslib를 0.4.0에서 0.4.1로
    • callr를 3.7.2에서 3.7.3으로
    • chron을 2.3-57에서 2.3-58로
    • cli를 3.3.0에서 3.4.1로
    • cluster를 2.1.3에서 2.1.4로
    • commonmark를 1.8.0에서 1.8.1로
    • compiler를 4.1.3에서 4.2.2로
    • cpp11을 0.4.2에서 0.4.3로
    • crayon을 1.5.1에서 1.5.2로
    • curl을 4.3.2에서 4.3.3으로
    • data.table을 1.14.2에서 1.14.4로
    • datasets를 4.1.3에서 4.2.2로
    • desc를 1.4.1에서 1.4.2로
    • devtools를 2.4.4에서 2.4.5로
    • digest를 0.6.29에서 0.6.30로
    • e1071을 1.7-11에서 1.7-12로
    • evaluate를 0.16에서 0.18로
    • fontawesome을 0.3.0에서 0.4.0으로
    • future를 1.28.0에서 1.29.0으로
    • future.apply를 1.9.1에서 1.10.0으로
    • gargle을 1.2.0에서 1.2.1로
    • gert를 1.8.0에서 1.9.1로
    • ggplot2를 3.3.6에서 3.4.0으로
    • gh를 1.3.0에서 1.3.1로
    • gitcreds를 0.1.1에서 0.1.2로
    • graphics를 4.1.3에서 4.2.2로
    • grDevices를 4.1.3에서 4.2.2로
    • grid를 4.1.3에서 4.2.2로
    • httpuv를 1.6.5에서 1.6.6으로
    • isoband를 0.2.5에서 0.2.6으로
    • jsonlite를 1.8.0에서 1.8.3으로
    • lava를 1.6.10에서 1.7.0으로
    • lifecycle을 1.0.1에서 1.0.3으로
    • lubridate를 1.8.0에서 1.9.0으로
    • markdown을 1.1에서 1.3으로
    • MASS를 7.3-56에서 7.3-58로
    • Matrix를 1.4-1에서 1.5-1로
    • methods를 4.1.3에서 4.2.2로
    • mgcv를 1.8-40에서 1.8-41로
    • nlme를 3.1-157에서 3.1-160으로
    • nnet를 7.3-17에서 7.3-18로
    • openssl을 2.0.2에서 2.0.4로
    • parallel을 4.1.3에서 4.2.2로
    • pkgload를 1.3.0에서 1.3.1로
    • processx를 3.7.0에서 3.8.0으로
    • ps를 1.7.1에서 1.7.2로
    • purrr를 0.3.4에서 0.3.5로
    • ragg를 1.2.2에서 1.2.4로
    • RcppEigen을 0.3.3.9.2에서 0.3.3.9.3으로
    • readr를 2.1.2에서 2.1.3으로
    • recipes를 1.0.1에서 1.0.3로
    • rlang을 1.0.5에서 1.0.6으로
    • rmarkdown을 2.16에서 2.18로
    • rpart를 4.1.16에서 4.1.19로
    • RSQLite를 2.2.16에서 2.2.18로
    • shiny를 1.7.2에서 1.7.3으로
    • SparkR 3.3.0에서 3.3.1로
    • splines를 4.1.3에서 4.2.2로
    • stats를 4.1.3에서 4.2.2으로
    • stats4를 4.1.3에서 4.2.2로
    • sys를 3.4에서 3.4.1로
    • tcltk를 4.1.3에서 4.2.2로
    • testthat을 3.1.4에서 3.1.5로
    • tidyr을 1.2.0에서 1.2.1로
    • tidyselect를 1.1.2에서 1.2.0으로
    • timeDate를 4021.104에서 4021.106으로
    • tinytex를 0.41에서 0.42으로
    • tools를 4.1.3에서 4.2.2로
    • utils를 4.1.3에서 4.2.2로
    • vctrs를 0.4.1에서 0.5.0으로
    • vroom을 1.5.7에서 1.6.0으로
    • xfun을 0.32에서 0.34로
    • yaml을 2.3.5에서 2.3.6으로
    • zip을 2.2.0에서 2.2.2로
  • 업그레이드된 Java 라이브러리:
    • com.fasterxml.jackson.core.jackson-databind를 2.13.4에서 2.13.4.2로
    • org.apache.parquet.parquet-column을 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.parquet.parquet-common을 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.parquet.parquet-encoding을 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.parquet.parquet-format-structures를 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.parquet.parquet-hadoop을 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.parquet.parquet-jackson을 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.yetus.audience-annotations를 0.5.0에서 0.13.0으로

Apache Spark

Databricks Runtime 12.0에는 Apache Spark 3.3.1이 포함됩니다. 이 릴리스에는 다음과 같은 Databricks Runtime 11.3 LTS에 포함된 모든 Spark 수정 및 향상된 기능과 Spark에 대한 추가 버그 수정 및 향상된 기능이 포함되어 있습니다.

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] “[SC-113542][SS] Kafka 오프셋 페치 구성의 기본값 대칭 이동” 되돌리기
  • [SPARK-40646] [SC-116061] “[SC-113379][SQL] JSON 데이터 원본 및 JSON 함수에서 부분 결과 반환 수정” 되돌리기
  • [SPARK-41195] [SC-116305][SQL] 조인 자식 요소가 있는 PIVOT/UNPIVOT 지원
  • [SPARK-41178] [SC-116139][SQL] JOIN과 쉼표 사이의 파서 규칙 우선 순위 수정
  • [SPARK-41072] [SC-116140][SC-116044][SC-115852][SQL][SS] 오류 클래스 STREAM_FAILED를 StreamingQueryException에 추가
  • [SPARK-40921] 되돌리기 “[SC-115140][SC-114585][SQL] MERGE INTO에 WHEN NOT MATCHED BY SOURCE 절 추가
  • [SPARK-37980] [SC-115758] [SQL] Parquet 파일에 대한 행 인덱스를 지원하도록 METADATA 열 확장
  • [SPARK-41055] [SC-115582][SQL] 이름 _LEGACY_ERROR_TEMP_2424를 GROUP_BY_AGGREGATE로 변경
  • [SPARK-41101] [SC-115849][PYTHON][PROTOBUF] PYSPARK-PROTOBUF에 대한 메시지 클래스 이름 지원
  • [SPARK-40956] [SC-115867] 데이터 프레임 덮어쓰기 명령에 해당하는 SQL
  • [SPARK-41095] [SC-115659][SQL] 해결되지 않은 연산자를 내부 오류로 변환
  • [SPARK-41144] [SC-115866][SQL] 해결되지 않은 힌트는 쿼리 오류를 일으키지 않아야 함
  • [SPARK-41137] [SC-115858][SQL] 이름 변경 LATERAL_JOIN_OF_TYPEINVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][SQL] 오류 클래스 이름 _LEGACY_ERROR_TEMP_0040을 INVALID_IDENTIFIER로 변경
  • [SPARK-41015] [SC-115130][SQL][PROTOBUF] 데이터 생성기에 대한 UnitTest null 검사
  • [SPARK-40769] [SC-114923][CORE][SQL] 집계 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-41043] [SC-115183][SQL] 오류 클래스 이름 _LEGACY_ERROR_TEMP_2429를 NUM_COLUMNS_MISMATCH로 변경
  • [SPARK-40777] [SC-114855][SQL][PROTOBUF] Protobuf 가져오기 지원 및 이동 오류 클래스
  • [SPARK-41019] [SC-114987][SQL] 쿼리 컨텍스트를 failAnalysis()에 제공
  • [SPARK-41027] [SC-115131][SQL] MAP_FROM_ENTRIES_WRONG_TYPE 대신 UNEXPECTED_INPUT_TYPE 사용
  • [SPARK-40476] [SC-115868][SC-111163][ML][SQL] ALS의 순서 섞기 크기 줄이기
  • [SPARK-41134] [SC-115851][SQL] 내부 오류의 오류 메시지 개선
  • [SPARK-37980] 되돌리기 ” [SQL] Parquet 파일에 대한 행 인덱스를 지원하도록 METADATA 열 확장
  • [SPARK-41109] [SC-115788][SQL] 오류 클래스 이름 _LEGACY_ERROR_TEMP_1216을 INVALID_LIKE_PATTERN으로 변경
  • [SPARK-40984] [SC-115844][CORE][SQL] FRAME_LESS_OFFSET_WITHOUT_FOLDABLE 대신 NON_FOLDABLE_INPUT 사용
  • [SPARK-41029] [SC-115828][SQL] Scala 2.13에 대한 GenericArrayData의 생성자 사용 최적화
  • [SPARK-40697] [SC-113648][SQL] 외부 데이터 파일을 커버하는 읽기 쪽 문자 패딩 추가
  • [SPARK-40978] [SC-114574][SQL] 컨텍스트 없이 failAnalysis()를 오류 클래스로 마이그레이션
  • [SPARK-40663] [SC-114586][SQL] 실행 오류를 오류 클래스로 마이그레이션: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][SC-112707][SQL] DS V2: 행 수준 명령에서 런타임 그룹 필터링 지원
  • [SPARK-40372] [SC-115668][SQL] 배열 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-41038] [SC-115371][SQL] 이름 MULTI_VALUE_SUBQUERY_ERROR를 SCALAR_SUBQUERY_TOO_MANY_ROWS로 변경
  • [SPARK-40965] [SC-114443][SQL] 오류 클래스 이름 _LEGACY_ERROR_TEMP_1208 를 FIELD_NOT_FOUND로 변경
  • [SPARK-40748] [SC-114696][SQL] 조건의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40371] [SC-114557][SQL] NthValue 및 NTile의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-41092] [SC-115547][SQL] 간격 단위와 일치시키기 위해 식별자를 사용하지 않음
  • [SPARK-41009] [SC-115360][SQL] 오류 클래스 이름 _LEGACY_ERROR_TEMP_1070을 LOCATION_ALREADY_EXISTS로 변경
  • [SPARK-37980] [SQL] Parquet 파일에 대한 행 인덱스를 지원하도록 METADATA 열 확장
  • [SPARK-40967] [SC-114448][SQL] failAnalysis()를 오류 클래스로 마이그레이션
  • [SPARK-34265] [SC-115486][SC-113788][PYTHON][SQL] SQL 메트릭을 사용하여 Python UDF 계측
  • [SPARK-41012] [SC-114873][SQL] 이름 _LEGACY_ERROR_TEMP_1022를 ORDER_BY_POS_OUT_OF_RANGE로 변경
  • [SPARK-41042] [SC-115142][SQL] 이름 PARSE_CHAR_MISSING_LENGTH를 DATATYPE_MISSING_SIZE로 변경
  • [SPARK-40752] [SC-114442][SQL] 기타 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-37945] [SC-115534][SQL][CORE] 산술 연산의 실행 오류에서 오류 클래스 사용
  • [SPARK-40374] [SC-114705][SQL] 형식 작성자의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-41056] [SC-115354][R] R 4.2에 도입된 새로운 R_LIBS_SITE 동작 수정
  • [SPARK-41041] [SC-115357][SQL] _LEGACY_ERROR_TEMP_1279를 TABLE_OR_VIEW_ALREADY_EXISTS로 통합
  • [SPARK-40663] [SC-114852][SQL] 실행 오류를 오류 클래스로 마이그레이션: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][SQL] 오류 클래스 이름 _LEGACY_ERROR_TEMP_1019을 STAR_GROUP_BY_POS로 변경
  • [SPARK-41035] [SC-115233][SQL] RewriteDistinctAggregates에서 집계 함수의 접을 수 있는 자식 요소를 패치하지 않음
  • [SPARK-39778] [SC-114353][SQL] 오류 클래스 및 메시지 개선
  • [SPARK-40798] [SC-113782][SQL] 파티션 변경은 storeAssignmentPolicy 다음에 값을 확인해야 함
  • [SPARK-40810] [SC-113533] [SQL] CreateDatabaseCommand 및 AlterDatabaseSetLocationCommand에서 IllegalArgumentException 대신 SparkIllegalArgumentException 사용
  • [SPARK-40921] [SC-115140][SC-114585][SQL] MERGE INTO에 WHEN NOT MATCHED BY SOURCE 절 추가
  • [SPARK-40360] [SC-114965] ALREADY_EXISTS 및 NOT_FOUND 예외
  • [SPARK-41007] [SC-115085][SQL] java.math.BigInteger에 누락된 직렬 변환기 추가
  • [SPARK-40751] [SC-114254][SQL] 높은 순서 함수의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40248] [SC-114704][SQL] 많은 수의 비트를 사용하여 블룸 필터 빌드
  • [SPARK-41040] [SC-115145][SS] readStream.table을 사용할 때 자체 통합 스트리밍 쿼리 오류 수정
  • [SPARK-32380] [SC-114966][SQL] Spark에서 Hive를 통해 HBase 테이블 액세스 수정
  • [SPARK-40749] [SC-114860][SQL] 생성기의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40925] [SC-114445][SQL][SS][WARMFIX][12.x] 상태 저장 연산자 지연 수정…
  • [SPARK-40654] [SC-112783] 임시 로그 줄 제거
  • [SPARK-40742] [SC-114913][SC-112646][CORE][SQL] 제네릭 형식과 관련된 Java 컴파일 경고 수정
  • [SPARK-40657] [SC-113642][Cherry-pick] Protob에서 Java 클래스에 대한 지원 추가…
  • [SPARK-40898] [SC-113932][SQL] 데이터 형식 불일치 오류의 견적 함수 이름
  • [SPARK-40760] [SC-113750][SQL] 간격 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-36114] [SC-113771][SQL] 상관 관계가 있는 비평등 조건자가 있는 하위 쿼리 지원
  • [SPARK-40856] [SC-113738][SQL] WRONG_NUM_PARAMS 오류 템플릿 업데이트
  • [SPARK-40759] [SC-114251][SQL] 시간 창의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40750] [SC-113812][SQL] 수학 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40756] [SC-113749][SQL] 문자열 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40768] [SC-113640][SQL] bloom_filter_agg()의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40369] [SC-113402][CORE][SQL] 리플렉션을 통해 호출의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-39445] [SQL] 열 정리에서 windowExpressions가 비어 있는 경우 창을 제거합니다.
  • [SPARK-40761] [SC-113245][SQL] 백분위수 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40361] [SC-112789][SQL] 산술 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40714] [SC-112576][SQL] 제거 PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][SQL] 에서 파티션 사양 수정 PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][SQL] 컬렉션 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40910] [SC-114259][SQL] UnsupportedOperationException을 SparkUnsupportedOperationException으로 변경
  • [SPARK-39876] [SC-112429][SQL] SQL 구문에 UNPIVOT 추가
  • [SPARK-39783] [SC-113389][SQL] 오류 메시지에서 열 후보에 대한 백틱을 수정하기 위해 qualifiedName 인용
  • [SPARK-40663] [SC-112520][SQL] 실행 오류를 오류 클래스로 마이그레이션: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_0021 이름을 UNSUPPORTED_TYPED_LITERAL로 변경
  • [SPARK-37935] [SC-114472][SQL] 별도의 오류 하위 클래스 필드 제거
  • [SPARK-40944] [SC-114530][SQL] CREATE TABLE 열 옵션에 대한 순서 제약 조건 완화
  • [SPARK-40815] [SC-114528][SQL] 해결 SymlinkTextInputSplit 버그에 DelegateSymlinkTextInputFormat 추가
  • [SPARK-40933] [SC-114441][SQL] 기본 제공 sql 함수로 df.stat.{cov, corr} 다시 구현
  • [SPARK-40932] [SC-114439][CORE] allGather가 재정의되는 문제 메시지 수정
  • [SPARK-39312] [SQL] parquet 네이티브 사용 필터 푸시다운에 대한 조건자
  • [SPARK-40862] [SC-114352][SQL] RewriteCorrelatedScalarSubquery에서 집계되지 않은 하위 쿼리 지원
  • [SPARK-40963] [SC-114446][SQL] 에서 만든 프로젝트에서 nullable을 올바르게 설정 ExtractGenerator
  • [SPARK-40663] [SC-112295][SQL] 실행 오류를 오류 클래스로 마이그레이션: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][SQL][SS] window_time 규칙의 요구 사항 완화 - 여러 window_time 호출 허용
  • [SPARK-40540] [SC-111639][SQL] 컴파일 오류를 오류 클래스로 마이그레이션: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][SQL] 입력에 홀수의 기호가 있는 경우 Unhex 수정
  • [SPARK-40821] [SC-113754][SQL][CORE][PYTHON][SS] 창 열에서 이벤트 시간을 추출하는 window_time 함수 소개
  • [SPARK-40800] [SC-113772][SQL] OptimizeOneRowRelationSubquery의 항상 인라인 식
  • [SPARK-40900] [SC-114006][SQL] 데이터 프레임 작업으로 frequentItems 다시 구현
  • [SPARK-40735] [SC-114022][SC-112657] 코드를 더 이식하기 위해 스크립트에서 /usr/bin/env bash를 사용하여 bash를 일관되게 호출
  • [SPARK-40773] [SC-113091][SQL] checkCorrelationsInSubquery 리팩터링
  • [SPARK-40615] [SC-113400][SQL] 하위 쿼리를 디코릴레이트할 때 지원되지 않는 데이터 형식 확인
  • [SPARK-40660] [SC-112293][CORE][SQL] XORShiftRandom으로 전환하여 요소 배포
  • [SPARK-40540] [SC-113926][SC-111331][SQL] 컴파일 오류를 오류 클래스로 마이그레이션
  • [SPARK-40551] [SC-113135][SQL] DataSource V2: 델타 기반 행 수준 작업에 대한 API 추가
  • [SPARK-39391] [SC-110676][CORE] 파티셔너 클래스 다시 사용
  • [SPARK-40368] [SC-113396][SQL] 블룸 필터 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-39146] [SC-111814][CORE][SQL] 다시 사용할 수 있는ObjectMapper에 대해 로컬 싱글톤 소개
  • [SPARK-40357] [SC-113786][SC-111352][SQL] 창 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40874] [SC-113756][PYTHON] 암호화를 사용할 때 Python UDF에서 브로드캐스트 수정
  • [SPARK-40359] [SC-113770][SC-111146][SQL] CSV/JSON 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40880] [SC-113764][SQL] 데이터 프레임 작업으로 summary 다시 구현
  • [SPARK-40877] [SC-113763][SQL] 데이터 프레임 작업으로 crosstab 다시 구현
  • [SPARK-40382] [SC-113098][SQL] RewriteDistinctAggregates의 의미상 동등한 자식별 고유 집계 식 그룹화
  • [SPARK-40826] [SC-113532][SS] 추가 검사점 파일 이름 변경 확인 추가
  • [SPARK-40829] [SC-113426][SQL] CREATE TABLE LIKE의 STORED AS serde가 작동하지 않음
  • [SPARK-40844] [SC-113542][SS] Kafka 오프셋 페치 구성의 기본값 대칭 이동
  • [SPARK-40488] [SC-113568][SC-111160] 데이터 원본 쓰기가 실패할 때 throw된 예외를 래핑하지 않음
  • [SPARK-40560] [SC-113631][SC-111335][SQL] 오류 형식 STANDARD에서 message를 messageTemplate으로 이름 변경
  • [SPARK-40618] [SC-113096][SQL] 참조 추적을 사용하여 중첩된 하위 쿼리가 있는 MergeScalarSubqueries 규칙의 버그 수정
  • [SPARK-40530] [SC-113528][SC-111332][SQL] 오류 관련 개발자 API 추가
  • [SPARK-40806] [SC-113250][SQL] 오타 수정: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][SQL] JSON 데이터 원본 및 JSON 함수에서 부분 결과 반환 수정
  • [SPARK-40654] [Cherry-pick][SC-112783][SQL] Spark에 대한 Protobuf 지원 - 에서…
  • [SPARK-40753] [SC-113539][SQL] 카탈로그 디렉터리 작업에 대한 테스트 사례의 버그 수정
  • [SPARK-40765] [SC-113056][SQL] CommandUtils#calculateSingleLocationSize#getPathSize 메서드에서 중복 fs 작업 최적화
  • [SPARK-40114] [ES-479282][R][11.X] SparkR을 사용한 화살표 9.0.0 지원
  • [SPARK-40479] [SC-110935][SQL] 예기치 않은 입력 형식 오류를 오류 클래스로 마이그레이션
  • [SPARK-40473] [SC-113388][SC-111141][SQL] 구문 분석 오류를 오류 클래스로 마이그레이션
  • [SPARK-39853] [SC-111867][CORE] 동적 할당이 비활성화된 경우 독립 실행형 클러스터에 대한 단계 수준 작업 리소스 프로필 지원(PR-47157의 백 포트)
  • [SPARK-40407] [SC-111161][SQL] df.repartition으로 인한 잠재적 데이터 기울이기 수정
  • [SPARK-40425] [SC-110840][SQL] DROP TABLE은 테이블 조회를 수행할 필요가 없습니다.
  • [SPARK-40703] [SC-113242][SQL] 병렬 처리를 개선하기 위해 SinglePartition에 순서 섞기 도입
  • [SPARK-40640] [SC-113138][CORE] Hadoop/hive 구성 옵션의 원본을 설정하는 SparkHadoopUtil
  • [SPARK-39062] [11.x][CORE] 독립 실행형 클러스터에 대한 단계 수준 리소스 예약 지원 추가
  • [SPARK-33861] [SC-109877]“[SQL] 조건자에서 조건부 단순화” 되돌리기
  • [SPARK-40667] [SC-113136][SQL] 파일 데이터 원본 옵션 리팩터링
  • [SPARK-40370] [SC-110677][SQL] 형식 검사 실패를 CAST에서 오류 클래스로 마이그레이션
  • [SPARK-40611] [SC-113105] [SQL] 의 성능 setIntervalgetInterval 향상 UnsafeRow
  • [SPARK-40733] [SC-113126][SQL] ShowCreateTableAsSerdeCommand의 결과에서 SERDEPROPERTIES의 콘텐츠를 고정된 순서로 만들기
  • [SPARK-40585] [SC-112180][SQL] 큰따옴표 붙은 식별자 지원
  • [SPARK-40772] [SC-112992][SQL] Double 값을 지원하도록 spark.sql.adaptive.skewJoin.skewedPartitionFactor 개선
  • [SPARK-40565] [SC-112417][SQL] 비결정적 필터를 V2 파일 원본에 푸시하지 않음
  • [SPARK-8731] [SC-112784] Beeline은 백그라운드에서 시작할 때 -e 옵션으로 작동하지 않음
  • [SPARK-35242] [SC-111398][SQL] 세션 카탈로그의 기본 데이터베이스 변경 지원
  • [SPARK-40426] [SC-110672][SQL] SparkThrowable.getMessageParameters에서 맵 반환
  • [SPARK-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB] keys.zipWithIndex.toMap 코드 패턴의 성능 최적화
  • [SPARK-40521] [SC-112430][SQL] Hive의 만들기 파티션에서 PartitionsAlreadyExistException에 있는 파티션만 반환
  • [SPARK-40705] [SC-112567][SQL] Scala 2.13에 대해 행을 JSON으로 변환할 때 변경 가능한 배열 사용 사례 처리
  • [SPARK-39895] [SC-112590][SQL][PYTHON] 여러 열 삭제 지원
  • [SPARK-40607] [SC-112296][CORE][SQL][MLLIB][SS] 중복 문자열 보간기 작업 제거
  • [SPARK-40420] [SC-112604][SC-110569][SQL] JSON 형식의 이름으로 오류 메시지 매개 변수 정렬
  • [SPARK-40403] [SC-110564][SQL] 오류 메시지에서 음수 크기를 방지하기 위해 longs를 사용하여 안전하지 않은 배열 크기 계산
  • [SPARK-40482] [SC-110831][SQL] SPARK-24544 Print actual failure cause when look up function failed 되돌리기
  • [SPARK-40400] [SC-112555][SC-110397][SQL] 오류 메시지 매개 변수를 맵으로 예외에 전달
  • [SPARK-40628] [SC-112414][SQL] 프로젝트를 통해 복잡한 왼쪽 세미/안티 조인 조건을 푸시하지 않음
  • [SPARK-40562] [SC-111455][SQL] spark.sql.legacy.groupingIdWithAppendedUserGroupBy 추가
  • [SPARK-40501] [SC-111333][SQL] 최적화 프로그램용 PushProjectionThroughLimit 추가
  • [SPARK-39200] [SC-111244][CORE] 콘텐츠에서 대체 스토리지를 readFully로 만들기
  • [SPARK-38717] [SC-111241] [SQL] Hive의 버킷 사양 케이스 보존 동작 처리
  • [SPARK-40385] [SC-111123][SQL] 컴패니언 개체 생성자에 대한 해석된 경로 수정
  • [SPARK-40216] [SC-112413][SQL] ParquetFileFormat 및 ParquetWrite에서 코드를 중복 제거하기 위한 공통 ParquetUtils.prepareWrite 메서드 추출
  • [SPARK-40636] [SC-112160][CORE] BlockManagerDecommissioner에서 잘못된 남은 순서 섞기 로그 수정
  • [SPARK-40617] [SC-112009] ExecutorMetricsPoller의 stageTCMP 항목 처리 시 경쟁 조건 수정
  • [SPARK-40618] [SC-112046][SQL] 중첩된 하위 쿼리를 사용하여 MergeScalarSubqueries 규칙의 버그 수정
  • [SPARK-40612] [SC-111933][CORE] 비 YARN 리소스 관리자에서 위임 토큰 갱신에 사용되는 보안 주체 수정
  • [SPARK-40595] [SC-111662][SQL] 사용되지 않는 CTE 관계에 대한 오류 메시지 개선
  • [SPARK-40314] [SC-111879][SQL][PYTHON] 인라인 및 inline_outer 대한 scala 및 python 바인딩 추가
  • [SPARK-40416] [SC-110945][SQL] 하위 쿼리 식 CheckAnalysis 오류 메시지를 이동하여 새 오류 프레임워크 사용
  • [SPARK-40318] [SC-111865][SC-109986][SQL] try_avg()는 자식 요소에서 예외를 throw해야 합니다.
  • [SPARK-40509] [SC-111644][SS][PYTHON] applyInPandasWithState에 대한 예제 추가
  • [SPARK-40310] [SC-111329][SC-109842][SQL] try_sum()은 자식 요소에서 예외를 throw해야 합니다.
  • [SPARK-40016] [SQL] try_sum()의 구현에서 불필요한 TryEval 제거
  • [SPARK-40527] [SC-111224][SQL] CreateStruct에서 구조체 필드 이름 또는 맵 키 유지
  • [SPARK-38098] [SC-111178][PYTHON] 화살표 기반 변환에 중첩된 StructType의 ArrayType에 대한 지원 추가
  • [SPARK-40324] [SC-111359][SC-110293][SQL] AnalysisException에서 쿼리 컨텍스트 제공
  • [SPARK-40492] [SC-111324][SS] StateStore 언로드를 스트리밍하기 전에 유지 관리 수행
  • [SPARK-40487] [SC-111124][SQL] BroadcastNestedLoopJoinExec에서 defaultJoin을 병렬로 실행
  • [SPARK-40474] [SC-111273][SQL] 날짜 및 타임스탬프가 혼합된 열에서 CSV 스키마 유추 및 데이터 구문 분석 동작 수정
  • [SPARK-40508] [SC-111066][SQL] 알 수 없는 분할을 UnknownPartitioning으로 처리
  • [SPARK-40496] [SC-111234][SC-111013][SQL] "enableDateTimeParsingFallback"을 제어하도록 구성 수정
  • [SPARK-40435] [SC-111214][SS][PYTHON] PySpark에서 applyInPandasWithState에 대한 테스트 도구 모음 추가
  • [SPARK-40434] [SC-111125][SS][PYTHON] PySpark에서 applyInPandasWithState 구현

유지 관리 업데이트

Databricks Runtime 12.0 기본 테넌트 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 검정색 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
에서 8.0.4 암호화 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
entrypoints 0.4 실행 0.8.3 facets-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
Notebook 6.4.8 numpy 1.21.5 패키징 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 requests 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 unattended-upgrades 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2022-11-11)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 캐럿 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 4.3.3
data.table 1.14.4 datasets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
줄임표 0.3.2 evaluate 0.18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 제네릭(generics) 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 주기 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58 행렬 1.5-1 memoise 2.0.1
메서드 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 진행률 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
프록시 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0.42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy 아이비 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.76
org.apache.orc orc-mapreduce 1.76
org.apache.orc orc-shims 1.76
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1