Databricks Runtime 15.0

  • 아티클

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 15.0에 대한 정보를 제공합니다.

Databricks는 2024년 3월에 이러한 이미지를 공개했습니다.

호환성이 손상되는 변경

잘못된 인수 형식에 대해 PySpark spark.sql() 함수가 실패함

Databricks Runtime 15.0 이상 args 에서 함수에 전달된 명명된 spark.sql() 또는 위치 매개 변수에 대한 매개 변수는 사전 또는 목록이어야 합니다. 다른 개체 형식이 전달되면 다음 오류가 발생합니다 PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

DBFS 루트에 라이브러리 저장은 기본적으로 사용되지 않으며 사용하지 않도록 설정됩니다.

Azure Databricks 작업 영역에서 라이브러리의 보안을 강화하기 위해 DBFS 루트에 라이브러리 파일을 저장하는 것은 기본적으로 Databricks Runtime 15.0부터 사용되지 않으며 비활성화됩니다. Databricks는 Python 라이브러리, JAR 파일 및 Spark 커넥터를 포함하는 모든 라이브러리를 작업 영역 파일, Unity 카탈로그 볼륨에 업로드하거나 패키지 리포지토리를 사용하는 것이 좋습니다. 라이브러리 업로드에 대한 권장 사항 참조하세요.

DBFS 루트에 라이브러리 저장을 다시 사용하도록 설정하려면 다음 Spark 구성 매개 변수 spark.databricks.driver.dbfsLibraryInstallationAllowed true를 설정합니다.

기본 Python 버전이 3.10에서 3.11로 업그레이드됨

Databricks Runtime 15.0에서는 기본 Python 버전이 3.11.0입니다. 업그레이드된 Python 라이브러리 목록은 라이브러리 업그레이드를 참조 하세요.

JDK 11이 제거됨

앞에서 발표한 대로 JDK 11은 Databricks Runtime 15.0 이상에서 제거됩니다. Databricks는 Databricks Runtime 15.0 이상으로 업그레이드할 때 JDK 17로 업그레이드하는 것이 좋습니다. Java용 Databricks SDK를 참조하세요.

이제 Python REPL이 정상적으로 종료됩니다.

Databricks Runtime 15.0을 사용하면 이제 Notebook의 Python REPL 프로세스가 종료 시 정상적으로 종료됩니다. 이렇게 하면 모든 atexit 후크가 적용됩니다. 예를 들어 여러 Python Notebook 작업이 있는 워크플로에서 첫 번째 작업에 등록된 atexit 후크는 두 번째 Python Notebook 작업이 실행되기 전에 실행됩니다.

새로운 기능 및 향상 기능

이제 WHERE 절에서 *(star) 절이 지원됩니다.

이제 절의 star(*) 절을 사용하여 목록의 WHERE 모든 열을 참조할 수 있습니다 SELECT . 예들 들어 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)입니다.

spark.sql.json.enablePartialResults 이제 구성이 기본적으로 사용하도록 설정됩니다.

이제 Spark 구성 spark.sql.json.enablePartialResults 이 기본적으로 사용하도록 설정되므로 JSON 파서가 다시 기본 필드를 삭제하지 않고 구조체, 맵 및 배열과 같은 복잡한 형식에 대한 구문 분석 오류를 올바르게 처리할 수 있습니다. 이 변경은 열 정리를 사용하여 JSON 데이터 원본에 대한 일관성 문제를 해결합니다.

클러스터 라이브러리는 이제 requirements.txt 파일을 지원합니다.

이제 작업 영역 파일 또는 Unity 카탈로그 볼륨에 requirements.txt 저장된 파일을 사용하여 클러스터 라이브러리를 설치할 수 있습니다. 단일 사용자 및 공유 액세스 모드 클러스터에서 파일은 requirements.txt 다른 파일을 참조할 수 있습니다. 격리 공유 액세스 모드 클러스터가 없으므로 PyPI 패키지만 지원됩니다. 클러스터 라이브러리를 참조하세요.

이제 웹 터미널에서 Databricks CLI를 사용할 수 있습니다.

이제 Notebook의 웹 터미널에서 Databricks CLI를 사용할 수 있습니다. 단일 사용자 또는 격리 공유 액세스 모드가 없는 클러스터에 Notebook을 연결해야 합니다. 자세한 내용은 웹 터미널 및 Databricks CLI 사용을 참조하세요.

클러스터 구성에 기본 Python 리포지토리 추가

Databricks Runtime 15.0 이상에서는 클러스터를 구성하거나 클러스터 정책을 정의할 때 클러스터 및 Notebook 범위 라이브러리 설치에 대한 전역 pip index-url 및 extra-index-url 매개 변수를 구성할 수 있습니다. 이렇게 하려면 환경 변수를 설정하고 .DATABRICKS_PIP_INDEX_URLDATABRICKS_PIP_EXTRA_INDEX_URL

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • 검정 22.6.0에서 23.3.0으로
    • boto3에서 1.24.28에서 1.34.39로
    • botocore from 1.27.96 to 1.34.39
    • 2022.12.7에서 2023.7.22로 인증
    • 39.0.1에서 41.0.3까지의 암호화
    • databricks-sdk 0.1.6에서 0.20.0으로
    • distlib에서 0.3.7에서 0.3.8로
    • googleapis-common-protos 1.62.0에서 1.63.0으로
    • grpcio에서 1.48.2에서 1.60.0으로
    • grpcio-상태 1.48.1에서 1.60.0으로
    • importlib-metadata from 4.6.4 to 6.0.0
    • ipykernel 6.25.0에서 6.25.1로
    • ipython에서 8.14.0에서 8.15.0으로
    • ipywidgets 7.7.2에서 8.0.4로
    • jupyter_core 5.2.0에서 5.3.0으로
    • jupyterlab-widgets from 1.0.0 to 3.0.5
    • matplotlib 3.7.0에서 3.7.2로
    • pandas from 1.5.3 to 2.0.3
    • pip from 22.3.1 to 23.2.1
    • platformdirs from 2.5.2 to 3.10.0
    • protobuf 4.24.0에서 4.24.1로
    • 8.0.0에서 14.0.1까지의 pyarrow
    • Pygments from 2.11.2 to 2.15.1
    • pyodbc from 4.0.32 to 4.0.38
    • 2.28.1에서 2.31.0으로 요청
    • s3transfer from 0.6.2 to 0.10.0
    • scikit-learn from 1.1.1 to 1.3.0
    • scipy from 1.10.0 to 1.11.1
    • setuptools from 65.6.3 to 68.0.0
    • statsmodels 0.13.5에서 0.14.0으로
    • 8.1.0에서 8.2.2로의 끈기
    • 토네이도 6.1에서 6.3.2로
    • typing_extensions 4.4.0에서 4.7.1로
    • urllib3에서 1.26.14에서 1.26.16까지
    • virtualenv 20.16.7에서 20.24.2로
    • widgetsnbextension from 3.6.1 to 4.0.5
    • zipp from 1.0.0 to 3.11.0
  • 업그레이드된 R 라이브러리:
    • 화살표를 12.0.1에서 14.0.0.2로
    • askpass from 1.1 to 1.2.0
    • base from 4.3.1 to 4.3.2
    • brew from 1.0-8 to 1.0-10
    • brio from 1.1.3 to 1.1.4
    • bslib from 0.5.0 to 0.6.1
    • cli from 3.6.1 to 3.6.2
    • commonmark from 1.9.0 to 1.9.1
    • 컴파일러 4.3.1에서 4.3.2로
    • 0.3.1에서 0.3.2로 구성
    • cpp11에서 0.4.4에서 0.4.7로
    • 1.3.2에서 2.0.1까지의 자격 증명
    • curl from 5.0.1 to 5.2.0
    • data.table from 1.14.8 to 1.15.0
    • 4.3.1에서 4.3.2까지의 데이터 세트
    • DBI 1.1.3에서 1.2.1로
    • 2.3.3에서 2.4.0으로 dbplyr
    • desc from 1.4.2 to 1.4.3
    • 다이제스트 0.6.33에서 0.6.34로
    • dplyr from 1.1.2 to 1.1.4
    • e1071에서 1.7-13에서 1.7-14로
    • 0.21에서 0.23으로 평가
    • fansi from 1.0.4 to 1.0.6
    • fontawesome from 0.5.1 to 0.5.2
    • fs from 1.6.2 to 1.6.3
    • future from 1.33.0 to 1.33.1
    • future.apply 1.11.0에서 1.11.1로
    • 1.5.1에서 1.5.2로 가글
    • gert from 1.9.2 to 2.0.1
    • ggplot2에서 3.4.2에서 3.4.4로
    • glmnet from 4.1-7 to 4.1-8
    • 1.6.2에서 1.7.0으로 붙이기
    • 4.3.1에서 4.3.2로 그래픽
    • grDevices 4.3.1에서 4.3.2로
    • 4.3.1에서 4.3.2로 그리드
    • 0.3.3에서 0.3.4까지 gtable
    • hardhat from 1.3.0 to 1.3.1
    • 2.5.3에서 2.5.4로
    • htmltools from 0.5.5 to 0.5.7
    • htmlwidgets 1.6.2에서 1.6.4로
    • httpuv from 1.6.11 to 1.6.14
    • 1.4.6에서 1.4.7로 httr
    • httr2에서 0.2.3에서 1.0.0까지
    • jsonlite from 1.8.7 to 1.8.8
    • 1.43에서 1.45까지의 니트러
    • 0.4.2에서 0.4.3으로 레이블 지정
    • 이후 1.3.1에서 1.3.2로
    • 용암 1.7.2.1 ~ 1.7.3
    • 1.0.3에서 1.0.4까지의 수명 주기
    • listenv from 0.9.0 to 0.9.1
    • 1.9.2에서 1.9.3으로 윤활유
    • markdown from 1.7 to 1.12
    • 메서드를 4.3.1에서 4.3.2로
    • openssl from 2.0.6 to 2.1.1
    • 4.3.1에서 4.3.2로 병렬 처리
    • 1.4.2에서 1.4.3까지의 pkgbuild
    • pkgload from 1.3.2.1 to 1.3.4
    • plyr from 1.8.8 to 1.8.9
    • prettyunits from 1.1.1 to 1.2.0
    • pROC 1.18.4에서 1.18.5로
    • processx from 3.8.2 to 3.8.3
    • prodlim from 2023.03.31 to 2023.08.28
    • 1.2.2에서 1.2.3으로 진행
    • progressr from 0.13.0 to 0.14.0
    • 1.2.0.1에서 1.2.1로 약속
    • ps from 1.7.5 to 1.7.6
    • purrr from 1.0.1 to 1.0.2
    • ragg from 1.2.5 to 1.2.7
    • Rcpp에서 1.0.11에서 1.0.12로
    • RcppEigen 0.3.3.9.3에서 0.3.3.9.4
    • readr from 2.1.4 to 2.1.5
    • 1.0.6에서 1.0.9로의 레시피
    • 1.0.1에서 2.0.0으로 재대결
    • 원격을 2.4.2에서 2.4.2.1로
    • reprex from 2.0.2 to 2.1.0
    • 1.1.1에서 1.1.3까지의 rlang
    • rmarkdown from 2.23 to 2.25
    • RODBC 1.3-20~ 1.3-23
    • roxygen2에서 7.2.3에서 7.3.1로
    • rprojroot에서 2.0.3에서 2.0.4로
    • Rserve 1.8-11에서 1.8-13으로
    • RSQLite 2.3.1에서 2.3.5로
    • sass from 0.4.6 to 0.4.8
    • 크기가 1.2.1에서 1.3.0으로 조정됩니다.
    • 1.7.4.1에서 1.8.0으로 반짝입니다.
    • sparklyr에서 1.8.1에서 1.8.4로
    • 4.3.1에서 4.3.2까지의 스플라인
    • 통계는 4.3.1에서 4.3.2로
    • stats4에서 4.3.1에서 4.3.2로
    • stringi from 1.7.12 to 1.8.3
    • stringr from 1.5.0 to 1.5.1
    • systemfonts from 1.0.4 to 1.0.5
    • tcltk from 4.3.1 to 4.3.2
    • testthat from 3.1.10 to 3.2.1
    • textshaping from 0.3.6 to 0.3.7
    • tidyr에서 1.3.0에서 1.3.1로
    • timechange from 0.2.0 to 0.3.0
    • timeDate from 4022.108 to 4032.109
    • tinytex from 0.45 to 0.49
    • 4.3.1에서 4.3.2까지의 도구
    • utf8 from 1.2.3 to 1.2.4
    • utils from 4.3.1 to 4.3.2
    • uuid에서 1.1-0에서 1.2-0으로
    • vctrs 0.6.3에서 0.6.5로
    • vroom from 1.6.3 to 1.6.5
    • waldo from 0.5.1 to 0.5.2
    • withr from 2.5.0 to 3.0.0
    • xfun from 0.39 to 0.41
    • xml2에서 1.3.5에서 1.3.6으로
    • yaml from 2.3.7 to 2.3.8
    • zip을 2.3.0에서 2.3.1로
  • 업그레이드된 Java 라이브러리:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 from 2.15.1 to 2.16.0
    • com.google.flatbuffers.flatbuffers-java from 1.12.0 to 23.5.26
    • com.typesafe.config 1.2.1에서 1.4.3까지
    • org.apache.ant.ant를 1.9.16에서 1.10.11로
    • org.apache.ant.ant-jsch from 1.9.16 to 1.10.11
    • org.apache.ant.ant-launcher from 1.9.16 to 1.10.11
    • org.apache.arrow.arrow-format from 12.0.1 to 15.0.0
    • org.apache.arrow.arrow-memory-core 12.0.1에서 15.0.0까지
    • org.apache.arrow.arrow-memory-netty from 12.0.1 to 15.0.0
    • org.apache.arrow.arrow-vector from 12.0.1 to 15.0.0
    • org.apache.avro.avro 1.11.2에서 1.11.3으로
    • org.apache.avro.avro-ipc from 1.11.2 to 1.11.3
    • org.apache.avro.avro-mapred from 1.11.2 to 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api from 2.20.0 to 2.22.1
    • org.apache.logging.log4j.log4j-api from 2.20.0 to 2.22.1
    • org.apache.logging.log4j.log4j-core 2.20.0~ 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl from 2.20.0 to 2.22.1
    • org.postgresql.postgresql from 42.6.0 to 42.6.1

Apache Spark

Databricks Runtime 15.0에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 14.3 LTS에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-45527] [DBRRM-805] [ES-1073714] 되돌리기 "[SC-151626][CORE] 분수를 사용하여 리소스 계산"
  • [SPARK-47102] [DBRRM-803] [SC-158253] [SQL] COLLATION_ENABLED 구성 플래그 추가
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] 테이블이 V1 테이블 캐시에 있는 경우 V2 테이블 조회 건너뛰기
  • [SPARK-46808] [SC-154113] [PYTHON] 자동 정렬 함수를 사용하여 Python에서 오류 클래스 구체화
  • [SPARK-47251] [SC-158291] [PYTHON] 명령에 대한 sql 인수에서 args 잘못된 형식 차단
  • [SPARK-47251] [SC-158121] [PYTHON] 명령에 대한 sql 인수에서 args 잘못된 형식 차단
  • [SPARK-47108] [SC-157204] [CORE] false CLI에서 명시적으로 설정 derby.connection.requireAuthentication
  • [SPARK-45599] [SC-157537] [CORE] OpenHashSet에서 개체 같음 사용
  • [SPARK-47099] [SC-157352] [SQL] 오류 클래스의 paramIndex 값을 균일하게 설정하는 데 사용 ordinalNumberUNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [CONNECT] 도우미 함수를 추출하여 ErrorParams 검색하는 중복 코드를 제거합니다.MessageParametersGrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [CONNECT] ProtoUtils.abbreviate 반복되는 필드 지원
  • [SPARK-46342] [SC-150283] [SQL] sql에서 바꾸기 IllegalStateExceptionSparkException.internalError
  • [SPARK-47123] [SC-157412] [CORE] JDBCRDD가 getQueryOutputSchema에서 오류를 올바르게 처리하지 않음
  • [SPARK-47189] [SC-157667] [SQL] 열 오류 이름 및 텍스트 조정
  • [SPARK-45789] [SC-157101] [SQL] 클러스터링 열에 대한 DESCRIBE TABLE 지원
  • [SPARK-43256] [SC-157699] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2021 제거
  • [SPARK-47201] [SC-157782] [PYTHON] [CONNECT] sameSemantics 검사 입력 형식
  • [SPARK-47183] [SC-157660] [PYTHON] 에 대한 오류 클래스 수정 sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] 더 나은 디버깅을 위해 SparkThrowableSuite의 오류 메시지 개선
  • [SPARK-46965] [SC-155791] [CORE] 체크 logType 인 Utils.getLog
  • [SPARK-46832] [SC-156774] [SQL] 데이터 정렬 및 데이터 정렬 식 소개
  • [SPARK-46946] [SC-155721] [SQL] DynamicPruning에서 여러 필터링 키 브로드캐스트 지원
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [CONNECT] PySpark에 Variant 형식 정보 추가
  • [SPARK-47101] [SC-157360] [SQL] 최상위 열 이름에 쉼표 사용 허용 및 에서 검사 중첩된 형식 정의 제거HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571] [SS] [UI] 스트리밍 UI 설명에서 오타 수정
  • [SPARK-47113] [SC-157348] [CORE] SPARK-35878의 S3A 엔드포인트 수정 논리 되돌리기
  • [SPARK-47130] [SC-157462] [CORE] 드라이버 로그를 클린 때 listStatus를 사용하여 블록 위치 정보 무시
  • [SPARK-43259] [SC-157368] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2024 이름 할당
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec 안전하지 않은 프로젝션을 초기화해야 합니다.
  • [SPARK-47137] [SC-157463] [PYTHON] [CONNECT] Scala를 사용하여 기능 패리티를 위해 spark.conf에 getAll 추가
  • [SPARK-46924] [SC-154905] [CORE] 로그 UI의 Master/HistoryServer 수정 Load New 단추
  • [SPARK-47069] [SC-157370] [PYTHON] [CONNECT] SparkSession 기반 프로파일링 소개 spark.profile.show/dump
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] mapInPandas / mapInArrow 지원 ResourceProfile 만들기
  • [SPARK-46833] [SC-155866] [SQL] 데이터 정렬 - 지원되는 데이터 정렬에 대한 비교 및 해시 규칙을 제공하는 CollationFactory 소개
  • [SPARK-47057] [SC-157036] [PYTHON] Reeanble MyPy 데이터 테스트
  • [SPARK-46934] [SC-157084] [SQL] HMS를 사용하는 특수 문자가 있는 구조체 형식에 대한 읽기/쓰기 왕복
  • [SPARK-46727] [SC-153472] [SQL] classifyException() 오류 클래스의 JDBC 언어 포트
  • [SPARK-46964] [SC-155740] [SQL] hllInvalidLgK 쿼리 실행 오류의 시그니처를 변경하여 정수(4번째 인수)를 사용합니다.
  • [SPARK-46949] [SC-155719] [SQL] ResolveDefaultColumns를 통해 CHAR/VARCHAR 지원
  • [SPARK-46972] [SC-155888] [SQL] V2SessionCatalog.createTable에서 char/varchar에 대한 비대칭 대체 수정
  • [SPARK-47014] [SC-156778] [PYTHON] [CONNECT] SparkSession의 dumpPerfProfiles 및 dumpMemoryProfiles 메서드 구현
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] group/cogroup applyInPandas/applyInArrow에서 v2 프로파일링 지원
  • [SPARK-47040] [SC-156773] [CONNECT] Spark 커넥트 서버 스크립트가 대기하도록 허용
  • [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] 집계 Pandas UDF에서 v2 프로파일링 지원
  • [SPARK-47004] [SC-156499] [CONNECT] Scala 클라이언트 테스트 범위를 늘리기 위해 ClientStreamingQuerySuite에 더 많은 테스트가 추가됨
  • [SPARK-46994] [SC-156169] [PYTHON] Python 데이터 원본 스트리밍 쓰기 지원을 준비하도록 PythonWrite 리팩터링
  • [SPARK-46979] [SC-156587] [SS] 키 및 값 인코더를 별도로 지정하고 RocksDB 상태 저장소 공급자의 각 col 패밀리에 대한 지원을 추가합니다.
  • [SPARK-46960] [SC-155940] [SS] TransformWithState 연산자에서 여러 입력 스트림 테스트
  • [SPARK-46966] [SC-156112] [Python] 'analyze' 메서드에 대한 UDTF API를 추가하여 선택할 입력 테이블 열의 하위 집합을 나타냅니다.
  • [SPARK-46895] [SC-155950] [CORE] 타이머를 단일 스레드 예약 실행기로 바꾸기
  • [SPARK-46967] [SC-155815] [CORE] [UI] UI에서 DeadExecutors 실행기 숨기기 Thread Dump 및 Heap Histogram 숨기기
  • [SPARK-46512] [SC-155826] [CORE] 정렬 및 결합을 모두 사용할 때 순서 섞기 읽기를 최적화합니다.
  • [SPARK-46958] [SC-155942] [SQL] 누락된 표준 시간대를 추가하여 기본값 강제 변환
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] avro 테이블 정의 및 쓰기 옵션에서 압축 코드 확인 수정
  • [SPARK-46728] [SC-154207] [PYTHON] Pandas 설치를 제대로 확인합니다.
  • [SPARK-43403] [SC-154216] [UI] 새 SparkUI를 로드하기 전에 HistoryServer의 이전 SparkUI가 분리되었는지 확인합니다.
  • [SPARK-39910] [SC-156203] [SQL] DataSource 파일 경로 globbing 중에 파일 시스템에 경로 자격 위임
  • [SPARK-47000] [SC-156123] 되돌리기 "[SC-156123][CORE] 사용 getTotalMemorySize...
  • [SPARK-46819] [SC-154560] [CORE] 오류 범주 및 상태를 JSON으로 이동
  • [SPARK-46997] [SC-156175] [CORE] 기본적으로 사용 spark.worker.cleanup.enabled
  • [SPARK-46865] [SC-156168] [SS] TransformWithState 연산자에 대한 Batch 지원 추가
  • [SPARK-46987] [SC-156040] [CONNECT] ProtoUtils.abbreviate 불필요한 setField 작업 방지
  • [SPARK-46970] [SC-155816] [CORE] 다음으로 다시 쓰기 OpenHashSet#hasherpattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] pyspark.copy_func 제거
  • [SPARK-47000] [SC-156123] [CORE] 다음에서 사용 getTotalMemorySizeWorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [MINOR] 데이터 프레임 엔드 투 엔드 테스트에서 내부 API를 사용하지 않도록 방지
  • [SPARK-46931] 되돌리기 "[SC-155661][PS] 구현 {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828] [SQL] DATA_SOURCE_NOT_FOUND 오류에 대한 오류 메시지 개선
  • [SPARK-46849] [SC-154586] [SQL] CREATE TABLE 열 기본값에서 최적화 프로그램 실행
  • [SPARK-46911] [SC-155724] [SS] StatefulProcessorHandleImpl에 deleteIfExists 연산자 추가
  • [SPARK-43273] [SQL] Parquet에 대한 압축 코덱 지원 lz4raw
  • [SPARK-47002] [SC-156223] [Python] UDTF 'analyze' 메서드 'orderBy' 필드가 실수로 문자열 목록을 반환하는 경우 더 나은 오류 메시지를 반환합니다.
  • [SPARK-46890] [SC-155802] [SQL] 존재 기본값 및 열 정리를 사용하여 CSV 구문 분석 버그 수정
  • [SPARK-46977] [SC-155892] [CORE] 한 NameNode에서 토큰을 가져오는 데 실패한 요청은 후속 토큰 요청을 건너뛰지 않아야 합니다.
  • [SPARK-46608] [SC-151806] [SQL] 의 이전 버전과의 호환성 복원 JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] WHERE 절의 Support star 절
  • [SPARK-46908] [SC-155702] [SQL] WHERE 절의 Support star 절
  • [SPARK-46852] [SC-155665] [SS] 명시적 키 인코더 사용을 제거하고 transformWithState 연산자에 대한 연산자에 암시적으로 전달합니다.
  • [SPARK-46864] [SC-155669] [SS] 새 오류 클래스 프레임워크에 임의의 StateV2 온보딩
  • [SPARK-45807] [SC-155706] [SQL] replaceView(.)를 호출한 후 뷰 반환
  • [SPARK-46899] [SC-154651] [CORE] 다음 위치에서 MasterWebUIspark.ui.killEnabled API 제거 POSTfalse
  • [SPARK-46868] [SC-154539] [CORE] Spark 작업자 로그 UI 지원
  • [SPARK-46931] [SC-155661] [PS] 구현 {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [CORE] 사용되지 updateSparkConfigFromProperties 않는 항목 제거 isAbsoluteURIo.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [CORE] [CONNECT] [SS] ThreadUtils.shutdown을 사용하여 스레드 풀 닫기
  • [SPARK-46400] [SC-155658] [CORE] [SQL] 로컬 maven 리포지토리에 손상된 파일이 있는 경우 이 캐시를 건너뛰고 다시 시도합니다.
  • [SPARK-46932] [SC-155655] 에서 가져오기 정리 pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] 테스트 범위를 늘리기 위해 하위 쿼리 순열을 생성하는 하위 쿼리 생성기를 작성합니다.
  • [SPARK-46914] [SC-154776] [UI] 기록 페이지의 요약 테이블에서 앱 이름 단축
  • [SPARK-46831] [SC-154699] [SQL] 데이터 정렬 - collationId 필드를 사용하여 StringType 및 PhysicalStringType 확장
  • [SPARK-46816] [SC-154415] [SS] 새 임의 상태 관리 연산자, 단일 valueState 형식, 여러 상태 변수 및 changelog 검사pointing/without RocksDBStateStoreProvider에 대한 열 패밀리에 대한 기본 지원에 대한 기본 지원을 추가합니다.
  • [SPARK-46925] [SC-154890] [PYTHON] [CONNECT] 메모리 프로파일링에 대한 memory_profiler 설치하도록 지시하는 경고 추가
  • [SPARK-46927] [SC-154904] [PYTHON] assertDataFrameEqual PyArrow 없이 제대로 작업
  • [SPARK-46021] [SC-148987] [CORE] 작업 그룹에 속한 향후 작업 취소 지원
  • [SPARK-46747] [SC-154789] [SQL] JDBC 언어에 대한 getTableExistsQuery에서 검사 방지
  • [SPARK-46904] [SC-154704] [UI] 기록 UI 요약의 표시 문제 해결
  • [SPARK-46870] [SC-154541] [CORE] Spark 마스터 로그 UI 지원
  • [SPARK-46893] [SC-154780] [UI] UI 설명에서 인라인 스크립트 제거
  • [SPARK-46910] [SC-154760] [PYTHON] PySpark 설치에서 JDK 요구 사항 제거
  • [SPARK-46907] [SC-154736] [CORE] Spark 기록 서버에서 드라이버 로그 위치 표시
  • [SPARK-46902] [SC-154661] [UI] 내보내지 않은 setAppLimit를 사용하기 위한 Spark 기록 서버 UI 수정
  • [SPARK-46687] [SC-154725] [PYTHON] [CONNECT] SparkSession 기반 메모리 프로파일러의 기본 지원
  • [SPARK-46623] [SC-153831] [CORE] [MLLIB] [SQL] SimpleDateFormat을 DateTimeFormatter로 바꾸기
  • [SPARK-46875] [SC-154627] [SQL] null이 mode 면 throw NullPointException 되어야 합니다 not .
  • [SPARK-46872] [SC-154543] [CORE] 모듈이 아닌 것으로 복구 log-view.js
  • [SPARK-46883] [SC-154629] [CORE] 지원 /json/clusterutilization API
  • [SPARK-46886] [SC-154630] [CORE] 기본적으로 사용 spark.ui.prometheus.enabled
  • [SPARK-46873] [SC-154638] [SS] 동일한 Spark 세션에 대해 새 StreamingQueryManager를 다시 만들지 마세요.
  • [SPARK-46829] [SC-154419] [CORE] SparkEnv에서 createExecutorEnv 제거
  • [SPARK-46827] [SC-154280] [CORE] 기호 링크를 지원하도록 만들기 RocksDBPersistenceEngine
  • [SPARK-46903] [SC-154662] [CORE] Spark 기록 서버 로그 UI 지원
  • [SPARK-46874] [SC-154646] [PYTHON] 에서 종속성 제거 pyspark.pandasassertDataFrameEqual
  • [SPARK-46889] [SC-154639] [CORE] 설정 유효성 spark.master.ui.decommission.allow.mode 검사
  • [SPARK-46850] [SC-154443] [SQL] 으로 변환 _LEGACY_ERROR_TEMP_2102 UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [CORE] [UI] 열을 기준으로 Duration 테이블을 올바르게 정렬 Running Drivers 하는 수정 MasterPage
  • [SPARK-46796] [SC-154279] [SS] 올바른 원격 파일(metadata.zip 멘션)이 RocksDB 버전 로드에 사용되는지 확인합니다.
  • [SPARK-46888] [SC-154636] [CORE] 서비스 해제를 사용하지 않도록 설정된 경우 요청을 거부하는 /workers/kill/ 수정 Master
  • [SPARK-46818] [SC-154422] [SQL] 접을 수 없는 입력을 사용하여 Range에 대한 오류 메시지 개선
  • [SPARK-46898] [SC-154649] [CONNECT] Planner에서 protobuf 함수 변환 간소화
  • [SPARK-46828] [SC-154413] [SQL] spark sql Shell에 대한 원격 모드의 잘못된 어설션 제거
  • [SPARK-46733] [SC-154274] [CORE] 종료 작업으로 BlockManager를 단순화하는 것은 인터럽트 스레드에만 의존합니다.
  • [SPARK-46777] [SC-154016] [SS] 일괄 처리 버전과 더 동등하도록 촉매 구조 리팩터링 StreamingDataSourceV2Relation
  • [SPARK-46515] [SC-151716] MONTHNAME 함수 추가
  • [SPARK-46823] [SC-154276] [CONNECT] [PYTHON] LocalDataToArrowConversion null 허용 검사
  • [SPARK-46787] [SC-154404] [CONNECT] bloomFilter 함수가 잘못된 입력을 throw AnalysisException 해야 합니다.
  • [SPARK-46779] [SC-154045] [SQL] InMemoryRelation 동일한 캐시된 계획의 인스턴스는 의미상 동일해야 합니다.
  • [SPARK-45827] [SC-153973] Variant 열에서 분할 허용
  • [SPARK-46797] [SC-154085] [CORE] 이름 바꾸기 spark.deploy.spreadOutspark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] 실행기 JVM 프로파일링 지원
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] avro 데이터 원본 파일에 코덱 확장 연결
  • [SPARK-46698] [SC-153288] [CORE] Timer를 ConsoleProgressBar에 대한 단일 스레드 예약 실행기로 바꿉다.
  • [SPARK-46629] [SC-153835] Null 허용 여부 및 주석을 선택하지 않는 STRUCT 형식 DDL 수정
  • [SPARK-46750] [SC-153772] [CONNECT] [PYTHON] 데이터 프레임 API 코드 클린
  • [SPARK-46769] [SC-153979] [SQL] 타임스탬프 관련 스키마 유추 구체화
  • [SPARK-46765] [SC-153904] [PYTHON] [CONNECT] 의 데이터 형식을 지정합니다 shuffle . seed
  • [SPARK-46579] [SC-151481] [SQL] 오류 및 로그에서 JDBC URL 수정
  • [SPARK-46686] [SC-153875] [PYTHON] [CONNECT] SparkSession 기반 Python UDF 프로파일러의 기본 지원
  • [SPARK-46748] 되돌리기 "[SC-153800][CORE] Scri 제거 *slave*.sh ...
  • [SPARK-46707] [SC-153833] [SQL] 조건자 푸시다운을 개선하기 위해 식에 throw 가능한 필드가 추가됨
  • [SPARK-46519] [SC-151278] [SQL] 파일에서 사용하지 않는 오류 클래스 지우 error-classes.json 기
  • [SPARK-46677] [SC-153426] [SQL] [CONNECT] 해결 방법 수정 dataframe["*"]
  • [SPARK-46317] [SC-150184] [PYTHON] [CONNECT] SparkSession에서 사소한 동작 일치를 전체 테스트 검사와 일치
  • [SPARK-46748] [SC-153800] [CORE] 스크립트 제거 *slave*.sh
  • [SPARK-46663] [SC-153490] [PYTHON] 반복기를 사용하여 pandas UDF에 대한 메모리 프로파일러 사용 안 함
  • [SPARK-46410] [SC-150776] [SQL] JdbcUtils.classifyException에 오류 클래스/하위 클래스 할당
  • [SPARK-46277] [SC-150126] [PYTHON] 설정 중인 구성을 사용하여 시작 URL의 유효성을 검사합니다.
  • [SPARK-46612] [SC-153536] [SQL] jdbc 드라이버에서 검색된 배열 형식 문자열을 변환하지 마세요.
  • [SPARK-46254] [SC-149788] [PYTHON] 부실 Python 3.8/3.7 버전 검사 제거
  • [SPARK-46490] [SC-151335] [SQL] 하위 클래스에서 SparkThrowable 오류 클래스 필요
  • [SPARK-46383] [SC-153274] [SC-147443] [WARMFIX] 의 수명을 줄여 드라이버 힙 사용량 줄이기 TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109] [SQL] [CONNECT] 자체 조인에서 모호한 열 참조 수정
  • [SPARK-46381] [SC-150495] [SQL] 하위 클래스를 AnalysisException 오류 클래스로 마이그레이션
  • [SPARK-46351] [SC-150335] [SQL] 에서 오류 클래스 필요 AnalysisException
  • [SPARK-46220] [SC-149689] [SQL] 에서 문자 집합 제한 decode()
  • [SPARK-46369] [SC-150340] [CORE] 에서 드라이버에서 RELAUNCHING 링크 제거 killMasterPage
  • [SPARK-46052] [SC-153284] [CORE] TaskScheduler.killAllTaskAttempts 함수 제거
  • [SPARK-46536] [SC-153164] [SQL] 지원 GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209] [SQL] ParquetReadSupport에서 사용되지 않는 inferTimestampNTZ 제거
  • [SPARK-46717] [SC-153423] [CORE] 종료 작업으로 단순화 ReloadingX509TrustManager 는 인터럽트 스레드에만 의존합니다.
  • [SPARK-46722] [SC-153438] [CONNECT] Spark 커넥트 StreamingQueryListener의 이전 버전과의 호환성 검사 대한 테스트 추가(Scala/PySpark)
  • [SPARK-46187] [SC-149580] [SQL] codegen 및 non-codegen 구현을 정렬합니다. StringDecode
  • [SPARK-46258] [SC-149799] [CORE] 추가 RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [CORE] 압축을 지원하도록 개선 FileSystemPersistenceEngine
  • [SPARK-46189] [SC-149567] [PS] [SQL] 다양한 Pandas 집계 함수에서 동일한 형식 간의 비교 및 산술 연산을 수행하여 해석된 모드 오류를 방지합니다.
  • [SPARK-46184] [SC-149563] [CORE] [SQL] [CONNECT] [MLLIB] Option.isDefined with Option.isEmpty를 대체하여 스택 깊이 줄이기
  • [SPARK-46700] [SC-153329] [CORE] 순서 섞기 디스크 유출 바이트 메트릭에 대한 마지막 분산 횟수 계산
  • [SPARK-45642] [SC-150286] [CORE] [SQL] 수정 FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [SQL] 하위 쿼리 특성을 제외하여 RemoveRedundantAlias 수정
  • [SPARK-46681] [SC-153287] [CORE] 구성된 경우 MAX_EXECUTOR_FAILURES 계산하지 defaultMaxNumExecutorFailures 않도록 리팩터링 ExecutorFailureTracker#maxNumExecutorFailures
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] 항상 hive.execution.engine을 mr로 설정
  • [SPARK-46325] [SC-150228] [CONNECT] 에서 생성 WrappedCloseableIterator 할 때 불필요한 재정의 함수 제거 ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699] [PYTHON] ValueError를 다시 기본 모두 PySpark 오류 프레임워크로 마이그레이션합니다.
  • [SPARK-46547] [SC-153174] [SS] 기본 테넌스 스레드와 스트리밍 집계 연산자 간의 교착 상태를 방지하기 위해 기본tenance 작업에서 치명적이 아닌 예외를 무시합니다.
  • [SPARK-46169] [SC-149373] [PS] API에서 DataFrame 누락된 매개 변수에 적절한 JIRA 번호를 할당합니다.
  • [SPARK-45857] [SC-148096] [SQL] 의 하위 클래스에서 오류 클래스 적용 AnalysisException

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

시스템 환경

  • 운영 체제: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • 델타 레이크: 3.1.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
검정색 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
에서 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 암호화 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 실행 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-상태 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 Keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 패키징 23.2
pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 requests 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

설치된 R 라이브러리

R 라이브러리는 Posit 패키지 관리자 CRAN 스냅샷 2023-02-10에 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
캐럿 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 갈등 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
다이어그램 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 줄임표 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
제네릭(generics) 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
주기 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
행렬 1.5-4.1 memoise 2.0.1 메서드 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 진행률 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
프록시 0.4-27 ps 1.76 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 반응 가능 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-네이티브
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-네이티브
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-네이티브
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-네이티브
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics 메트릭 주석 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 아이비 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.9.2-셰이드-프로토부프
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1