Databricks Runtime 13.3 LTS

다음 릴리스 정보는 Apache Spark 3.4.1에서 제공하는 Databricks Runtime 13.3 LTS에 대한 정보를 제공합니다.

Databricks는 2023년 8월에 이러한 이미지를 공개했습니다.

새로운 기능 및 향상 기능

공유 클러스터에 대한 Scala 지원

이제 Unity 카탈로그 사용 공유 클러스터는 Databricks Runtime 13.3 이상을 사용할 때 Scala를 지원합니다.

Unity 카탈로그 공유 클러스터의 init 스크립트, JAR 및 Maven 좌표에 대한 허용 목록은 공개 미리 보기로 제공됩니다.

이제 Unity 카탈로그 allowlist 를 사용하여 Databricks Runtime 13.3 이상을 실행하는 공유 액세스 모드를 사용하여 컴퓨팅에서 init 스크립트, JAR 및 Maven 좌표의 설치를 제어할 수 있습니다. 공유 컴퓨팅의 허용 목록 라이브러리 및 초기화 스크립트를 참조 하세요.

init 스크립트 및 JAR에 대한 볼륨 지원은 공개 미리 보기로 제공됩니다.

이제 Unity 카탈로그 볼륨을 사용하여 Databricks Runtime 13.3 이상을 실행하는 할당되거나 공유된 액세스 모드를 사용하여 컴퓨팅에 init 스크립트 및 JAR을 저장할 수 있습니다. Init 스크립트를 설치할 수 있는 위치 및 클러스터 범위 라이브러리를 참조하세요.

Delta Lake 작업에 대해 기본적으로 사용하도록 설정된 안전한 캐스트

이제 델타 UPDATEMERGE 작업에서 값이 대상 테이블 스키마의 형식으로 안전하게 캐스팅될 수 없는 경우 오류가 발생합니다. 이제 spark.sql.storeAssignmentPolicyspark.sql.ansi.enabled델타의 모든 암시적 캐스트는 . Databricks 런타임에서 ANSI 규정 준수를 참조 하세요.

Unity 카탈로그를 사용하여 태그 소개

Databricks Runtime 13.3 LTS 이상을 사용하면 보안 개체에 태그를 적용할 수 있습니다. 태그를 사용하면 보안 개체를 구성하고 데이터 자산의 검색 및 검색을 간소화할 수 있습니다. 태그 적용을 참조 하세요.

쿼리 계획과 호출 사이에 파일이 수정되면 Databricks Runtime에서 오류를 반환합니다.

이제 쿼리 계획과 호출 사이에 파일이 업데이트되면 Databricks 런타임 쿼리가 오류를 반환합니다. 이 변경 전에 Databricks 런타임은 이러한 단계 간에 파일을 읽어 들이는데, 이로 인해 때때로 예측할 수 없는 결과가 발생합니다.

동적 파티션 덮어쓰기를 사용할 때 스키마 덮어쓰기 차단

Delta Lake에서 동적 파티션 덮어쓰기와 함께 설정할 overwriteSchematrue 수 없습니다. 이렇게 하면 스키마 불일치로 인해 테이블이 손상될 수 있습니다. 동적 파티션 덮어쓰기를 참조 하세요.

copyFile API를 dbutils.fs.cp에 통합

이제 더 빠른 복사를 위해 dbutils 복사 명령 dbutils.fs.cp 이 최적화되었습니다. 이 향상된 기능을 사용하면 파일 크기에 따라 복사 작업이 최대 100배 더 빨라질 수 있습니다. 이 기능은 Unity 카탈로그 볼륨 및 Databricks 파일 시스템 탑재를 포함하여 Azure Databricks에서 액세스할 수 있는 모든 파일 시스템에서 사용할 수 있습니다.

Databricks ODBC/JDBC 드라이버 지원

Azure Databricks는 지난 2년 동안 릴리스된 ODBC 및 JDBC 드라이버를 지원합니다. ODBC 드라이버 다운로드 및 JDBC 드라이버 다운로드에서 최신 드라이버를 다운로드합니다.

명명되지 않은(위치) 매개 변수 표식 지원

이제 API는 SparkSession.sql() 구문을 사용하는 매개 변수가 있는 쿼리 외에도 구문을 사용하여 ?:parm 매개 변수가 있는 쿼리를 지원합니다. 매개 변수 표식을 참조 하세요.

시계열 열 레이블 지정 사용

이제 기본 키 제약 조건을 만들 때 시계열 열에 레이블을 지정할 수 있습니다.

새 비트맵 SQL 함수

이제 Azure Databricks는 정수 숫자 값을 비트맵에 매핑하고 집계하는 데 사용할 수 있는 함수 집합을 제공했습니다. 고유 값의 수를 미리 계산하는 데 사용할 수 있습니다.

향상된 암호화 함수

IV(초기화 벡터) 및 인증된 추가 데이터(AAD)를 지원하여 aes_encrypt, aes_decrypttry_aes_decrypt 함수가 개선되었습니다.

REFRESH FOREIGN에 대한 Unity 카탈로그 지원

이제 < a0/>를 사용하여 REFRESH FOREIGN CATALOGREFRESH FOREIGN SCHEMAUnity 카탈로그의 외세 카탈로그, 스키마 및 테이블을 업데이트할 수 있습니다REFRESH FOREIGN TABLE. 외부 새로 고침(카탈로그, 스키마 및 테이블)을 참조하세요.

이름으로 삽입

테이블에 행을 삽입할 때 이제 Azure Databricks가 원본 쿼리의 열과 필드를 해당 이름으로 테이블의 열에 자동으로 매핑하도록 할 수 있습니다. INSERT INTO를 참조하세요.

델타 공유를 사용하여 구체화된 뷰 공유

이제 ALTER SHARE 문은 구체화된 뷰를 지원합니다.

호환성이 손상되는 변경

MERGE INTO 및 UPDATE를 사용하여 테이블에 행을 저장할 때 암시적 캐스팅 변경

이제 Azure Databricks는 테이블에 행을 저장할 때 암시적 캐스팅에 대한 구성 spark.sql.storeAssignmentPolicy 을 따릅니다. 오버플로 값을 ANSI 저장할 때 기본값은 오류를 throw합니다. 이전에는 값이 기본적으로 저장되었습니다 NULL .

다음 예제와 같이 오류를 일으키는 열에 더 넓은 형식을 사용하도록 테이블을 다시 작성하여 오버플로를 해결할 수 있습니다.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • debugpy from 1.5.1 to 1.6.0
    • distlib에서 0.3.6에서 0.3.7로
    • fastjsonschema 2.16.3에서 2.18.0으로
    • filelock from 3.12.0 to 3.12.2
  • 업그레이드된 R 라이브러리:
    • SparkR 3.4.0에서 3.4.1로
  • 업그레이드된 Java 라이브러리:
    • org.apache.orc.orc-core에서 1.8.3-shaded-protobuf에서 1.8.4-shaded-protobuf로
    • org.apache.orc.orc-mapreduce from 1.8.3-shaded-protobuf to 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims from 1.8.3 to 1.8.4
    • org.eclipse.jetty.jetty-client from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.xerial.snappy.snappy-java에서 1.1.8.4에서 1.1.10.1로

Apache Spark

Databricks Runtime 13.3에는 Apache Spark 3.4.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 13.2(지원되지 않음)포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • 이제 Spark-snowflake 커넥터 v2.12.0을 사용하도록 클러스터 환경 변수 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 를 설정할 수 있습니다.
  • [SPARK-43380] [DBRRM-383] 되돌리기 "[SC-133100][SQL] Avro 데이터 형식 해결...
  • [SPARK-44504] [Backport] [13.2] [13.x] [13.3] 공급자를 언로드하여 DB 인스턴스를 강제로 닫고 기본테넌스 작업 오류에서 리소스를 해제합니다.
  • [SPARK-44059] [SC-137023] 기본 제공 함수에 대한 명명된 인수의 분석기 지원 추가
  • [SPARK-44485] [SC-137653] [SQL] TreeNode.generateTreeString 최적화
  • [SPARK-42944] [SC-137164] [SS] [PYTHON] Python에서 ForeachBatch 스트리밍
  • [SPARK-44446] [SC-136994] [PYTHON] 예상 목록 유형 특수 사례에 대한 검사 추가
  • [SPARK-44439] [SC-136973] [CONNECT] [SS] ID만 클라이언트로 다시 보내도록 listListeners 수정
  • [SPARK-44216] [SC-136941] [PYTHON] assertSchemaEqual API 공개
  • [SPARK-44201] [SC-136778] [CONNECT] [SS] Spark용 Scala에서 스트리밍 수신기에 대한 지원 추가 커넥트
  • [SPARK-43915] [SC-134766] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2438-2445]
  • [SPARK-43798] 되돌리기 "[SC-133990][SQL][PYTHON] Python 사용자 정의 테이블 함수 지원"
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-44476] [SC-137169] [CORE] [CONNECT] 연결된 아티팩트 없이 JobArtifactState의 아티팩트 채우기 수정
  • [SPARK-44269] [SC-135817] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2310-2314]
  • [SPARK-44395] [SC-136744] [SQL] TABLE 키워드(keyword) 후 식별자 주위에 괄호가 필요하도록 TVF 인수를 업데이트합니다.
  • [SPARK-43915] [SC-134766] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2438-2445]
  • [SPARK-43995] [SC-136794] [SPARK-43996] [CONNECT] 커넥트 Scala 클라이언트에 UDFRegistration에 대한 지원 추가
  • [SPARK-44109] [SC-134755] [CORE] 각 RDD 파티션의 중복 기본 설정 위치 제거
  • [SPARK-44169] [SC-135497] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2300-2304]
  • [SPARK-41487] [SC-135636] [SQL] _LEGACY_ERROR_TEMP_1020 이름 할당
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-44153] [SC-134977] [CORE] [UI] 탭의 Executors 지원 Heap Histogram
  • [SPARK-44044] [SC-135695] [SS] 스트리밍을 사용하여 Window 함수에 대한 오류 메시지 개선
  • [SPARK-43914] [SC-135414] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2433-2437]
  • [SPARK-44217] [SC-136805] [PYTHON] fp 약 같음의 사용자 지정 정밀도 허용
  • [SPARK-44370] [SC-136575] [CONNECT] Buf 원격 세대 알파를 원격 플러그 인으로 마이그레이션
  • [SPARK-44410] [SC-136930] [PYTHON] [CONNECT] getOrCreate뿐만 아니라 만들기에서 활성 세션 설정
  • [SPARK-44348] [SAS-1910] [SC-136644] [13.X] [CORE] [CONNECT] [PYTHON] 관련 변경 내용이 있는 다시 활성화 가능한 test_artifact
  • [SPARK-44145] [SC-136698] [SQL] 실행 준비가 되면 콜백
  • [SPARK-44264] [SC-136870] [PYTHON] [ML] FunctionPickler 클래스
  • [SPARK-43986] [SC-135623] [SQL] HyperLogLog 함수 호출 실패에 대한 오류 클래스 만들기
  • [SPARK-44139] [SC-134967] [SQL] Dis카드 그룹 기반 MERGE 작업에서 필터를 완전히 푸시다운했습니다.
  • [SPARK-44338] [SC-136718] [SQL] 뷰 스키마 불일치 오류 메시지 수정
  • [SPARK-44208] [SC-135505] [CORE] [SQL] 예외를 직접 사용하는 일부 논리에 대해 명확한 오류 클래스 이름 할당
  • [SPARK-44364] [SC-136773] [PYTHON] 예상된 목록[행] 데이터 형식에 대한 지원 추가
  • [SPARK-44180] [SC-136792] [SQL] DistributionAndOrderingUtils는 ResolveTimeZone을 적용해야 합니다.
  • [SPARK-43389] [SC-136772] [SQL] lineSep 옵션에 대한 null 검사 추가됨
  • [SPARK-44388] [SC-136695] [CONNECT] UDF 인스턴스가 업데이트되면 protobuf 캐스트 문제 해결
  • [SPARK-44352] [SC-136373] [CONNECT] DataType에 sameType 및 friend를 다시 배치합니다.
  • [SPARK-43975] [SC-134265] [SQL] DataSource V2: 그룹 기반 원본에 대한 UPDATE 명령 처리
  • [SPARK-44360] [SC-136461] [SQL] 델타 기반 MERGE 작업에서 스키마 정리 지원
  • [SPARK-44138] [SC-134907] [SQL] MERGE 조건에서 비결정적 식, 하위 쿼리 및 집계 금지
  • [SPARK-43321] [SC-136678] [커넥트][후속 작업] Scala 클라이언트 joinWith에 사용되는 API에 대한 더 나은 이름
  • [SPARK-44263] [SC-136447] [CONNECT] 사용자 지정 인터셉터 지원
  • [SPARK-39851] [SC-123383] [SQL] 한쪽이 고유성을 유지할 수 있는 경우 조인 통계 예측 개선
  • [SPARK-44390] [SC-136677] [CORE] [SQL] 이름 바꾸기 SparkSerDerseUtilsSparkSerDeUtils
  • [SPARK-44004] [SC-134751] [SQL] 이름 할당 및 자주 레거시 오류에 대한 오류 메시지 개선
  • [SPARK-44322] [SC-136204] [CONNECT] 파서가 SQLConf 대신 SqlApiConf를 사용하도록 합니다.
  • [SPARK-44271] [SC-136347] [SQL] StructType에서 ResolveDefaultColumns로 기본값 함수 이동
  • [SPARK-44332] [SC-136413] [CORE] [WEBUI] 실행기 UI 페이지에서 실행기 ID 열의 정렬 오류 수정
  • [SPARK-44282] [SC-135948] [CONNECT] Spark 커넥트 Scala Client에서 사용할 DataType 구문 분석 준비
  • [SPARK-44349] [SC-136581] [R] SparkR에 수학 함수 추가
  • [SPARK-44397] [SC-136647] [PYTHON] pyspark.testing.utils에서 assertDataFrameEqual 노출
  • [SPARK-42981] [SC-136620] [CONNECT] 직접 화살표 serialization 추가
  • [SPARK-44373] [SC-136577] [SQL] 구문 분석 논리를 사용하여 데이터 세트 API에 대한 WithActive 래핑을 수행하여 파서 관련 구성이 작동하도록 합니다.
  • [SPARK-44340] [SC-136574] [SQL] PartitionEvaluator API를 통해 컴퓨팅 논리를 정의하고 WindowGroupLimitExec에서 사용합니다.
  • [SPARK-43665] [SC-136573] [CONNECT] [PS] PandasSQLStringFormatter.vformat을 사용하도록 설정하여 Spark 커넥트
  • [SPARK-44325] [SC-136572] [SQL] SortMergeJoinExec에서 PartitionEvaluator API 사용
  • [SPARK-44315] [SC-136171] [SQL] [CONNECT] DefinedByConstructorParams를 sql/api로 이동
  • [SPARK-44275] [SC-136184] [CONNECT] Scala Spark 커넥트 구성 가능한 재시도 메커니즘 추가
  • [SPARK-44326] [SC-136208] [SQL] [CONNECT] Scala 클라이언트에서 공통 모듈로 사용되는 유틸리티 이동
  • [SPARK-43321] [SC-136156] [커넥트] Dataset#Joinwith
  • [SPARK-44343] [SC-136372] [CONNECT] SQL/API로 이동하도록 ScalaReflection 준비
  • [SPARK-44313] [SC-136081] [SQL] 스키마에 char/varchar 열이 있을 때 생성된 열 식 유효성 검사 수정
  • [SPARK-43963] [SC-134145] [SQL] DataSource V2: 그룹 기반 원본에 대한 MERGE 명령 처리
  • [SPARK-44363] [SC-136433] [PYTHON] DataFrame 비교에서 같지 않은 행의 백분율 표시
  • [SPARK-44251] [SC-136432] [SQL] 전체 외부 USING 조인에서 병합된 조인 키에서 nullable을 올바르게 설정
  • [SPARK-43948] [SC-133366] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326] [CONNECT] [PYTHON] Scala 및 Python에 hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt 추가
  • [SPARK-44351] [SC-136353] [SQL] 몇 가지 구문 단순화
  • [SPARK-44281] [SC-135963] [SQL] DataType에서 사용하는 QueryCompilation 오류를 DataTypeErrors로 sql/api로 이동
  • [SPARK-44283] [SC-136109] [CONNECT] 원본을 SQL/API로 이동
  • [SPARK-43926] [SC-135590] [CONNECT] [PYTHON] Scala 및 Python에 array_agg, array_size, 카드inality, count_min_sketch, mask, named_struct,json_* 추가
  • [SPARK-44327] [SC-136187] [SQL] [CONNECT] Scala에 anylen 함수 추가
  • [SPARK-44290] [SC-136300] [CONNECT] Spark 커넥트 세션 기반 파일 및 보관
  • [SPARK-44061] [SC-136299] [PYTHON] assertDataFrameEqual util 함수 추가
  • [SPARK-44331] [SC-136324] [CONNECT] [PYTHON] Scala 및 Python에 비트맵 함수 추가
  • [SPARK-44342] [SC-136334] [SQL] SQLContext를 GenTPCDSData용 SparkSession으로 바꾸기
  • [SPARK-42583] [SC-124190] [SQL] 모든 고유 집계 함수인 경우 외부 조인 제거
  • [SPARK-44333] [SC-136206] [CONNECT] [SQL] ParserUtils에서 EnhancedLogicalPlan 이동
  • [SPARK-43824] [SC-132655] [SPARK-43825] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_128 이름 할당[1-2]
  • [SPARK-43939] [SC-134602] [CONNECT] [PYTHON] Scala 및 Python에 try_* 함수 추가
  • [SPARK-44193] [SC-135886] [CONNECT] 변환을 위한 GRPC 예외 차단 구현
  • [SPARK-44284] [SC-136107] [CONNECT] sql/api용 간단한 conf 시스템 만들기
  • [SPARK-43913] [SC-133368] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2426-2432]
  • [SPARK-44291] 되돌리기 "[SC-135924][SPARK-43416][CONNECT] 범위 쿼리에 대한 잘못된 스키마 수정"
  • [SPARK-44312] [SC-136185] [CONNECT] [PYTHON] 환경 변수를 사용하여 사용자 에이전트 설정 허용
  • [SPARK-44154] [SC-136060] 비트맵 함수 구현
  • [SPARK-43885] [SC-133996] [SQL] DataSource V2: 델타 기반 원본에 대한 MERGE 명령 처리
  • [SPARK-43924] [SC-135161] [CONNECT] [PYTHON] Scala 및 Python에 misc 함수 추가
  • [SPARK-43969] [SC-134556] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1170 이름 리팩터링 및 할당
  • [SPARK-44185] [SC-135730] [SQL] 카탈로그 작업과 데이터 작업 간의 일관되지 않은 경로 정규화 수정
  • [SPARK-44073] [SC-134562] [SQL] [PYTHON] [CONNECT] Scala, Python 및 커넥트 날짜 시간 함수 추가 - 2부
  • [SPARK-43942] [SC-134527] [CONNECT] [PYTHON] Scala 및 Python에 문자열 함수 추가 - 1부
  • [SPARK-44266] [SC-135813] [SQL] Util.truncatedString을 sql/api로 이동
  • [SPARK-44195] [SC-135722] [R] SparkR SparkContext에 JobTag API 추가
  • [SPARK-44200] [SC-135736] [SQL] TableValuedFunction에 대한 TABLE 인수 파서 규칙 지원
  • [SPARK-44254] [SC-135709] [SQL] DataType에서 사용하는 QueryExecutionErrors를 DataTypeErrors로 sql/api로 이동
  • [SPARK-44291] [SC-135924] [SPARK-43416] [CONNECT] 범위 쿼리에 대한 잘못된 스키마 수정
  • [SPARK-43922] [SC-135612] [SQL] 함수 호출에 대한 파서에 명명된 매개 변수 지원 추가
  • [SPARK-44300] [SC-135882] [CONNECT] 아티팩트 클린 수정하여 삭제 범위를 세션별 아티팩트로 제한
  • [SPARK-44293] [SC-135849] [CONNECT] Spark 커넥트 사용자 지정 JAR에 대한 잘못된 URI 수정
  • [SPARK-44215] [SC-135850] [순서 섞기] num 청크가 0이면 서버에서 RuntimeException을 throw해야 합니다.
  • [SPARK-44245] [SC-135851] [PYTHON] pyspark.sql.dataframe sample() doctests는 설명 전용이어야 합니다.
  • [SPARK-44274] [SC-135814] [CONNECT] ArtifactManager에서 사용하는 util 함수를 common/utils로 이동
  • [SPARK-44194] [SC-135815] [PYTHON] [CORE] PySpark SparkContext에 JobTag API 추가
  • [SPARK-42828] [SC-135733] [PYTHON] [SQL] GroupedData에 대한 보다 명시적인 Python 형식 주석
  • [SPARK-44079] [SC-135486] [SQL] 손상된 레코드와 함께 PERMISSIVE 모드를 사용하여 배열을 구조체로 구문 분석하는 경우 수정 ArrayIndexOutOfBoundsException
  • [SPARK-44255] [SC-135809] [SQL] StorageLevel을 일반/유틸리티로 재배치
  • [SPARK-42169] [SC-135795] [SQL] to_csv 함수에 대한 코드 생성 구현(StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] PythonUDTFRunner를 리팩터링하여 반환 형식을 별도로 보냅니다.
  • [SPARK-43353] [SC-132734] [PYTHON] 다시 마이그레이션기본 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-44211] [SC-135718] [PYTHON] [CONNECT] SparkSession.is_stopped 구현
  • [SPARK-42784] [SC-135691]은 병합 dir의 subDir 수가 conf보다 작은 경우에도 subDir을 만들어야 합니다.
  • [SPARK-41599] [SC-135616] InProcess를 사용하여 보안 클러스터에 앱을 제출할 때 FileSystem.CACHE의 메모리 누수시작 관리자
  • [SPARK-44241] [SC-135613] [코어] 실수로 io.connectionTimeout/connectionCreationTimeout을 0 또는 음수로 설정하면 끊임없는 실행기 단점/소멸이 발생합니다.
  • [SPARK-44133] [SC-134795] [13.X] [PYTHON] MyPy를 0.920에서 0.982로 업그레이드
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
  • [SPARK-44188] [SC-135173] [CORE] 에서 쓸모없는 resetAllPartitions 메서드 제거 ActiveJob
  • [SPARK-43757] [SC-135418] [CONNECT] 클라이언트 호환성을 허용 목록에서 거부 목록으로 변경
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] ID별로 런타임 데이터 프레임에 Spark 연결 액세스를 추가합니다.
  • [SPARK-44183] [SC-135209] [PYTHON] 최소 버전을 4.0.0으로 만들기 PyArrow
  • [SPARK-44248] [SC-135554] [SS] [SQL] [Kafka] kafka 원본 v2에서 기본 설정 위치 추가
  • [SPARK-43929] [SC-134510] [SQL] [PYTHON] [CONNECT] Scala, Python 및 커넥트 API에 날짜 시간 함수 추가 - 1부
  • [SPARK-44161] [SC-135326] [커넥트] UDF에 대한 행 입력 처리
  • [SPARK-44227] [SC-135520] [SQL] StructField에서 SchemaUtils 추출
  • [SPARK-44064] [SC-135116] [CORE] [SQL] 새 apply 함수를 에 추가 NonFateSharingCache
  • [SPARK-44171] [SC-135269] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2279-2282] 및 사용되지 않은 일부 오류 클래스 삭제
  • [SPARK-44056] [SC-134758] [SQL] UDF 실행 실패 오류 메시지(사용 가능한 경우)에 UDF 이름 포함
  • [SPARK-44205] [SC-135422] [SQL] DecimalType에서 촉매 코드 추출
  • [SPARK-44220] [SC-135484] [SQL] StringConcat을 sql/api로 이동
  • [SPARK-44146] [SC-135230] [CONNECT] Spark 커넥트 세션 jar 및 클래스 파일 격리
  • [SPARK-44206] [SC-135411] [SQL] DataSet.selectExpr 범위 Session.active
  • [SPARK-40850] [SC-135417] [SQL] 테스트 사례 해석 쿼리가 Codegen을 실행할 수 있는 수정
  • [SPARK-44204] [SC-135253] [SQL] [HIVE] getPartitionNames에 누락된 recordHiveCall 추가
  • [SPARK-44237] [SC-135485] [CORE] DirectByteBuffer 생성자 조회 논리 간소화
  • [SPARK-44189] [SC-135170] [CONNECT] [PYTHON] 다음을 통해 위치 매개 변수를 지원합니다. sql()
  • [SPARK-44140] [SC-134893] [SQL] [PYTHON] Python에서 위치 매개 변수 지원 sql()
  • [SPARK-44164] [SC-135158] [SQL] StructField에서 Util 클래스로 toAttribute 메서드 추출
  • [SPARK-44178] [SC-135113] [CONNECT] 에서 위치 매개 변수 지원 sql()
  • [SPARK-43208] [SC-128955] [SQL] [HIVE] IsolatedClassLoader는 읽은 후 Barrier 클래스 InputStream을 닫아야 합니다.
  • [SPARK-43063] [SC-128382] [SQL] df.show null 대신 NULL을 인쇄해야 하는 핸들
  • [SPARK-42539] [SC-124464] [SQL] [HIVE] 메타데이터 클라이언트에 'builtin' Hive 버전을 사용할 때 별도의 클래스 로더 제거
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [CONNECT] Catalog.listFunctions에 대한 선택적 패턴 추가
  • [SPARK-44066] [SC-134878] [SQL] Scala/Java에서 위치 매개 변수 지원 sql()
  • [SPARK-44078] [SC-134869] [CONNECT] [CORE] classloader/리소스 격리에 대한 지원 추가
  • [SPARK-43470] [SC-135187] [CORE] 애플리케이션 로그에 OS, Java, Python 버전 정보 추가
  • [SPARK-43136] [SC-135238] [CONNECT] [후속 작업] KeyA에 대한 테스트 추가
  • [SPARK-39740] [SC-135093] [UI]: 비스 타임라인 7.7.2로 업그레이드하여 CVE-2020-28487 수정
  • [SPARK-42298] [SC-133952] [SQL] _LEGACY_ERROR_TEMP_2132 이름 할당
  • [SPARK-43961] [SC-133459] [SQL] [PYTHON] [CONNECT] Catalog.listTables에 대한 선택적 패턴 추가
  • [SPARK-44026] [SC-135181] SQLMetrics에 대한 초기 값 제공 허용
  • [SPARK-44202] [SC-135244] [CORE] JavaSparkContext에 JobTag API 추가
  • [SPARK-44030] [SC-135237] [SQL] DataTypeExpression을 구현하여 식에 Unapply 제공
  • [SPARK-43876] 되돌리기 "[SC-134603][SQL] 고유 쿼리에 빠른 해시맵 사용"
  • [SPARK-40082] [SC-126437] 밀어넣기 병합 shuffleMapStage 재시도하지만 실행 중인 작업이 없을 때 mergeFinalize 예약
  • [SPARK-43888] [SC-132893] [CORE] 로깅을 일반/유틸리티로 재배치
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Spark에 SessionHolder 추가커넥트Planner
  • [SPARK-43944] [SC-134490] [CONNECT] [PYTHON] Scala 및 Python에 문자열 함수 추가 - 2부
  • [SPARK-44134] [SC-134954] [CORE] spark-defaults.conf에서 설정된 경우 리소스 설정(GPU/FPGA)을 0으로 수정
  • [SPARK-44142] [SC-134947] [PYTHON] python 형식을 spark 형식으로 변환하도록 형식을 유틸리티의 tpe로 바꾸기
  • [SPARK-43952] [SC-134695] [CORE] [CONNECT] [SQL] 태그별 쿼리 취소를 위한 SparkContext API 추가
  • [SPARK-44000] [SC-133634] [SQL] 조인의 한쪽 복제본(replica) 브로드캐스팅을 사용하지 않도록 설정하는 힌트 추가
  • [SPARK-43937] [SC-134362] [CONNECT] [PYTHON] Scala 및 Python에 ifnull,isnotnull,equal_null,nullif,nvl,nvl2 추가
  • [SPARK-43624] [13.x] [SC-134557] [PS] [CONNECT] Spark커넥트Planner에 추가 EWM 합니다.
  • [SPARK-44040] [SC-134366] [SQL] QueryStageExec 위의 AggregateExec 노드가 있는 경우 컴퓨팅 통계 수정
  • [SPARK-43485] [SC-131264] [SQL] datetime add/diff 함수의 인수에 대한 unit 오류 메시지 수정
  • [SPARK-43794] [SC-132561] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1335 이름 할당
  • [SPARK-43511] [SC-134749] [CONNECT] [SS] Spark 커넥트 대한 MapGroupsWithState 및 FlatMapGroupsWithState API 구현
  • [SPARK-43529] [SQL] CREATE/REPLACE TABLE OPTIONS 식 + 코드 클린up 지원
  • [SPARK-44106] [SC-134750] [PYTHON] [CONNECT] 추가 __repr__ 대상 GroupedData
  • [SPARK-42299] [SC-133190] _LEGACY_ERROR_TEMP_2206 이름 할당
  • [SPARK-43290] [SC-134388] [SQL] aes_encrypt EV 및 AAD에 대한 지원을 추가합니다.
  • [SPARK-43932] [SC-134138] [SQL] [PYTHON] [CONNECT] Scala 및 Python에 like 함수 추가 current
  • [SPARK-43934] [SC-134108] [SQL] [PYTHON] [CONNECT] Scala 및 Python에 regexp_* 함수 추가
  • [SPARK-44107] [SC-134746] [CONNECT] [PYTHON] 자동 완성에서 지원되지 않는 열 메서드 숨기기
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
  • [SPARK-43773] [SC-132659] [CONNECT] [PYTHON] python 클라이언트에서 'levenshtein(str1, str2[, threshold])' 함수 구현
  • [SPARK-44125] [SC-134745] [R] SparkR에서 Java 21 지원
  • [SPARK-43919] [SC-133374] [SQL] 행에서 JSON 기능 추출
  • [SPARK-43769] [SC-132520] [CONNECT] 'levenshtein(str1, str2[, threshold])' 함수 구현
  • [SPARK-44012] [SC-134662] [SS] 일부 읽기 상태 인쇄하는 KafkaDataConsumer
  • [SPARK-43876] [SC-134603] [SQL] 고유 쿼리에 대해 빠른 해시맵 사용
  • [SPARK-44024] [SC-134497] [SQL] 단일 요소를 추출하는 map 데만 사용할 수 unzip 있도록 변경
  • [SPARK-43928] [SC-134467] [SQL] [PYTHON] [CONNECT] Scala, Python 및 커넥트 API에 비트 작업 추가
  • [SPARK-44092] [SC-134506] [CORE] Java 21을 사용하여 모듈 패스 추가 Utils.isJavaVersionAtLeast21 및 만들기 core
  • [SPARK-44018] [SC-134512] [SQL] 일부 DS V2 식에 대한 해시 코드 및 toString 개선
  • [SPARK-44105] [SC-134582] [SQL] LastNonNull 를 지연 해결해야 합니다.
  • [SPARK-44081] [SC-134434] PartitionedFileUtil API 약간 간소화
  • [SPARK-43791] [SC-132531] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1336 이름 할당
  • [SPARK-44071] [SC-134435] 미해결 정의 및 사용[리프|단항]노드 특성입니다.
  • [SPARK-43852] [SC-132890] [SPARK-43853] [SPARK-43854] [SPARK-43855] [SPARK-43856] 오류 클래스 _LEGACY_ERROR_TEMP_2418-2425에 이름 할당
  • [SPARK-43742] [SC-132684] [SQL] 기본 열 값 확인 리팩터링
  • [SPARK-43493] [SC-132063] [SQL] levenshtein() 함수에 최대 거리 인수 추가
  • [SPARK-44075] [SC-134382] [CONNECT] 지연 만들기 transformStatCorr
  • [SPARK-43925] [SC-134381] [SQL] [PYTHON] [CONNECT] Scala, Python 및 커넥트 모든 bool_or,bool_and 추가
  • [SPARK-43931] [SC-134158] [SQL] [PYTHON] [CONNECT] Scala 및 Python에 make_* 함수 추가
  • [SPARK-43762] [SC-132602] [SPARK-43763] [SPARK-43764] [SPARK-43765] [SPARK-43766] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_24 이름 할당[06-10]
  • [SPARK-43962] [SC-133367] [SQL] 오류 메시지 개선: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMALCANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887] [CONNECT] [PYTHON] Scala 및 Python에 to_* 함수 추가
  • [SPARK-44055] [SC-134321] [CORE] 에서 중복 override 함수 제거 CheckpointRDD
  • [SPARK-43802] [SC-132597] [SQL] failOnError=true를 사용하여 unhex 및 unbase64에 대한 codegen 수정
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Python 사용자 정의 테이블 함수 지원
  • [SPARK-43941] [SC-134286] [SQL] [PYTHON] [CONNECT] any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value 추가, Scala, Python 및 커넥트 API로 축소
  • [SPARK-43380] [SC-133100] [SQL] 잘못된 결과를 생성하지 않도록 Avro 데이터 형식 변환 문제 해결
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] 클라이언트 연결 끊기를 처리하도록 awaitTermination()을 개선합니다.
  • [SPARK-43179] [SC-129070] [순서 섞기] 앱이 외부 순서 섞기 서비스에 의해 해당 메타데이터가 db에 저장되는지 여부를 제어할 수 있도록 허용

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

시스템 환경

  • 운영 체제: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • 델타 레이크: 2.4.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 검정색 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 에서 8.0.4 암호화 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0.12
entrypoints 0.4 실행 1.2.0 facets-overview 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-상태 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 Notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 패키징 21.3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
rope 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 six 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷 2023-02-10에 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 캐럿 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
줄임표 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 제네릭(generics) 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 주기 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 행렬 1.5-1 memoise 2.0.1
메서드 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 진행률 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
프록시 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-네이티브
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-네이티브
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-네이티브
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-네이티브
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 아이비 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.8.4-셰이드-프로토부프
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1