Databricks Runtime 14.1
다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.1에 대한 정보를 제공합니다.
Databricks는 2023년 10월에 이러한 이미지를 공개했습니다.
새로운 기능 및 향상 기능
- array_insert()는 음수 인덱스에 대해 1부터 사용합니다.
- Delta v2 검사points는 기본적으로 liquid 클러스터링 사용하도록 설정됩니다.
- 공개 미리 보기에서 델타 테이블 기능 삭제
- 델타 공유: 받는 사람이 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)
- 델타 공유: 받는 사람이 열 매핑을 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)
- 공개 미리 보기의 Unity 카탈로그 뷰에서 스트림
- 공개 미리 보기의 Apache Pulsar 커넥터
- 업그레이드된 Snowflake 드라이버
- SQL 세션 변수
- SQL 및 Python UDF에 대한 명명된 매개 변수 호출입니다.
- 함수에 대한 테이블 인수는 분할 및 순서 지정을 지원합니다.
- 새롭고 향상된 기본 제공 SQL 함수
- 상호 관련된 하위 쿼리 처리 개선
array_insert()는 음수 인덱스에 대해 1부터 사용합니다.
이 array_insert 함수는 양수 및 음수 인덱스 모두에 대해 1부터 수행됩니다. 이제 인덱스 -1의 입력 배열 끝에 새 요소를 삽입합니다. 이전 동작을 복원하려면 spark.sql.legacy.negativeIndexInArrayInsert을 true로 설정합니다.
Delta v2 검사points는 기본적으로 liquid 클러스터링 사용하도록 설정됩니다.
액체 클러스터링 있는 새로 만든 Delta 테이블은 기본적으로 v2 검사포인트를 사용합니다. 액체 클러스터링 있는 테이블의 호환성을 참조하세요.
공개 미리 보기에서 델타 테이블 기능 삭제
이제 델타 테이블에 대한 일부 테이블 기능을 삭제할 수 있습니다. 현재 지원에는 삭제 deletionVectors 및 v2Checkpoint. 델타 테이블 기능 삭제를 참조하세요.
델타 공유: 받는 사람이 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)
이제 델타 공유 받는 사람이 삭제 벡터를 사용하는 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있습니다. 공유에 대한 삭제 벡터 또는 열 매핑이 있는 테이블 추가, 삭제 벡터 또는 열 매핑이 사용하도록 설정된 테이블 읽기, 삭제 벡터 또는 열 매핑이 설정된 테이블 읽기를 참조하세요.
델타 공유: 받는 사람이 열 매핑을 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)
이제 델타 공유 받는 사람이 열 매핑을 사용하는 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있습니다. 공유에 대한 삭제 벡터 또는 열 매핑이 있는 테이블 추가, 삭제 벡터 또는 열 매핑이 사용하도록 설정된 테이블 읽기, 삭제 벡터 또는 열 매핑이 설정된 테이블 읽기를 참조하세요.
공개 미리 보기의 Unity 카탈로그 뷰에서 스트림
이제 구조적 스트리밍을 사용하여 Unity 카탈로그에 등록된 보기에서 스트리밍 읽기를 수행할 수 있습니다. Azure Databricks는 델타 테이블에 대해 정의된 뷰의 스트리밍 읽기만 지원합니다. Unity 카탈로그 뷰에서 스트림을 참조 하세요.
공개 미리 보기의 Apache Pulsar 커넥터
이제 구조적 스트리밍을 사용하여 Azure Databricks의 Apache Pulsar에서 데이터를 스트리밍할 수 있습니다. Apache Pulsar에서 스트림을 참조하세요.
업그레이드된 Snowflake 드라이버
이제 Snowflake JDBC 드라이버는 버전 3.13.33을 사용합니다.
SQL 세션 변수
이 릴리스에서는 쿼리 내에서 설정한 다음 참조할 수 있는 세션에서 임시 변수를 선언하는 기능을 소개합니다. 변수를 참조 하세요.
SQL 및 Python UDF에 대한 명명된 매개 변수 호출입니다.
이제 SQL 및 Python UDF에서 명명된 매개 변수 호출을 사용할 수 있습니다.
함수에 대한 테이블 인수는 분할 및 순서 지정을 지원합니다.
이제 함수 호출 중에 테이블 인수가 함수에 전달되는 방법을 제어하기 위해 절과 ORDER BY 함께 사용할 PARTITION BY 수 있습니다.
새롭고 향상된 기본 제공 SQL 함수
다음 기본 제공 함수가 추가되었습니다.
- from_xml: XML
STRING을 로STRUCT구문 분석합니다. - schema_of_xml: XML
STRING에서 스키마를 파생합니다. - session_user: 로그인한 사용자를 반환합니다.
- try_reflect: Java 메서드가 실패할 경우 예외 대신 반환
NULL합니다.
다음과 같은 기본 제공 함수가 향상되었습니다.
- mode: 선택적 매개 변수를 지원하여 결정적 결과를 강제 적용합니다.
- to_char: 새 지원
DATE,TIMESTAMP및BINARY. - to_varchar: 새 지원
DATE,TIMESTAMP및BINARY.
상호 관련된 하위 쿼리 처리 개선
하위 쿼리에서 상관 관계를 처리하는 기능이 확장되었습니다.
- 상관 관계 스칼라(횡적) 하위 쿼리에서 제한 및 순서를 처리합니다.
- 상관 관계가 있는 스칼라 하위 쿼리에서 창 함수를 지원합니다.
- 스칼라 및 횡적 하위 쿼리에 대한 조인 조건자의 상관 관계 참조 지원
동작 변경
Photon Parquet 판독기에서 엄격한 형식 검사
10진수 형식이 아닌 Parquet 열에서 10진수 값을 읽으려고 하면 Photon이 실패합니다. 또한 Parquet에서 고정 길이 바이트 배열을 문자열로 읽을 때 광자는 실패합니다.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- filelock from 3.12.2 to 3.12.3
- s3transfer from 0.6.1 to 0.6.2
- 업그레이드된 Java 라이브러리:
- com.uber.h3에서 3.7.0에서 3.7.3으로
- 0.24에서 0.25까지의 io.airlift.aircompressor
- io.delta.delta-sharing-spark_2.12에서 0.7.1~ 0.7.5
- io.netty.netty-all from 4.1.93.Final to 4.1.96.Final
- io.netty.netty-buffer from 4.1.93.Final to 4.1.96.Final
- 4.1.93.Final에서 4.1.96.Final까지 io.netty.netty-codec
- 4.1.93.Final에서 4.1.96.Final까지 io.netty.netty-codec-http
- 4.1.93.Final에서 4.1.96.Final까지 io.netty.netty-codec-http2
- io.netty.netty-codec-socks from 4.1.93.Final to 4.1.96.Final
- io.netty.netty-common에서 4.1.93.Final에서 4.1.96.Final까지
- 4.1.93.Final에서 4.1.96.Final까지의 io.netty.netty-handler
- 4.1.93.Final에서 4.1.96.Final까지의 io.netty.netty-handler-proxy
- io.netty.netty-resolver from 4.1.93.Final to 4.1.96.Final
- io.netty.netty-transport from 4.1.93.Final to 4.1.96.Final
- io.netty.netty-transport-classes-epoll from 4.1.93.Final to 4.1.96.Final
- io.netty.netty-transport-classes-kqueue from 4.1.93.Final to 4.1.96.Final
- io.netty.netty-transport-native-epoll에서 4.1.93.Final-linux-x86_64 4.1.96.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue에서 4.1.93.Final-osx-x86_64 4.1.96.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common에서 4.1.93.Final~ 4.1.96.Final
- net.snowflake.snowflake-jdbc from 3.13.29 to 3.13.33
- org.apache.orc.orc-core에서 1.9.0-shaded-protobuf에서 1.9.1-shaded-protobuf로
- org.apache.orc.orc-mapreduce from 1.9.0-shaded-protobuf to 1.9.1-shaded-protobuf
- org.apache.orc.orc-shims from 1.9.0 to 1.9.1
Apache Spark
Databricks Runtime 14.1에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 14.0(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-45088] [DBRRM-557] 되돌리기 "[SC-142785][PYTHON][CONNECT] getitem이 중복된 열로 작동하게 함"
- [SPARK-43453] [DBRRM-557] 되돌리기 "[SC-143135][PS] "의
MultiIndex경우axis=1concat무시names - [SPARK-45225] [SC-143207] [SQL] XML: XSD 파일 URL 지원
- [SPARK-45156] [SC-142782] [SQL] 오류 클래스에서
NON_FOLDABLE_INPUT백틱으로 래핑inputName - [SPARK-44910] [SC-143082] [SQL] Encoders.bean은 제네릭 형식 인수가 있는 슈퍼클래스를 지원하지 않습니다.
- [SPARK-43453] [SC-143135] [PS] 다음의
MultiIndex경우axis=1무시namesconcat - [SPARK-44463] [SS] [CONNECT] 커넥트 Steaming Python 작업자에 대한 오류 처리 개선
- [SPARK-44960] [SC-141023] [UI] UI 페이지에서 비스케이프 및 구성 오류 요약
- [SPARK-44788] [SC-142980] [CONNECT] [PYTHON] [SQL] pyspark, spark connect 및 sql 함수에 from_xml 및 schema_of_xml 추가
- [SPARK-44614] [SC-138460] [PYTHON] [CONNECT] [3.5] setup.py 누락된 패키지 추가
- [SPARK-45151] [SC-142861] [CORE] [UI] 작업 수준 스레드 덤프 지원
- [SPARK-45056] [SC-142779] [PYTHON] [SS] [CONNECT] streamingQueryListener 및 foreachBatch에 대한 종료 테스트
- [SPARK-45084] [SC-142828] [SS] StateOperatorProgress를 사용하여 정확한 유효 순서 섞기 파티션 번호 사용
- [SPARK-44872] [SC-142405] [CONNECT] 서버 테스트 인프라 및 ReattachableExecuteSuite
- [SPARK-45197] [SC-142984] [CORE]
StandaloneRestServer드라이버에 추가JavaModuleOptions - [SPARK-44404] [SC-139601] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[1009,1010,1013,1015,1016,1278]
- [SPARK-44647] [SC-142297] [SQL] 조인 키가 클러스터 키보다 작은 SPJ 지원
- [SPARK-45088] [SC-142785] [PYTHON] [CONNECT]
getitem중복 열 작업 - [SPARK-45128] [SC-142851] [SQL] 화살표의 지원
CalendarIntervalType - [SPARK-45130] [SC-142976] [CONNECT] [ML] [PYTHON] Spark 연결 ML 모델을 방지하여 입력 pandas 데이터 프레임 변경
- [SPARK-45034] [SC-142959] [SQL] 결정 모드 함수 지원
- [SPARK-45173] [SC-142931] [UI] UI에서 불필요한 sourceMapping 파일 제거
- [SPARK-45162] [SC-142781] [SQL] 을 통해 생성된 맵 및 배열 매개 변수 지원
call_function - [SPARK-45143] [SC-142840] [PYTHON] [CONNECT] PySpark를 PyArrow 13.0.0과 호환되도록 만들기
- [SPARK-45174] [SC-142837] [CORE] 지원
spark.deploy.maxDrivers - [SPARK-45167] [SC-142956] [CONNECT] [PYTHON] Python 클라이언트가 호출해야 합니다.
release_all - [SPARK-36191] [SC-142777] [SQL] 상관 관계가 있는 스칼라(횡적) 하위 쿼리에서 제한 및 순서 처리
- [SPARK-45159] [SC-142829] [PYTHON] 필요한 경우에만 명명된 인수 처리
- [SPARK-45133] [SC-142512] [CONNECT] 마지막 결과 작업이 완료되면 Spark 커넥트 쿼리가 완료되도록 설정
- [SPARK-44801] [SC-140802] [SQL] [UI] 수신기 및 UI에서 실패한 쿼리 분석 캡처
- [SPARK-45139] [SC-142527] [SQL] SQL 형식 변환을 처리하는 DatabricksDialect 추가
- [SPARK-45157] [SC-142546] [SQL] 에서 반복되는
if검사 방지[On|Off|HeapColumnVector - [SPARK-45077] "[SC-142069][UI] dagre-d3.js 04.3에서 0.6.4로 업그레이드" 되돌리기
- [SPARK-45145] [SC-142521] [예제] JavaSparkSQLCli 예제 추가
- [SPARK-43295] 되돌리기 "[SC-142254][PS] "에 대한
DataFrameGroupBy.sum문자열 형식 열 지원 - [SPARK-44915] [SC-142383] [CORE] 복구하기 전에 다시 탑재된 PVC의 순서 섞기 데이터의 검사sum 유효성 검사
- [SPARK-45147] [SC-142524] [CORE] 사용량 제거
System.setSecurityManager - [SPARK-45104] [SC-142206] [UI] 1.0.2로 업그레이드
graphlib-dot.min.js - [SPARK-44238] [SC-141606] [CORE] [SQL] 에 대한 바이트 배열 입력을 사용하여 새
readFrom메서드 소개BloomFilter - [SPARK-45060] [SC-141742] [SQL] 형식에서
to_char()NULL내부 오류 수정 - [SPARK-43252] [SC-142381] [SQL] 오류 클래스
_LEGACY_ERROR_TEMP_2016를 내부 오류로 바꾸기 - [SPARK-45069] [SC-142279] [SQL] SQL 변수는 항상 외부 참조 후에 확인되어야 합니다.
- [SPARK-44911] [SC-142388] [SQL] 잘못된 열이 있는 hive 테이블을 만들면 오류 클래스가 반환됩니다.
- [SPARK-42754] [SC-125567] [SQL] [UI] 중첩된 SQL 실행에서 이전 버전과의 호환성 문제 해결
- [SPARK-45121] [SC-142375] [CONNECT] [PS]
Series.emptySpark 커넥트 지원합니다. - [SPARK-44805] [SC-142203] [SQL] getBytes/getShorts/getInts/etc. 사전이 있는 열 벡터에서 작동해야 합니다.
- [SPARK-45027] [SC-142248] [PYTHON] 자동 완성에서 내부 함수/변수
pyspark.sql.functions숨기기 - [SPARK-45073] [SC-141791] [PS] [CONNECT] 다음으로 바꾸기
LastNotNullLast(ignoreNulls=True) - [SPARK-44901] [SC-141676] [SQL] 수동 백포트: Python UDTF 'analyze' 메서드에 API를 추가하여 분할/순서 지정 식을 반환합니다.
- [SPARK-45076] [SC-141795] [PS] 기본 제공 함수로
repeat전환 - [SPARK-44162] [SC-141605] [CORE] Spark 메트릭에서 G1GC 지원
- [SPARK-45053] [SC-141733] [PYTHON] [MINOR] Python 버전 불일치의 로그 개선
- [SPARK-44866] [SC-142221] [SQL] 부울 형식을 올바르게 처리하도록 추가
SnowflakeDialect - [SPARK-45064] [SC-141775] [PYTHON] [CONNECT] 에서 누락된
scale매개 변수 추가ceil/ceiling - [SPARK-45059] [SC-141757] [CONNECT] [PYTHON] Scala 및 Python에 함수 추가
try_reflect - [SPARK-43251] [SC-142280] [SQL] 오류 클래스
_LEGACY_ERROR_TEMP_2015를 내부 오류로 바꾸기 - [SPARK-45052] [SC-141736] [SQL] [PYTHON] [CONNECT] 함수 별칭 출력 열 이름을 SQL과 일치하게 만들기
- [SPARK-44239] [SC-141502] [SQL] 벡터가 다시 설정될 때 큰 벡터에 의해 할당된 사용 가능한 메모리
- [SPARK-43295] [SC-142254] [PS] 에 대한 문자열 형식 열 지원
DataFrameGroupBy.sum - [SPARK-45080] [SC-142062] [SS] DSv2 스트리밍 데이터 원본에서 열 형식에 대한 지원을 명시적으로 호출합니다.
- [SPARK-45036] [SC-141768] [SQL] SPJ: 부분적으로 클러스터된 배포를 처리하도록 논리 간소화
- [SPARK-45077] [SC-142069] [UI] dagre-d3.js 0.4.3에서 0.6.4로 업그레이드
- [SPARK-45091] [SC-142020] [PYTHON] [CONNECT] [SQL] 함수
floor/round/broundaccept 열 형식scale - [SPARK-45090] [SC-142019] [PYTHON] [CONNECT]
DataFrame.{cube, rollup}열 서수 지원 - [SPARK-44743] [SC-141625] [SQL] 함수 추가
try_reflect - [SPARK-45086] [SC-142052] [UI] 스레드 잠금 해시 코드에 대한 16진수 표시
- [SPARK-44952] [SC-141644] [SQL] [PYTHON] 집계 Pandas UDF에서 명명된 인수 지원
- [SPARK-44987] [SC-141552] [SQL] 오류 클래스에 이름 할당
_LEGACY_ERROR_TEMP_1100 - [SPARK-45032] [SC-141730] [CONNECT] 관련 컴파일 경고 수정
Top-level wildcard is not allowed and will error under -Xsource:3 - [SPARK-45048] [SC-141629] [CONNECT] Python 클라이언트 및 연결 가능한 실행에 대한 추가 테스트 추가
- [SPARK-45072] [SC-141807] [CONNECT] 암모나이트 클래스에 대한 외부 범위 수정
- [SPARK-45033] [SC-141759] [SQL] 매개 변수화된 지원 맵
sql() - [SPARK-45066] [SC-141772] [SQL] [PYTHON] [CONNECT] 함수
repeat가 열 형식에 동의하게 만들기n - [SPARK-44860] [SC-141103] [SQL] SESSION_USER 함수 추가
- [SPARK-45074] [SC-141796] [PYTHON] [CONNECT]
DataFrame.{sort, sortWithinPartitions}열 서수 지원 - [SPARK-45047] [SC-141774] [PYTHON] [CONNECT]
DataFrame.groupBy서수 지원 - [SPARK-44863] [SC-140798] [UI] Spark UI에서 스레드 덤프를 txt로 다운로드하는 단추 추가
- [SPARK-45026] [SC-141604] [CONNECT]
spark.sql는 화살표와 호환되지 않는 데이터 형식을 지원해야 합니다. - [SPARK-44999] [SC-141145] [CORE] 호출 시 검사 줄이기 위한
shouldPartition리팩터링ExternalSortergetPartition - [SPARK-42304] [SC-141501] [SQL] 이름 바꾸기
_LEGACY_ERROR_TEMP_2189GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION - [SPARK-43781] [SC-139450] [SQL] 동일한 원본에서 파생된 두 데이터 세트를 공동 그룹화할 때 IllegalStateException 수정
- [SPARK-45018] [SC-141516] [PYTHON] [CONNECT] Python 클라이언트에 CalendarIntervalType 추가
- [SPARK-45024] [SC-141513] [PYTHON] [CONNECT] 세션 만들기에서 일부 구성 필터링
- [SPARK-45017] [SC-141508] [PYTHON] PySpark에 추가
CalendarIntervalType - [SPARK-44720] [SC-139375] [CONNECT] 데이터 세트가 AgnosticEncoder 대신 인코더를 사용하도록 설정
- [SPARK-44982] [SC-141027] [CONNECT] Spark 커넥트 서버 구성을 정적으로 표시
- [SPARK-44839] [SC-140900] [SS] [CONNECT] 사용자가 Spark 세션을 serialize하려고 할 때 더 나은 오류 로깅
- [SPARK-44865] [SC-140905] [SS] StreamingRelationV2에서 메타데이터 열 지원
- [SPARK-45001] [SC-141141] [PYTHON] [CONNECT] DataFrame.foreachPartition 구현
- [SPARK-44497] [SC-141017] [WEBUI] 작업 테이블에 작업 파티션 ID 표시
- [SPARK-45006] [SC-141143] [UI] 타임라인 x축에 대해 다른 UI 날짜 요소의 동일한 날짜 형식 사용
- [SPARK-45000] [SC-141135] [PYTHON] [CONNECT] DataFrame.foreach 구현
- [SPARK-44967] [SC-141137] [SQL] [CONNECT] TreeNodeTag에 부울을 사용하기 전에 먼저 단위를 고려해야 합니다.
- [SPARK-44993] [SC-141088] [CORE] 다시 사용해서 추가
ShuffleChecksumUtils.compareChecksumsShuffleChecksumTestHelp.compareChecksums - [SPARK-44807] [SC-140176] [CONNECT] Scala 클라이언트에 Dataset.metadataColumn 추가
- [SPARK-44965] [SC-141098] [PYTHON] 내부 함수/변수 숨기기
pyspark.sql.functions - [SPARK-44983] [SC-141030] [SQL] 형식에
to_char대해 이진 파일을 문자열로 변환합니다.base64hexutf-8 - [SPARK-44980] [DBRRM-462] [SC-141024] [PYTHON] [CONNECT] createDataFrame에서 작동하도록 상속된 namedtuple 수정
- [SPARK-44985] [SC-141033] [CORE] 작업 사신 threadDump에 스택 추적 대신 toString 사용
- [SPARK-44984] [SC-141028] [PYTHON] [CONNECT] DataFrame에서 제거
_get_alias - [SPARK-44975] [SC-141013] [SQL] BinaryArithmetic 쓸모없는 재정의 해결 제거
- [SPARK-44969] [SC-140957] [SQL] 에서 다시 사용
ArrayInsertArrayAppend - [SPARK-44549] [SC-140714] [SQL] 상관 관계가 있는 스칼라 하위 쿼리의 지원 창 함수
- [SPARK-44938] [SC-140811] [SQL] 기본값을
spark.sql.maxSinglePartitionBytes128m로 변경 - [SPARK-44918] [SC-140816] [SQL] [PYTHON] 스칼라 Python/Pandas UDF에서 명명된 인수 지원
- [SPARK-44966] [SC-140907] [CORE] [CONNECT] 변경되지 않은
var변경 내용val - [SPARK-41471] [SC-140804] [SQL] 조인의 한 쪽만 KeyGroupedPartitioning인 경우 Spark 순서 섞기 줄이기
- [SPARK-44214] [SC-140528] [CORE] Spark 드라이버 라이브 로그 UI 지원
- [SPARK-44861] [SC-140716] [CONNECT] jsonignore SparkListener커넥트OperationStarted.planRequest
- [SPARK-44776] [SC-140519] [CONNECT] SparkListener에 ProducedRowCount 추가커넥트OperationFinished
- [SPARK-42017] [SC-140765] [PYTHON] [CONNECT]
df['col_name']열 이름의 유효성을 검사해야 합니다. - [SPARK-40178] [SC-140433] [SQL] [COONECT] PySpark 및 R에 대해 쉽게 병합 힌트 지원
- [SPARK-44840] [SC-140593] [SQL] 음수 인덱스에 대해 1부터 만들기
array_insert() - [SPARK-44939] [SC-140778] [R] SparkR SystemRequirements에서 Java 21 지원
- [SPARK-44936] [SC-140770] [CORE] Spark HybridStore가 메모리 제한에 도달할 때 로그 간소화
- [SPARK-44908] [SC-140712] [ML] [CONNECT] 교차 유효성 검사기 foldCol 매개 변수 기능 수정
- [SPARK-44816] [SC-140717] [CONNECT] UDF 클래스를 찾을 수 없는 경우 오류 메시지 개선
- [SPARK-44909] [SC-140710] [ML] 토치 배포자 로그 스트리밍 서버를 사용할 수 없는 경우 시작 건너뛰기
- [SPARK-44920] [SC-140707] [CORE] TransportClientFactory.createClient()에서 awaitUninterruptibly() 대신 await()를 사용합니다.
- [SPARK-44905] [SC-140703] [SQL] 상태 저장 lastRegex로 인해 eval에서 NullPointerException이 regexp_replace
- [SPARK-43987] [SC-139594] [순서 섞기] 전용 스레드 풀에 대한 별도의 finalizeShuffleMerge 처리
- [SPARK-42768] [SC-140549] [SQL] 캐시된 계획 사용은 기본적으로 AQE를 적용합니다.
- [SPARK-44741] [SC-139447] [CORE] 에서 regex 기반 MetricFilter 지원
StatsdSink - [SPARK-44751] [SC-140532] [SQL] XML FileFormat 인터페이스 구현
- [SPARK-44868] [SC-140438] [SQL] datetime을 문자열로 변환 기준
to_char/to_varchar - [SPARK-44748] [SC-140504] [SQL] UDTF TABLE 인수의 PARTITION BY 절에 대한 쿼리 실행
- [SPARK-44873] [SC-140427] Hive 클라이언트에서 중첩된 열을 사용하여 보기 변경 지원
- [SPARK-44876] [SC-140431] [PYTHON] Spark 커넥트 화살표 최적화 Python UDF 수정
- [SPARK-44520] [SC-137845] [SQL] UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY 용어를 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY 및 공개 루트 AE로 바꿉
- [SPARK-42664] [SC-139769] [CONNECT] 에 대한 지원
bloomFilter함수DataFrameStatFunctions - [SPARK-43567] [SC-139227] [PS] 지원 대상
use_na_sentinelfactorize - [SPARK-44859] [SC-140254] [SS] 구조적 스트리밍 문서에서 잘못된 속성 이름 수정
- [SPARK-44822] [SC-140182] [PYTHON] [SQL] 기본적으로 비결정적 Python UDF 만들기
- [SPARK-44731] [SC-139524] [PYTHON] [CONNECT] TimestampNTZ가 Python Spark 커넥트 리터럴과 함께 작동하게 합니다.
- [SPARK-44836] [SC-140180] [PYTHON] 화살표 Python UDTF 리팩터링
- [SPARK-44714] [SC-139238] 사용 중인 쿼리에 대한 LCA 확인의 용이성 제한
- [SPARK-44749] [SC-139664] [SQL] [PYTHON] Python UDTF에서 명명된 인수 지원
- [SPARK-44737] [SC-139512] [SQL] [UI] SQL 탭에서 SparkThrowable이 아닌 경우 SQL 페이지에 json 형식 오류가 표시되지 않아야 함
- [SPARK-44665] [SC-139307] [PYTHON] pandas DataFrame assertDataFrameEqual에 대한 지원 추가
- [SPARK-44736] [SC-139622] [CONNECT] Spark 커넥트 Scala Client에 Dataset.explode 추가
- [SPARK-44732] [SC-139422] [SQL] 기본 제공 XML 데이터 원본 지원
- [SPARK-44694] [SC-139213] [PYTHON] [CONNECT] 활성 세션을 리팩터링하고 API로 노출
- [SPARK-44652] [SC-138881] df가 하나만 없음인 경우 오류 발생
- [SPARK-44562] [SC-138824] [SQL] Subquery 일괄 처리에 OptimizeOneRowRelationSubquery 추가
- [SPARK-44717] [SC-139319] [PYTHON] [PS] 다시 샘플링 시 TimestampNTZ 존중
- [SPARK-42849] [SC-139365] [SQL] 세션 변수
- [SPARK-44236] [SC-139239] [SQL] NO_CODEGEN 설정
spark.sql.codegen.factoryMode하면 WholeStageCodegen 사용 안 함 - [SPARK-44695] [SC-139316] [PYTHON] 에 대한 오류 메시지 개선
DataFrame.toDF - [SPARK-44680] [SC-139234] [SQL] 에서 매개 변수에 대한 오류 개선
DEFAULT - [SPARK-43402] [SC-138321] [SQL] FileSourceScanExec는 스칼라 하위 쿼리를 사용하여 데이터 필터 푸시다운을 지원합니다.
- [SPARK-44641] [SC-139216] [SQL] SPJ가 트리거되지 않은 특정 시나리오의 잘못된 결과
- [SPARK-44689] [SC-139219] [CONNECT] 함수
SparkConnectPlanner#unpackScalarScalaUDF의 예외 처리를 보다 보편적으로 만들기 - [SPARK-41636] [SC-139061] [SQL] 조건자를 결정적 순서로 반환해야
selectFilters합니다. - [SPARK-44132] [SC-139197] [SQL] codegen 오류를 방지하기 위해 조인 열 이름을 구체화
Stream합니다. - [SPARK-42330] [SC-138838] [SQL] 오류 클래스에 이름
RULE_ID_NOT_FOUND할당_LEGACY_ERROR_TEMP_2175 - [SPARK-44683] [SC-139214] [SS] 로깅 수준이 RocksDB 상태 저장소 공급자에게 올바르게 전달되지 않음
- [SPARK-44658] [SC-138868] [CORE]
ShuffleStatus.getMapStatus대신 반환None해야 합니다.Some(null) - [SPARK-44603] [SC-138353] pyspark.testing을 setup.py 추가
- [SPARK-44252] [SC-137505] [SS] 새 오류 클래스를 정의하고 DFS에서 로드 상태가 실패하는 경우 적용
- [SPARK-29497] [DBRRM-396] [SC-138477] [CONNECT] UDF를 역직렬화할 수 없는 경우 오류를 throw합니다.
- [SPARK-44624] [DBRRM-396] [SC-138900] [CONNECT] 초기 요청이 서버에 도달하지 않은 경우 ExecutePlan 다시 시도
- [SPARK-41400] [DBRRM-396] [SC-138287] [CONNECT] 커넥트 클라이언트 촉매 종속성 제거
- [SPARK-44059] [SC-138833] [SQL] argumnts라는 SQL에 대한 더 나은 오류 메시지 추가
- [SPARK-44620] [SC-138831] [SQL] [PS] [CONNECT] 다음을 유지합니다
ResolvePivot.Plan_ID_TAG - [SPARK-43838] [SC-137413] [SQL] having 절을 사용하여 단일 테이블의 하위 쿼리를 최적화할 수 없습니다.
- [SPARK-44555] [SC-138820] [SQL] 검사Error()를 사용하여 명령 모음에서 예외 검사 및 일부 오류 클래스 이름 할당
- [SPARK-44280] [SC-138821] [SQL] JDBCDialect API에서 convertJavaTimestampToTimestamp 추가
- [SPARK-44602] [SC-138337] [SQL] [CONNECT] [PS] 다음을 유지합니다
WidenSetOperationTypes.Plan_ID_TAG - [SPARK-42941] [SC-138389] [SS] [CONNECT] Python StreamingQueryListener
- [SPARK-43838] 되돌리기 "[SC-137413][SQL] 단일 ta에서 하위 쿼리 수정...
- [SPARK-44538] [SC-138178] [CONNECT] [SQL] Row.jsonValue 및 친구 복원
- [SPARK-44421] [SC-138434] [SPARK-44423] [CONNECT] Spark 커넥트 다시 연결할 수 있는 실행
- [SPARK-43838] [SC-137413] [SQL] having 절을 사용하여 단일 테이블의 하위 쿼리를 최적화할 수 없습니다.
- [SPARK-44587] [SC-138315] [SQL] [CONNECT] protobuf 마샬러 재귀 제한 늘리기
- [SPARK-44605] [SC-138338] [CORE] 내부 ShuffleWriteProcessor API 구체화
- [SPARK-44394] [SC-138291] [CONNECT] [WEBUI] Spark 커넥트 대한 Spark UI 페이지 추가
- [SPARK-44585] [SC-138286] [MLLIB] MLLib RankingMetrics ndcgAk에서 경고 조건 수정
- [SPARK-44198] [SC-138137] [CORE] 실행기에 로그 수준 전파 지원
- [SPARK-44454] [SC-138071] [SQL] [HIVE] HiveShim getTablesByType 지원 대체
- [SPARK-44425] [SC-138135] [CONNECT] 사용자가 제공한 sessionId가 UUID인지 확인
- [SPARK-43611] [SC-138051] [SQL] [PS] [CONNCECT] 다음을 유지합니다
ExtractWindowExpressions.PLAN_ID_TAG - [SPARK-44560] [SC-138117] [PYTHON] [CONNECT] Arrow Python UDF에 대한 테스트 및 설명서 개선
- [SPARK-44482] [SC-138067] [CONNECT] 커넥트 서버는 바인딩 주소를 지정할 수 있어야 합니다.
- [SPARK-44528] [SC-138047] [CONNECT] 커넥트 데이터 프레임에 대한 hasattr()의 적절한 사용 지원
- [SPARK-44525] [SC-138043] [SQL] Invoke 메서드를 찾을 수 없는 경우 오류 메시지 개선
- [SPARK-44355] [SC-137878] [SQL] WithCTE를 명령 쿼리로 이동
Databricks ODBC/JDBC 드라이버 지원
Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).
시스템 환경
- 운영 체제: Ubuntu 22.04.3 LTS
- Java: Zulu 8.72.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- 델타 레이크: 3.0.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | 검정색 | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 에서 | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | 암호화 | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
| 실행 | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.18.0 |
| filelock | 3.12.3 | fonttools | 4.25.0 | GCC 런타임 라이브러리 | 1.10.0 |
| googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-상태 | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.4 | importlib-metadata | 4.6.4 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.17.3 | jupyter-client | 7.3.4 | jupyter-server | 1.23.4 |
| jupyter_core | 5.2.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| Keyring | 23.5.0 | kiwisolver | 1.4.4 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
| MarkupSafe | 2.1.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.2 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| nodeenv | 1.8.0 | Notebook | 6.5.2 | notebook_shim | 0.2.2 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | 패키징 | 22.0 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.3 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.4.0 | pip | 22.3.1 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | protobuf | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 8.0.0 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requests | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 65.6.3 | six | 1.16.0 |
| sniffio | 1.2.0 | soupsieve | 2.3.2.post1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.13.5 | tenacity | 8.1.0 |
| terminado | 0.17.1 | threadpoolctl | 2.2.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
| traitlets | 5.7.1 | typing_extensions | 4.4.0 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 0.58.0 | whatthepatch | 1.0.2 | wheel | 0.38.4 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
| SciPy | 1.10.1 |
설치된 R 라이브러리
R 라이브러리는 Posit 패키지 관리자 CRAN 스냅샷 2023-02-10에 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| 화살표 | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | 캐럿 | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | class | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | 갈등 | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | credentials | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | 다이어그램 | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | 줄임표 | 0.3.2 |
| evaluate | 0.21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | 제네릭(generics) | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | 주기 | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | 행렬 | 1.5-4.1 | memoise | 2.0.1 |
| 메서드 | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | 진행률 | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| 프록시 | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| SparkR | 3.5.0 | spatial | 7.3-15 | splines | 4.3.1 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | 통계 | 4.3.1 |
| stats4 | 4.3.1 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-5 | sys | 3.4.2 | systemfonts | 1.0.4 |
| tcltk | 4.3.1 | testthat | 3.1.10 | textshaping | 0.3.6 |
| tibble | 3.2.1 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 2.0.0 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.45 | tools | 4.3.1 | tzdb | 0.4.0 |
| urlchecker | 1.0.1 | usethis | 2.2.2 | utf8 | 1.2.3 |
| utils | 4.3.1 | uuid | 1.1-0 | vctrs | 0.6.3 |
| viridisLite | 0.4.2 | vroom | 1.6.3 | waldo | 0.5.1 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.39 |
| xml2 | 1.3.5 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.3.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-네이티브 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-네이티브 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-네이티브 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-네이티브 |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | 프로파일러 | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-spark_2.12 | 0.7.5 |
| io.dropwizard.metrics | 메트릭 주석 | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | Avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | 아이비 | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1 음영 처리된 프로토부프 |
| org.apache.orc | orc-mapreduce | 1.9.1 음영 처리된 프로토부프 |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |