Databricks Runtime 14.2
다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.2에 대한 정보를 제공합니다.
Databricks는 2023년 11월에 이러한 이미지를 공개했습니다.
새로운 기능 및 향상 기능
CACHE SELECT이제 무시됩니다.- DML 명령의 손상된 파일 처리 수정
- 공유 클러스터에서 protobuf 및 Avro 관련 함수에 대한 스키마 레지스트리 지원
foreachBatch및StreamingListener지원- 행 수준 동시성은 일반적으로 사용 가능하며 기본적으로 켜집니다.
- 델타 공유: 받는 사람은 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리, CDF 및 스트리밍 쿼리를 수행할 수 있습니다(공개 미리 보기).
- Unity 카탈로그 외부 테이블에 대한 단순 클론(공개 미리 보기)
- 새 디스크 캐싱 할당 알고리즘
from_avro스키마 레지스트리 커넥터를 사용하여 스키마 진화 지원 추가- 더 빠른 다중 스레드 통계 수집
- 델타 파일의 DeltaSource에 있는 푸시다운 필터
- 공유 클러스터에서 Scala 스칼라 사용자 정의 함수 지원(공개 미리 보기)
CACHE SELECT 이제 무시됩니다.
이제 SQL 명령은 CACHE SELECT 향상된 캐싱 알고리즘을 위해 무시됩니다. Azure Databricks에서 캐싱을 사용하여 성능 최적화를 참조하세요.
DML 명령의 손상된 파일 처리 수정
DML 명령 및 DELETEUPDATEMERGE INTO 더 이상 읽기 옵션 ignoreCorruptFiles 및 .ignoreMissingFiles 테이블에서 읽을 수 없는 파일이 발견되면 이러한 옵션이 지정된 경우에도 이러한 명령이 실패합니다.
공유 클러스터에서 protobuf 및 Avro 관련 함수에 대한 스키마 레지스트리 지원
이제 공유 클러스터에서 from_avro스키마 레지스트리와 함께 , to_avrofrom_protobuf및 to_protobuf Python 함수를 사용할 수 있습니다.
foreachBatch 및 StreamingListener 지원
이제 공유 클러스터에서 foreachBatch() 구조적 스트리밍과 함께 API 및 StreamingListener API를 사용할 수 있습니다. foreachBatch를 사용하여 Azure Databricks의 임의 데이터 싱크 및 모니터링 구조적 스트리밍 쿼리에 쓰기를 참조하세요.
행 수준 동시성은 일반적으로 사용 가능하며 기본적으로 켜집니다.
행 수준 동시성은 행 수준에서 변경 내용을 검색하여 동시 쓰기 작업 간의 충돌을 줄입니다. 행 수준 동시성은 분할 없이 테이블에서만 지원되며, 여기에는 액체 클러스터링 있는 테이블이 포함됩니다. 행 수준 동시성은 삭제 벡터를 사용하도록 설정된 델타 테이블에서 기본적으로 사용하도록 설정됩니다. 행 수준 동시성과의 쓰기 충돌을 참조 하세요.
델타 공유: 받는 사람은 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리, CDF 및 스트리밍 쿼리를 수행할 수 있습니다(공개 미리 보기).
이제 델타 공유 받는 사람은 삭제 벡터를 사용하는 공유 테이블에서 일괄 처리, CDF 및 스트리밍 쿼리를 수행할 수 있습니다. Databricks Runtime 14.1에서는 일괄 처리 쿼리만 수행할 수 있습니다. 공유에 대한 삭제 벡터 또는 열 매핑이 있는 테이블 추가, 삭제 벡터 또는 열 매핑이 사용하도록 설정된 테이블 읽기, 삭제 벡터 또는 열 매핑이 설정된 테이블 읽기를 참조하세요.
Unity 카탈로그 외부 테이블에 대한 단순 클론(공개 미리 보기)
이제 Unity 카탈로그 외부 테이블과 함께 단순 클론을 사용할 수 있습니다. Unity 카탈로그 테이블의 단순 복제본을 참조 하세요.
새 디스크 캐싱 할당 알고리즘
이제 Spark 스케줄러는 새 디스크 캐싱 알고리즘을 사용합니다. 이 알고리즘은 초기 및 클러스터 크기 조정 이벤트 후에 더 빠른 할당을 통해 노드 간에 디스크 사용량 및 파티션 할당을 개선합니다. 스티커 캐시 할당은 실행 간에 일관성을 향상시키고 리밸런싱 작업 중에 이동된 데이터를 줄입니다.
from_avro 스키마 레지스트리 커넥터를 사용하여 스키마 진화 지원 추가
이제 진화된 레코드가 검색되면 파이프라인을 다시 시작하도록 설정할 수 있습니다. 이전에는 커넥터에서 스키마가 from_avro 진화한 경우 새 열이 반환 null됩니다. 스트리밍 Avro 데이터 읽기 및 쓰기를 참조 하세요.
더 빠른 다중 스레드 통계 수집
CONVERT TO DELTA를 실행하거나 Iceberg 및 Parquet 테이블에서 복제할 때 작은 클러스터에서 통계 수집이 최대 10배 더 빠릅니다. Delta Lake 및 Clone Parquet 및 Iceberg 테이블로 변환을 참조하세요.
델타 파일의 DeltaSource에 있는 푸시다운 필터
더 나은 사용률을 위해 델타 테이블 스트리밍 쿼리의 파티션 필터는 이제 속도 제한 전에 델타로 푸시됩니다.
공유 클러스터에서 Scala 스칼라 사용자 정의 함수 지원(공개 미리 보기)
이제 공유 액세스 모드로 구성된 Unity 카탈로그 사용 클러스터에서 Scala 스칼라 사용자 정의 함수를 사용할 수 있습니다. 사용자 정의 스칼라 함수 - Scala를 참조하세요.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- fastjsonschema 2.18.0에서 2.19.0으로
- filelock from 3.12.3 to 3.12.4
- googleapis-common-protos 1.60.0에서 1.61.0까지
- 업그레이드된 R 라이브러리:
- 업그레이드된 Java 라이브러리:
Apache Spark
Databricks Runtime 14.2에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 14.1에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-45592] [DBRRM-624] "[SC-146977][SQL] InMemoryTableScanExec를 사용한 AQE의 정확성 문제" 되돌리기
- [SPARK-45524] [DBRRM-625] 되돌리기 "[SC-146319][PYTHON][SQL] 초기 지원 f...
- [SPARK-45433] [DBRRM-621] 되돌리기 "[SC-145163][SQL] CSV/JSON 스키마 유추 수정...
- [SPARK-45592] [SC-146977] [SQL] InMemoryTableScanExec를 사용하는 AQE의 정확성 문제
- [SPARK-45354] 되돌리기 "[SC-143991][SQL] 함수 상향식 해결"
- [SPARK-45680] [TEST-ONLY] [SASP-2347] [CONNECT] 테스트 수정
- [SPARK-45680] [CONNECT] 릴리스 세션
- [SPARK-43380] [SC-146726] [ES-897115] [SQL] Avro 읽기의 속도 저하 수정
- [SPARK-45649] [SC-146742] [SQL] 다음을 위한 준비 프레임워크 통합
OffsetWindowFunctionFrame - [SPARK-40820] [SC-146727] [PYTHON] [SQL] Json에서 StructType 만들기
- [SPARK-45620] [SC-146225] [PYTHON] CamelCase를 사용하도록 Python UDTF와 관련된 사용자 연결 API 수정
- [SPARK-45727] [SC-146978] [SS] 워터마크 전파 시뮬레이션에서 사용되지 않는 맵 제거
- [SPARK-45723] [SC-146890] [PYTHON] [CONNECT] 카탈로그 메서드는 pandas 변환을 방지합니다.
- [SPARK-45574] [SC-146106] [SQL] :: 구문을 캐스팅의 약어로 추가
- [SPARK-45670] [SC-146725] [CORE] [3.5] SparkSubmit는 K8s에 배포할 때 지원하지
--total-executor-cores않습니다. - [SPARK-45661] [SC-146594] [SQL] [PYTHON] StructType, MapType 및 ArrayType에서 toNullable 추가
- [SPARK-45524] [SC-146319] [PYTHON] [SQL] Python 데이터 원본 읽기 API에 대한 초기 지원
- [SPARK-45542] [SC-145892] [CORE] 다음으로 바꾸기
setSafeMode(HdfsConstants.SafeModeAction, boolean)setSafeMode(SafeModeAction, boolean) - [SPARK-45652] [SC-146641] [SQL] SPJ: 동적 필터링 후 빈 입력 파티션 처리
- [SPARK-45454] [SC-144846] [SQL] 테이블의 기본 소유자를 current_user 설정
- [SPARK-45554] [SC-146875] [PYTHON] 에 유연한 매개 변수 도입
assertSchemaEqual - [SPARK-45242] [SC-143410] [SQL] DataFrame ID를 사용하여 CollectMetrics의 의미 체계 유효성 검사
- [SPARK-45674] [SC-146862] [CONNECT] [PYTHON] Spark 커넥트 JVM 종속 특성에 대한 오류 메시지를 개선합니다.
- [SPARK-45646] [SC-146276] [SQL] Hive 2.0 이전의 하드코딩 시간 변수 제거
- [SPARK-43380] [SC-146726] [ES-897115] [SQL] Avro 읽기의 속도 저하 수정
- [SPARK-45545] [SC-146484] [CORE] SparkTransportConf를 만들 때마다 SSLOptions 전달
- [SPARK-45641] [SC-146260] [UI] AllJobsPage에 애플리케이션 시작 시간 표시
- [SPARK-40154] [SC-146491] [Python] [문서] Dataframe.cache docstring의 올바른 스토리지 수준
- [SPARK-45626] [SC-146259] [SQL] _LEGACY_ERROR_TEMP_1055 REQUIRES_SINGLE_PART_NAMESPACE 변환
- [SPARK-45507] [SC-145900] [SQL] COUNT 집계를 사용하여 중첩된 상관 관계 스칼라 하위 쿼리에 대한 정확성 수정
- [SPARK-45619] [SC-146226] [CONNECT] [PYTHON] 관찰된 메트릭을 Observation 개체에 적용
- [SPARK-45588] [SC-145909] [PROTOBUF] [CONNECT] [MINOR] StreamingForeachBatchHelper에 대한 Scaladoc 개선
- [SPARK-45616] [SC-146120] [CORE] ThreadLocals 또는 SparkSession을 전파하지 않는 ParVector 방지
- [SPARK-45604] [SC-146105] [SQL] INT64에서 LogicalType 검사 추가 -> Parquet Vectorized Reader의 DateTime 변환
- [SPARK-44649] [SC-145891] [SQL] 런타임 필터는 동등한 생성 쪽 식 전달을 지원합니다.
- [SPARK-41674] [SC-128408] [SQL] 런타임 필터는 필터 생성 쪽으로 다중 수준 순서 섞기 조인 쪽을 지원해야 합니다.
- [SPARK-45547] [SC-146228] [ML] 기본 제공 함수를 사용하여 벡터 유효성 검사
- [SPARK-45558] [SC-145890] [SS] 상태 저장 연산자를 스트리밍하기 위한 메타데이터 파일 소개
- [SPARK-45618] [SC-146252] [CORE] BaseErrorHandler 제거
- [SPARK-45638] [SC-146251] [SQL] [Avro] 10진수 변환의 테스트 검사 향상
- [SPARK-44837] [SC-146020] [SQL] ALTER TABLE ALTER PARTITION 열 오류 메시지 변경
- [SPARK-45561] [SC-146264] [SQL] MySQLDialect에서 TINYINT에 대한 적절한 변환 추가
- [SPARK-45632] [SC-146255] [SQL] AQE를 사용하도록 설정할 때 테이블 캐시는 불필요한 ColumnarToRow를 방지해야 합니다.
- [SPARK-45569] [SC-145932] [SQL] 오류 _LEGACY_ERROR_TEMP_2152 이름 할당
- [SPARK-44784] [SC-141015] [CONNECT] SBT 테스트 밀폐를 만듭니다.
- [SPARK-45452] [SC-144836] [SQL] API 사용
FileSystem.listFiles개선InMemoryFileIndex - [SPARK-44735] [SC-146186] [SQL] 일치하지 않는 행별로 이름이 같은 열을 삽입할 때 경고 msg 추가
- [SPARK-45351] [SC-144791] [CORE] 기본값을 ROCKSDB로 변경
spark.shuffle.service.db.backend - [SPARK-45553] [SC-145906] [PS] 사용 중단
assertPandasOnSparkEqual - [SPARK-45613] [SC-146022] [CORE] DeterministicLevel을 DeveloperApi로 노출
- [SPARK-45549] [SC-145895] [CORE] 사용되지
numExistingExecutors않는 항목 제거CoarseGrainedSchedulerBackend - [SPARK-45609] [SC-146030] [CONNECT] SparkThrowable proto 메시지에 SqlState 포함
- [SPARK-45595] [SC-146037] 오류 메시지에 sqlstate 노출
- [SPARK-45628] [SC-146123] [ML] 다음을 위해 개선
vector_to_array.mllib.linalg.SparseVector - [SPARK-45009] [SC-145884] [SQL] [후속 작업] AQE InSubquery 테스트에 대한 조인 조건에서 decorrelation 끄기
- [SPARK-45576] [SC-145883] [CORE] ReloadingX509TrustManagerSuite에서 불필요한 디버그 로그 제거
- [SPARK-45485] [SC-145719] [CONNECT] 사용자 에이전트 개선 사항: SPARK_CONNECT_USER_AGENT env 변수 사용 및 환경별 특성 포함
- [SPARK-45508] [SC-145513] [CORE] 플랫폼이 Java 9 이상에서 클리너에 액세스할 수 있도록 "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED"를 추가합니다.
- [SPARK-45595] 되돌리기 "[SC-146037] 오류 메시지에 SQLSTATE 노출"
- [SPARK-45595] [SC-146037] 오류 메시지에 SQLSTATE 노출
- [SPARK-45112] 되돌리기 "[SC-143259][SQL] UnresolvedFunction ba 사용...
- [SPARK-45257] [SC-143411] [CORE] 기본적으로 사용
spark.eventLog.compress - [SPARK-45586] [SC-145899] [SQL] 식 트리가 큰 계획에 대한 컴파일러 대기 시간 줄이기
- [SPARK-45517] [SC-145691] [CONNECT] [14.x] 더 많은 예외 생성자를 확장하여 오류 프레임워크 매개 변수 지원
- [SPARK-45581] [SC-145896] SQLSTATE를 필수로 만듭니다.
- [SPARK-45427] [SC-145590] [CORE] SSLOptions 및 SparkTransportConf에 RPC SSL 설정 추가
- [SPARK-45261] [SC-143357] [CORE] 코덱으로 처리
none하도록 수정EventLogFileWriters - [SPARK-45582] [SC-145897] [SS] 출력 모드 스트리밍 집계 내에서 커밋을 호출한 후 저장소 인스턴스가 사용되지 않는지 확인합니다.
- [SPARK-45562] [SC-145720] [SC-144650] [SQL] XML: 'rowTag'를 필수 옵션으로 만들기
- [SPARK-45392] [SC-144362] [CORE] [SQL] [SS] 다음으로 바꾸기
Class.newInstance()Class.getDeclaredConstructor().newInstance() - [SPARK-45433] [SC-145163] [SQL] 타임스탬프가 지정된 timestampFormat과 일치하지 않는 경우 CSV/JSON 스키마 유추 수정
- [SPARK-45458] [SC-145011] [SQL] BitwiseExpressions에서 IllegalArgumentException을 SparkIllegalArgumentException으로 변환
- [SPARK-45564] [SC-145735] [SQL] 'BloomFilterAggregate' 식을 사용하여 'DataFrameStatFunctions.bloomFilter' 단순화
- [SPARK-45566] [SC-145777] [PS] Spark에서 Pandas API에 대한 Pandas와 유사한 테스트 유틸리티 지원
- [SPARK-45498] [SC-145509] [CORE] 후속 작업: 이전 단계에서 작업 완료 무시...
- [SPARK-45483] [SC-145152] [CONNECT] connect.functions의 함수 그룹 수정
- [SPARK-45577] [SC-145781] [PYTHON] UserDefinedPythonTableFunctionAnalyzeRunner가 명명된 인수에서 접힌 값을 전달하도록 수정
- [SPARK-45009] [SC-138223] [후속 작업] AetherSQLQuerySuite에 대한 조인 조건에서 decorrelation 끄기
- [SPARK-45415] [SC-145344] RocksDB 상태 저장소에서 "fallocate"를 선택적으로 사용하지 않도록 설정 허용
- [SPARK-45500] [SC-145134] [CORE] [WEBUI] MasterPage에서 비정상적으로 완료된 드라이버 수 표시
- [SPARK-44120] [SC-144349] [PYTHON] Python 3.12 지원
- [SPARK-45439] [SC-145589] [SQL] [UI] LiveStageMetrics.accumIdsToMetricType의 메모리 사용량 감소
- [SPARK-45565] [SC-145717] [UI] 스테이지 세부 정보에서 작업 목록에 대한 불필요한 JSON.stringify 및 JSON.parse 루프
- [SPARK-45567] [SC-145718] [CONNECT] org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run에서 중복 제거
- [SPARK-45112] [SC-143259] [SQL] SQL 데이터 세트 함수에서 UnresolvedFunction 기반 해상도 사용
- [SPARK-45486] [SASP-2457] [SC-145612] [CONNECT] add_artifact 요청 idempotent 만들기
- [SPARK-44913] [SC-144326] [SQL] DS V2는 매직 메서드가 있는 V2 UDF 푸시다운을 지원합니다.
- [SPARK-45538] [SC-145635] [PYTHON] [CONNECT]pyspark connect overwrite_partitions 버그
- [SPARK-45491] [SC-145622] 누락된 SQLSTATES 2/2 추가
- [SPARK-45009] [SC-145620] [SC-138223] [SQL] 조인 조건에서 조건자 하위 쿼리 감소
- [SPARK-45377] [SC-144377] [CORE] NettyLogger에서 InputStream 처리
- [SPARK-45248] [SC-143759] [CORE] spark ui 서버에 대한 시간 제한 설정
- [SPARK-44594] [SC-145611] [SS] kafka 커넥터에서 중복 메서드 매개 변수 제거
- [SPARK-45539] [SC-145621] [SS] 어설션 및 로그를 추가하여 추가 모드에서 집계 쿼리 스트리밍에 워터마크 정의가 필요함을 나타냅니다.
- [SPARK-44262] [SC-145639] [SQL] JdbcDialect에 추가
dropTable및getInsertStatement추가 - [SPARK-45516] [SC-145480] [CONNECT] SparkThrowable proto 메시지에 QueryContext 포함
- [SPARK-45310] [SC-145127] [CORE] 보고서 순서 섞기 블록 상태 서비스 해제 중 순서 섞기 서비스를 준수해야 합니다.
- [SPARK-45521] [SC-145487] [ML] 다음에서 nnz를 다시 계산하지 않습니다.
VectorAssembler - [SPARK-45418] [SC-145485] [SQL] [PYTHON] [CONNECT] current_database() 열 별칭을 current_schema()로 변경
- [SPARK-45116] [SC-145142] [SQL] JdbcDialect의 매개 변수에 대한 주석 추가
createTable - [SPARK-45495] [SC-145529] [core] 동적 할당을 사용하지 않도록 설정한 경우 k8s 클러스터에 대한 단계 수준 작업 리소스 프로필 지원
- [SPARK-45487] [SC-145559] SQLSTATE 및 임시 오류 수정
- [SPARK-45505] [SC-145550] [PYTHON] analyzeInPython을 리팩터링하여 재사용 가능
- [SPARK-45132] [SC-145425] [SQL] 함수 호출에 대한 IDENTIFIER 수정
- [SPARK-45213] [SC-145020] [SQL] 오류 _LEGACY_ERROR_TEMP_2151 이름 할당
- [SPARK-45416] [SC-145126] [CONNECT] 화살표 결과의 온전성 검사 일관성
- [SPARK-45163] [SC-143386] [SQL] 병합 UNSUPPORTED_VIEW_OPERATION &UNSUPPORTED_TABLE_OPERATION 및 일부 문제 해결
- [SPARK-45421] [SC-144814] [SQL] InlineCTE를 통해 AnalysisException Catch
- [SPARK-43664] [SC-145404] [CONNECT] [PS] Spark 커넥트 Pandas-on-Spark 개체에 대한 예외
ps.sql를 발생합니다. - [SPARK-45402] [SC-145371] [SQL] [PYTHON] 'eval' 및 'terminate' 메서드에 대한 UDTF API를 추가하여 이전 '분석' 결과를 사용합니다.
- [SPARK-36112] [SC-67885] [SQL] DecorrelateInnerQuery 프레임워크를 사용하여 상관 관계가 있는 EXISTS 및 IN 하위 쿼리 지원
- [SPARK-45383] [SC-144929] [SQL] 기존 테이블이 없는 시간 이동에 대한 오류 메시지 수정
- [SPARK-43254] [SC-143318] [SQL] 오류 _LEGACY_ERROR_TEMP_2018 이름 할당
- [SPARK-45204] [SC-145167] [CONNECT] Spark커넥트Planner에 선택적 ExecuteHolder 추가
- [SPARK-45451] [SC-145144] [SQL] 데이터 세트 캐시의 기본 스토리지 수준을 구성할 수 있도록 설정
- [SPARK-45192] [SC-143194] [UI] graphviz edge에 대한 지연된 lineInterpolate 매개 변수 수정
- [SPARK-45467] [SC-145146] [CORE] 다음으로 바꾸기
Proxy.getProxyClass()Proxy.newProxyInstance().getClass - [SPARK-45397] [SC-145139] [ML] [CONNECT] 배열 어셈블러 기능 변환기 추가
- [SPARK-44855] [SC-145226] [CONNECT] ExecuteGrpcResponseSender를 ExecuteResponseObserver에 연결하기 위한 작은 조정
- [SPARK-45398] [SC-144796] [SQL] 식에
sql()Like추가ESCAPE - [SPARK-45494] [SC-145129] [CORE] [PYTHON] PythonWorkerUtils에 대한 바이트 배열을 읽고 쓰는 util 함수 소개
- [SPARK-45464] [SC-145125] [CORE] 네트워크-yarn 배포 빌드 수정
- [SPARK-45461] [SC-144851] [CORE] [SQL] [MLLIB] StorageLevel에 대한 매퍼 소개
- [SPARK-45450] [SC-145009] [PYTHON] PEP8에 따라 가져오기 수정: pyspark.pandas 및 pyspark(코어)
- [SPARK-45475] [SC-145018] [SQL] JdbcUtils에서 RDD.foreachPartition 대신 DataFrame.foreachPartition 사용
- [SPARK-45271] [SC-143778] [SQL] _LEGACY_ERROR_TEMP_1113 TABLE_OPERATION 병합하고 QueryCompilationErrors에서 사용되지 않는 메서드를 삭제합니다.
- [SPARK-45449] [SC-145013] [SQL] JDBC 테이블의 캐시 무효화 문제
- [SPARK-45473] [SC-145017] [SQL] RoundBase에 대한 잘못된 오류 메시지 수정
- [SPARK-43299] [SC-145022] [SS] [CONNECT] Scala 클라이언트에서 StreamingQueryException 변환
- [SPARK-45474] [SC-145014] [CORE] [WEBUI] MasterPage JSON API에서 최상위 필터링 지원
- [SPARK-45205] [SC-145012] [SQL] 여러 작업이 트리거되지 않도록 반복기 메서드를 재정의하는 CommandResultExec입니다.
- [SPARK-45472] [SC-145004] [SS] RocksDB 상태 저장소는 경로 존재에 검사 검사 필요가 없습니다.
- [SPARK-45470] [SC-145010] [SQL] hive orc 압축 종류의 문자열 값 붙여넣기 방지
- [SPARK-45448] [SC-144829] [PYTHON] PEP8에 따라 가져오기 수정: pyspark.testing, pyspark.mllib, pyspark.resource 및 pyspark.streaming
- [SPARK-45446] [SC-144828] [PYTHON] PEP8에 따라 가져오기 수정: pyspark.errors 및 pyspark.ml
- [SPARK-45239] [SC-144832] [CONNECT] 기본 spark.connect.jvmStacktrace.maxSize 줄이기
- [SPARK-45436] [SC-144831] [PYTHON] [CONNECT] 동일한 세션을 검사 DataFrame 메서드
- [SPARK-45413] [SC-144847] [CORE] LevelDB 지원 준비에 대한 경고 추가
- [SPARK-45462] [SC-144848] [CORE] [WEBUI] 에 표시
DurationApplicationPage - [SPARK-44527] [SC-144855] [SQL] maxRows가 0인 경우 ScalarSubquery를 null로 바꿉니다.
- [SPARK-45401] [SC-144854] [PYTHON] UDTF 인터페이스에 새 메서드
cleanup추가 - [SPARK-43704] [SC-144849] [CONNECT] [PS] 지원 대상
MultiIndexto_series() - [SPARK-45424] [SC-144888] [SQL] 접두사만 일치하는 경우 TimestampFormatter가 선택적 구문 분석 결과를 반환하는 문제를 해결합니다.
- [SPARK-45441] [SC-144833] [PYTHON] PythonWorkerUtils에 대한 더 많은 util 함수 소개
- [SPARK-45412] [SC-144803] [PYTHON] [CONNECT] 에서 계획 및 세션의 유효성을 검사합니다.
DataFrame.__init__ - [SPARK-45408] [SC-144810] [CORE] TransportConf에 RPC SSL 설정 추가
- [SPARK-45432] [SC-144818] [CORE] 사용되지 않는 Hadoop-2
LocatedFileStatus생성자 제거 - [SPARK-45434] [SC-144819] [ML] [CONNECT] 로지스틱 회귀 검사 학습 레이블
- [SPARK-45420] [SC-144808] [SQL] [PYTHON] [CONNECT] PySpark에 DataType.fromDDL 추가
- [SPARK-45406] [SC-144793] [PYTHON] [CONNECT] DataFrame 생성자에서 삭제
schema - [SPARK-45404] [SC-144799] [CORE] env 변수 지원
AWS_ENDPOINT_URL - [SPARK-43620] [SC-144792] [CONNECT] [PS] Pandas API 수정은 지원되지 않는 기능에 따라 달라집니다.
- [SPARK-45354] [SC-143991] [SQL] 함수 상향식 해결
- [SPARK-45394] [SASP-1480] [SC-144712] [PYTHON] [CONNECT] 아티팩트 API에 대한 재시도를 추가합니다. 오류 처리를 개선합니다([SPARK-45093]에 대한 후속 작업).
- [SPARK-45120] [SC-142780] [SPARK-45150] [UI] d3을 v3에서 v7(v7.8.5)로 업그레이드하고 UI에서 api 변경 내용을 적용합니다.
- [SPARK-44838] [SC-143983] [SQL] raise_error 개선
- [SPARK-45312] [SC-143754] [SQL] [UI] 실행 페이지에서 계획 svg 표시/숨기기 설정/숨기기 지원
- [SPARK-45378] [SC-144448] [CORE] ManagedBuffer에 convertToNettyForSsl 추가
- [SPARK-44762] [SC-144338] [CONNECT] [CORE] Spark커넥트.addJobTag 및 커넥트 SparkSession.addTag용 Doc
- [SPARK-45383] 해결되지 않은 RelationTimeTravel을 정상적으로 처리
- [SPARK-45347] [SC-144512] [SQL] [CONNECT] FetchErrorDetailsResponse에 SparkThrowable 포함
- [SPARK-45012] [SC-141512] [SQL] CheckAnalysis는 AnalysisException에서 인라인 계획을 throw해야 합니다.
- [SPARK-45359] [SC-144336] [PYTHON] [CONNECT]
DataFrame.{columns, colRegex, explain}계획이 잘못된 경우 예외를 발생시켜야 합니다. - [SPARK-45227] [SC-144233] [CORE] CoarseGrainedExecutorBackend를 사용하여 미묘한 스레드 안전 문제 해결
- [SPARK-45266] [SC-144171] [PYTHON] 테이블 인수를 사용할 때 횡적 조인을 지연하도록 ResolveFunctions 분석기 규칙 리팩터링
- [SPARK-45266] 되돌리기 "[SC-144171][PYTHON] ResolveFunctions 분석기 규칙을 리팩터링하여 테이블 인수를 사용할 때 횡적 조인 지연"
- [SPARK-45371] [SC-144389] [CONNECT] Spark 커넥트 Scala 클라이언트의 음영 문제 해결
- [SPARK-45057] [SC-144214] [CORE] keepReadLock이 false인 경우 읽기 잠금 획득 방지
- [SPARK-45385] [SC-144357] [SQL] 사용 중단
spark.sql.parser.escapedStringLiterals - [SPARK-45340] [SC-143917] [SQL] SQL 구성 제거
spark.sql.hive.verifyPartitionPath - [SPARK-45266] [SC-144171] [PYTHON] 테이블 인수를 사용할 때 횡적 조인을 지연하도록 ResolveFunctions 분석기 규칙 리팩터링
- [SPARK-45362] [SC-144198] [PYTHON] Python UDTF 'eval' 메서드가 이를 소비하기 전에 PARTITION BY 식을 프로젝션합니다.
- [SPARK-45346] [SC-143925] [SQL] Parquet 스키마 유추는 스키마를 병합할 때 대/소문자 구분 플래그를 따라야 합니다.
- [SPARK-45341] [SC-143933] [CORE] java 17을 사용하여 성공적으로 실행되도록
sbt docKVStore.java 주석의 제목 수준을 수정합니다. - [SPARK-45334] [SC-143914] [SQL] parquetSchemaConverter에서 잘못된 주석 제거
- [SPARK-45337] [SC-143932] [CORE] Scala 2.12에 대한 검사 제거하도록 리팩터링
AbstractCommandBuilder#getScalaVersion - [SPARK-45329] [SC-143918] [PYTHON] [CONNECT] DataFrame 메서드는 pandas 변환을 건너뜁니다.
- [SPARK-43662] [SC-143923] [PS] [CONNECT] Spark 커넥트 지원 merge_asof
- [SPARK-44126] [SC-143751] [CORE] 대상 실행기가 서비스 해제될 때 순서 섞기 마이그레이션 실패 횟수가 증가하지 않아야 합니다.
- [SPARK-44550] [SC-119768] [SQL] ANSI에서 정확성 수정
null IN (empty list)사용 - [SPARK-45316] [SC-143783] [CORE] [SQL] 에 새 매개 변수
ignoreCorruptFiles/ignoreMissingFilesHadoopRDD추가 및NewHadoopRDD - [SPARK-45093] [SC-143414] [CONNECT] [PYTHON] addArtifacts 쿼리에 대한 오류 보고
- [SPARK-44756] [SC-143787] [CORE] RetryingBlockTransferor가 다시 시도를 시작하지 못하면 실행기가 중단됩니다.
- [SPARK-45333] [SC-143768] [CORE] spark.eventLog.buffer.kb와 관련된 하나의 단위 실수 수정
- [SPARK-45317] [SC-143750] [SQL] [CONNECT] 예외의 스택 추적에서 null 파일 이름 처리
- [SPARK-45191] [SC-143407] [SQL] InMemoryTableScanExec simpleStringWithNodeId가 열 형식 정보를 추가합니다.
- [SPARK-45235] [SC-143314] [CONNECT] [PYTHON] 다음을 통해 맵 및 배열 매개 변수를 지원합니다.
sql() - [SPARK-45138] [SC-143309] [SS] 새 오류 클래스를 정의하고 검사 DFS에 대한 상태 지정이 실패할 때 적용합니다.
- [SPARK-45297] [SC-143644] [SQL] SPARK-31827에 추가된 dateformatter에 대한 해결 방법 제거
- [SPARK-44345] [SC-143593] [CORE] 순서 섞기 마이그레이션을 사용하는 경우 경고에 대한 낮은
unknown shuffle map output로그 수준 - [SPARK-44463] [SC-143251] [SS] [CONNECT] 커넥트 Steaming Python 작업자에 대한 오류 처리 개선
- [SPARK-45207] [SC-143603] [SQL] [CONNECT] Scala 클라이언트에 대한 오류 보강 구현
- [SPARK-45240] [SC-143602] [SQL] [CONNECT] Python 클라이언트에 대한 오류 보강 구현
- [SPARK-45216] [SC-143288] [SQL] 비결정적 시드 데이터 세트 API 수정
- [SPARK-45251] [SC-143419] [CONNECT] FetchErrorDetails에 대한 client_type 필드 추가
- [SPARK-45137] [SC-143001] [CONNECT] 매개 변수가 있는 맵/배열 매개 변수 지원
sql() - [SPARK-45224] [SC-143257] [PYTHON] 맵 및 배열을 매개 변수로 사용하여 예제 추가
sql() - [SPARK-44622] [SC-143205] [SQL] [CONNECT] FetchErrorDetails RPC 구현
- [SPARK-45178] [SC-136089] 래퍼를 사용하는 대신 지원되지 않는 원본을 사용하여 Trigger.AvailableNow에 대한 단일 일괄 처리를 실행하도록 대체
- [SPARK-44823] [14.x] [SC-142979] [PYTHON] 검은색을 23.9.1로 업데이트하고 고정 검사
- [SPARK-45078] [SC-142954] [SQL] ImplicitCastInputTypes가 작동하지 않는 수정
array_insert - [SPARK-44579] [SC-138428] [SQL] SQLExecution에서 취소할 때 인터럽트 지원
- [SPARK-45252] [SC-143371] [CORE] 주석의 더 크거나 작음 기호를 이스케이프하여
sbt doc성공적으로 실행합니다. - [SPARK-45189] [SC-142973] [SQL] TableIdentifier에서 UnresolvedRelation을 만드는 데 카탈로그 필드가 포함되어야 합니다.
- [SPARK-45229] [SC-143254] [CORE] [UI] MasterPage의 SUBMITTED 상태 대기 중인 드라이버 수 표시
- [SPARK-43453] 되돌리기 "[SC-143135][PS] "의
MultiIndex경우axis=1concat무시names
Databricks ODBC/JDBC 드라이버 지원
Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).
시스템 환경
- 운영 체제: Ubuntu 22.04.3 LTS
- Java: Zulu 8.72.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- 델타 레이크: 3.0.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | 검정색 | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 에서 | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | 암호화 | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
| 실행 | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.19.0 |
| filelock | 3.12.4 | fonttools | 4.25.0 | googleapis-common-protos | 1.61.0 |
| grpcio | 1.48.2 | grpcio-상태 | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
| jupyter-client | 7.3.4 | jupyter-server | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | Keyring | 23.5.0 |
| kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
| matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
| mistune | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
| Notebook | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
| oauthlib | 3.2.0 | 패키징 | 22.0 | pandas | 1.5.3 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pyarrow-hotfix | 0.4 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requests | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | scipy | 1.10.0 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
| six | 1.16.0 | sniffio | 1.2.0 | soupsieve | 2.3.2.post1 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | statsmodels | 0.13.5 |
| tenacity | 8.1.0 | terminado | 0.17.1 | threadpoolctl | 2.2.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.7.1 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.14 |
| virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | whatthepatch | 1.0.2 |
| wheel | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
| zipp | 1.0.0 |
설치된 R 라이브러리
R 라이브러리는 Posit 패키지 관리자 CRAN 스냅샷 2023-02-10에 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| 화살표 | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | 캐럿 | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | class | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | 갈등 | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | credentials | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | 다이어그램 | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | 줄임표 | 0.3.2 |
| evaluate | 0.21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | 제네릭(generics) | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | 주기 | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | 행렬 | 1.5-4.1 | memoise | 2.0.1 |
| 메서드 | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | 진행률 | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| 프록시 | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| spatial | 7.3-15 | splines | 4.3.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | 통계 | 4.3.1 | stats4 | 4.3.1 |
| stringi | 1.7.12 | stringr | 1.5.0 | survival | 3.5-5 |
| sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
| testthat | 3.1.10 | textshaping | 0.3.6 | tibble | 3.2.1 |
| tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
| timechange | 0.2.0 | timeDate | 4022.108 | tinytex | 0.45 |
| tools | 4.3.1 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
| usethis | 2.2.2 | utf8 | 1.2.3 | utils | 4.3.1 |
| uuid | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
| vroom | 1.6.3 | waldo | 0.5.1 | whisker | 0.4.1 |
| withr | 2.5.0 | xfun | 0.39 | xml2 | 1.3.5 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.7 |
| zip | 2.3.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-네이티브 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-네이티브 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-네이티브 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-네이티브 |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | 프로파일러 | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.2 |
| io.dropwizard.metrics | 메트릭 주석 | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | Avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | 아이비 | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1 음영 처리된 프로토부프 |
| org.apache.orc | orc-mapreduce | 1.9.1 음영 처리된 프로토부프 |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |