Databricks Runtime 13.2(지원되지 않음)

  • 아티클

다음 릴리스 정보는 Apache Spark 3.4.0에서 제공하는 Databricks Runtime 13.2에 대한 정보를 제공합니다.

Databricks는 2023년 7월에 이러한 이미지를 공개했습니다.

새로운 기능 및 향상 기능

RocksDB 상태 저장소에 대한 Changelog 검사pointing

상태 저장 구조적 스트리밍 워크로드에 대한 검사포인트 기간 및 엔드 투 엔드 대기 시간을 줄이도록 변경 로그 검사포인트 지정을 사용하도록 설정할 수 있습니다. Databricks는 모든 구조적 스트리밍 상태 저장 쿼리에 대해 changelog 검사포인트를 사용하도록 설정할 것을 권합니다. changelog 검사pointing 사용을 참조하세요.

Unity 카탈로그의 단순 클론으로 VACUUM에 대한 안정성이 향상되었습니다.

단순 복제 작업의 원본 및 대상에 Unity 카탈로그 관리 테이블을 사용하는 경우 Unity 카탈로그는 원본 및 복제 작업의 대상에 대한 안정성을 향상시키기 위해 기본 데이터 파일을 관리합니다. 단순 클론의 원본에서 실행 VACUUM 해도 복제된 테이블이 중단되지 않습니다. 진공 및 Unity 카탈로그 단순 클론을 참조하세요.

SQL에서 Python UDF 지원

이제 Unity 카탈로그의 SQL CREATE FUNCTION 문 내에서 Python을 사용하여 사용자 정의 함수를 선언할 수 있습니다. Unity 카탈로그의 UDF(사용자 정의 함수)를 참조 하세요.

Iceberg용 Delta Lake UniForm은 공개 미리 보기로 제공됩니다.

Delta Lake Universal Format(UniForm)을 사용하면 Iceberg 클라이언트를 사용하여 델타 테이블을 읽을 수 있습니다. UniForm을 사용하여 Iceberg 클라이언트에서 델타 테이블을 읽는 방법을 참조 하세요.

Delta Lake 액체 클러스터링 공개 미리 보기로 제공됩니다.

Delta Lake liquid 클러스터링 테이블 분할을 대체하고 ZORDER 데이터 레이아웃 결정을 간소화하고 쿼리 성능을 최적화합니다. Delta 테이블에 Liquid 클러스터링 사용을 참조하세요.

Azure Databricks의 보관 지원

Azure Databricks의 보관 지원에는 델타 테이블이 포함된 클라우드 개체 스토리지에서 클라우드 기반 수명 주기 정책을 사용하여 파일을 보관 스토리지 계층으로 이동할 수 있는 기능 컬렉션이 도입되었습니다. Azure Databricks의 보관 지원을 참조 하세요.

IDENTIFIER 절 지원

많은 SQL 문에서 테이블, 열, 함수 및 스키마 이름을 안전하게 매개 변수화하는 데 사용합니다 IDENTIFIER(:mytable) .

Python 및 Pandas UDF(사용자 정의 함수)에 대한 Unity 카탈로그 지원

Databricks Runtime 13.2 이상에서는 Python으로 작성된 UDF(사용자 정의 함수)가 Unity 카탈로그 사용 작업 영역에서 공유 액세스 모드를 사용하는 클러스터에서 지원됩니다. 여기에는 Python 및 Pandas UDF가 포함됩니다. Python UDF에 대한 자세한 내용은 사용자 정의 스칼라 함수 - Python을 참조하세요.

델타 공유를 사용하여 스키마 공유

Databricks Runtime 13.2는 델타 공유를 사용하여 전체 스키마를 공유하는 데 사용할 ALTER SHARE <share-name> ADD SCHEMA <schema-name> 수 있는 기능을 추가하므로 나중에 스키마에 추가되는 테이블 및 뷰와 함께 공유되는 스키마의 모든 테이블과 뷰에 대한 액세스 권한을 받는 사람에게 제공합니다. 공유 및 ALTER SHARE에 스키마 추가를 참조하세요.

버그 수정

  • JSON 판독기를 사용하여 설정된 경우 failOnUnknownFieldsmode 레코드가 모드에서 PERMISSIVE 구문 분석되는 버그를 수정했습니다. 이제 레코드가 모드에서 DROPMALFORMEDparser 삭제되거나 이러한 옵션이 설정된 경우 레코드에 badRecordsPath기록됩니다. FAILFAST 열 형식이 일치하지 않으면 오류가 발생합니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • nodeenv에서 1.7.0에서 1.8.0으로
  • 업그레이드된 R 라이브러리:
  • 업그레이드된 Java 라이브러리:
    • io.delta.delta-sharing-spark_2.12에서 0.6.7~ 0.7.0

Apache Spark

Databricks Runtime 13.2에는 Apache Spark 3.4.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 13.1(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-42750] [SC-133452] [DBRRM-273] 이름별 Insert 문 지원
  • [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach 지원
  • [SPARK-43663] [SC-134135] [CONNECT] [PS] 사용 SeriesParityTests.test_compare
  • [SPARK-43684] [SC-134162] [SPARK-43685] [SPARK-43686] [SPARK-43691] [CONNECT] [PS] Spark 커넥트 대한 수정 사항 (NullOps|NumOps).(eq|ne) 입니다.
  • [SPARK-44021] [SC-134109] [SQL] spark.sql.files.maxPartitionNum 추가
  • [SPARK-43910] [SC-132936] [SQL] 오류의 ID에서 제거 __auto_generated_subquery_name
  • [SPARK-43976] [SC-133375] [CORE] 이벤트 로그에 modifiedConfigs가 없는 경우 처리
  • [SPARK-32559] [SC-133992] [SQL] ASCII 컨트롤 문자를 올바르게 처리하지 않은 트리밍 논리 수정
  • [SPARK-43421] [SC-132930] [SS] RocksDB 상태 저장소 공급자에 대한 변경 로그 기반 검사점 구현
  • [SPARK-43594] [SC-133851] [SQL] anyToMicros에 LocalDateTime 추가
  • [SPARK-43884] [SC-133867] DDL의 매개 변수 표식
  • [SPARK-43398] [SC-133894] [CORE] 실행기 시간 제한은 유휴 순서 섞기 및 rdd 시간 제한의 최대값이어야 합니다.
  • [SPARK-43610] [SC-133892] [CONNECT] [PS] Spark 커넥트 사용하도록 설정합니다InternalFrame.attach_distributed_column.
  • [SPARK-43971] [SC-133826] [CONNECT] [PYTHON] 스트리밍 방식으로 Python의 createDataFrame 지원
  • [SPARK-44006] [SC-133652] [CONNECT] [PYTHON] 캐시 아티팩트 지원
  • [SPARK-43790] [SC-133468] [PYTHON] [CONNECT] [ML] API 추가 copyFromLocalToFs
  • [SPARK-43921] [SC-133461] [PROTOBUF] 빌드 시 Protobuf 설명자 파일 생성
  • [SPARK-43906] [SC-133638] [SC-133404] [PYTHON] [CONNECT] SparkSession.addArtifacts에서 파일 지원 구현
  • [SPARK-44010] [SC-133744] [PYTHON] [SS] [MINOR] Python StreamingQueryProgress rowsPerSecond 형식 수정
  • [SPARK-43768] [SC-132398] [PYTHON] [CONNECT] Python Spark 커넥트 Python 종속성 관리 지원
  • [SPARK-43979] [13.X] 되돌리기 "[SC-133456][SQL] CollectedMetrics는 자체 조인에 대해 동일한 메트릭으로 처리되어야 합니다."
  • [SPARK-42290] [SC-133696] [SQL] AQE가 켜지면 OOM 오류를 보고할 수 없는 문제 해결
  • [SPARK-43943] [SC-133648] [SQL] [PYTHON] [CONNECT] Scala 및 Python에 SQL 수학 함수 추가
  • [SPARK-43747] [SC-132047] [PYTHON] [CONNECT] SparkSession.addArtifacts에서 pyfile 지원 구현
  • [SPARK-43700] [SC-133726] [SPARK-43701] [CONNECT] [PS] Spark 커넥트 사용 TimedeltaOps.(sub|rsub)
  • [SPARK-43712] [SC-133641] [SPARK-43713] [CONNECT] [PS] 패리티 테스트 사용: test_line_plot, . test_pie_plot
  • [SPARK-43867] [SC-132895] [SQL] 해결되지 않은 특성에 대해 제안된 후보 개선
  • [SPARK-43901] [SC-133454] [SQL] Avro to Support custom decimal type backed by Long
  • [SPARK-43267] [SC-133024] [JDBC] postgres 알 수 없는 사용자 정의 열을 배열의 문자열로 처리
  • [SPARK-43935] [SC-133637] [SQL] [PYTHON] [CONNECT] Scala 및 Python에 xpath_* 함수 추가
  • [SPARK-43916] [SC-133647] [SQL] [PYTHON] [CONNECT] Scala 및 Python API에 백분위수 추가
  • [SPARK-43717] [SC-133455] [CONNECT] Scala 클라이언트 reduce agg는 scala 기본 입력에 대해 null 파티션을 처리할 수 없습니다.
  • [SPARK-43984] [SC-133469] [SQL] [PROTOBUF] 결과를 생성하지 않을 때 map 사용하도록 foreach 변경
  • [SPARK-43612] [SC-132011] [CONNECT] [PYTHON] Python 클라이언트에서 SparkSession.addArtifact 구현
  • [SPARK-44002] [SC-133606] [CONNECT] 아티팩트 상태 처리기 수정
  • [SPARK-43933] [SC-133470] [SQL] [PYTHON] [CONNECT] Scala 및 Python에 선형 회귀 집계 함수 추가
  • [SPARK-43920] [SC-133614] [SQL] [CONNECT] sql/api 모듈 만들기
  • [SPARK-43979] [SC-133456] [SQL] CollectedMetrics는 자체 조인에 대해 동일한 메트릭으로 처리되어야 합니다.
  • [SPARK-43977] [SC-133373] [CONNECT] 의 예기치 않은 검사 결과 수정dev/connect-jvm-client-mima-check
  • [SPARK-43985] [SC-133412] [PROTOBUF] spark protobuf: ints 버그로 열거형 수정
  • [SPARK-43930] [SC-133406] [SQL] [PYTHON] [CONNECT] Scala 및 Python에 unix_* 함수 추가
  • [SPARK-43807] [SC-132545] [SQL] PARTITION_SCHEMA_IS_EMPTY _LEGACY_ERROR_TEMP_1269 마이그레이션
  • [SPARK-43956] [SC-133123] [SQL] 백분위수에 대한 열의 sql이 표시되지 않는 버그 수정[Cont|디스크]
  • [SPARK-42626] [SC-133248] [CONNECT] SparkResult에 대한 파괴적인 반복기 추가
  • [SPARK-43333] [SC-132898] [SQL] Avro에서 형식이 안정적인 필드 이름을 사용하여 공용 구조체 형식을 SQL로 변환하도록 허용
  • [SPARK-43953] [SC-133134] [CONNECT] 제거 pass
  • [SPARK-43970] [SC-133403] [PYTHON] [CONNECT] 자동 완성에서 지원되지 않는 데이터 프레임 메서드 숨기기
  • [SPARK-43973] [SC-133272] [SS] [UI] 구조적 스트리밍 UI는 실패한 쿼리를 올바르게 표시해야 합니다.
  • [SPARK-42577] [SC-125445] [CORE] 잠재적인 무한 재시도를 방지하기 위해 스테이지에 대한 최대 시도 제한 추가
  • [SPARK-43841] [SC-132699] [SQL] 에 접두사 없이 후보 특성 처리 StringUtils#orderSuggestedIdentifiersBySimilarity
  • [SPARK-41497] [SC-124795] [CORE] [후속 작업] 구성 spark.rdd.cache.visibilityTracking.enabled 지원 버전을 3.5.0으로 수정
  • [SPARK-37942] [SC-130983] [CORE] [SQL] 오류 클래스 마이그레이션
  • [SPARK-43898] [SC-132926] [CORE] Scala 2.13에 KryoSerializer 자동으로 등록 immutable.ArraySeq$ofRef
  • [SPARK-43775] [SC-132891] [SQL] DataSource V2: 업데이트를 삭제 및 삽입으로 표시하도록 허용
  • [SPARK-43817] [SC-132662] [SPARK-43702] [PYTHON] pandas DataFrame 및 toPandas의 createDataFrame에서 UserDefinedType 지원
  • [SPARK-43418] [SC-132753] [SC-130685] [CONNECT] SparkSession.Builder.getOrCreate 추가
  • [SPARK-43549] [SC-132383] [SQL] _LEGACY_ERROR_TEMP_0036 INVALID_SQL_SYNTAX 변환합니다. ANALYZE_TABLE_UNEXPECTED_NOSCAN
  • [SPARK-41497] [SC-124644] [CORE] rdd 캐시를 사용하여 재시도 작업의 경우 누적기 언더카운트 수정
  • [SPARK-43892] [SC-133006] [PYTHON] 에 대한 df[|] 자동 완성 지원 추가 pyspark.sql.dataframe.DataFrame
  • [SPARK-43881] [SC-133140] [SQL] [PYTHON] [CONNECT] Catalog.listDatabases에 대한 선택적 패턴 추가
  • [SPARK-43205] [SC-132623] IDENTIFIER 절
  • [SPARK-43545] [SC-132378] [SQL] [PYTHON] 중첩된 타임스탬프 형식 지원
  • [SPARK-43949] [SC-133048] [PYTHON] cloudpickle을 2.2.1로 업그레이드
  • [SPARK-43760] [SC-132809] [SQL] 스칼라 하위 쿼리 결과의 Null 허용 여부
  • [SPARK-43696] [SC-132737] [SPARK-43697] [SPARK-43698] [SPARK-43699] [PS] Spark 커넥트 대한 수정 TimedeltaOps
  • [SPARK-43895] [SC-132897] [CONNECT] [GO] 이동 패키지 경로 준비
  • [SPARK-43894] [SC-132892] [PYTHON] df.cache()의 버그 수정
  • [SPARK-43509] [SC-131625] [CONNECT] 여러 Spark 커넥트 세션 만들기 지원
  • [SPARK-43882] [SC-132888] [SQL] _LEGACY_ERROR_TEMP_2122 이름 할당
  • [SPARK-43687] [SC-132747] [SPARK-43688] [SPARK-43689] [SPARK-43690] [PS] Spark 커넥트 대한 수정 NumOps
  • [SPARK-43604] [SC-132165] [SQL] 소스 코드에 오류 텍스트를 포함하지 않도록 리팩터링 INVALID_SQL_SYNTAX
  • [SPARK-43859] [SC-132883] [SQL] LateralColumnAliasReference에서 toString 재정의
  • [SPARK-43792] [SC-132939] [SQL] [PYTHON] [CONNECT] Catalog.listCatalogs에 대한 선택적 패턴 추가
  • [SPARK-43353] "[SC-132734][PYTHON] 다시 마이그레이션기본 세션 오류를 오류 클래스로 마이그레이션" 되돌리기
  • [SPARK-43375] [SC-130309] [CONNECT] INVALID_CONNECT_URL 오류 메시지 개선
  • [SPARK-43863] [SC-132721] [CONNECT] Scala 2.13에서 SparkConnectPlanner 중복 toSeq 제거
  • [SPARK-43676] [SC-132708] [SPARK-43677] [SPARK-43678] [SPARK-43679] [PS] Spark 커넥트 대한 수정 DatetimeOps
  • [SPARK-43666] [SC-132689] [SPARK-43667] [SPARK-43668] [SPARK-43669] [PS] Spark 커넥트 대한 수정 BinaryOps
  • [SPARK-43680] [SC-132709] [SPARK-43681] [SPARK-43682] [SPARK-43683] [PS] Spark 커넥트 대한 수정 NullOps
  • [SPARK-43782] [SC-132885] [CORE] 정적 Spark conf를 사용하여 로그 수준 구성 지원
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python 클라이언트 DataStreamWriter foreach() API
  • [SPARK-43290] [SC-131961] [SQL] ExpressionImplUtils에 AES IV 및 AAD 지원 추가
  • [SPARK-43795] [SC-132532] [CONNECT] Spark커넥트Planner에 사용되지 않는 매개 변수 제거
  • [SPARK-42317] [SC-129194] [SQL] _LEGACY_ERROR_TEMP_2247 이름 할당: CANNOT_MERGE_SCHEMAS
  • [SPARK-43597] [SC-131960] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_0017 이름 할당
  • [SPARK-43834] [SC-132679] [SQL] 의 컴파일 오류에서 오류 클래스 사용 ResolveDefaultColumns
  • [SPARK-43749] [SC-132423] [SPARK-43750] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_240 이름 할당[4-5]
  • [SPARK-43576] [SC-132533] [CORE] Core 모듈에서 사용되지 않는 선언 제거
  • [SPARK-43314] [SC-129970] [CONNECT] [PYTHON] Spark 커넥트 클라이언트 오류를 오류 클래스로 마이그레이션
  • [SPARK-43799] [SC-132715] [PYTHON] Pyspark Protobuf API에 설명자 이진 옵션 추가
  • [SPARK-43837] [SC-132678] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_103 이름 할당[1-2]
  • [SPARK-43862] [SC-132750] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당(1254 및 1315)
  • [SPARK-43886] [SC-132808] [PYTHON] Pandas UDF의 입력 힌트로 제네릭 튜플 허용
  • [SPARK-43530] [SC-132653] [PROTOBUF] 설명자 파일을 한 번만 읽습니다.
  • [SPARK-43820] [SC-132676] [SPARK-43822] [SPARK-43823] [SPARK-43826] [SPARK-43827] 오류 클래스 _LEGACY_ERROR_TEMP_241 이름 할당[1-7]
  • [SPARK-43671] [SC-132519] [SPARK-43672] [SPARK-43673] [SPARK-43674] [PS] Spark 커넥트 대한 수정 CategoricalOps
  • [SPARK-39979] [SC-132685] [SQL] 화살표 UDF 작업에 큰 변수 너비 벡터를 사용하는 옵션 추가
  • [SPARK-43692] [SC-132660] [SPARK-43693] [SPARK-43694] [SPARK-43695] [PS] Spark 커넥트 대한 수정 StringOps
  • [SPARK-43353] [SC-132734] [PYTHON] 다시 마이그레이션기본 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-43815] [SC-132781] [SQL] 에 대한 별칭 추가 to_varcharto_char
  • [SPARK-43543] [13.x] [SC-131839] [PYTHON] Pandas UDF에서 중첩된 MapType 동작 수정
  • [SPARK-43361] [SC-131789] [PROTOBUF] 열거형 serialization과 관련된 오류에 대한 업데이트 설명서
  • [SPARK-43740] [SC-132035] [PYTHON] [CONNECT] 자동 완성에서 지원 session 되지 않는 메서드 숨기기
  • [SPARK-43022] [SC-131681] [CONNECT] Scala 클라이언트에 대한 protobuf 함수 지원
  • [SPARK-43304] [13.x] [SC-129969] [CONNECT] [PYTHON] 다음으로 마이그레이션 NotImplementedErrorPySparkNotImplementedError
  • [SPARK-43860] [SC-132713] [SQL] 가능한 경우 비상 재귀 사용
  • [SPARK-42421] [SC-132695] [CORE] 유틸리티를 사용하여 로컬 검사point에서 사용되는 동적 할당에 대한 스위치를 가져옵니다.
  • [SPARK-43590] [SC-132012] [CONNECT] 모듈을 사용하여 mima 검사 protobuf 지원하도록 만들기 connect-jvm-client-mima-check
  • [SPARK-43315] [13.x] [CONNECT] [PYTHON] [SS] DataFrame에서 다시 기본 오류 마이그레이션(읽기 권한자|기록기)를 오류 클래스로
  • [SPARK-43361] [SC-130980] [PROTOBUF] spark-protobuf: 열거형을 ints로 사용하여 serde 허용
  • [SPARK-43789] [SC-132397] [R] 기본적으로 화살표가 있는 R createDataFrame에서 'spark.sql.execution.arrow.maxRecordsPerBatch'를 사용합니다.
  • [SPARK-43596] [SC-126994] [SQL] rewriteDo기본Joins에서 IsNull 조건자 처리
  • [SPARK-42249] [SC-122565] [SQL] 오류 메시지의 설명서에 대한 html 링크를 구체화합니다.
  • [SPARK-43128] [SC-131628] [CONNECT] [SS] lastProgress 네이티브 Scala Api와 일치하고 recentProgress 반환 StreamingQueryProgress
  • [SPARK-43387] [SC-130448] [SQL] _LEGACY_ERROR_TEMP_1168 대한 사람이 읽을 수 있는 오류 코드를 제공합니다.
  • [SPARK-43334] [SC-132358] [UI] ExecutorPeakMetricsDistributions를 API 응답으로 serialize하는 동안 오류 수정
  • [SPARK-42958] [SC-131475] [CONNECT] avro 모듈을 사용하여 mima 검사 지원하도록 리팩터링 connect-jvm-client-mima-check
  • [SPARK-43591] [SC-131977] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_0013 이름 할당
  • [SPARK-38464] [SC-132211] [CORE] org.apache.spark.io 오류 클래스 사용
  • [SPARK-43759] [SC-132189] [SQL] [PYTHON] pyspark.sql.types에서 TimestampNTZType 노출
  • [SPARK-43649] [SC-132036] [SPARK-43650] [SPARK-43651] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_240 이름 할당[1-3]
  • [SPARK-43719] [SC-132016] [WEBUI] 핸들 missing row.excludedInStages 필드
  • [SPARK-42956] [SC-127257] [CONNECT] Scala 클라이언트에 대한 avro 함수 지원
  • [SPARK-43487] [SC-131975] [SQL] 중첩된 CTE 오류 메시지 수정
  • [SPARK-43265] [SC-129653] 오류 프레임워크를 공통 유틸리티 모듈로 이동
  • [SPARK-40912] [SC-131547] [CORE] KryoDeserializationStream의 예외 오버헤드
  • [SPARK-43583] [SC-131976] [CORE] SaslRpcHandler 인스턴스 대신 대리자에서 MergedBlockedMetaReqHandler 가져오기
  • [SPARK-42996] [SC-131997] [CONNECT] [PS] [ML] 실패한 모든 테스트에 적절한 JIRA 티켓을 만들고 할당합니다.
  • [SPARK-38469] [SC-131425] [CORE] org.apache.spark.network에서 오류 클래스 사용
  • [SPARK-43718] [SC-132014] [SQL] USING 조인의 키에 대해 nullable을 올바르게 설정
  • [SPARK-43502] [SC-131419] [PYTHON] [CONNECT] DataFrame.drop 빈 열을 수락해야 합니다.
  • [SPARK-43743] [SC-132038] [SQL] 포트 HIVE-12188(DoA가 비 kerberos 보안 HS2에서 제대로 작동하지 않음)
  • [SPARK-43598] [SC-131929] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2400 이름 할당
  • [SPARK-43138] [SC-131031] [CORE] 마이그레이션 중에 ClassNotFoundException 수정
  • [SPARK-43360] [SC-131526] [SS] [CONNECT] Scala 클라이언트 StreamingQueryManager
  • [SPARK-38467] [SC-131025] [CORE] org.apache.spark.memory에서 오류 클래스 사용
  • [SPARK-43345] [SC-131790] [SPARK-43346] [SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 바꾸기[0041|1206]
  • [SPARK-42815] [SC-126450] [SQL] 하위 식 제거 지원 바로 가기 식
  • [SPARK-38462] [SC-130449] [CORE] 오류 클래스 INTERNAL_ERROR_EXECUTOR 추가
  • [SPARK-43589] [SC-131798] [SQL] 사용할 수정 cannotBroadcastTableOverMaxTableBytesErrorbytesToString
  • [SPARK-43539] [SC-131830] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_0003 이름 할당
  • [SPARK-43157] [SC-131688] [SQL] 복제된 계획이 동일한 개체를 참조하지 못하도록 InMemoryRelation 캐시된 계획 복제
  • [SPARK-43309] [SC-129746] [SPARK-38461] [CORE] 범주를 사용하여 INTERNAL_ERROR 확장하고 오류 클래스 INTERNAL_ERROR_BROADCAST 추가
  • [SPARK-43281] [SC-131370] [SQL] 동시 기록기가 파일 메트릭을 업데이트하지 않는 수정
  • [SPARK-43383] [SC-130660] [SQL] LocalRelation에 통계 추가 rowCount
  • [SPARK-43574] [SC-131739] [PYTHON] [SQL] 런타임 동안 작업자에서 UDF 및 pandas 함수 API에 대한 Python 실행 파일을 설정하는 지원
  • [SPARK-43569] [SC-131694] [SQL] HADOOP-14067에 대한 해결 방법 제거
  • [SPARK-43183] [SC-128938] [SS] [13.x] StreamingQueryListener에 새 콜백 "onQueryIdle" 소개
  • [SPARK-43528] [SC-131531] [SQL] [PYTHON] pandas DataFrame을 사용하여 createDataFrame에서 중복된 필드 이름 지원
  • [SPARK-43548] [SC-131686] [SS] HADOOP-16255에 대한 해결 방법 제거
  • [SPARK-43494] [SC-131272] [CORE] 에서 리플렉션 대신 직접 호출 replicate()HdfsDataOutputStreamBuilderSparkHadoopUtil#createFile
  • [SPARK-43471] [SC-131063] [CORE] 누락된 hadoopProperties 및 metricsProperties 처리
  • [SPARK-42899] [SC-126456] [SQL] nullable 필드에 nullable이 아닌 중첩 필드가 있는 경우를 처리하도록 DataFrame.to(스키마) 수정
  • [SPARK-43302] [SC-129747] [SQL] Python UDAF를 AggregateFunction으로 만들기
  • [SPARK-43223] [SC-131270] [커넥트] 형식화된 agg, reduce 함수, RelationalGroupedDataset#as
  • [SPARK-43482] [SC-131375] [SS] 예외에 있는 경우 Error 클래스를 포함하도록 QueryTerminatedEvent를 확장합니다.
  • [SPARK-43359] [SC-131463] [SQL] Hive 테이블에서 삭제하면 "UNSUPPORTED_FEATURE throw됩니다. TABLE_OPERATION"
  • [SPARK-43284] [SC-130313] URL로 인코딩된 문자열로 다시 전환
  • [SPARK-43492] [SC-131227] [SQL] 3-args 함수 별칭 추가 및 DATE_ADDDATE_DIFF
  • [SPARK-43473] [SC-131372] [PYTHON] pandas DataFrame에서 createDataFrame의 구조체 형식 지원
  • [SPARK-43386] [SC-131110] [SQL] 오류 클래스에서 UNRESOLVED_COLUMN.WITH_SUGGESTION 제안된 열/특성 목록 개선
  • [SPARK-43443] [SC-131332] [SQL] 잘못된 값을 사용할 때 타임스탬프 형식 유추에 대한 벤치마크 추가
  • [SPARK-43518] [SC-131420] [SQL] INTERNAL_ERROR 변환 _LEGACY_ERROR_TEMP_2029
  • [SPARK-42604] [SC-130648] [CONNECT] functions.typedlit 구현
  • [SPARK-42323] [ES-669513] 되돌리기 "[SC-123479][SQL] "에 _LEGACY_ERROR_TEMP_2332이름 할당
  • [SPARK-43357] [SC-130649] [SQL] 필터 날짜 유형 따옴표 날짜
  • [SPARK-43410] [SC-130526] [SQL] Packed skipValues에 대한 벡터화된 루프 개선
  • [SPARK-43441] [SC-130995] [CORE] makeDotNode DeterministicLevel이 없을 때 실패하지 않아야 합니다.
  • [SPARK-43324] [SC-130455] [SQL] 델타 기반 원본에 대한 UPDATE 명령 처리
  • [SPARK-43272] [SC-131168] [CORE] 리플렉션 대신 직접 호출 createFile
  • [SPARK-43296] [13.x] [SC-130627] [CONNECT] [PYTHON] Spark 커넥트 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-43405] [SC-130987] [SQL] useless getRowFormatSQL제거 , inputRowFormatSQL, outputRowFormatSQL 메서드
  • [SPARK-43447] [SC-131017] [R] R 4.3.0 지원
  • [SPARK-43425] [SC-130981] [SQL] 에 추가 TimestampNTZTypeColumnarBatchRow
  • [SPARK-41532] [SC-130523] [CONNECT] [클라이언트] 여러 데이터 프레임을 포함하는 작업에 대한 검사 추가
  • [SPARK-43262] [SC-129270] [CONNECT] [SS] [PYTHON] Spark 커넥트 구조적 스트리밍 오류를 오류 클래스로 마이그레이션
  • [SPARK-42992] [13.x] [SC-129465] [PYTHON] PySparkRuntimeError 소개
  • [SPARK-43422] [SC-130982] [SQL] 메타데이터 출력을 사용하여 LogicalRelation에 태그 유지
  • [SPARK-43390] [SC-130646] [SQL] DSv2를 사용하면 CTAS/RTAS가 스키마 Null 허용을 예약할 수 있습니다.
  • [SPARK-43430] [SC-130989] [CONNECT] [PROTO] ExecutePlanRequest는 임의의 요청 옵션을 지원합니다.
  • [SPARK-43313] [SC-130254] [SQL] MERGE INSERT 작업에 누락된 열 DEFAULT 값 추가
  • [SPARK-42842] [SC-130438] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2006 REGEX_GROUP_INDEX 병합
  • [SPARK-43377] [SC-130405] [SQL] 기본적으로 사용 spark.sql.thriftServer.interruptOnCancel
  • [SPARK-43292] [SC-130525] [CORE] [CONNECT] 모듈로 core 이동하고 ExecutorClassLoader 단순화Executor#addReplClassLoaderIfNeeded
  • [SPARK-43040] [SC-130310] [SQL] JDBC 데이터 원본에서 TimestampNTZ 형식 지원 개선
  • [SPARK-43343] [SC-130629] [SS] FileStreamSource는 DataSource를 만들 때 추가 파일 glob 검사 사용하지 않도록 설정해야 합니다.
  • [SPARK-43312] [SC-130294] [PROTOBUF] 모든 필드를 JSON으로 변환하는 옵션
  • [SPARK-43404] [SC-130586] [SS] ID 불일치 오류를 방지하려면 동일한 버전의 RocksDB 상태 저장소에 sst 파일 재사용 건너뛰기
  • [SPARK-43397] [SC-130614] [CORE] 메서드의 executorLost 로그 실행기 서비스 해제 기간
  • [SPARK-42388] [SC-128568] [SQL] 벡터화된 판독기에서 parquet 바닥글 읽기를 두 번 사용하지 않도록 방지
  • [SPARK-43306] [13.x] [SC-130320] [PYTHON] Spark SQL 형식에서 오류 클래스로 ValueError 마이그레이션
  • [SPARK-43337] [SC-130353] [UI] [3.4] 열 정렬에 대한 Asc/desc 화살표 아이콘이 테이블 열에 표시되지 않음
  • [SPARK-43279] [SC-130351] [CORE] 에서 사용하지 않는 멤버 정리 SparkHadoopUtil
  • [SPARK-43250] [SC-130147] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2014 를 내부 오류로 바꾸기
  • [SPARK-43363] [SC-130299] [SQL] [PYTHON] 화살표 형식이 제공되지 않은 경우에만 범주 형식을 호출 astype 합니다.
  • [SPARK-43261] [SC-130154] [PYTHON] Spark SQL 형식에서 오류 클래스로 마이그레이션 TypeError
  • [SPARK-41971] [SC-130230] [SQL] [PYTHON] 구조체 형식을 처리하는 방법을 pandas 변환에 대한 구성 추가
  • [SPARK-43381] [SC-130464] [CONNECT] 'transformStatCov' 지연 만들기
  • [SPARK-43362] [SC-130481] [SQL] MySQL 커넥터에 대한 JSON 유형의 특수 처리
  • [SPARK-42843] [SC-130196] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2007 업데이트하여 REGEX_GROUP_INDEX
  • [SPARK-42585] [SC-129968] [CONNECT] 로컬 관계 스트리밍
  • [SPARK-43181] [SC-130476] [SQL] 셸에 spark-sql UI WebURL 표시
  • [SPARK-43051] [SC-130194] [CONNECT] 기본값을 내보내는 옵션 추가
  • [SPARK-43204] [SC-129296] [SQL] MERGE 할당을 테이블 특성과 정렬
  • [SPARK-43348] [SC-130082] [PYTHON] PyPy3의 지원 Python 3.8
  • [SPARK-42845] [SC-130078] [SQL] error 클래스 _LEGACY_ERROR_TEMP_2010 InternalError로 업데이트
  • [SPARK-43211] [SC-128978] [HIVE] IsolatedClientLoader에서 Hadoop2 지원 제거

시스템 환경

  • 운영 체제: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • 델타 레이크: 2.4.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 검정색 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 에서 8.0.4 암호화 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.5.1 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.6 docstring-to-markdown 0.12
entrypoints 0.4 실행 1.2.0 facets-overview 1.0.3
fastjsonschema 2.16.3 filelock 3.12.0 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-상태 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 Notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 패키징 21.3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
rope 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 six 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷 2023-02-10에 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 캐럿 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
줄임표 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 제네릭(generics) 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 주기 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 행렬 1.5-1 memoise 2.0.1
메서드 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 진행률 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
프록시 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-네이티브
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-네이티브
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-네이티브
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-네이티브
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.0
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 아이비 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1