Databricks Runtime 12.1(지원되지 않음)
다음 릴리스 정보는 Apache Spark 3.3.1에서 제공하는 Databricks Runtime 12.1에 대한 정보를 제공합니다.
Databricks는 2023년 1월에 이러한 이미지를 공개했습니다.
새로운 기능 및 향상 기능
- 프로토콜 관리에 지원되는 Delta Lake 테이블 기능
- 업데이트에 대한 예측 I/O는 공개 미리 보기로 제공됩니다.
- 이제 카탈로그 탐색기를 모든 가상 사용자가 사용할 수 있습니다.
- 단일 스트리밍 쿼리에서 여러 상태 저장 연산자 지원
- 프로토콜 버퍼에 대한 지원은 공개 미리 보기로 제공됩니다.
- Confluent 스키마 레지스트리 인증 지원
- 델타 공유 공유를 사용하여 테이블 기록 공유 지원
- 델타 공유 공유를 사용한 스트리밍 지원
- 이제 카탈로그의 델타 공유 테이블에 대해 타임스탬프를 사용하는 테이블 버전이 지원됩니다.
- MERGE INTO에 대한 SOURCE에서 일치하지 않는 경우 지원
- CONVERT TO DELTA에 대한 최적화된 통계 수집
- 테이블 드로핑 해제에 대한 Unity 카탈로그 지원
프로토콜 관리에 지원되는 Delta Lake 테이블 기능
Azure Databricks는 지정된 테이블에서 지원하는 기능을 지정하는 세분화된 플래그를 도입하는 Delta Lake 테이블 기능에 대한 지원을 도입했습니다. Azure Databricks에서 Delta Lake 기능 호환성을 관리하는 방법을 참조 하세요.
업데이트에 대한 예측 I/O는 공개 미리 보기로 제공됩니다.
이제 예측 I/O가 DELETEMERGE가속화되고 UPDATE Photon 사용 컴퓨팅에서 삭제 벡터가 활성화된 델타 테이블에 대한 작업이 가속화됩니다. 예측 I/O란?을 참조하세요.
이제 카탈로그 탐색기를 모든 가상 사용자가 사용할 수 있습니다.
이제 Databricks Runtime 7.3 LTS 이상을 사용할 때 모든 Azure Databricks 가상 사용자가 카탈로그 탐색기를 사용할 수 있습니다.
단일 스트리밍 쿼리에서 여러 상태 저장 연산자 지원
이제 사용자는 스트리밍 쿼리에서 상태 저장 연산자를 추가 모드로 연결할 수 있습니다. 모든 연산자가 완전히 지원되는 것은 아닙니다. 스트림 스트림 시간 간격 조인 및 flatMapGroupsWithState 다른 상태 저장 연산자를 연결할 수 없습니다.
프로토콜 버퍼에 대한 지원은 공개 미리 보기로 제공됩니다.
함수와 to_protobuf 함수를 from_protobuf 사용하여 이진 형식과 구조체 형식 간에 데이터를 교환할 수 있습니다. 읽기 및 쓰기 프로토콜 버퍼를 참조 하세요.
Confluent 스키마 레지스트리 인증 지원
Confluent 스키마 레지스트리와 Azure Databricks 통합은 이제 인증을 사용하여 외부 스키마 레지스트리 주소를 지원합니다. 이 기능은 from_avro, to_avro, from_protobuf, to_protobuf 함수에 사용할 수 있습니다. Protobuf 또는 Avro를 참조하세요.
델타 공유 공유를 사용하여 테이블 기록 공유 지원
이제 델타 공유를 사용하여 전체 기록으로 테이블을 공유할 수 있으므로 받는 사람이 Spark 구조적 스트리밍을 사용하여 시간 이동 쿼리를 수행하고 테이블을 쿼리할 수 있습니다. WITH HISTORY 는 대신 권장 CHANGE DATA FEED되지만 후자는 계속 지원됩니다. ALTER SHARE 및 공유에 테이블 추가를 참조하세요.
델타 공유 공유를 사용한 스트리밍 지원
이제 Spark 구조적 스트리밍은 사용 하 여 WITH HISTORY공유 된 원본 델타 공유 테이블의 형식 deltasharing 으로 작동 합니다.
이제 카탈로그의 델타 공유 테이블에 대해 타임스탬프를 사용하는 테이블 버전이 지원됩니다.
이제 SELECT 문에서 TIMESTAMP AS OF SQL 구문을 사용하여 카탈로그에 탑재된 델타 공유 테이블의 버전을 지정할 수 있습니다. 를 사용하여 WITH HISTORY테이블을 공유해야 합니다.
MERGE INTO에 대한 SOURCE에서 일치하지 않는 경우 지원
이제 MERGE INTO에 WHEN NOT MATCHED BY SOURCE 절을 추가하여 병합 조건에 따라 원본 테이블에 일치하는 항목이 없는 선택한 테이블의 행을 업데이트하거나 삭제할 수 있습니다. 새 절은 SQL, Python, Scala, Java에서 사용할 수 있습니다. MERGE INTO를 참조하세요.
CONVERT TO DELTA에 대한 최적화된 통계 수집
이제 작업에 대한 CONVERT TO DELTA 통계 수집이 훨씬 빨라집니다. 이렇게 하면 효율성을 위해 사용할 NO STATISTICS 수 있는 워크로드 수가 줄어듭니다.
테이블 드로핑 해제에 대한 Unity 카탈로그 지원
이 기능은 처음에 공개 미리 보기로 릴리스되었습니다. 2023년 10월 25일 현재 GA입니다.
이제 삭제 후 7일 이내에 기존 스키마에서 삭제된 관리 테이블 또는 외부 테이블을 삭제할 수 있습니다. UNDROP 테이블 및 삭제된 테이블 표시를 참조하세요.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- filelock 3.8.0에서 3.8.2로
- platformdirs 2.5.4에서 2.6.0으로
- setuptools 58.0.4에서 61.2.0으로
- 업그레이드된 R 라이브러리:
- 업그레이드된 Java 라이브러리:
- io.delta.delta-sharing-spark_2.12 0.5.2에서 0.6.2로
- org.apache.hive.hive-storage-api 2.7.2에서 2.8.1로
- org.apache.parquet.parquet-column을 1.12.3-databricks-0001에서 1.12.3-databricks-0002로
- org.apache.parquet.parquet-common을 1.12.3-databricks-0001에서 1.12.3-databricks-0002로
- org.apache.parquet.parquet-encoding을 1.12.3-databricks-0001에서 1.12.3-databricks-0002로
- org.apache.parquet.parquet-format-structures를 1.12.3-databricks-0001에서 1.12.3-databricks-0002로
- org.apache.parquet.parquet-hadoop을 1.12.3-databricks-0001에서 1.12.3-databricks-0002로
- org.apache.parquet.parquet-jackson을 1.12.3-databricks-0001에서 1.12.3-databricks-0002로
- org.tukaani.xz를 1.8에서 1.9로
Apache Spark
Databricks Runtime 12.1에는 Apache Spark 3.3.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 12.0(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-41405] [SC-119769][12.1.0] “[SC-119411][SQL] 열 해상도 논리 중앙 집중화” 및 “[SC-117170][SPARK-41338][SQL] 동일한 분석기 일괄 처리에서 외부 참조 및 일반 열 해결” 되돌리기
- [SPARK-41405] [SC-119411][SQL] 열 해상도 논리 중앙 집중화
- [SPARK-41859] [SC-119514][SQL] CreateHiveTableAsSelectCommand는 덮어쓰기 플래그를 올바르게 설정해야 함
- [SPARK-41659] [SC-119526][CONNECT][12.X] pyspark.sql.connect.readwriter에서 doctests 사용
- [SPARK-41858] [SC-119427][SQL] DEFAULT 값 기능으로 인한 ORC 판독기 성능 회귀 수정
- [SPARK-41807] [SC-119399][CORE] 존재하지 않는 오류 클래스 제거: UNSUPPORTED_FEATURE. DISTRIBUTE_BY
- [SPARK-41578] [12.x][SC-119273][SQL] _LEGACY_ERROR_TEMP_2141에 이름 할당
- [SPARK-41571] [SC-119362][SQL] _LEGACY_ERROR_TEMP_2310에 이름 할당
- [SPARK-41810] [SC-119373][CONNECT] SparkSession.createDataFrame의 사전 목록에서 이름 유추
- [SPARK-40993] [SC-119504][SPARK-41705][CONNECT][12.X] Spark Connect 설명서 및 스크립트를 dev/ 및 Python 설명서로 이동
- [SPARK-41534] [SC-119456][CONNECT][SQL][12.x] Spark Connect에 대한 초기 클라이언트 모듈 설정
- [SPARK-41365] [SC-118498][UI][3.3] 단계 UI 페이지가 특정 yarn 환경의 프록시에 대해 로드되지 않음
- [SPARK-41481] [SC-118150][CORE][SQL]
_LEGACY_ERROR_TEMP_0020대신INVALID_TYPED_LITERAL재사용 - [SPARK-41049] [SC-119305][SQL] 상태 저장 식 처리 다시 방문
- [SPARK-41726] [SC-119248][SQL] 제거
OptimizedCreateHiveTableAsSelectCommand - [SPARK-41271] [SC-118648][SC-118348][SQL] 매개 변수가 있는 SQL 쿼리 지원 기준
sql() - [SPARK-41066] [SC-119344][CONNECT][PYTHON]
DataFrame.sampleBy및DataFrame.stat.sampleBy구현 - [SPARK-41407] [SC-119402][SC-119012][SQL][ALL TESTS] WriteFiles에 v1 쓰기 풀아웃
- [SPARK-41565] [SC-118868][SQL]
UNRESOLVED_ROUTINE오류 클래스 추가 - [SPARK-41668] [SC-118925][SQL] DECODE 함수가 NULL을 통과했을 때 잘못된 결과 반환
- [SPARK-41554] [SC-119274] 크기가 m씩 감소할 때 소수 자릿수 변경 수정...
- [SPARK-41065] [SC-119324][CONNECT][PYTHON]
DataFrame.freqItems및DataFrame.stat.freqItems구현 - [SPARK-41742] [SC-119404][SPARK-41745][CONNECT][12.X] 문서 테스트를 다시 활성화하고 누락된 열 별칭을 count()에 추가
- [SPARK-41069] [SC-119310][CONNECT][PYTHON]
DataFrame.approxQuantile및DataFrame.stat.approxQuantile구현 - [SPARK-41809] [SC-119367][CONNECT][PYTHON] 함수
from_json지원 DataType 스키마 만들기 - [SPARK-41804] [SC-119382][SQL] UDT 배열을 위해
InterpretedUnsafeProjection에서 올바른 요소 크기 선택 - [SPARK-41786] [SC-119308][CONNECT][PYTHON] 도우미 함수 중복 제거
- [SPARK-41745] [SC-119378][SPARK-41789][12.X] 행의
createDataFrame지원 목록 만들기 - [SPARK-41344] [SC-119217][SQL] SupportsCatalogOptions 카탈로그에서 테이블을 찾을 수 없는 경우 오류를 더 명확하게 지정
- [SPARK-41803] [SC-119380][CONNECT][PYTHON] 누락된 함수
log(arg1, arg2)추가 - [SPARK-41808] [SC-119356][CONNECT][PYTHON] JSON 함수 지원 옵션 만들기
- [SPARK-41779] [SC-119275][SPARK-41771][CONNECT][PYTHON]
__getitem__지원 필터를 만들고 선택 - [SPARK-41783] [SC-119288][SPARK-41770][CONNECT][PYTHON] 열 작업 지원 없음 만들기
- [SPARK-41440] [SC-119279][CONNECT][PYTHON] 일반 샘플의 캐시 연산자 피하기
- [SPARK-41785] [SC-119290][CONNECT][PYTHON]
GroupedData.mean구현 - [SPARK-41629] [SC-119276][CONNECT] 관계 및 식에서 프로토콜 확장 지원
- [SPARK-41417] [SC-118000][CORE][SQL]
_LEGACY_ERROR_TEMP_0019에서INVALID_TYPED_LITERAL로 이름 바꾸기 - [SPARK-41533] [SC-119342][CONNECT][12.X] Spark Connect Server/Client에 대한 적절한 오류 처리
- [SPARK-41292] [SC-119357][CONNECT][12.X] pyspark.sql.window 네임스페이스의 지원 창
- [SPARK-41493] [SC-119339][CONNECT][PYTHON] csv 함수 지원 옵션 만들기
- [SPARK-39591] [SC-118675][SS] 비동기 진행률 추적
- [SPARK-41767] [SC-119337][CONNECT][PYTHON][12.X]
Column.{withField, dropFields}구현 - [SPARK-41068] [SC-119268][CONNECT][PYTHON]
DataFrame.stat.corr구현 - [SPARK-41655] [SC-119323][CONNECT][12.X] pyspark.sql.connect.column에서 doctests 사용
- [SPARK-41738] [SC-119170][CONNECT] SparkSession 캐시에서 ClientId 조합
- [SPARK-41354] [SC-119194][CONNECT] proto에
RepartitionByExpression추가 - [SPARK-41784] [SC-119289][CONNECT][PYTHON] 열에서 누락된
__rmod__추가 - [SPARK-41778] [SC-119262][SQL] ArrayAggregate에 별칭 “reduce” 추가
- [SPARK-41067] [SC-119171][CONNECT][PYTHON]
DataFrame.stat.cov구현 - [SPARK-41764] [SC-119216][CONNECT][PYTHON] 내부 문자열 작업 이름을 FunctionRegistry와 일치하게 만들기
- [SPARK-41734] [SC-119160][CONNECT] 카탈로그에 대한 부모 메시지 추가
- [SPARK-41742] [SC-119263] df.groupBy().agg({"*":"count"}) 지원
- [SPARK-41761] [SC-119213][CONNECT][PYTHON] 산술 연산 수정:
__neg__,__pow__,__rpow__ - [SPARK-41062] [SC-118182][SQL] 이름
UNSUPPORTED_CORRELATED_REFERENCE를CORRELATED_REFERENCE로 변경 - [SPARK-41751] [SC-119211][CONNECT][PYTHON]
Column.{isNull, isNotNull, eqNullSafe}수정 - [SPARK-41728] [SC-119164][CONNECT][PYTHON][12.X]
unwrap_udt함수 구현 - [SPARK-41333] [SC-119195][SPARK-41737]
GroupedData.{min, max, avg, sum}구현 - [SPARK-41751] [SC-119206][CONNECT][PYTHON]
Column.{bitwiseAND, bitwiseOR, bitwiseXOR}수정 - [SPARK-41631] [SC-101081][SQL] Aggregate에서 암시적 횡적 열 별칭 확인 지원
- [SPARK-41529] [SC-119207][CONNECT][12.X] SparkSession.stop 구현
- [SPARK-41729] [SC-119205][CORE][SQL][12.X]
_LEGACY_ERROR_TEMP_0011에서UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES로 이름 바꾸기 - [SPARK-41717] [SC-119078][CONNECT][12.X] LogicalPlan에서 인쇄 및 repr_html 중복 제거
- [SPARK-41740] [SC-119169][CONNECT][PYTHON]
Column.name구현 - [SPARK-41733] [SC-119163][SQL][SS] ResolveWindowTime 규칙에 트리 패턴 기반 정리 적용
- [SPARK-41732] [SC-119157][SQL][SS] SessionWindowing 규칙에 트리 패턴 기반 정리 적용
- [SPARK-41498] [SC-119018] Union을 통해 메타데이터 전파
- [SPARK-41731] [SC-119166][CONNECT][PYTHON][12.X] 열 접근자 구현
- [SPARK-41736] [SC-119161][CONNECT][PYTHON]
pyspark_types_to_proto_types는ArrayType을 지원해야 함 - [SPARK-41473] [SC-119092][CONNECT][PYTHON]
format_number함수 구현 - [SPARK-41707] [SC-119141][CONNECT][12.X] Spark Connect에서 카탈로그 API 구현
- [SPARK-41710] [SC-119062][CONNECT][PYTHON]
Column.between구현 - [SPARK-41235] [SC-119088][SQL][PYTHON]고차 함수: array_compact 구현
- [SPARK-41518] [SC-118453][SQL] 오류 클래스
_LEGACY_ERROR_TEMP_2422에 이름 할당 - [SPARK-41723] [SC-119091][CONNECT][PYTHON]
sequence함수 구현 - [SPARK-41703] [SC-119060][CONNECT][PYTHON] NullType과 typed_null 리터럴 결합
- [SPARK-41722] [SC-119090][CONNECT][PYTHON] 누락된 시간 창 함수 3개 구현
- [SPARK-41503] [SC-119043][CONNECT][PYTHON] 파티션 변환 함수 구현
- [SPARK-41413] [SC-118968][SQL] 파티션 키가 일치하지 않지만 조인 식이 호환되는 경우 Storage-Partitioned 조인에서 순서 섞기 방지
- [SPARK-41700] [SC-119046][CONNECT][PYTHON]
FunctionBuilder제거 - [SPARK-41706] [SC-119094][CONNECT][PYTHON]
pyspark_types_to_proto_types는MapType을 지원해야 함 - [SPARK-41702] [SC-119049][CONNECT][PYTHON] 잘못된 열 작업 추가
- [SPARK-41660] [SC-118866][SQL] 메타데이터 열이 사용되는 경우에만 전파
- [SPARK-41637] [SC-119003][SQL] ORDER BY ALL
- [SPARK-41513] [SC-118945][SQL] 매퍼 행 개수 메트릭당 수집할 누적기 구현
- [SPARK-41647] [SC-119064][CONNECT][12.X] pyspark.sql.connect.functions에서 문서 문자열 중복 제거
- [SPARK-41701] [SC-119048][CONNECT][PYTHON] 열 작업 지원
decimal만들기 - [SPARK-41383] [SC-119015][SPARK-41692][SPARK-41693]
rollup,cube,pivot구현 - [SPARK-41635] [SC-118944][SQL] GROUP BY ALL
- [SPARK-41645] [SC-119057][CONNECT][12.X] pyspark.sql.connect.dataframe에서 문서 문자열 중복 제거
- [SPARK-41688] [SC-118951][CONNECT][PYTHON] 식을 expressions.py로 이동
- [SPARK-41687] [SC-118949][CONNECT] pyspark.sql.connect.group에서 문서 문자열 중복 제거
- [SPARK-41649] [SC-118950][CONNECT] pyspark.sql.connect.window에서 문서 문자열 중복 제거
- [SPARK-41681] [SC-118939][CONNECT] GroupedData를 group.py로 제외
- [SPARK-41292] [SC-119038][SPARK-41640][SPARK-41641][CONNECT][PYTHON][12.X] 함수
Window구현 - [SPARK-41675] [SC-119031][SC-118934][CONNECT][PYTHON][12.X] 열 작업 지원
datetime만들기 - [SPARK-41672] [SC-118929][CONNECT][PYTHON] 사용되지 않는 함수 사용
- [SPARK-41673] [SC-118932][CONNECT][PYTHON]
Column.astype구현 - [SPARK-41364] [SC-118865][CONNECT][PYTHON]
broadcast함수 구현 - [SPARK-41648] [SC-118914][CONNECT][12.X] pyspark.sql.connect.readwriter에서 문서 문자열 중복 제거
- [SPARK-41646] [SC-118915][CONNECT][12.X] pyspark.sql.connect.session에서 문서 문자열 중복 제거
- [SPARK-41643] [SC-118862][CONNECT][12.X] pyspark.sql.connect.column에서 문서 문자열 중복 제거
- [SPARK-41663] [SC-118936][CONNECT][PYTHON][12.X] 나머지 Lambda 함수 구현
- [SPARK-41441] [SC-118557][SQL] 외부 참조를 호스트하는 데 필요한 자식 출력 없이 생성 지원
- [SPARK-41669] [SC-118923][SQL] canCollapseExpressions의 초기 정리
- [SPARK-41639] [SC-118927][SQL][PROTOBUF] : SchemaConverters에서 ScalaReflectionLock 제거
- [SPARK-41464] [SC-118861][CONNECT][PYTHON]
DataFrame.to구현 - [SPARK-41434] [SC-118857][CONNECT][PYTHON] 초기
LambdaFunction구현 - [SPARK-41539] [SC-118802][SQL] LogicalRDD에 대한 논리 계획에서 출력 통계 및 제약 조건 다시 매핑
- [SPARK-41396] [SC-118786][SQL][PROTOBUF] OneOf 필드 지원 및 재귀 검사
- [SPARK-41528] [SC-118769][CONNECT][12.X] Spark Connect 및 PySpark API의 네임스페이스 병합
- [SPARK-41568] [SC-118715][SQL] _LEGACY_ERROR_TEMP_1236에 이름 할당
- [SPARK-41440] [SC-118788][CONNECT][PYTHON]
DataFrame.randomSplit구현 - [SPARK-41583] [SC-118718][SC-118642][CONNECT][PROTOBUF] 종속성을 지정하여 spark Connect 및 protobuf를 setup.py에 추가
- [SPARK-27561] [SC-101081][12.x][SQL] Project에서 암시적 횡적 열 별칭 확인 지원
- [SPARK-41535] [SC-118645][SQL]
InterpretedUnsafeProjection및InterpretedMutableProjection의 달력 간격 필드에 대해 null을 올바르게 설정 - [SPARK-40687] [SC-118439][SQL] 데이터 마스킹 기본 제공 함수 ‘mask’ 지원
- [SPARK-41520] [SC-118440][SQL] AND_OR 트리패턴을 AND 및 OR 트리패턴으로 분할
- [SPARK-41349] [SC-118668][CONNECT][PYTHON] DataFrame.hint 구현
- [SPARK-41546] [SC-118541][CONNECT][PYTHON]
pyspark_types_to_proto_types는 StructType을 지원해야 합니다. - [SPARK-41334] [SC-118549][CONNECT][PYTHON]
SortOrderproto를 관계에서 식으로 이동 - [SPARK-41387] [SC-118450][SS] Trigger.AvailableNow에 대한 Kafka 데이터 원본에서 현재 끝 오프셋 어설션
- [SPARK-41508] [SC-118445][CORE][SQL]
_LEGACY_ERROR_TEMP_1180에서UNEXPECTED_INPUT_TYPE로 이름을 바꾸고_LEGACY_ERROR_TEMP_1179제거 - [SPARK-41319] [SC-118441][CONNECT][PYTHON]
UnresolvedFunction을 사용하여 Column.{when, otherwise} 및 함수when구현 - [SPARK-41541] [SC-118460][SQL] SQLShuffleWriteMetricsReporter.decRecordsWritten()에서 잘못된 자식 메서드 호출 수정
- [SPARK-41453] [SC-118458][CONNECT][PYTHON]
DataFrame.subtract구현 - [SPARK-41248] [SC-118436][SC-118303][SQL] “spark.sql.json.enablePartialResults”를 추가하여 JSON 부분 결과 사용/사용 안 함
- [SPARK-41437] “[SC-117601][SQL] v1 쓰기 대체를 위해 입력 쿼리를 두 번 최적화하지 않음” 되돌리기
- [SPARK-41472] [SC-118352][CONNECT][PYTHON] 나머지 문자열/이진 함수 구현
- [SPARK-41526] [SC-118355][CONNECT][PYTHON]
Column.isin구현 - [SPARK-32170] [SC-118384] [CORE] 단계 작업 메트릭을 통해 추측을 개선합니다.
- [SPARK-41524] [SC-118399][SS] RocksDBConf에서 사용하기 위해 StateStoreConf에서 SQLConf 및 extraOptions 차별화
- [SPARK-41465] [SC-118381][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1235에 이름 할당
- [SPARK-41511] [SC-118365][SQL] LongToUnsafeRowMap 지원 ignoresDuplicatedKey
- [SPARK-41409] [SC-118302][CORE][SQL]
_LEGACY_ERROR_TEMP_1043에서WRONG_NUM_ARGS.WITHOUT_SUGGESTION로 이름 바꾸기 - [SPARK-41438] [SC-118344][CONNECT][PYTHON]
DataFrame.colRegex구현 - [SPARK-41437] [SC-117601][SQL] v1 쓰기 대체를 위해 입력 쿼리를 두 번 최적화하지 않음
- [SPARK-41314] [SC-117172][SQL] 오류 클래스
_LEGACY_ERROR_TEMP_1094에 이름 할당 - [SPARK-41443] [SC-118004][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1061에 이름 할당
- [SPARK-41506] [SC-118241][CONNECT][PYTHON] DataType을 지원하도록 LiteralExpression 리팩터링
- [SPARK-41448] [SC-118046] FileBatchWriter 및 FileFormatWriter에서 일관된 MR 작업 ID 만들기
- [SPARK-41456] [SC-117970][SQL] try_cast의 성능 향상
- [SPARK-41495] [SC-118125][CONNECT][PYTHON]
collection함수 구현: P~Z - [SPARK-41478] [SC-118167][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1234에 이름 할당
- [SPARK-41406] [SC-118161][SQL]
NUM_COLUMNS_MISMATCH에서 오류 메시지를 보다 일반화하기 위한 리팩터링 오류 메시지 - [SPARK-41404] [SC-118016][SQL]
ColumnarBatchSuite#testRandomRows테스트를 보다 기본적인 dataType으로 만들기 위해ColumnVectorUtils#toBatch리팩터링 - [SPARK-41468] [SC-118044][SQL] EquivalentExpressions에서 PlanExpression 처리 수정
- [SPARK-40775] [SC-118045][SQL] V2 파일 검사에 대한 중복 설명 항목 수정
- [SPARK-41492] [SC-118042][CONNECT][PYTHON] MISC 함수 구현
- [SPARK-41459] [SC-118005][SQL] Thrift 서버 작업 로그 출력이 비어 있음
- [SPARK-41395] [SC-117899][SQL]
InterpretedMutableProjection은setDecimal을 사용하여 안전하지 않은 행의 10진수에 대한 null 값을 설정해야 함 - [SPARK-41376] [SC-117840][CORE][3.3] 실행기 시작 시 Netty preferDirectBufs 검사 논리 수정
- [SPARK-41484] [SC-118159][SC-118036][CONNECT][PYTHON][12.x]
collection함수 구현: E~M - [SPARK-41389] [SC-117426][CORE][SQL]
_LEGACY_ERROR_TEMP_1044대신WRONG_NUM_ARGS재사용 - [SPARK-41462] [SC-117920][SQL] 날짜 및 타임스탬프 유형이 TimestampNTZ로 캐스팅할 수 있음
- [SPARK-41435] [SC-117810][SQL]
expressions이 비어 있지 않을 때curdate()에 대해invalidFunctionArgumentsError를 호출하도록 변경 - [SPARK-41187] [SC-118030][CORE] ExecutorLost가 발생할 때 AppStatusListener의 LiveExecutor MemoryLeak
- [SPARK-41360] [SC-118083][CORE] 실행기가 손실된 경우 BlockManager 다시 등록 방지
- [SPARK-41378] [SC-117686][SQL] DS v2에서 열 통계 지원
- [SPARK-41402] [SC-117910][SQL][CONNECT][12.X] StringDecode의 prettyName 재정의
- [SPARK-41414] [SC-118041][CONNECT][PYTHON][12.x] 날짜/타임스탬프 함수 구현
- [SPARK-41329] [SC-117975][CONNECT] Spark Connect에서 순환 가져오기 해결
- [SPARK-41477] [SC-118025][CONNECT][PYTHON] 리터럴 정수의 데이터 형식을 올바르게 유추
- [SPARK-41446] [SC-118024][CONNECT][PYTHON][12.x]
createDataFrame지원 스키마 및 더 많은 입력 데이터 세트 형식 만들기 - [SPARK-41475] [SC-117997][CONNECT] lint-scala 명령 오류 및 오타 수정
- [SPARK-38277] [SC-117799][SS] RocksDB 상태 저장소 커밋 후 쓰기 일괄 처리 지우기
- [SPARK-41375] [SC-117801][SS] 빈 최신 KafkaSourceOffset 방지
- [SPARK-41412] [SC-118015][CONNECT]
Column.cast구현 - [SPARK-41439] [SC-117893][CONNECT][PYTHON]
DataFrame.melt및DataFrame.unpivot구현 - [SPARK-41399] [SC-118007][SC-117474][CONNECT] 열 관련 테스트를 test_connect_column로 리팩터링
- [SPARK-41351] [SC-117957][SC-117412][CONNECT][12.x] 열이 != 연산자 지원
- [SPARK-40697] [SC-117806][SC-112787][SQL] 외부 데이터 파일을 커버하는 읽기 쪽 문자 패딩 추가
- [SPARK-41349] [SC-117594][CONNECT][12.X] DataFrame.hint 구현
- [SPARK-41338] [SC-117170][SQL] 동일한 분석기 일괄 처리에서 외부 참조 및 일반 열 확인
- [SPARK-41436] [SC-117805][CONNECT][PYTHON]
collection함수 구현: A~C - [SPARK-41445] [SC-117802][CONNECT] DataFrameReader.parquet 구현
- [SPARK-41452] [SC-117865][SQL]
to_char은 형식이 null이면 null을 반환해야 함 - [SPARK-41444] [SC-117796][CONNECT] read.json() 지원
- [SPARK-41398] [SC-117508][SQL] 런타임 필터링 후 파티션 키가 일치하지 않을 때 Storage-Partitioned 조인에 대한 제약 조건 완화
- [SPARK-41228] [SC-117169] [SQL] 에 대한
COLUMN_NOT_IN_GROUP_BY_CLAUSE오류 메시지 이름 바꾸기 및 개선 - [SPARK-41381] [SC-117593][CONNECT][PYTHON]
count_distinct및sum_distinct함수 구현 - [SPARK-41433] [SC-117596][CONNECT] 최대 화살표 BatchSize를 구성 가능으로 설정
- [SPARK-41397] [SC-117590][CONNECT][PYTHON] 문자열/이진 함수 일부 구현
- [SPARK-41382] [SC-117588][CONNECT][PYTHON]
product함수 구현 - [SPARK-41403] [SC-117595][CONNECT][PYTHON]
DataFrame.describe구현 - [SPARK-41366] [SC-117580][CONNECT] DF.groupby.agg()는 호환되어야 함
- [SPARK-41369] [SC-117584][CONNECT] 서버의 음영 처리된 jar에 공통 연결 추가
- [SPARK-41411] [SC-117562][SS] 다중 상태 저장 연산자 워터마크 지원 버그 수정
- [SPARK-41176] [SC-116630][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1042에 이름 할당
- [SPARK-41380] [SC-117476][CONNECT][PYTHON][12.X] aggregation 함수 구현
- [SPARK-41363] [SC-117470][CONNECT][PYTHON][12.X] normal 함수 구현
- [SPARK-41305] [SC-117411][CONNECT] 명령 proto에 대한 설명서 개선
- [SPARK-41372] [SC-117427][CONNECT][PYTHON] DataFrame TempView 구현
- [SPARK-41379] [SC-117420][SS][PYTHON] PySpark의 foreachBatch 싱크에 대한 사용자 함수의 DataFrame에서 복제된 Spark 세션 제공
- [SPARK-41373] [SC-117405][SQL][ERROR] CAST_WITH_FUN_SUGGESTION 이름을 CAST_WITH_FUNC_SUGGESTION으로 바꾸기
- [SPARK-41358] [SC-117417][SQL]
ColumnVectorUtils#populate메서드를 리팩터링하여DataType대신PhysicalDataType사용 - [SPARK-41355] [SC-117423][SQL] 하이브 테이블 이름 유효성 검사 문제 해결
- [SPARK-41390] [SC-117429][SQL]
UDFRegistration에서register함수를 생성하는 데 사용되는 스크립트 업데이트 - [SPARK-41206] [SC-117233][SC-116381][SQL] 오류 클래스 이름
_LEGACY_ERROR_TEMP_1233을COLUMN_ALREADY_EXISTS로 변경 - [SPARK-41357] [SC-117310][CONNECT][PYTHON][12.X] math 함수 구현
- [SPARK-40970] [SC-117308][CONNECT][PYTHON] Join's on 인수에 대한 지원 목록[열]
- [SPARK-41345] [SC-117178][CONNECT] Proto 연결에 힌트 추가
- [SPARK-41226] [SC-117194][SQL][12.x] 물리적 형식을 도입하여 Spark 형식 리팩터링
- [SPARK-41317] [SC-116902][CONNECT][PYTHON][12.X] DataFrameWriter에 대한 기본 지원 추가
- [SPARK-41347] [SC-117173][CONNECT] 식 proto에 캐스트 추가
- [SPARK-41323] [SC-117128][SQL] current_schema 지원
- [SPARK-41339] [SC-117171][SQL] 단순히 지우는 대신 RocksDB 쓰기 일괄 처리를 닫고 다시 생성
- [SPARK-41227] [SC-117165][CONNECT][PYTHON] DataFrame 교차 조인 구현
- [SPARK-41346] [SC-117176][CONNECT][PYTHON]
asc및desc함수 구현 - [SPARK-41343] [SC-117166][CONNECT] FunctionName 구문 분석을 서버 쪽으로 이동
- [SPARK-41321] [SC-117163][CONNECT] UnresolvedStar에 대한 대상 필드 지원
- [SPARK-41237] [SC-117167][SQL]
_LEGACY_ERROR_TEMP_0030에 대한 오류 클래스UNSUPPORTED_DATATYPE다시 사용 - [SPARK-41309] [SC-116916][SQL]
_LEGACY_ERROR_TEMP_1093대신INVALID_SCHEMA.NON_STRING_LITERAL재사용 - [SPARK-41276] [SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO]
StructType의 생성자 사용 최적화 - [SPARK-41335] [SC-117135][CONNECT][PYTHON] 열에서 IsNull 및 IsNotNull 지원
- [SPARK-41332] [SC-117131][CONNECT][PYTHON]
SortOrder에서nullOrdering수정 - [SPARK-41325] [SC-117132][CONNECT][12.X] DF의 GroupBy에 대해 누락된 avg() 수정
- [SPARK-41327] [SC-117137][CORE] On/OffHeapStorageMemory 정보로
SparkStatusTracker.getExecutorInfos수정 - [SPARK-41315] [SC-117129][CONNECT][PYTHON]
DataFrame.replace및DataFrame.na.replace구현 - [SPARK-41328] [SC-117125][CONNECT][PYTHON] 열에 논리 및 문자열 API 추가
- [SPARK-41331] [SC-117127][CONNECT][PYTHON]
orderBy및drop_duplicates추가 - [SPARK-40987] [SC-117124][CORE]
BlockManager#removeBlockInternal은 잠금이 정상적으로 해제되었는지 확인해야 함 - [SPARK-41268] [SC-117102][SC-116970][CONNECT][PYTHON] API 호환성을 위한 “열” 리팩터링
- [SPARK-41312] [SC-116881][CONNECT][PYTHON][12.X] DataFrame.withColumnRenamed 구현
- [SPARK-41221] [SC-116607][SQL]
INVALID_FORMAT오류 클래스 추가 - [SPARK-41272] [SC-116742][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2019에 이름 할당
- [SPARK-41180] [SC-116760][SQL]
_LEGACY_ERROR_TEMP_1227대신INVALID_SCHEMA재사용 - [SPARK-41260] [SC-116880][PYTHON][SS][12.X] GroupState 업데이트에서 NumPy 인스턴스를 Python 기본 형식으로 캐스팅
- [SPARK-41174] [SC-116609][CORE][SQL] 잘못된
to_binary()의format에 대한 오류 클래스를 사용자에게 전파 - [SPARK-41264] [SC-116971][CONNECT][PYTHON] 리터럴이 더 많은 데이터 형식을 지원하도록 만들기
- [SPARK-41326] [SC-116972] [CONNECT] 중복 제거가 누락된 입력 수정
- [SPARK-41316] [SC-116900][SQL] 가능한 경우 꼬리 재귀 사용
- [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] 필터에서 문자열 식을 지원합니다.
- [SPARK-41256] [SC-116932][SC-116883][CONNECT] DataFrame.withColumn 구현
- [SPARK-41182] [SC-116632][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1102에 이름 할당
- [SPARK-41181] [SC-116680][SQL] 맵 옵션 오류를 오류 클래스로 마이그레이션
- [SPARK-40940] [SC-115993][12.x] 스트리밍 쿼리에 대한 다중 상태 저장 연산자 검사기를 제거합니다.
- [SPARK-41310] [SC-116885][CONNECT][PYTHON] DataFrame.toDF 구현
- [SPARK-41179] [SC-116631][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1092에 이름 할당
- [SPARK-41003] [SC-116741][SQL] BHJ LeftAnti는 codegen이 비활성화된 경우 numOutputRows를 업데이트하지 않음
- [SPARK-41148] [SC-116878][CONNECT][PYTHON]
DataFrame.dropna및DataFrame.na.drop구현 - [SPARK-41217] [SC-116380][SQL]
FAILED_FUNCTION_CALL오류 클래스 추가 - [SPARK-41308] [SC-116875][CONNECT][PYTHON] DataFrame.count() 개선
- [SPARK-41301] [SC-116786] [CONNECT] SparkSession.range()에 대한 균질화 동작
- [SPARK-41306] [SC-116860][CONNECT] Connect Expression proto 설명서 개선
- [SPARK-41280] [SC-116733][CONNECT] DataFrame.tail 구현
- [SPARK-41300] [SC-116751] [CONNECT] 설정되지 않은 스키마는 스키마로 해석됨
- [SPARK-41255] [SC-116730][SC-116695] [CONNECT] RemoteSparkSession 이름 바꾸기
- [SPARK-41250] [SC-116788][SC-116633][CONNECT][PYTHON] DataFrame toPandas는 선택적 pandas 데이터 프레임을 반환해서는 안 됩니다.
- [SPARK-41291] [SC-116738][CONNECT][PYTHON]
DataFrame.explain은 없음을 인쇄하고 반환해야 함 - [SPARK-41278] [SC-116732][CONNECT] Expression.proto에서 사용되지 않는 QualifiedAttribute 정리
- [SPARK-41097] [SC-116653][CORE][SQL][SS][PROTOBUF] Scala 2.13 코드에서 중복 컬렉션 변환 기반 제거
- [SPARK-41261] [SC-116718][PYTHON][SS] 그룹화 키 열이 초기부터 순서대로 배치되지 않은 경우 applyInPandasWithState에 대한 문제 해결
- [SPARK-40872] [SC-116717][3.3] 푸시 병합된 순서 섞기 청크 크기가 0인 경우 원래 순서 섞기 블록으로 대체
- [SPARK-41114] [SC-116628][CONNECT] LocalRelation에 대한 로컬 데이터 지원
- [SPARK-41216] [SC-116678][CONNECT][PYTHON]
DataFrame.{isLocal, isStreaming, printSchema, inputFiles}구현 - [SPARK-41238] [SC-116670][CONNECT][PYTHON] 더 많은 기본 제공 데이터 형식 지원
- [SPARK-41230] [SC-116674][CONNECT][PYTHON] 집계 식 형식에서
str제거 - [SPARK-41224] [SC-116652][SPARK-41165][SPARK-41184][CONNECT] 최적화된 화살표 기반 수집 구현을 서버에서 클라이언트로 스트리밍
- [SPARK-41222] [SC-116625][CONNECT][PYTHON] 입력 정의 통합
- [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] 지원되지 않는 함수를 사용하지 않도록 설정합니다.
- [SPARK-41201] [SC-116526][CONNECT][PYTHON] Python 클라이언트에서
DataFrame.SelectExpr구현 - [SPARK-41203] [SC-116258] [CONNECT] Python 클라이언트에서 Dataframe.tansform을 지원합니다.
- [SPARK-41213] [SC-116375][CONNECT][PYTHON]
DataFrame.__repr__및DataFrame.dtypes구현 - [SPARK-41169] [SC-116378][CONNECT][PYTHON]
DataFrame.drop구현 - [SPARK-41172] [SC-116245][SQL] 모호한 참조 오류를 오류 클래스로 마이그레이션
- [SPARK-41122] [SC-116141][CONNECT] 설명 API는 다양한 모드를 지원할 수 있음
- [SPARK-41209] [SC-116584][SC-116376][PYTHON] _merge_type 메서드에서 PySpark 형식 유추 개선
- [SPARK-41196] [SC-116555][SC-116179] [CONNECT] 동일한 주 버전을 사용하도록 Spark 연결 서버에서 protobuf 버전을 균질화합니다.
- [SPARK-35531] [SC-116409][SQL] 불필요한 변환 없이 하이브 테이블 통계 업데이트
- [SPARK-41154] [SC-116289][SQL] 시간 이동 사양이 있는 쿼리에 대한 잘못된 관계 캐싱
- [SPARK-41212] [SC-116554][SC-116389][CONNECT][PYTHON]
DataFrame.isEmpty구현 - [SPARK-41135] [SC-116400][SQL] 이름
UNSUPPORTED_EMPTY_LOCATION를INVALID_EMPTY_LOCATION로 변경 - [SPARK-41183] [SC-116265][SQL] 캐싱을 위한 계획 정규화를 수행하는 확장 API 추가
- [SPARK-41054] [SC-116447][UI][CORE] Live UI에서 KVStore로 RocksDB 지원
- [SPARK-38550] [SC-115223]“[SQL][CORE] 디스크 기반 저장소를 사용하여 라이브 UI에 더 많은 디버그 정보 저장” 되돌리기
- [SPARK-41173] [SC-116185][SQL] 문자열 식의 생성자에서 밖으로
require()이동 - [SPARK-41188] [SC-116242][CORE][ML] 기본적으로 spark executor JVM 프로세스에 대해 executorEnv OMP_NUM_THREADS를 spark.task.cpus로 설정
- [SPARK-41130] [SC-116155][SQL] 이름
OUT_OF_DECIMAL_TYPE_RANGE를NUMERIC_OUT_OF_SUPPORTED_RANGE로 변경 - [SPARK-41175] [SC-116238][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1078에 이름 할당
- [SPARK-41106] [SC-116073][SQL] AttributeMap을 만들 때 컬렉션 변환 감소
- [SPARK-41139] [SC-115983][SQL] 오류 클래스 개선:
PYTHON_UDF_IN_ON_CLAUSE - [SPARK-40657] [SC-115997][PROTOBUF] Java 클래스 jar에 음영 필요, 오류 처리 개선
- [SPARK-40999] [SC-116168] 하위 쿼리로 힌트 전파
- [SPARK-41017] [SC-116054][SQL] 여러 비결정적 필터를 사용하여 열 정리 지원
- [SPARK-40834] [SC-114773][SQL] SparkListenerSQLExecutionEnd를 사용하여 UI에서 최종 SQL 상태 추적
- [SPARK-41118] [SC-116027][SQL]
to_number/try_to_number은 형식이null이면null을 반환해야 함 - [SPARK-39799] [SC-115984][SQL] DataSourceV2: 카탈로그 인터페이스 보기
- [SPARK-40665] [SC-116210][SC-112300][CONNECT] Apache Spark 이진 릴리스에 Spark Connect 포함 방지
- [SPARK-41048] [SC-116043][SQL] AQE 캐시를 사용하여 출력 분할 및 순서 개선
- [SPARK-41198] [SC-116256][SS] CTE 및 DSv1 스트리밍 원본이 있는 스트리밍 쿼리의 메트릭 수정
- [SPARK-41199] [SC-116244][SS] DSv1 스트리밍 원본 및 DSv2 스트리밍 원본이 공동으로 사용되는 경우 메트릭 문제 해결
- [SPARK-40957] [SC-116261][SC-114706] HDFSMetadataLog의 메모리 캐시에 추가
- [SPARK-40940] “[SC-115993] 스트리밍 쿼리에 대한 다중 상태 저장 연산자 검사기를 제거합니다.” 되돌리기
- [SPARK-41090] [SC-116040][SQL] 데이터 세트 API로 임시 보기를 만들 때
db_name.view_name에 대한 예외 발생 - [SPARK-41133] [SC-116085][SQL]
UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION를NUMERIC_VALUE_OUT_OF_RANGE로 통합 - [SPARK-40557] [SC-116182][SC-111442][CONNECT] 코드 덤프 9 커밋
- [SPARK-40448] [SC-114447][SC-111314][CONNECT] 음영 종속성이 있는 드라이버 플러그 인으로 Spark Connect 빌드
- [SPARK-41096] [SC-115812][SQL] parquet FIXED_LEN_BYTE_ARRAY 형식 읽기 지원
- [SPARK-41140] [SC-115879][SQL] 오류 클래스 이름
_LEGACY_ERROR_TEMP_2440을INVALID_WHERE_CONDITION로 변경 - [SPARK-40918] [SC-114438][SQL] 열 형식 출력 생성 시 FileSourceScanExec, Orc, ParquetFileFormat 간 불일치
- [SPARK-41155] [SC-115991][SQL] SchemaColumnConvertNotSupportedException에 오류 메시지 추가
- [SPARK-40940] [SC-115993] 스트리밍 쿼리에 대한 다중 상태 저장 연산자 검사기를 제거합니다.
- [SPARK-41098] [SC-115790][SQL] 이름
GROUP_BY_POS_REFERS_AGG_EXPR를GROUP_BY_POS_AGGREGATE로 변경 - [SPARK-40755] [SC-115912][SQL] 오류 클래스에 숫자 서식 지정에 대한 유형 검사 실패 마이그레이션
- [SPARK-41059] [SC-115658][SQL] 이름
_LEGACY_ERROR_TEMP_2420를NESTED_AGGREGATE_FUNCTION로 변경 - [SPARK-41044] [SC-115662][SQL] DATATYPE_MISMATCH.UNSPECIFIED_FRAME을 INTERNAL_ERROR로 변환
- [SPARK-40973] [SC-115132][SQL] 이름
_LEGACY_ERROR_TEMP_0055를UNCLOSED_BRACKETED_COMMENT로 변경
유지 관리 업데이트
Databricks Runtime 12.1 기본 테넌트 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 20.04.5 LTS
- Java: Zulu 8.64.0.19-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.2.2
- Delta Lake: 2.2.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | 검정색 | 22.3.0 | bleach | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| 에서 | 8.0.4 | 암호화 | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | debugpy | 1.5.1 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0.11 | entrypoints | 0.4 | 실행 | 0.8.3 |
| facets-overview | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.8.2 |
| fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.0 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | mccabe | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| Notebook | 6.4.8 | numpy | 1.21.5 | 패키징 | 21.3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.6.0 | plotly | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| requests | 2.27.1 | requests-unixsocket | 0.2.0 | rope | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| six | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tenacity | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.3 |
| wheel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
설치된 R 라이브러리
R 라이브러리는 Microsoft CRAN 스냅샷(2022-11-11)에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| 화살표 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| callr | 3.7.3 | 캐럿 | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | class | 7.3-20 | cli | 3.4.1 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-18 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | credentials | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | 데이터 세트 | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| 줄임표 | 0.3.2 | evaluate | 0.18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
| future.apply | 1.10.0 | gargle | 1.2.1 | 제네릭(generics) | 0.1.3 |
| gert | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ID | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.0 | 주기 | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| MASS | 7.3-58 | 행렬 | 1.5-1 | memoise | 2.0.1 |
| 메서드 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| munsell | 0.5.0 | nlme | 3.1-160 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 진행률 | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| 프록시 | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.1 | spatial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | 통계 | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| survival | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 프로파일러 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.2 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | 아이비 | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.76 |
| org.apache.orc | orc-mapreduce | 1.76 |
| org.apache.orc | orc-shims | 1.76 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |