Databricks Runtime 8.0(지원되지 않음)

  • 아티클

Databricks는 2021년 3월에 이 이미지를 릴리스했습니다.

다음은 Apache Spark 3.1.1에서 제공하는 Databricks Runtime 8.0에 대한 릴리스 정보를 제공합니다.

새로운 기능

Databricks Runtime 8.0에는 Apache Spark 3.1.1이 포함됩니다. 자세한 내용은 Apache Spark를 참조하세요.

개선

이제 서식이 지정되지 않은 경우 Delta가 기본 형식이 되었습니다.

Databricks Runtime 8.0은 Delta 테이블을 더 간단하게 만들 수 있도록 기본 형식을 delta로 변경합니다. SQL 명령 또는 {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API를 사용하여 테이블을 만들 경우 형식을 지정하지 않으면 기본 형식이 delta가 됩니다.

Delta Lake를 사용하면 Parquet보다 성능이 향상되고 풍부한 스키마 유효성 검사, 품질 제약 조건 및 트랜잭션 보증을 통해 데이터 안정성이 향상됩니다. Delta Lake를 사용하면 단일 데이터 원본에서 통합 구조적 스트리밍 및 일괄 처리로 데이터 파이프라인을 간소화할 수 있습니다.

Databricks에서는 Delta Lake를 사용하여 데이터를 저장하는 것이 권장되지만 Delta Lake로 마이그레이션해야 하는 레거시 워크플로가 있을 수 있습니다. 기존 워크플로 마이그레이션에 대한 자세한 내용은 Delta Lake란?을 참조하세요.

새로운 구조적 스트리밍 기본 트리거 간격으로 비용 절감

스트리밍 쿼리에서 Trigger.ProcessingTime을 사용하여 트리거 간격을 설정하지 않으면 간격이 500ms로 설정됩니다. 이전에는 기본 간격이 0ms였습니다. 이렇게 변경하면 빈 트리거 수가 줄어들고 목록과 같은 클라우드 스토리지에 대한 비용이 절감됩니다.

자격 증명 통과와 함께 LDA 변환 함수 사용(공개 미리 보기)

이제 인증에 자격 증명 통과를 사용하도록 구성된 클러스터에서 LDA 변환 함수를 사용할 수 있습니다.

자격 증명 통과로 구성된 단일 사용자 클러스터에는 더 이상 신뢰할 수 있는 파일 시스템이 필요하지 않습니다(공개 미리 보기).

단일 사용자와 자격 증명 통과에 대해 구성된 표준 또는 작업 클러스터를 사용하는 경우 더 이상 로컬 파일 시스템을 신뢰할 수 있는 파일 시스템으로 구성할 필요가 없습니다. 이렇게 변경하면 단일 사용자 클러스터에서 작업을 실행할 때 불필요한 파일 시스템 제한이 제거됩니다.

라이브러리 업그레이드

Apache Spark

Databricks Runtime 8.0에는 Apache Spark 3.1.1이 포함됩니다.

이 섹션의 내용:

Core 및 Spark SQL

강조

ANSI SQL 호환성 향상

성능 향상

  • 순서 섞기 서비스 없이 호스트-로컬 순서 섞기 데이터 읽기(SPARK-32077)
  • 재분할 노드 전에 중복 정렬 제거(SPARK-32276)
  • 조건자 부분적 푸시다운(SPARK-32302, SPARK-32352)
  • 확장을 통한 필터 푸시다운(SPARK-33302)
  • CNF 변환을 통해 조인으로 가능한 조건자 푸시(SPARK-31705)
  • 브로드캐스트 해시 조인의 출력 분할을 유지하여 순서 섞기 제거(SPARK-31869)
  • 조인 키 순서를 다시 정렬하여 순서 섞기 제거(SPARK-32282)
  • 출력 분할 및 정렬기를 정규화하여 순서 섞기 제거(SPARK-33399)
  • 순서가 섞인 해시 조인 개선(SPARK-32461)
    • 순서가 섞인 해시 조인 빌드 측 분할 유지(SPARK-32330)
    • 해시 조인(BHJ 및 SHJ) 스트림 측 정렬 유지(SPARK-32383)
    • 정렬 병합 조인에 대한 버킷 테이블 병합(SPARK-32286)
    • 순서가 섞인 해시 조인에 대한 코드 생성 추가(SPARK-32421)
    • 순서가 섞인 해시 조인에서 완전 외부 조인 지원(SPARK-32399)
  • 전체 단계 코드 생성을 사용하여 프로젝트에서 하위 식 제거 지원(SPARK-33092)
  • 조건식에서 하위 식 제거 지원(SPARK-33337)
  • 해석된 언어 식 평가에 대한 하위 식 제거 지원(SPARK-33427)
  • 해석된 조건자에 대한 하위 식 제거 지원(SPARK-33540)
  • 기타 최적화 프로그램 규칙
    • 규칙 ExtractSingleColumnNullAwareAntiJoin(SPARK-32290)
    • 규칙 EliminateNullAwareAntiJoin(SPARK-32573)
    • 규칙 EliminateAggregateFilter(SPARK-32540)
    • 규칙 UnwrapCastInBinaryComparison(SPARK-32858)
    • 규칙 DisableUnnecessaryBucketedScan(SPARK-32859)
    • 규칙 CoalesceBucketsInJoin(SPARK-31350)
    • 프로젝트 없는 생성에서 불필요한 중첩 필드 정리(SPARK-29721)
    • 집계 및 확장에서 불필요한 중첩 필드 정리(SPARK-27217)
    • 식별 재분할 및 조인에서 불필요한 중첩 필드 정리(SPARK-31736)
    • 불필요한 중첩 필드를 형식적 변형 위에 정리(SPARK-32163)
    • 창 및 정렬에서 불필요한 중첩 필드 정리(SPARK-32059)
    • CreateArray/CreateMap의 크기를 자식 크기로 최적화(SPARK-33544)

확장성 향상

  • DataSourceV2에 SupportsPartitions API 추가(SPARK-31694)
  • DataSourceV2에 SupportsMetadataColumns API 추가(SPARK-31255)
  • SQL 캐시 serialization 플러그형 설정(SPARK-32274)
  • v2 카탈로그에 대한 TableCatalog.dropTable의 purge 옵션 도입(SPARK-33364)

커넥터 개선 사항

  • Hive Metastore 파티션 필터 푸시다운 개선(SPARK-33537)
  • 쪽모이 세공 마루
    • Parquet에서 맵의 키 형식에 복합 형식 허용(SPARK-32639)
    • 다시 지정 없이 Parquet에서 INT96 저장 및 로드 허용(SPARK-33160)
  • 오크
    • ORC에 대한 중첩 열 조건자 푸시다운(SPARK-25557)
    • Apache ORC를 1.5.12로 업그레이드(SPARK-33050)
  • Csv
    • CSV 스키마 유추 중 SQL 텍스트 데이터 원본 활용(SPARK-32270)
  • JSON
    • JSON 데이터 원본에서 필터 푸시다운 지원(SPARK-30648)
  • Jdbc
  • Avro
    • Avro 데이터 원본에서 필터 푸시다운 지원(SPARK-32346)

기능 향상

기타 주목할 만한 변경 내용

  • Spark 문서 사이트에서 검색 함수 제공(SPARK-33166)
  • Apache Arrow를 2.0.0으로 업그레이드(SPARK-33213)
  • thrift 서버에서 Java 8 시간 API 사용(SPARK-31910)
  • UDF에서 Java 8 시간 API 사용(SPARK-32154)
  • 소수점이 있는 집계 합계에 대한 오버플로 검사(SPARK-28067)
  • 동적 파티션 덮어쓰기 모드에서 커밋 충돌 수정(SPARK-27194, SPARK-29302)
  • 슬레이브, 블랙리스트 및 허용 목록에 대한 참조 제거(SPARK-32004, SPARK-32036, SPARK-32037)
  • 순서 섞기 맵 단계에 대한 작업 결과 크기 검사 제거(SPARK-32470)
  • 사용자 지정 파일 시스템 체계를 노출하도록 ExecutorSource 일반화(SPARK-33476)
  • StorageLevel.DISK_ONLY_3 추가(SPARK-32517)
  • 실행기에 대한 웹 UI에서 실행기 메모리 메트릭 노출(SPARK-23432)
  • 스테이지 탭의 스테이지 수준에서 실행기 메모리 메트릭 노출(SPARK-26341)
  • YARN 클러스터 모드에서 spark.ui.port 집합을 명시적으로 설정하도록 수정(SPARK-29465)
  • 독립 실행형 클러스터 모드에서 spark-submit 종료를 제어하는 spark.submit.waitForCompletion 구성 추가(SPARK-31486)
  • 드라이버 stdout/stderr에 대한 직접 링크를 인쇄하도록 yarn.Client 설정(SPARK-33185)
  • 브로드캐스트 조각을 저장하지 못할 경우 메모리 누수 수정(SPARK-32715)
  • BlockManagerMaster 드라이버 하트비트 시간 제한을 구성할 수 있도록 설정(SPARK-34278)
  • 캐시 동작 통합 및 완료(SPARK-33507)

동작 변경 내용

각 구성 요소 Spark Core 및 Spark SQL에 대한 마이그레이션 가이드를 참조하세요.

PySpark

Project Zen

  • Project Zen: Python 유용성 개선(SPARK-32082)
  • PySpark 형식 힌트 지원(SPARK-32681)
  • PySpark 설명서 재설계(SPARK-31851)
  • NumPy 설명서 스타일로 마이그레이션(SPARK-32085)
  • PyPI 사용자에 대한 설치 옵션(SPARK-32017)
  • 사전 목록에서 DataFrame 스키마 유추 사용 중단 해제(SPARK-32686)
  • Python UDF에서 예외 메시지 간소화(SPARK-33407)

기타 주목할 만한 변경 내용

  • 결정적 PythonUDF 호출 중복 제거(SPARK-33303)
  • PySpark 함수에서 상위 순서 함수 지원(SPARK-30681)
  • 데이터 원본 v2x 쓰기 API 지원(SPARK-29157)
  • PySpark 함수에서 percentile_approx 지원(SPARK-30569)
  • PySpark DataFrame에서 inputFiles 지원(SPARK-31763)
  • PySpark 열에서 withField 지원(SPARK-32835)
  • PySpark 열에서 dropFields 지원(SPARK-32511)
  • PySpark 함수에서 nth_value 지원(SPARK-33020)
  • acosh, asinh 및 atanh 지원(SPARK-33563)
  • PySpark SparkContext에서 getCheckpointDir 메서드 지원(SPARK-33017)
  • unionByName에서 누락된 열에 대한 null 채우기 지원(SPARK-32798)
  • cloudpickle을 v1.5.0으로 업데이트(SPARK-32094)
  • Arrow를 사용하는 PySpark에 대한 MapType 지원 추가(SPARK-24554)
  • DataStreamReader.table 및 DataStreamWriter.toTable(SPARK-33836)

동작 변경 내용

[PySpark]에 대한 마이그레이션 가이드(https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html)를 참조하세요.

구조적 스트리밍

성능 향상

  • maxFilesPerTrigger를 초과하는 파일 목록을 읽지 않은 파일로 캐시(SPARK-30866)
  • 파일 스트림 원본 및 싱크 메타데이터 로그에 대한 논리 간소화(SPARK-30462)
  • 압축 일괄 처리에서 쿼리가 다시 시작되는 경우 압축 메타데이터 로그 두 번 읽기 방지(SPARK-30900)

기능 향상

  • DataStreamReader.table API 추가(SPARK-32885)
  • DataStreamWriter.toTable API 추가(SPARK-32896)
  • 왼쪽 세미 스트림-스트림 조인(SPARK-32862)
  • 완전 외부 스트림-스트림 조인(SPARK-32863)
  • 출력 파일에 보존할 수 있는 새 옵션 제공(SPARK-27188)
  • Spark 구조적 스트리밍 기록 서버 지원 추가(SPARK-31953)
  • 쿼리 재시작 중 상태 스키마 유효성 검사 도입(SPARK-27237)

기타 주목할 만한 변경 내용

  • 스트리밍 상태 저장소에 대한 스키마 유효성 검사 도입(SPARK-31894)
  • 상태 저장소에서 다른 압축 코덱 사용 지원(SPARK-33263)
  • 메타데이터가 업데이트되지 않았기 때문에 Kafka 커넥터 무한 대기(SPARK-28367)
  • Kafka를 2.6.0으로 업그레이드(SPARK-32568)
  • 구조적 스트리밍 UI 페이지에 대한 페이지 매김 지원(SPARK-31642, SPARK-30119)
  • 구조적 스트리밍 UI의 상태 정보(SPARK-33223)
  • 구조적 스트리밍 UI의 워터마크 간격 정보(SPARK-33224)
  • SS UI에 상태 사용자 지정 메트릭 정보 노출(SPARK-33287)
  • 워터마크 이후의 행 수와 관련된 새 메트릭 추가(SPARK-24634)

동작 변경 내용

구조적 스트리밍에 대한 마이그레이션 가이드를 참조하세요.

MLlib

중요 사항

  • LinearSVC 블록화 입력 벡터(SPARK-30642)
  • LogisticRegression 블록화 입력 벡터(SPARK-30659)
  • LinearRegression 블록화 입력 벡터(SPARK-30660)
  • AFT 블록화 입력 벡터(SPARK-31656)
  • ML 연결 규칙에 대한 지원 추가(SPARK-19939)
  • LinearSVCModel에 대한 학습 요약 추가(SPARK-20249)
  • RandomForestClassificationModel에 요약 추가(SPARK-23631)
  • FMClassificationModel에 학습 요약 추가(SPARK-32140)
  • MultilayerPerceptronClassificationModel에 요약 추가(SPARK-32449)
  • SparkR에 FMClassifier 추가(SPARK-30820)
  • SparkR LinearRegression 래퍼 추가(SPARK-30818)
  • SparkR에 FMRegressor 래퍼 추가(SPARK-30819)
  • vector_to_array에 대한 SparkR 래퍼 추가(SPARK-33040)
  • 적응형 블록화 인스턴스 - LinearSVC(SPARK-32907)
  • CrossValidator/TrainValidateSplit/OneVsRest 설정 Reader/Writer 지원 Python 백엔드 예측 도구/계산기(SPARK-33520)
  • ML ALS recommendForAll by GEMV의 성능 향상(SPARK-33518)
  • UnivariateFeatureSelector 추가(SPARK-34080)

기타 주목할 만한 변경 내용

  • 한 작업에서 GMM 컴퓨팅 요약 및 업데이트 배포(SPARK-31032)
  • mllib.ChiSqSelectorModel에 대한 ChiSqSelector 종속성 제거(SPARK-31077)
  • testChiSquare에서 테스트 결과 데이터 프레임 평면화(SPARK-31301)
  • MinHash keyDistance 최적화(SPARK-31436)
  • 삼각 부등식을 기반으로 하는 KMeans 최적화(SPARK-31007)
  • ClusteringEvaluator에서 가중치 지원 추가(SPARK-31734)
  • 계산기에 getMetrics 추가(SPARK-31768)
  • LinearRegressionSummary에서 인스턴스 가중치 지원 추가(SPARK-31944)
  • CrossValidator에 사용자 지정 접기 열 추가(SPARK-31777)
  • 기능 및 튜닝의 ML 매개 변수 기본값 패리티(SPARK-32310)
  • KMeans/BiKMeans에서 이중 캐싱 수정(SPARK-32676)
  • aft 변환 최적화(SPARK-33111)
  • FeatureHasher 변환 최적화(SPARK-32974)
  • 데이터 프레임 열에 대한 array_to_vector 함수 추가(SPARK-33556)
  • 분류, 회귀, 클러스터링 및 fpm의 ML 매개 변수 기본값 패리티(SPARK-32310)
  • maxIters보다 큰 Summary.totalIterations(SPARK-31925)
  • 트리 모델 예측 최적화(SPARK-32298)

동작 변경 내용

MLlib에 대한 마이그레이션 가이드를 참조하세요.

SparkR

  • 더 높은 순서 함수에 대한 SparkR 인터페이스 추가(SPARK-30682)
  • unionByName에서 누락된 열에 대한 null 채우기 지원(SPARK-32798)
  • SparkR 함수에서 withColumn 지원(SPARK-32946)
  • SparkR 함수에서 timestamp_seconds 지원(SPARK-32949)
  • SparkR 함수에서 nth_value 지원(SPARK-33030)
  • 최소 Arrow 버전이 1.0.0까지 상승(SPARK-32452)
  • SparkR 함수에서 array_to_vector 지원(SPARK-33622)
  • acosh, asinh 및 atanh 지원(SPARK-33563)
  • from_avro 및 to_avro 지원(SPARK-33304)

동작 변경 내용

SparkR(R on Spark)에 대한 마이그레이션 가이드를 참조하세요.

GraphX

프로그래밍 가이드: GraphX 프로그래밍 가이드.

유지 관리 업데이트

Databricks Runtime 8.0 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8(2021년 5월 26일 유지 관리 업데이트로 3.8.6에서 업데이트됨)
  • R: R 버전 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
암호화 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0.3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
requests 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
six 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2020-11-02)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 캐럿 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
데이터 세트 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
줄임표 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 제네릭(generics) 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 주기 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 행렬 1.2-18
memoise 1.1.0 메서드 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
진행률 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 통계 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 아이비 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity 속도 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52