Databricks Runtime 7.5(지원되지 않음)

  • 아티클

Databricks는 2020년 12월에 이 이미지를 릴리스했습니다.

다음 릴리스 정보는 Apache Spark 3.0에서 제공하는 Databricks Runtime 7.5에 대해 설명합니다.

새로운 기능

Delta Lake 기능 및 향상된 기능

이 릴리스에서 제공하는 Delta Lake 기능 및 향상된 기능은 다음과 같습니다.

비동기 검사점이 스트리밍 마이크로 일괄 처리 기간 급증을 제거

Delta Lake는 기본적으로 커밋 10개마다 검사점이 수행됩니다. 스트리밍 워크로드에서 검사점은 커밋 10개마다 마이크로 일괄 처리 기간에 약간의 급증을 초래할 수 있습니다. 비동기 검사점은 이러한 급증을 제거합니다.

비동기 검사점은 단일 트리거가 아닌 모든 스트리밍 워크로드에 기본적으로 사용하도록 설정됩니다. 비동기 검사점에서 스트리밍 기록기는 향상된 검사점도 쓰므로 향상된 검사점으로 명시적으로 옵트인할 필요가 없습니다.

비동기 검사점을 사용하지 않도록 설정하려면 SQL 구성 spark.databricks.delta.checkpoint.async.enabled false를 설정합니다.

일괄 처리 워크로드는 계속해서 동기식으로 검사점을 작성하므로 배치 워크로드에 대해 비동기 검사점을 사용하도록 설정하지 않는 것이 좋습니다.

최신 테이블 정보가 이제 카탈로그로 전파

이제 Delta Lake는 최상의 노력으로 스키마 및 테이블 속성과 같은 최신 테이블 정보를 Hive 메타스토어와 같은 카탈로그에 전파합니다. 이러한 정보는 카탈로그 도구를 활용하여 델타 테이블의 스키마를 이해하는 데 도움이 될 수 있습니다.

Delta Lake는 내부적으로 해당 정보에 의존하지 않지만 이를 최신 상태로 유지하려고 시도합니다. 또한 Delta Lake는 테이블 속성 delta.lastUpdateVersion 및 delta.lastCommitTimestamp를 저장하여 메타스토어에 변경 사항을 마지막으로 푸시한 커밋의 버전 및 타임스탬프를 나타냅니다. 메타스토어는 테이블의 스키마 또는 테이블의 속성이 일치하지 않는 경우에만 업데이트됩니다. 따라서 앞에서 언급한 테이블 속성이 반드시 최신 버전의 테이블을 반영하지는 않습니다.

테이블 정보 및 메타스토어 정보가 동기화되지 않은 경우 메타스토어를 업데이트하는 DESCRIBE <table> 명령 등을 실행할 수 있습니다.

참고 항목

Hive는 파티션 열 변경을 허용하지 않지만 Delta 테이블은 파티션을 변경할 수 있기 때문에 Delta 테이블은 Hive에서 분할된 것으로 표시되지 않습니다.

MERGE INTO 작업은 이제 중첩 열의 스키마 개선을 지원

이제 중첩 열의 스키마 개선에는 최상위 열과 동일한 의미 체계가 있습니다. 예를 들어 새 중첩 열을 StructType 열에 자동으로 추가할 수 있습니다. 자세한 내용은 병합에서의 자동 스키마 개선을 참조하세요.

MERGE INTO 작업은 이제 자동으로 최적화된 쓰기를 사용

최적화된 쓰기는 기본적으로 MERGE INTO, 특히 분할된 테이블의 MERGE INTO에 대해 훨씬 더 나은 성능을 제공할 수 있습니다. 최적화된 쓰기를 사용하지 않도록 설정하려면 Spark 구성 spark.databricks.delta.optimizeWrite.enabled를 false로 설정합니다.

MERGE INTO 및 UPDATE 작업은 이제 이름으로 중첩된 구조체 열을 확인

업데이트 작업 UPDATE 및 MERGE INTO 명령은 이제 중첩된 구조체 열을 이름으로 확인합니다. 즉, StructType 형식의 열을 비교하거나 할당할 때 중첩 열의 순서는 중요하지 않습니다(최상위 열의 순서와 정확히 같은 방식임). 위치별 해결로 되돌리려면 Spark 구성 spark.databricks.delta.resolveMergeUpdateStructsByName.enabled를 false로 설정합니다.

CLONE은 GA이며 이제 테이블 속성을 재정의할 수 있음

이제 CLONE 명령을 일반적으로 사용할 수 있습니다. 테이블 클론 만들기를 참조하세요. 또한 이제 CLONE을 사용할 때 테이블 속성 재정의를 지정할 수 있습니다. 예를 들어 Azure Databricks에서 테이블 복제를 참조하세요.

RESTORE is GA

이제 RESTORE 명령을 일반적으로 사용할 수 있습니다. RESTORE를 참조하세요.

Scala 암시적 Spark 읽기 및 쓰기 API 간소화

Spark 읽기 및 쓰기 API에서 delta 메서드를 사용하도록 io.delta.implicits._를 가져올 수 있습니다.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

fetchParallelism 커넥터 옵션으로 스트리밍 처리량 향상

AQS 커넥터는 이제 대기열 서비스에서 메시지를 가져오기 위한 병렬 처리를 지정하는 새로운 옵션 fetchParallelism을 지원합니다.

새 자동 로더 메트릭을 사용하여 스트림 진행률 추적

이제 자동 로더는 백로그에 있는 파일의 수와 모든 일괄 처리 후에 백로그의 크기를 보고합니다. 이러한 메트릭을 사용하여 스트림 진행률을 추적할 수 있습니다. 메트릭을 보는 방법에 대한 자세한 내용은 자동 로더란?을 참조하세요.

개선

Notebook 범위 라이브러리 사용 %pip 및 %conda 매직 명령에 대한 광범위한 지원

이제 테이블 ACL 또는 자격 증명 통과가 활성화된 높은 동시성 클러스터에서 %pip 및 %conda 매직 명령을 사용하여 Notebook 범위 라이브러리를 설치할 수 있습니다.

정확한 Spark SQL DECIMAL 표시

이제 Spark SQL DECIMAL 데이터 형식이 정밀도 및 스케일 손실 없이 테이블에 표시됩니다.

ABFS용 Hadoop 3.3 기반 ADLS Gen 2 스토리지 커넥터

ADLS Gen 2 스토리지 커넥터의 업그레이드된 버전은 ABFS용 Hadoop 3.3을 기반으로 합니다. 업그레이드된 커넥터에는 많은 안정성 개선 사항(Hadoop 안정성 참조)과 SAS 토큰 인증에 대한 지원이 포함되어 있습니다.

기타 수정

Spark 스트리밍용 Databricks Kafka 커넥터가 제거되었습니다. Apache Spark 커넥터를 사용합니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • koalas가 1.3.0에서 1.4.0으로 업그레이드되었습니다.
  • 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
  • OpenJDK 8 빌드가 Zulu 8.50.0.51-CA-linux64(빌드 1.8.0_275-b01)로 업그레이드되었습니다.

Apache Spark

Databricks Runtime 7.5에는 Apache Spark 3.0.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 7.4(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-33611] [UI] 다시 작성된 프록시 URL의 쿼리 매개 변수에서 두 번 인코딩하지 않음
  • [SPARK-33587] [CORE] 중첩된 치명적 오류(7.x)에서 실행기를 종료
  • [SPARK-33140] [SQL] SQLConf를 얻기 위해 전달된 SparkSession을 사용하지 않는 코드를 되돌립니다.
  • [SPARK-33472] [SQL] RemoveRedundantSorts 규칙 순서 조정
  • [SPARK-33422] [DOC] 왼쪽 메뉴 항목의 올바른 표시 수정
  • [SPARK-27421] [SQL] 파티션 열을 제거할 때 int 열 및 값 클래스 java.lang.String에 대한 필터를 수정
  • [SPARK-33483] [INFRA][TESTS] 쥐 제외 패턴을 수정하고 라이선스 추가
  • [SPARK-33464] [INFRA] 필요한 캐시 추가/제거 및 재구성 GitHub 작업 yaml
  • [SPARK-33407] [PYTHON][7.X] Python UDF에서 예외 메시지 간소화(기본적으로 사용하지 않도록 설정)
  • [SPARK-33435] [SQL] DSv2: REFRESH TABLE에서 테이블을 참조하는 캐시를 무효화해야 함
  • [SPARK-33358] [SQL] 명령 프로세스가 실패할 때 코드 반환
  • [SPARK-33183] [DBCONNECT] RemoveRedundantSorts.scala를 ALLOW_LIST.txt에 추가
  • [SPARK-33290] [SQL] 테이블 자체가 캐시되지 않더라도 REFRESH TABLE은 캐시를 무효화해야 함
  • [SPARK-33140] [SQL] [SQL] 델타 컴파일 수정
  • [SPARK-33316] [SQL] 스키마 레지스트리 및 사용자 제공 nullable Avro 스키마를 사용하여 from_avro 및 to_avro에 대한 단위 테스트 추가
  • [SPARK-33404] [SQL] date_trunc 식의 잘못된 결과 수정
  • [SPARK-33339][PYTHON] 예외가 아닌 오류로 인해 Pyspark 애플리케이션이 중단됨
  • [SPARK-33412] [SQL] OverwriteByExpression은 입력 쿼리가 아닌 테이블 관계를 기반으로 삭제 조건을 해결해야 함
  • [SPARK-33391][SQL] CreateArray가 있는 element_at은 하나의 기반 인덱스를 존중하지 않음.
  • [SPARK-33316][SQL] Avro 쓰기에서 nullable이 아닌 카탈리스트 스키마에 대해 사용자 제공 null 허용 Avro 스키마가 지원됨
  • [SPARK-33372] [SQL] InSet 버킷 정리 수정
  • [SPARK-33371] [PYTHON] Python 3.9용 setup.py 및 테스트를 업데이트
  • [SPARK-33140] [SQL] Rule[QueryPlan]의 모든 하위 클래스에서 SQLConf 및 SparkSession 제거
  • [SPARK-33338] [SQL] 리터럴 맵을 사용하는 GROUP BY는 실패하지 않아야 함
  • [SPARK-33306][SQL]날짜를 문자열로 변환할 때 시간대가 필요
  • [SPARK-33284] [WEB-UI] 스토리지 UI 페이지에서 테이블을 정렬할 필드를 클릭하면 머리글 콘텐츠가 손실됨
  • [SPARK-33362] [SQL] skipSchemaResolution은 여전히 쿼리를 해결해야 함
  • [SPARK-32257] [SQL] SET/RESET 명령의 잘못된 사용에 대한 명시적 오류 보고
  • [SPARK-32406] [SQL] RESET 구문에서 단일 구성 재설정을 지원
  • [SPARK-32376] [SQL] UnionByName Null 채우기 동작이 구조체 열과 함께 작동하도록 만들기
  • [SPARK-32308] [SQL] unionByName의 이름별 확인 논리를 API 코드에서 분석 단계로 이동
  • [SPARK-20044][UI] 경로 접두사 Revert 프록시 URL을 사용하여 프런트 엔드 역방향 프록시 뒤에서 Spark UI 지원
  • [SPARK-33268] [SQL][PYTHON] PythonUserDefinedType에서/으로 데이터 캐스팅 버그 수정
  • [SPARK-33292] [SQL] 리터럴 ArrayBasedMapData 문자열 표현을 모호하지 않게 만들기
  • [SPARK-33183][SQL] Optimizer 규칙 EliminateSorts 수정 및 중복 정렬 제거를 위한 물리적 규칙이 추가됨
  • [SPARK-33272] [SQL] QueryPlan.transformUpWithNewOutput에서 특성 매핑이 정리됨
  • [SPARK-32090] [SQL] 대칭이 되도록 UserDefinedType.equal() 개선
  • [SPARK-33267] [SQL] 값 중 하나에 Null이 포함된 경우 ‘In’ 필터의 NPE 문제 수정
  • [SPARK-33208] [SQL] SparkSession#sql 문서 업데이트
  • [SPARK-33260][SQL] sortOrder가 스트림일 때 SortExec의 잘못된 결과 수정
  • [SPARK-33230] [SQL] “spark.sql.sources.writeJobUUID”에서 고유한 작업 ID를 가져오는 Hadoop 커밋한 사람
  • [SPARK-33197] [SQL] spark.sql.analyzer.maxIterations를 변경하면 런타임에 적용
  • [SPARK-33228] [SQL] [SQL] 동일한 논리 계획을 가진 뷰를 바꿀 때 데이터를 캐시하지 않음
  • [SPARK-32557] [CORE] 기록 서버의 항목당 예외 로깅 및 무시
  • [SPARK-32436] [CORE] HighCompressedMapStatus.readExternal에서 numNonEmptyBlocks 초기화
  • [SPARK-33131] [SQL] having 절을 사용하여 그룹화 집합을 수정하면 정규화된 col 이름을 확인할 수 없음
  • [SPARK-32761] [SQL] 여러 개의 접을 수 있는 고유 식을 집계할 수 있음
  • [SPARK-33094] [SQL] ORC 형식을 사용하여 Hadoop 구성을 DS 옵션에서 기본 HDFS 파일 시스템으로 전파

유지 관리 업데이트

Databricks Runtime 7.5 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R 버전 3.6.3(2020-02-29)
  • Delta Lake 0.7.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 암호화 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.17.2
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.4.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 requests 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 six 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
unattended-upgrades 0.1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2020-11-02)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.1.10
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 캐럿 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.1.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 1.4-1 commonmark 1.7
compiler 3.6.3 config 0.3 covr 3.5.1
cpp11 0.2.3 crayon 1.3.4 crosstalk 1.1.0.1
curl 4.3 data.table 1.13.2 데이터 세트 3.6.3
DBI 1.1.0 dbplyr 1.4.4 desc 1.2.0
devtools 2.3.2 diffobj 0.3.2 digest 0.6.27
dplyr 0.8.5 DT 0.16 줄임표 0.3.1
evaluate 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.1
foreign 0.8-76 forge 0.2.0 fs 1.5.0
제네릭(generics) 0.1.0 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.13.1
glue 1.4.2 gower 0.2.2 graphics 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.2 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.13
jsonlite 1.7.1 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8 lazyeval 0.2.2 주기 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-53 행렬 1.2-18 memoise 1.1.0
메서드 3.6.3 mgcv 1.8-33 mime 0.9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-150 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.3 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.4
prodlim 2019.11.13 진행률 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.4.0 purrr 0.3.4
r2d3 0.2.3 R6 2.5.0 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.4.0 readxl 1.3.1
recipes 0.1.14 rematch 1.0.1 rematch2 2.1.2
remotes 2.2.0 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.8
rmarkdown 2.5 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.1 rstudioapi 0.11 rversions 2.0.2
rvest 0.3.6 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.4.0 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.5 통계 3.6.3 stats4 3.6.3
stringi 1.5.3 stringr 1.4.0 survival 3.2-7
sys 3.4 tcltk 3.6.3 TeachingDemos 2.10
testthat 3.0.0 tibble 3.0.4 tidyr 1.1.2
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.27 tools 3.6.3 usethis 1.6.3
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.4 viridisLite 0.3.0 waldo 0.2.2
whisker 0.4 withr 2.3.0 xfun 0.19
xml2 1.3.2 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 아이비 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity 속도 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52