Databricks Runtime 6.3(지원되지 않음)

  • 아티클

Databricks는 2020년 1월에 이 이미지를 릴리스했습니다.

다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 6.3에 대한 정보를 제공합니다.

새로운 기능

Delta Lake

이 릴리스에는 개선된 동시성이 도입되었습니다. 주요 기능은 다음과 같습니다.

  • 모든 Delta Lake 작업에 대한 개선된 동시성 - 이제 더 많은 Delta Lake 작업을 동시에 실행할 수 있습니다. Delta Lake의 낙관적 동시성 제어는 충돌 검색을 보다 세분화하여 개선되었습니다. 이렇게 하면 Delta 테이블에서 복잡한 워크플로를 더 쉽게 실행할 수 있습니다. 예시:

    • 새 파티션이 추가되는 동안 이전 파티션에서 동시에 삭제(예: GDPR 준수)를 실행합니다.
    • 분리된 파티션 집합에서 동시에 업데이트 및 병합을 실행합니다.
    • 추가와 동시에 파일 압축 실행.

    Azure Databricks의 격리 수준 및 쓰기 충돌을 참조하세요.

  • 파일 압축 지원 개선 - 이제 DataFrameWriter 옵션 dataChange를 false로 설정하여 파일을 다시 작성하여 파일을 압축할 수 있습니다. 이 옵션을 사용하면 압축 작업을 다른 일괄 처리 및 스트리밍 작업과 동시에 실행할 수 있습니다. 자세한 내용은 압축 파일을 참조하세요.

  • 삽입 전용 병합에 대한 개선된 성능 - Delta Lake는 이제 삽입 절만 있고 업데이트 절이 없는 병합 작업에 대해 더 최적화된 성능을 제공합니다. 또한 Delta Lake는 이러한 삽입 전용 병합의 쓰기가 테이블에 새 데이터만 추가하도록 합니다. 따라서 이제 구조적 스트리밍 및 삽입 전용 병합을 사용하여 데이터(예: 로그)의 지속적인 중복 제거를 수행할 수 있습니다. 자세한 내용은 Delta 테이블에 쓸 때 데이터 중복 제거를 참조하세요.

프로세스 격리가 사용하도록 설정된 경우 허용 목록에 추가 포트 추가

참고 항목

이 문서에는 Azure Databricks에서 사용하지 않는 용어인 허용 목록에 대한 참조가 포함되어 있습니다. 소프트웨어에서 용어가 제거되면 이 문서에서 해당 용어가 제거됩니다.

클러스터에서 테이블 ACL 또는 자격 증명 통과와 같은 보안 기능을 사용하도록 설정하면 이제 Spark 구성spark.databricks.pyspark.iptable.outbound.whitelisted.ports을 허용할 포트로 설정하여 Python 프로세스에서 액세스할 수 있는 추가 아웃바운드 포트를 지정할 수 있습니다. 지원되는 구성 값 형식은 [port[:port][,port[:port]]...]입니다(예: 21,22,9000:9999). 포트는 유효한 범위(예: 0-65535) 내에 있어야 합니다.

Scala 작업에 대한 작업 출력 사용 안 함

stdout으로 내보내진 로그 출력과 같은 작업 출력에는 20MB 크기 제한이 적용됩니다. spark.databricks.driver.disableScalaOutput Spark 구성을 true로 설정하여 stdout이 드라이버에서 Azure Databricks로 반환되는 것을 방지할 수 있습니다. 플래그는 Scala JAR 작업 및 Scala Notebook에 대한 셀 출력을 제어합니다. JAR 작업에 대한 출력 크기 제한을 참조 하세요.

이제 Azure Databricks Notebooks에서 지원되는 인라인 Matplotlib 수치(공개 미리 보기)

이제 그림을 display 메서드에 전달할 필요 없이 Matplotlib 그림을 자동으로 표시할 수 있습니다. 자세한 내용은 Matplotlib를 참조하세요.

Azure Synapse Analytics에 추가된 새 매개 변수

매개 변수 applicationName은 기본적으로 Databricks-User-Query로 설정됩니다. 기본값은 Azure DB 모니터링 도구가 쿼리에 대해 가짜 SQL 삽입 경고를 발생시키는 것을 방지합니다. 지정하지 않거나 값이 빈 문자열인 경우 태그의 기본값이 JDBC URL에 추가됩니다. Azure Databricks Synapse 커넥터 옵션 참조를 참조하세요.

향상된 기능

  • shutil.copytree가 이제 /dbfs에 대해 작업합니다.
  • 높은 동시성 모드 클러스터에서 구조적 스트리밍 프로덕션 작업을 실행할 때 이전에 실행 중인 작업이 제대로 종료되지 않았기 때문에 작업 다시 시작이 경우에 따라 실패했습니다. 이전 실행이 중지되도록 하려면 클러스터에서 SQL 구성 spark.sql.streaming.stopActiveRunOnRestart true를 설정합니다. 스트림을 제대로 중지할 수 없는 경우 15초 후에 시간 제한 예외가 throw됩니다. 이 경우 클러스터를 다시 시작하는 것이 좋습니다.
  • 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.

Apache Spark

Databricks Runtime 6.3에는 Apache Spark 2.4.4가 포함되어 있습니다. 이 릴리스에는 Databricks Runtime 6.2(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-30198][CORE] BytesToBytesMap이 예상대로 내부 긴 배열을 늘리지 않습니다.
  • [SPARK-29918][SQL] RecordBinaryComparator는 long으로 비교할 때 Endian을 확인해야 합니다.
  • [SPARK-30274][CORE] 최대 용량에 도달한 키를 누르고 있을 때 BytesToBytesMap 조회가 영원히 중단되는 것을 방지합니다.
  • [SPARK-25392][CORE][WEBUI] 기록 서버에서 풀 페이지에 액세스할 때 오류 페이지를 방지합니다.
  • [SPARK-30263][CORE] spark-submit에서 무시된 비 Spark 속성의 잠재적으로 중요한 값을 기록하지 않습니다.
  • [SPARK-28637][SQL] Thriftserver 지원 간격 형식
  • [SPARK-30238][SQL] 하이브 파티션 정리는 문자열 및 정수 형식만 지원할 수 있습니다.
  • [SPARK-30198][CORE] BytesToBytesMap이 예상대로 내부 긴 배열을 늘리지 않습니다.
  • [SPARK-24666][ML] numIterations가 클 때 Word2Vec에서 생성되는 무한대 벡터가 수정되었습니다.
  • [SPARK-30129][CORE] 인증 성공 후 TransportClient에서 클라이언트 ID를 설정합니다.
  • [SPARK-30050][SQL] 테이블 분석 및 테이블 이름 변경은 하이브 테이블 버킷팅 정보를 지우지 않아야 합니다.
  • [SPARK-28152][SQL] MsSqlServerDialect에 대해 ShortType을 SMALLINT로 매핑하고 FloatType을 REAL로 매핑합니다.
  • [SPARK-29971][CORE] TransportFrameDecoder/TransportCipher의 버퍼 누수가 수정되었습니다.
  • [SPARK-29970][WEBUI] Timelineview의 보존기 열기/닫기 상태
  • [SPARK-29949][SQL] JSON/CSV 데이터 원본에 의한 타임스탬프 형식이 수정되었습니다.
  • [SPARK-27558][CORE] OOM 예외와 함께 실패할 때 작업을 정상적으로 정리합니다.
  • [SPARK-29758][SQL] json_tuple에서 요청된 문자열 필드 잘림이 수정되었습니다.
  • [SPARK-29949][SQL] JSON/CSV 데이터 원본에 의한 타임스탬프 형식이 수정되었습니다.
  • [SPARK-29936][R] SparkR 린트 오류 수정 및 lint-r GitHub 작업이 추가되었습니다.
  • [SPARK-29904][SQL] JSON/CSV 데이터 원본으로 타임스탬프를 마이크로초 단위로 구문 분석합니다.
  • [SPARK-29904][SQL] JSON/CSV 데이터 원본으로 타임스탬프를 마이크로초 단위로 구문 분석합니다.
  • [SPARK-26499][SQL] JdbcUtils.makeGetter가 ByteType을 처리하지 않습니다.
  • [SPARK-29682][SQL] 확장에서 충돌하는 특성을 올바르게 해결합니다.
  • [SPARK-29875][PYTHON][SQL] Spark 2.4.x에서 더 이상 사용되지 않는 pyarrow.open_stream API를 사용하지 않도록 합니다.
  • [SPARK-29850][SQL] sort-merge-join 빈 테이블은 메모리 누수가 없어야 합니다.
  • [SPARK-28939][SQL] toRdd에서 실행한 계획에 대해 SQLConf 전파합니다.

유지 관리 업데이트

Databricks Runtime 6.3 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 16.04.6 LTS
  • Java: 1.8.0_252
  • Scala: 2.11.12
  • Python: 3.7.3
  • R: R 버전 3.6.2 (2019-12-12)
  • Delta Lake: 0.5.0

참고 항목

Scala 2.12는 Apache Spark 2.4에서 실험 기능으로 사용할 수 있지만 Databricks Runtime 6.3에서는 지원되지 않습니다.

이 섹션의 내용:

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
asn1crypto 0.24.0 backcall 0.1.0 boto 2.49.0
boto3 1.9.162 botocore 1.12.163 certifi 2019.3.9
cffi 1.12.2 chardet 3.0.4 암호화 2.6.1
cycler 0.10.0 Cython 0.29.6 decorator 4.4.0
docutils 0.14 idna 2.8 ipykernel 5.1.0
ipython 7.4.0 ipython-genutils 0.2.0 jedi 0.13.3
jmespath 0.9.4 jupyter-client 5.2.4 jupyter-core 4.4.0
kiwisolver 1.1.0 matplotlib 3.0.3 numpy 1.16.2
pandas 0.24.2 parso 0.3.4 patsy 0.5.1
pexpect 4.6.0 pickleshare 0.7.5 pip 19.0.3
prompt-toolkit 2.0.9 psycopg2 2.7.6.1 ptyprocess 0.6.0
pyarrow 0.13.0 pycparser 2.19 pycurl 7.43.0
Pygments 2.3.1 PyGObject 3.20.0 pyOpenSSL 19.0.0
pyparsing 2.4.6 PySocks 1.6.8 python-apt 1.1.0.b1+ubuntu0.16.04.5
python-dateutil 2.8.0 pytz 2018.9 pyzmq 18.0.0
requests 2.21.0 s3transfer 0.2.1 scikit-learn 0.20.3
scipy 1.2.1 seaborn 0.9.0 setuptools 40.8.0
six 1.12.0 ssh-import-id 5.5 statsmodels 0.9.0
tornado 6.0.2 traitlets 4.3.2 unattended-upgrades 0.1
urllib3 1.24.1 virtualenv 16.4.1 wcwidth 0.1.7
wheel 0.33.1

설치된 R 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
abind 1.4-5 askpass 1.1 assertthat 0.2.1
backports 1.1.5 base 3.6.2 base64enc 0.1-3
BH 1.69.0-1 bit 1.1-14 bit64 0.9-7
bitops 1.0-6 blob 1.2.0 boot 1.3-23
brew 1.0-6 callr 3.3.2 차량 3.0-4
carData 3.0-2 캐럿 6.0-84 cellranger 1.1.0
chron 2.3-54 class 7.3-15 cli 1.1.0
clipr 0.7.0 clisymbols 1.2.0 cluster 2.1.0
codetools 0.2-16 colorspace 1.4-1 commonmark 1.7
compiler 3.6.2 config 0.3 covr 3.3.2
crayon 1.3.4 crosstalk 1.0.0 curl 4.2
data.table 1.12.6 datasets 3.6.2 DBI 1.0.0
dbplyr 1.4.2 desc 1.2.0 devtools 2.2.1
digest 0.6.22 doMC 1.3.6 dplyr 0.8.3
DT 0.9 줄임표 0.3.0 evaluate 0.14
fansi 0.4.0 fastmap 1.0.1 forcats 0.4.0
foreach 1.4.7 foreign 0.8-74 forge 0.2.0
fs 1.3.1 gbm 2.1.5 제네릭(generics) 0.0.2
ggplot2 3.2.1 gh 1.0.1 git2r 0.26.1
glmnet 2.0-18 glue 1.3.1 gower 0.2.1
graphics 3.6.2 grDevices 3.6.2 grid 3.6.2
gridExtra 2.3 gsubfn 0.7 gtable 0.3.0
h2o 3.26.0.2 haven 2.1.1 hms 0.5.1
htmltools 0.4.0 htmlwidgets 1.5.1 httpuv 1.5.2
httr 1.4.1 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-9 iterators 1.0.12
jsonlite 1.6 KernSmooth 2.23-16 labeling 0.3
later 1.0.0 lattice 0.20-38 lava 1.6.6
lazyeval 0.2.2 주기 0.1.0 littler 0.3.9
lme4 1.1-21 lubridate 1.7.4 magrittr 1.5
mapproj 1.2.6 맵 3.3.0 maptools 0.9-8
MASS 7.3-51.5 행렬 1.2-18 MatrixModels 0.4-1
memoise 1.1.0 메서드 3.6.2 mgcv 1.8-31
mime 0.7 minqa 1.2.4 ModelMetrics 1.2.2
munsell 0.5.0 mvtnorm 1.0-11 nlme 3.1-143
nloptr 1.2.1 nnet 7.3-12 numDeriv 2016.8-1.1
openssl 1.4.1 openxlsx 4.1.2 parallel 3.6.2
pbkrtest 0.4-7 pillar 1.4.2 pkgbuild 1.0.6
pkgconfig 2.0.3 pkgKitten 0.1.5 pkgload 1.0.2
plogr 0.2.0 plyr 1.8.4 praise 1.0.0
prettyunits 1.0.2 pROC 1.15.3 processx 3.4.1
prodlim 2018.04.18 진행률 1.2.2 promises 1.1.0
proto 1.0.0 ps 1.3.0 purrr 0.3.3
quantreg 5.51 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.9.0 r2d3 0.2.3 R6 2.4.0
randomForest 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.2 RcppEigen 0.3.3.5.0
RCurl 1.95-4.12 readr 1.3.1 readxl 1.3.1
recipes 0.1.7 rematch 1.0.1 remotes 2.1.0
reshape2 1.4.3 rex 1.1.2 rio 0.5.16
rlang 0.4.1 RODBC 1.3-16 roxygen2 6.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.2 rstudioapi 0.10 rversions 2.0.0
scales 1.0.0 sessioninfo 1.1.1 shiny 1.4.0
sourcetools 0.1.7 sp 1.3-1 sparklyr 1.0.4
SparkR 2.4.5 SparseM 1.77 spatial 7.3-11
splines 3.6.2 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.32 통계 3.6.2 stats4 3.6.2
stringi 1.4.3 stringr 1.4.0 survival 2.44-1.1
sys 3.3 tcltk 3.6.2 TeachingDemos 2.10
testthat 2.2.1 tibble 2.1.3 tidyr 1.0.0
tidyselect 0.2.5 timeDate 3043.102 tools 3.6.2
usethis 1.5.1 utf8 1.1.4 utils 3.6.2
vctrs 0.2.0 viridisLite 0.3.0 whisker 0.4
withr 2.1.2 xml2 1.2.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.0 zeallot 0.1.0
zip 2.0.4

설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.595
com.amazonaws aws-java-sdk-cloudformation 1.11.595
com.amazonaws aws-java-sdk-cloudfront 1.11.595
com.amazonaws aws-java-sdk-cloudhsm 1.11.595
com.amazonaws aws-java-sdk-cloudsearch 1.11.595
com.amazonaws aws-java-sdk-cloudtrail 1.11.595
com.amazonaws aws-java-sdk-cloudwatch 1.11.595
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.595
com.amazonaws aws-java-sdk-codedeploy 1.11.595
com.amazonaws aws-java-sdk-cognitoidentity 1.11.595
com.amazonaws aws-java-sdk-cognitosync 1.11.595
com.amazonaws aws-java-sdk-config 1.11.595
com.amazonaws aws-java-sdk-core 1.11.595
com.amazonaws aws-java-sdk-datapipeline 1.11.595
com.amazonaws aws-java-sdk-directconnect 1.11.595
com.amazonaws aws-java-sdk-directory 1.11.595
com.amazonaws aws-java-sdk-dynamodb 1.11.595
com.amazonaws aws-java-sdk-ec2 1.11.595
com.amazonaws aws-java-sdk-ecs 1.11.595
com.amazonaws aws-java-sdk-efs 1.11.595
com.amazonaws aws-java-sdk-elasticache 1.11.595
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.595
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.595
com.amazonaws aws-java-sdk-elastictranscoder 1.11.595
com.amazonaws aws-java-sdk-emr 1.11.595
com.amazonaws aws-java-sdk-glacier 1.11.595
com.amazonaws aws-java-sdk-glue 1.11.595
com.amazonaws aws-java-sdk-iam 1.11.595
com.amazonaws aws-java-sdk-importexport 1.11.595
com.amazonaws aws-java-sdk-kinesis 1.11.595
com.amazonaws aws-java-sdk-kms 1.11.595
com.amazonaws aws-java-sdk-lambda 1.11.595
com.amazonaws aws-java-sdk-logs 1.11.595
com.amazonaws aws-java-sdk-machinelearning 1.11.595
com.amazonaws aws-java-sdk-opsworks 1.11.595
com.amazonaws aws-java-sdk-rds 1.11.595
com.amazonaws aws-java-sdk-redshift 1.11.595
com.amazonaws aws-java-sdk-route53 1.11.595
com.amazonaws aws-java-sdk-s3 1.11.595
com.amazonaws aws-java-sdk-ses 1.11.595
com.amazonaws aws-java-sdk-simpledb 1.11.595
com.amazonaws aws-java-sdk-simpleworkflow 1.11.595
com.amazonaws aws-java-sdk-sns 1.11.595
com.amazonaws aws-java-sdk-sqs 1.11.595
com.amazonaws aws-java-sdk-ssm 1.11.595
com.amazonaws aws-java-sdk-storagegateway 1.11.595
com.amazonaws aws-java-sdk-sts 1.11.595
com.amazonaws aws-java-sdk-support 1.11.595
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.595
com.amazonaws jmespath-java 1.11.595
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.azure azure-storage 7.0.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.42.Final
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.9.3
junit junit 4.12
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.0
net.snowflake spark-snowflake_2.11 2.5.9-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.10
org.apache.ivy 아이비 2.4.0
org.apache.orc orc-core-nohive 1.5.5
org.apache.orc orc-mapreduce-nohive 1.5.5
org.apache.orc orc-shims 1.5.5
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet parquet-encoding 1.10.1.2-databricks4
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.10
org.codehaus.janino janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.27.v20190418
org.eclipse.jetty jetty-continuation 9.3.27.v20190418
org.eclipse.jetty jetty-http 9.3.27.v20190418
org.eclipse.jetty jetty-io 9.3.27.v20190418
org.eclipse.jetty jetty-jndi 9.3.27.v20190418
org.eclipse.jetty jetty-plus 9.3.27.v20190418
org.eclipse.jetty jetty-proxy 9.3.27.v20190418
org.eclipse.jetty jetty-security 9.3.27.v20190418
org.eclipse.jetty jetty-server 9.3.27.v20190418
org.eclipse.jetty jetty-servlet 9.3.27.v20190418
org.eclipse.jetty jetty-servlets 9.3.27.v20190418
org.eclipse.jetty jetty-util 9.3.27.v20190418
org.eclipse.jetty jetty-webapp 9.3.27.v20190418
org.eclipse.jetty jetty-xml 9.3.27.v20190418
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hamcrest hamcrest-core 1.3
org.hamcrest hamcrest-library 1.3
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-core 1.10.19
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.3
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52