Databricks Runtime 5.3(지원되지 않음)

  • 아티클

Databricks는 2019년 4월에 이 이미지를 릴리스했습니다.

다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 5.3에 대한 정보를 제공합니다.

새로운 기능

Databricks Delta

시간 이동 GA

델타 시간 이동이 일반 공급으로 전환되었습니다. 시간 이동은 타임스탬프 식에 대한 DataFrameReader 옵션과 SQL 구문을 사용하여, 타임스탬프 문자열 또는 버전을 사용하여 테이블의 스냅샷을 쿼리하는 기능을 추가합니다.

SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

시간 이동에는 다음과 같은 여러 사용 사례가 있습니다.

  • 분석, 보고서 또는 출력(예: 기계 학습 모델의 출력)을 다시 만듭니다. 이는 규제가 적용되는 업계에서 디버깅 또는 감사를 진행하는 데 유용합니다.
  • 복잡한 임시 쿼리를 작성합니다.
  • 데이터의 실수를 수정합니다.
  • 빠르게 변화하는 테이블을 위한 일련의 쿼리에 스냅샷 격리를 제공합니다.

Delta time travel

Delta Lake 테이블 기록 작업을 참조하세요.

델타 공개 미리 보기로 MySQL 테이블 복제

Spark 분석 또는 데이터 과학 워크플로의 다운스트림 사용을 위해 MySQL 테이블에서 델타로 직접 데이터를 스트리밍합니다. MySQL이 다른 인스턴스에 복제하는 데 사용하는 것과 동일한 전략을 사용하여, binlog가 이후 다음과 같이 Databricks로 처리되고 스트리밍되는 업데이트를 식별하는 데 사용됩니다.

  • 데이터베이스 로그에서 변경 이벤트를 읽습니다.
  • Databricks에 이벤트를 스트리밍합니다.
  • 델타 테이블에 동일한 순서로 씁니다.
  • 원본에서 연결이 끊어져도 상태를 유지합니다.

프라이빗 미리 보기 기능

이 릴리스에는 Delta Lake에 대한 다음과 같은 프라이빗 미리 보기 기능이 포함되어 있습니다.

  • Presto가 델타 테이블을 직접 쿼리할 수 있도록 해 주는 실험적 명령이 추가되었습니다.
  • 자동 최적화는 델타 테이블에 대한 개별적인 쓰는 중에 파일 레이아웃을 최적화하고 작은 파일이 델타 테이블에 누적되는 것을 방지하여 빠른 쿼리 성능을 유지합니다. 이에 더해, 분할된 델타 테이블에 대한 쓰기 및 upsert는 쓰기에 도입된 적응형 섞기 덕분에 속도가 향상될 수 있습니다.

미리 보기에 참여하려면 Databricks 계정 팀에 문의하세요.

딥 러닝 워크로드에 최적화된 DBFS FUSE 폴더

이제 Azure Databricks가 최적화된 FUSE 탑재를 제공합니다. init 스크립트를 적용하지 않고도 학습 및 유추 중에 고성능으로 데이터에 액세스할 수 있습니다. dbfs:/ml에 저장되고 file:/dbfs/ml에서 로컬로 액세스할 수 있는 데이터는 이제 이 최적화된 FUSE 탑재가 지원됩니다. 기계 학습 및 딥 러닝을 위한 데이터 로드를 참조하세요.

개선

  • Notebook 범위의 라이브러리:

    • dbutils.library.installPyPI의 Extras 지원.
    • Azure 파일 시스템에 있는 라이브러리(wasbs, adls, abfss 포함)에 대한 Notebook 범위 라이브러리 설치 지원.
    • 지원되지 않는 대상에서 Notebook 범위 라이브러리에 대한 오류 메시지 개선. 예: “기계 학습용 Databricks Runtime에서는 라이브러리 유틸리티를 사용할 수 없습니다.”

  • 서비스 주체에 계정 차원의 “스토리지 Blob 데이터 기여자” RBAC 역할을 부여하지 않고도 ADLS Gen2(Azure Data Lake Storage Gen2)에 연결.

  • 성능 쿼리를 개선하는 Databricks Advisor의 추가 힌트:

    • 파티션당 작은 파일이 많은 경우 -> 테이블을 델타로 변환하고 OPTIMIZE를 실행하세요.
    • 고도로 선택적인 필터가 있는 경우 -> 델타로 변환하고 ZORDER BY를 사용하세요.
    • Hive에서의 메타데이터 페치가 병목 상태가 되는 경우 -> 테이블을 델타로 변환하세요.

  • Ubuntu가 16.04.5 LTS에서 16.04.6 LTS로 업그레이드되었습니다.

  • Scala 2.11이 2.11.8에서 2.11.12로 업그레이드되었습니다.

  • 설치된 일부 Python 라이브러리가 업그레이드되었습니다.

    • pip: 18.1에서 19.0.3으로
    • setuptools: 40.6.3에서 40.8.0으로
    • wheel: 0.32.3에서 0.33.1로

  • R이 3.4.4에서 3.5.2로 업그레이드되었습니다.

  • 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.

감가 상각

  • 구조적 스트리밍용 Apache Kafka 0.8 커넥터가 더 이상 지원되지 않습니다. Databricks Runtime 5.3에는 포함되어 있지만 향후 Databricks Runtime 릴리스에서 제거됩니다.
  • Databricks ML 모델 내보내기는 더 이상 사용되지 않으며 Databricks Runtime 6.0에서 제거됩니다. 대신 MLeap을 사용하여 모델을 가져오거나 내보내세요.
  • 구성 옵션에서 spark.databricks.pyspark.enableExecutorFsPerms가 제거되었습니다.

버그 수정

  • 테이블 ACL에 대해 사용하도록 설정된 클러스터의 클러스터 전체 Python Egg 라이브러리 설치가 수정되었습니다.
  • 명령이 실행되기 전에 취소가 호출되는 경우를 수정하여 Python 명령 취소를 개선했습니다.
  • 테이블 ACL에서 버그가 수정되었습니다. 이제 데이터베이스 또는 카탈로그에서 개체를 나열하면 볼 수 있는 권한이 있는 개체만 표시됩니다.

Apache Spark

Databricks Runtime 5.3은 Apache Spark 2.4.0을 포함합니다. 이 릴리스에는 Databricks Runtime 5.2(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-27134][SQL] array_distinct 함수가 배열로 구성된 배열을 포함하는 열에서 올바르게 작동하지 않음
  • [SPARK-24669][SQL] DROP DATABASE CASCADE의 경우 테이블 무효화
  • [SPARK-26572][SQL] 집계 codegen 결과 평가 수정
  • [SPARK-27046][DSTREAMS] 설명서에서 SPARK-19185 관련 참조 제거
  • [SPARK-26449][PYTHON] DataFrame API에 변환 메서드 추가
  • [SPARK-26740][SQL] Spark 3.0에 의해 쓰기된 타임스탬프/날짜 열 읽기
  • [SPARK-26909][SQL] HashAggregate에서 unsafeRow.hashCode()를 해시 값으로 사용
  • [SPARK-26990][SQL] FileIndex: 가능한 경우 사용자가 지정한 필드 이름 사용
  • [SPARK-26851][SQL] CachedRDDBuilder에서 이중 검사 잠금 수정
  • [SPARK-26864][SQL] Python UDF가 왼쪽 세미 조인 조건으로 사용된 경우 쿼리가 올바르지 않은 결과를 반환할 수 있음
  • [SPARK-26887][SQL][PYTHON] 중간 데이터로 datetime64를 만드는 대신 datetime.date 직접 생성
  • [SPARK-26859][SQL] 벡터화되지 않은 ORC 역직렬 변환기에서 필드 작성기 인덱스 버그 수정
  • [SPARK-26864][SQL] Python UDF가 조인 조건으로 사용되고 udf가 왼쪽 세미 조인의 양쪽 다리의 특성을 모두 사용하는 경우 쿼리가 올바르지 않은 결과를 반환할 수 있음
  • [SPARK-24360][SPARK-26091][BACKPORT][SQL] Hive 3.1 메타스토어 지원
  • [SPARK-26873][SQL] 일관된 타임스탬프를 사용하여 Hadoop 작업 ID 빌드
  • [SPARK-26734][STREAMING] 큰 블록 큐를 갖는 StackOverflowError 수정
  • [SPARK-26758][CORE] spark.dynamiAllocation.executorIdleTimeout 값 이후에 유휴 실행기가 종료되지 않음
  • [SPARK-26751][SQL] 문이 백그라운드에서 실행되고 HiveSQLException이 아닌 예외를 throw하는 경우의 메모리 누수 수정
  • [SPARK-26806][SS] EventTimeStats.merge가 0을 올바르게 처리해야 함
  • [SPARK-26745][SPARK-24959][SQL] JSON 데이터 원본에서 개수 최적화 되돌리기
  • [SPARK-26757][GRAPHX] 빈 가장자리/꼭짓점 RDD의 count에 대해 0 반환
  • [SPARK-26726] 브로드캐스트 변수가 사용하는 메모리의 양을 UI 디스플레이에 동기화
  • [SPARK-26718][SS] SS kafka rateLimit 계산의 정수 오버플로 수정
  • [SPARK-26708][SQL] SQL 캐시의 캐시된 RDD와 그 실제 계획 간의 불일치로 인해 올바르지 않은 결과 발생
  • [SPARK-26735][SQL] 특수 식의 계획 무결성 확인
  • [SPARK-26619][SQL] SerializeFromObject에서 사용되지 않는 직렬 변환기 정리
  • [SPARK-26379][SS] 더미 TimeZoneId를 사용하여 CurrentBatchTimestamp의 UnresolvedException 방지
  • [SPARK-26495][SQL] SelectedField 추출기 간소화
  • [SPARK-26379][SS] 스트리밍 쿼리에 current_timestamp/current_date를 추가할 때 발생하는 문제 수정
  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery가 빈 레코드를 올바르게 처리하지 않음
  • [SPARK-26680][SQL] 조건이 적절한 경우 적극적으로 inputVars 생성
  • [SPARK-26682][SQL] Hadoop에 대해 attemptNumber 대신 taskAttemptID 사용
  • [SPARK-26706][SQL] ByteType의 illegalNumericPrecedence 수정
  • [SPARK-26228][MLLIB] Gramian 행렬을 계산할 때 발생하는 OOM 문제
  • [SPARK-26665][CORE] BlockTransferService.fetchBlockSync가 영원히 중단될 수 있는 버그 수정
  • [SPARK-26549][PYSPARK] Python 작업자 재사용이 지연 반복 가능 범위를 병렬화하는 데 효과를 갖지 않는 문제 수정
  • [SPARK-26351][MLLIB] mllib 평가 메트릭의 문서 및 사소한 수정 사항 업데이트
  • [SPARK-26450]프로젝션의 모든 열에 대한 스키마 맵 다시 빌드 방지
  • [SPARK-26638][PYSPARK][ML] Pyspark 벡터 클래스가 단항 부정에 대해 항상 오류를 반환
  • [SPARK-26633][REPL] ExecutorClassLoader.getResourceAsStream 추가
  • [SPARK-26629][SS] 하나의 파일 스트림에 대해 데이터를 갖지 않는 일괄 처리에 대한 쿼리 + 다시 시작에서 여러 파일 스트림의 오류 수정
  • [SPARK-25992][PYTHON] 문서 SparkContext를 다중 처리를 위해 공유할 수 없음
  • [SPARK-26615][CORE] 코어 단위 테스트에서 전송 서버/클라이언트 리소스 누수 수정
  • [SPARK-26350][SS] Kafka 소비자의 그룹 ID 재정의 허용
  • [SPARK-26538][SQL] postgres 숫자 배열의 기본 정밀도 및 배율 설정
  • [SPARK-26586][SS] 스트림이 예기치 않은 구성으로 실행되도록 하는 경합 상태 수정
  • [SPARK-26551][SQL] 하나의 복합 필드를 선택하고 다른 필드에 null 조건자가 없는 경우의 스키마 정리 오류 수정
  • [SPARK-26576][SQL] 분할된 테이블에 브로드캐스트 힌트가 적용되지 않음
  • [SPARK-26571][SQL] Hive Serde 매핑을 Parquet 및 Orc 파형일 식의 정식 이름으로 업데이트
  • [SPARK-26267][SS] Kafka(2.4)에서 올바르지 않은 오프셋이 감지된 경우 다시 시도
  • [SPARK-26559][ML][PYSPARK] ML 이미지가 1.9 미만의 numpy 버전에서 작동하지 않음
  • [SPARK-26078][SQL] IN 하위 쿼리의 중복 제거 셀프 조인 특성

유지 관리 업데이트

Databricks Runtime 5.3 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 16.04.6 LTS
  • Java: 1.8.0_191
  • Scala: 2.11.12
  • Python: Python 2 클러스터의 경우 2.7.12, Python 3 클러스터의 경우 3.5.2.
  • R: R 버전 3.5.2(2018-12-20)
  • GPU 클러스터: 다음 NVIDIA GPU 라이브러리가 설치됩니다.
    • Tesla 드라이버 375.66
    • CUDA 9.0
    • cuDNN 7.0

참고 항목

Scala 2.12는 Apache Spark 2.4에서 지원되지만 Databricks Runtime 5.3에서는 지원되지 않습니다.

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
암호화 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 미래 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 19.0.3 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 40.8.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth 0.1.7 wheel 0.33.1
wsgiref 0.1.2

설치된 R 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
abind 1.4-5 askpass 1.1 assertthat 0.2.0
backports 1.1.3 base 3.5.2 base64enc 0.1-3
BH 1.69.0-1 bit 1.1-14 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 callr 3.1.1 차량 3.0-2
carData 3.0-2 캐럿 6.0-81 cellranger 1.1.0
chron 2.3-53 class 7.3-15 cli 1.0.1
clipr 0.5.0 clisymbols 1.2.0 cluster 2.0.7-1
codetools 0.2-16 colorspace 1.4-0 commonmark 1.7
compiler 3.5.2 config 0.3 crayon 1.3.4
curl 3.3 data.table 1.12.0 datasets 3.5.2
DBI 1.0.0 dbplyr 1.3.0 desc 1.2.0
devtools 2.0.1 digest 0.6.18 doMC 1.3.5
dplyr 0.8.0.1 줄임표 0.1.0 fansi 0.4.0
forcats 0.4.0 foreach 1.4.4 foreign 0.8-71
forge 0.2.0 fs 1.2.6 gbm 2.1.5
제네릭(generics) 0.0.2 ggplot2 3.1.0 gh 1.0.1
git2r 0.24.0 glmnet 2.0-16 glue 1.3.0
gower 0.1.2 graphics 3.5.2 grDevices 3.5.2
grid 3.5.2 gridExtra 2.3 gsubfn 0.7
gtable 0.2.0 h2o 3.22.1.1 haven 2.1.0
hms 0.4.2 htmltools 0.3.6 htmlwidgets 1.3
httr 1.4.0 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-8 iterators 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 labeling 0.3
lattice 0.20-38 lava 1.6.5 lazyeval 0.2.1
littler 0.3.6 lme4 1.1-20 lubridate 1.7.4
magrittr 1.5 mapproj 1.2.6 맵 3.3.0
maptools 0.9-5 MASS 7.3-51.1 행렬 1.2-15
MatrixModels 0.4-1 memoise 1.1.0 메서드 3.5.2
mgcv 1.8-27 mime 0.6 minqa 1.2.4
ModelMetrics 1.2.2 munsell 0.5.0 mvtnorm 1.0-9
nlme 3.1-137 nloptr 1.2.1 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.2.2 openxlsx 4.1.0
parallel 3.5.2 pbkrtest 0.4-7 pillar 1.3.1
pkgbuild 1.0.2 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.2 plogr 0.2.0 plyr 1.8.4
praise 1.0.0 prettyunits 1.0.2 pROC 1.13.0
processx 3.2.1 prodlim 2018.04.18 진행률 1.2.0
proto 1.0.0 ps 1.3.0 purrr 0.3.0
quantreg 5.38 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.8.0 r2d3 0.2.3 R6 2.4.0
randomForest 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.0 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.11 readr 1.3.1
readxl 1.3.0 recipes 0.1.4 rematch 1.0.1
remotes 2.0.2 reshape2 1.4.3 rio 0.5.16
rlang 0.3.1 RODBC 1.3-15 roxygen2 6.1.1
rpart 4.1-13 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.1 rstudioapi 0.9.0 scales 1.0.0
sessioninfo 1.1.1 sp 1.3-1 sparklyr 1.0.0
SparkR 2.4.2 SparseM 1.77 spatial 7.3-11
splines 3.5.2 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.30 stats 3.5.2 stats4 3.5.2
stringi 1.3.1 stringr 1.4.0 survival 2.43-3
sys 3.0 tcltk 3.5.2 TeachingDemos 2.10
testthat 2.0.1 tibble 2.0.1 tidyr 0.8.3
tidyselect 0.2.5 timeDate 3043.102 tools 3.5.2
usethis 1.4.0 utf8 1.1.4 utils 3.5.2
viridisLite 0.3.0 whisker 0.3-2 withr 2.1.2
xml2 1.2.0 xopen 1.0.0 yaml 2.2.0
zip 2.0.0

설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.azure azure-storage 5.2.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 수집기 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.5
net.snowflake snowflake-jdbc 3.6.15
net.snowflake spark-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy 아이비 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1.1-databricks3
org.apache.parquet parquet-common 1.10.1.1-databricks3
org.apache.parquet parquet-encoding 1.10.1.1-databricks3
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.1-databricks3
org.apache.parquet parquet-jackson 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.10
org.codehaus.janino janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52