Databricks Runtime 4.0(지원되지 않음)

  • 아티클

Databricks는 2018년 3월에 이 이미지를 릴리스했습니다.

Important

이 릴리스는 2018년 11월 1일부터 더 이상 사용되지 않습니다. Databricks Runtime 사용 중단 정책 및 일정에 대한 자세한 내용은 Databricks Runtime 지원 수명 주기를 참조하세요.

다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 4.0에 대한 정보를 제공합니다.

변경 내용 및 개선 사항

  • 이제 JSON 데이터 원본이 인코딩이 UTF-8이라고 가정하는 대신 인코딩의 자동 감지를 시도합니다. 자동 감지가 실패하는 경우 사용자가 charset 옵션을 지정하여 특정 인코딩을 적용할 수 있습니다. 문자 집합 자동 검색을 참조하세요.
  • 구조적 스트리밍에서 Spark MLlib 파이프라인을 사용한 점수 매기기 및 예측이 완전히 지원됩니다.
  • Databricks ML 모델 내보내기가 완전히 지원됩니다. 이 기능을 사용하면 Databricks에서 Spark MLlib 모델을 학습시키고, 함수 호출을 사용하여 내보내고, 원하는 시스템에서 Databricks 라이브러리를 사용하여 모델을 가져온 다음 새 데이터에 점수를 매길 수 있습니다.
  • 새로운 Spark 데이터 원본 구현은 Azure Synapse Analytics에 대해 스케일링 가능한 읽기/쓰기 액세스를 제공합니다. Spark - Synapse Analytics 커넥터를 참조하세요.
  • 이제 from_json 함수의 스키마가 항상 null 허용 스키마로 변환됩니다. 즉, 중첩된 필드를 포함하는 모든 필드가 null을 허용합니다. 이에 따라 데이터가 스키마와 호환되게 되어 필드에서 데이터가 누락되었거나 사용자가 지정한 스키마가 필드를 null을 허용하지 않는 것으로 선언한 경우 데이터를 Parquet에 쓴 후에 손상이 방지됩니다.
  • 설치된 일부 Python 라이브러리를 업그레이드했습니다.
    • futures: 3.1.1에서 3.2.0으로
    • pandas: 0.18.1에서 0.19.2로
    • pyarrow: 0.4.1에서 0.8.0으로
    • setuptools: 38.2.3에서 38.5.1로
    • tornado: 4.5.2에서 4.5.3으로
  • 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
  • AWS Java SDK가 1.11.126에서 1.11.253으로 업그레이드되었습니다.
  • SQL Server JDBC 드라이버가 6.1.0.jre8에서 6.2.2.jre8로 업그레이드되었습니다.
  • PostgreSQL JDBC 드라이버가 9.4-1204-jdbc41에서 42.1.4로 업그레이드되었습니다.

Apache Spark

Databricks Runtime 4.0은 Apache Spark 2.3.0을 포함합니다.

Core, PySpark 및 Spark SQL

주요 기능

  • 벡터화된 ORC 판독기: [SPARK-16060]: 벡터화(2~5배)를 통해 ORC 스캔 처리량을 크게 향상하는 새로운 ORC 판독기에 대한 지원이 추가되었습니다. 판독기를 사용하도록 설정하려면 사용자가 spark.sql.orc.impl을 native로 설정하면 됩니다.
  • Spark History Server V2: [SPARK-18085]: 더 효율적인 이벤트 저장 메커니즘으로 대규모 애플리케이션에 향상된 스케일링 성능을 제공하는 새로운 SHS(Spark History Server) 백 엔드입니다.
  • 데이터 원본 API V2: [SPARK-15689][SPARK-22386]: Spark에 새로운 데이터 원본을 연결하기 위한 실험적 API입니다. 새로운 API는 V1 API의 몇 가지 제한 사항을 해결하며 성능이 뛰어나고 유지 관리가 용이하고 확장 가능한 외부 데이터 원본의 개발을 지원합니다. 이 API는 현재 개발 중이며 호환성이 손상되는 변경이 예상됩니다.
  • PySpark 성능 개선: [SPARK-22216][SPARK-21187]: 빠른 데이터 직렬화 및 벡터화된 실행으로 인해 Python 성능 및 상호 운용성이 크게 향상되었습니다.

성능 및 안정성

기타 주목할 만한 변경 사항

프로그래밍 가이드: Spark RDD 프로그래밍 가이드 및 Spark SQL DataFrame 및 데이터 세트 가이드.

구조적 스트리밍

연속 처리

  • 사용자 코드를 한 줄만 변경하여 밀리초 미만의 엔드투엔드 대기 시간으로 스트리밍 쿼리를 실행할 수 있는 새로운 실행 엔진입니다. 자세한 내용은 프로그래밍 가이드를 참조하세요.

스트림-스트림 조인

  • 다른 스트림에서 일치하는 튜플이 도착할 때까지 행을 버퍼링하여 두 개의 데이터 스트림을 조인할 수 있습니다. 이벤트 시간 열에 대해 조건자를 사용하여 보존해야 하는 상태의 양을 제한할 수 있습니다.

스트리밍 API V2

  • 일괄 처리, 마이크로 일괄 처리 및 연속 실행에서 사용할 수 있는 새로운 원본과 싱크를 연결하기 위한 실험적 API입니다. 이 API는 현재 개발 중이며 호환성이 손상되는 변경이 예상됩니다.

프로그래밍 가이드: 구조적 스트리밍 프로그래밍 가이드

MLlib

중요 사항

  • 이제 ML 예측이 업데이트된 API를 사용하여 구조적 스트리밍과 함께 작동합니다. 자세한 내용은 다음과 같습니다.

새로운 API와 향상된 API

  • [SPARK-21866]: 이미지를 DataFrame(Scala/Java/Python)에 읽기 위한 기본 제공 지원.
  • [SPARK-19634]: 벡터 열(Scala/Java)에 대한 설명적 요약 통계를 위한 DataFrame 함수.
  • [SPARK-14516]: 코사인 실루엣 및 유클리드 제곱 실루엣 메트릭(Scala/Java/Python)을 지원하는 클러스터링 알고리즘 튜닝을 위한 ClusteringEvaluator.
  • [SPARK-3181]: Huber 손실(Scala/Java/Python)을 사용한 강력한 선형 회귀.
  • [SPARK-13969]: FeatureHasher transformer 변환기(Scala/Java/Python).
  • 여러 기능 변환기에 대한 여러 열 지원:
  • [SPARK-21633] 및 SPARK-21542]: Python의 사용자 지정 파이프라인 구성 요소에 대한 향상된 지원.

새로운 기능

  • [SPARK-21087]: CrossValidator 및 TrainValidationSplit이 맞춤 시에 모든 모델을 수집할 수 있습니다(Scala/Java). 이에 따라 모든 맞춤된 모델을 검사하거나 저장할 수 있습니다.
  • [SPARK-19357]: 메타 알고리즘 CrossValidator, TrainValidationSplit, OneVsRest가 병렬 Spark 작업에서 여러 하위 모델을 맞추기 위한 병렬 매개 변수를 지원합니다.
  • [SPARK-17139]: 다항 로지스틱 회귀를 위한 모델 요약(Scala/Java/Python)
  • [SPARK-18710]: GLM에서 오프셋 추가.
  • [SPARK-20199]: GBTClassifier 및 GBTRegressor에 featureSubsetStrategy 매개 변수가 추가되었습니다. 이 매개 변수를 사용하여 특징을 하위 샘플링하면 학습 속도가 크게 개선됩니다. 이 옵션은 xgboost의 주요 강점으로 기능했습니다.

기타 주목할 만한 변경 사항

  • [SPARK-22156]: num회의 반복을 갖는 Word2Vec 학습률 스케일링이 수정되었습니다. 새로운 학습률은 원래의 Word2Vec C 코드와 일치하도록 설정되었으며, 학습에서 더 향상된 결과를 제공합니다.
  • [SPARK-22289]: 행렬 매개 변수에 대한 JSON 지원이 추가되었습니다(이로 인해 계수에 대해 경계를 사용할 때 LogisticRegressionModel의 ML 지속 버그가 수정되었습니다).
  • [SPARK-22700]: Bucketizer.transform이 NaN을 포함하는 행을 올바르지 않게 삭제합니다. 매개 변수 handleInvalid가 “건너뛰”도록 설정된 경우, Bucketizer는 다른(관련 없는) 열이 NaN 값을 갖는 경우 입력 열에서 유효한 값을 갖는 행을 삭제했습니다.
  • [SPARK-22446]: handleInvalid가 “error”로 설정된 경우 Catalyst 최적화 프로그램에 의해 StringIndexerModel이 “보이지 않는 레이블” 예외를 throw하는 경우가 있었습니다. 이는 조건자 푸시다운으로 인해 필터링된 데이터에 대해 발생하여 입력 데이터 세트에서 유효하지 않은 행이 이미 제거된 후에도 오류를 발생시켰습니다.
  • [SPARK-21681]: 다항 로지스틱 회귀에서 일부 특징이 분산 0을 갖는 경우 올바르지 않은 계수가 발생하는 에지 케이스 버그가 수정되었습니다.
  • 주요 최적화:
    • [SPARK-22707]: CrossValidator의 메모리 사용량이 줄어들었습니다.
    • [SPARK-22949]: TrainValidationSplit의 메모리 사용량이 줄어들었습니다.
    • [SPARK-21690]: Imputer가 데이터에 대해 단일 패스를 사용하여 학습을 진행합니다.
    • [SPARK-14371]: OnlineLDAOptimizer가 각 미니 일괄 처리에 대해 드라이버에 통계를 수집하지 않습니다.

프로그래밍 가이드: MLlib(기계 학습 라이브러리) 가이드

SparkR

SparkR 2.3.0 릴리스에서는 UDF의 안정성이 개선되고 기존 API에 대한 몇 가지 새로운 SparkR 래퍼가 추가되었습니다.

주요 기능

프로그래밍 가이드: SparkR(Spark의 R).

GraphX

최적화

  • [SPARK-5484]: 이제 Pregel이 주기적으로 검사점을 지정하여 StackOverflowErrors를 방지합니다.
  • [SPARK-21491]: 여러 위치서 성능이 약간 향상되었습니다.

프로그래밍 가이드: GraphX 프로그래밍 가이드.

사용 중단

Python

  • [SPARK-23122]: SQLContext의 UDF와 PySpark의 Catalog에서 register*가 더 이상 사용되지 않습니다.

MLlib

  • [SPARK-13030]: OneHotEncoder가 더 이상 사용되지 않으며 3.0에서 제거됩니다. 새로운 OneHotEncoderEstimator로 대체되었습니다. OneHotEncoderEstimator의 이름이 3.0에서 OneHotEncoder로 변경됩니다(단, OneHotEncoderEstimator도 별칭으로 사용됩니다).

동작 변경 내용

SparkSQL

  • [SPARK-22036]: 기본적으로 소수점 값 사이의 산술 연산은 정확한 표현이 가능하지 않은 경우 이전 버전에서 NULL을 반환한 것과 달리 반올림된 값을 반환합니다.
  • [SPARK-22937]: 모든 입력이 이진 값인 경우 SQL elt()는 출력을 이진 값으로 반환합니다. 이진 값이 아닌 경우 문자열로 반환합니다. 이전 버전에서는 입력 형식과 관계없이 항상 문자열로 반환했습니다.
  • [SPARK-22895]: 첫 번째 비결정적 조건자 뒤에 오는 조인/필터 결정적 조건자는 가능한 경우 자식 연산자에 푸시다운됩니다. 이전 버전에서는 이러한 필터가 조건자 푸시다운의 대상이 아니었습니다.
  • [SPARK-22771]: 모든 입력이 이진 값인 경우 functions.concat()는 출력을 이진 값으로 반환합니다. 이진 값이 아닌 경우 문자열로 반환합니다. 이전 버전에서는 입력 형식과 관계없이 항상 문자열로 반환했습니다.
  • [SPARK-22489]: 조인의 양쪽 중 하나라도 브로드캐스트 가능한 경우 브로드캐스트 힌트에 명시적으로 지정된 테이블을 브로드캐스트하는 쪽이 선호됩니다.
  • [SPARK-22165]: 이전에는 파티션 열 유추가 여러 유추된 형식에 대해 올바르지 않은 공통 형식을 찾았습니다. 예를 들어, 이전에는 double 형식과 date 형식의 공통 형식으로 double 형식을 찾았습니다. 이제는 이러한 충돌에 대해 올바른 공통 형식을 찾습니다. 자세한 내용은 마이그레이션 가이드를 참조하세요.
  • [SPARK-22100]: 이전에는 percentile_approx 함수가 numeric 형식의 입력을 받아서 double 형식의 결과를 출력했습니다. 이제는 입력 형식으로 date 형식, timestamp 형식 및 numeric 형식을 받습니다. 결과 형식도 백분위수에 더 적합하도록 입력 형식과 동일하게 변경되었습니다.
  • [SPARK-21610]: 참조된 열이 내부 손상 레코드 열(이름 기본값: _corrupt_record)만 포함하는 경우 원시 JSON/CSV 파일의 쿼리가 허용되지 않았습니다. 이제는 구문 분석된 결과를 캐시하거나 저장한 다음 동일한 쿼리를 보낼 수 있습니다.
  • [SPARK-23421]: Spark 2.2.1 및 2.3.0부터, 데이터 원본 테이블이 파티션 스키마와 데이터 스키마 양쪽에 존재하는 열을 갖는 경우 스키마가 항상 런타임에 유추되었습니다. 유추된 스키마는 분할된 열을 갖지 않습니다. Spark는 테이블을 읽을 때 데이터 원본 파일에 저장된 값이 아닌 중복된 열의 파티션 값을 읽습니다. 2.2.0 및 2.1.x 릴리스에서는 유추된 스키마가 분할되지만 테이블의 데이터는 사용자에게 보이지 않습니다(즉, 결과 세트가 비어 있습니다).

PySpark

  • [SPARK-19732]: na.fill() 또는 fillna도 부울 값을 받고 null을 부울 값으로 바꿉니다. 이전 Spark 버전에서는 PySpark가 이를 무시하고 원래 데이터 세트/DataFrame을 반환했습니다.
  • [SPARK-22395]: pandas DataFrame의 toPandas, createDataFrame 등과 같은 pandas 관련 기능을 사용하려면 pandas 0.19.2 이상이 필요합니다.
  • [SPARK-22395]: pandas 관련 기능의 타임스탬프 값의 동작이 이전 버전에서는 무시되었던 세션 표준 시간대를 존중하도록 변경되었습니다.
  • [SPARK-23328]: df.replace는 to_replace가 사전이 아닌 경우 value를 생략하도록 허용하지 않습니다. 이전에는 다른 경우에 value를 생략할 수 있었으며 기본값이 None이었는데, 이는 직관에 반하며 오류를 유발했습니다.

MLlib

  • 호환성이 손상되는 API 변경 사항: 로지스틱 회귀 모델 요약의 클래스 및 특성 계층 구조가 다중 클래스 요약의 추가를 수용하면서 더 명확하게 변경되었습니다. 이는 LogisticRegressionTrainingSummary를 BinaryLogisticRegressionTrainingSummary로 캐스팅하는 사용자 코드에 대한 호환성이 손상되는 변경입니다. 사용자는 그 대신 model.binarySummary 메서드를 사용해야 합니다. 자세한 내용은 [SPARK-17139]를 참조하세요(이것은 @Experimental API입니다). 이는 Python 요약 메서드에 영향을 주지 않으며, Python 요약 메서드는 다항 케이스와 이진 케이스에 대해 계속해서 올바르게 작동합니다.
  • [SPARK-21806]: BinaryClassificationMetrics.pr(): 첫 번째 지점 (0.0, 1.0)이 오해의 소지가 있으므로 정밀도 p가 가장 낮은 회수 지점과 일치하는 (0.0, p)로 대체되었습니다.
  • [SPARK-16957]: 이제 의사 결정 트리가 분할 값을 선택할 때 가중치가 적용된 중간점을 사용합니다. 이로 인해 모델 학습의 결과가 변경될 수 있습니다.
  • [SPARK-14657]: 이제 절편이 없는 RFormula가 문자열 항을 인코딩할 때 네이티브 R 동작과 일치하도록 참조 범주를 출력합니다. 이로 인해 모델 학습의 결과가 변경될 수 있습니다.
  • [SPARK-21027]: 이제 OneVsRest에서 사용되는 기본 병렬 처리가 1(직렬)로 설정됩니다. 2.2 이하 버전에서는 병렬 처리 수준이 Scala의 기본 스레드 풀 크기로 설정되었습니다. 이로 인해 성능이 변경될 수 있습니다.
  • [SPARK-21523]: Breeze가 0.13.2로 업그레이드되었습니다. 여기에는 L-BFGS에 대한 강력한 Wolfe 라인 검색의 중요한 버그 수정이 포함되어 있습니다.
  • [SPARK-15526]: 이제 JPMML 종속성이 음영 처리됩니다.
  • 버그 수정으로 인한 동작 변경에 대해서는 “버그 수정” 섹션도 참조하세요.

알려진 문제

  • [SPARK-23523][SQL]: 규칙 OptimizeMetadataOnlyQuery에 의해 올바르지 않은 결과가 발생합니다.
  • [SPARK-23406]: 스트림-스트림 셀프 조인에 버그가 있습니다.

유지 관리 업데이트

Databricks Runtime 4.0 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_151
  • Scala: 2.11.8
  • Python: 2.7.12(Python 3을 사용하는 경우 3.5.2)
  • R: R 버전 3.4.3(2017-11-30)
  • GPU 클러스터: 다음 NVIDIA GPU 라이브러리가 설치됩니다.
    • Tesla 드라이버 375.66
    • CUDA 8.0
    • CUDNN 6.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
암호화 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 미래 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 9.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 38.5.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 4.5.3 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.30.0
wsgiref 0.1.2

설치된 R 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
abind 1.4-5 assertthat 0.2.0 backports 1.1.1
base 3.4.3 BH 1.65.0-1 bindr 0.1
bindrcpp 0.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.0 boot 1.3-20
brew 1.0-6 broom 0.4.3 차량 2.1-6
캐럿 6.0-77 chron 2.3-51 class 7.3-14
cluster 2.0.6 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.3 crayon 1.3.4
curl 3.0 CVST 0.2-1 data.table 1.10.4-3
데이터 세트 3.4.3 DBI 0.7 ddalpha 1.3.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.4
dichromat 2.0-0 digest 0.6.12 dimRed 0.1.0
doMC 1.3.4 dplyr 0.7.4 DRR 0.0.2
foreach 1.4.3 foreign 0.8-69 gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
glue 1.2.0 gower 0.1.2 graphics 3.4.3
grDevices 3.4.3 grid 3.4.3 gsubfn 0.6-6
gtable 0.2.0 h2o 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.8 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.5.1 lazyeval 0.2.1 littler 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
mapproj 1.2-5 맵 3.2.0 MASS 7.3-48
행렬 1.2-11 MatrixModels 0.4-1 memoise 1.1.0
메서드 3.4.3 mgcv 1.8-23 mime 0.5
minqa 1.2.4 mnormt 1.5-5 ModelMetrics 1.1.0
munsell 0.4.3 mvtnorm 1.0-6 nlme 3.1-131
nloptr 1.0.4 nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 praise 1.0.0 pROC 1.10.0
prodlim 1.6.1 proto 1.0.0 psych 1.7.8
purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 RColorBrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
recipes 0.1.1 reshape2 1.4.2 rlang 0.1.4
robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0.7 scales 0.5.0
sfsmisc 1.1-1 sp 1.2-5 SparkR 2.3.0
SparseM 1.77 spatial 7.3-11 splines 3.4.3
sqldf 0.4-11 statmod 1.4.30 통계 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
survival 2.41-3 tcltk 3.4.3 TeachingDemos 2.10
testthat 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 timeDate 3042.101 tools 3.4.3
utils 3.4.3 viridisLite 0.2.0 whisker 0.3-2
withr 2.1.0 xml2 1.1.1

설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws aws-java-sdk-support 1.11.253
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 수집기 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy 아이비 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52