Databricks Runtime 5.5 LTS(지원되지 않음)
Databricks는 2019년 7월에 이 이미지를 릴리스했습니다. 2019년 8월에 LTS(장기 지원)로 선언되었습니다. 지원이 2021년 7월 27일에 종료되었습니다. Databricks Runtime 5.5 확장 지원(지원되지 않음) 은 2021년 7월 8일에 릴리스되었으며 2021년 12월까지 5.5 지원을 확장합니다. 원래 Databricks Runtime 5.5 LTS에서 사용되는 더 이상 사용되지 않는 Ubuntu 16.04.6 LTS 배포 대신 Ubuntu 18.04.5 LTS를 사용합니다. Ubuntu 16.04.6 LTS 지원은 2021년 4월 1일에 중단되었습니다.
다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 5.5에 대한 정보를 제공합니다.
새로운 기능
Azure Databricks 자동 최적화의 Delta Lake
현재 클라우드 스토리지에 데이터를 쓸 때 최적의 I/O 성능을 위해 파일을 압축해야 합니다. 적절한 파일 크기, 파일 압축 빈도, 사용할 클러스터 크기 등에 대해 신경을 써야 합니다. 이러한 종류의 문제를 해결하기 위해 Azure Databricks에서 Delta Lake로 자동 최적화의 일반 공급을 발표하게 된 것을 기쁘게 생각합니다. Delta 테이블에 쓸 때마다 올바른 파일 크기와 압축 파일을 자동으로 파악하므로 스토리지 레이아웃 최적화에 대해 걱정할 필요가 없습니다. 쓰기 중에 auto-optimize 옵션이 true이면 Azure Databricks는 최적화가 필요한지 여부를 자동으로 결정하고 작은 파일을 최적화합니다. 자세한 내용은 데이터 파일 크기를 제어하도록 Delta Lake 구성을 참조 하세요.
Azure Databricks의 Delta Lake는 최소, 최대 및 개수 집계 쿼리 성능을 개선했습니다.
Azure Databricks의 Delta Lake에 대한 최소, 최대 및 개수 집계 쿼리의 성능은 읽는 데이터의 양을 줄여 크게 개선되었습니다. 이러한 쿼리는 이제 데이터를 검사하는 대신 메타데이터의 통계 및 파티션 값을 사용하여 실행됩니다.
개선된 이진 파일 데이터 원본 및 스칼라 반복자 pandas UDF(공개 미리 보기)로 더 빠른 모델 유추 파이프라인
특히 이미지 및 동영상 영역에서 기계 학습 작업은 종종 많은 수의 파일에서 작동해야 합니다. Databricks Runtime 5.4에서는 이미지와 같은 임의 파일을 Spark 테이블에 ETL할 수 있도록 하는 이진 파일 데이터 원본을 이미 제공했습니다. Databricks Runtime 5.5에서는 중첩된 입력 디렉터리에서 파일을 재귀적으로 로드하는 옵션 recursiveFileLookup을 추가했습니다. 이진 파일을 참조하세요.
이진 파일 데이터 원본을 사용하면 스칼라 pandas UDF를 사용하여 Spark 테이블에서 모델 유추 작업을 병렬로 실행할 수 있습니다. 그러나 모든 레코드 일괄 처리에 대해 모델을 초기화해야 할 수 있으므로 오버헤드가 발생합니다. Databricks Runtime 5.5에서는 Apache Spark 마스터의 "스칼라 반복기"라는 새로운 pandas UDF 형식을 백포트했습니다. 이를 통해 모델을 한 번만 초기화하고 많은 입력 일괄 처리에 모델을 적용할 수 있으므로 ResNet50과 같은 모델의 경우 속도가 2-3배 빨라질 수 있습니다. 스칼라 UDF에 대한 계열을 참조하세요.
R Notebook의 비밀 API
비밀 API를 사용하면 하드코딩하지 않고도 Notebooks에 비밀을 삽입할 수 있습니다. 이 API는 이제 Python 및 Scala Notebooks에 대한 기존 지원 외에도 R Notebooks에서 사용할 수 있습니다. dbutils.secrets.get 함수를 사용하여 비밀을 얻을 수 있습니다. Notebook 셀에 인쇄하기 전에 비밀이 수정됩니다.
개선
- Python
foreachBatch에서 Delta Lake SQL 작업 실행 지원: Python에 정의된 구조적 스트리밍 쿼리의foreachBatch내부에서 Delta 테이블에 쓸 수 없다는 알려진 제한을 수정했습니다. 이는 일반적인 Python 스트리밍 워크로드에서 유용합니다. 예를 들어 MERGE 및 foreachBatch를 사용하여 업데이트 모드에서 스트리밍 집계를 작성합니다. - Azure Data Lake Gen2에 저장된 Delta 테이블의 성능: ADLS Gen2에서 최신 버전의 Delta 테이블 확인은 이제 사용 가능한 모든 버전을 나열하는 대신 트랜잭션 로그의 끝만 확인합니다. 이 최적화는
UPDATE를 일정한 시간 작업으로 만들어 대기 시간을 크게 개선합니다. - 최적화 도구
ZORDER BY의 확장성: 이제 매우 큰 Delta 테이블에 대한 Z-Ordering은 고급 허용 제어에 의해 제어되는 더 작은 작업 단위를 사용합니다. 이 기능은 클러스터 사용률을 저하시키지 않으면서 이 작업의 안정성을 개선시킵니다. - 많은 수의 열이 있는 테이블에서 DML 명령의 성능 개선: 이제
UPDATE,DELETE및MERGE명령에서 일치하는 데이터를 검사할 때 더 나은 열 정리를 수행합니다. - Spark에서 VNet + Service Endpoints 설정 지원 - Synapse Analytics 커넥터: 임시 데이터 위치(
.option("tempDir", "abfss://...")로 허용 목록에 ADL Gen2 경로를 추가하고useAzureMSI라는 새 옵션을 추가했습니다. Synapse Analytics가 관리 ID를 통해 V2 스토리지 계정에 인증하도록 구성된 경우forward_spark_azure_storage_credentials대신 사용됩니다. - 디스크 캐싱 자동 무효화: 디스크 캐싱은 이제 캐시된 후 수정되거나 덮어쓴 파일을 자동으로 검색합니다. 부실 항목은 자동으로 무효화되고 캐시에서 제거됩니다. Azure Databricks에서 캐싱을 사용하여 성능 최적화를 참조하세요.
- Python 라이브러리 wheel이 0.33.3에서 0.33.4로 업그레이드되었습니다.
- R 라이브러리 nlme가 3.1-139에서 3.1-140으로 업그레이드되었습니다.
버그 수정
- Spark 작업을 실행하지 않는 R 명령에 대한 취소가 수정되었습니다. 이전에는 Spark 작업을 실행하지 않는 R 명령을 취소할 수 있었지만 Notebooks의 상태는 손실되었습니다. 이제 Notebooks 상태를 잃지 않고 명령을 취소할 수 있습니다.
- 이제 관리되는 테이블을 삭제하거나 이동하면 캐시된 Delta Lake 로그가 무효화됩니다.
- Delta Lake 검사점 쓰기가
FileAlreadyExistsException으로 인해 실패할 수 있는 버그가 수정되었습니다. - Scala REPL은 이제 적절한
-target:jvm-1.8플래그를 설정하여 Java 8 기능을 사용하는 Java 메서드 호출을 지원합니다.
Apache Spark
Databricks Runtime 5.5에는 Apache Spark 2.4.3이 포함되어 있습니다. 이 릴리스에는 Databricks Runtime 5.4(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-24695] UDF가 CalendarInterval을 반환하도록 허용합니다.
- [SPARK-28056] SCALAR_ITER 팬더 UDF에 대한 docstring/doctest가 추가되었습니다.
- [SPARK-28185] Python UDF가 일찍 중지되면 생성기를 닫습니다.
- [SPARK-24703] 간격 곱하기가 지원됩니다.
- [SPARK-27018][CORE] PeriodicCheckpointer에서 검사점 파일의 잘못된 제거가 수정되었습니다.
- [SPARK-28127][SQL] TreeNode의 mapChildren 메서드에 대한 미세 최적화
- [SPARK-26038] 소수점 이하 자릿수 toScalaBigInt/toJavaBigInteger가 길이에 맞지 않습니다.
- [SPARK-26555][SQL] ScalaReflection 하위 형식 검사 스레드를 안전하게 만듭니다.
- [SPARK-28081][ML] word2vec에서 큰 어휘 수 처리
- [SPARK-21882][CORE] OutputMetrics는 saveAsHadoopDataset 함수에서 작성된 바이트를 올바르게 계산하지 않습니다.
- [SPARK-28030] 이진 파일 데이터 원본에서 filePath를 URI로 변환합니다.
- [SPARK-27803][SQL][PYTHON] Python UDF의 열 정리가 수정되었습니다.
- [SPARK-27917][SQL] CaseWhen 개체의 정규형이 올바르지 않습니다.
- [SPARK-27798][SQL] from_avro는 로컬 관계로 변환할 때 동일한 값을 생성하지 않아야 합니다.
- [SPARK-27873][SQL] forceSchema를 사용하지 않도록 설정할 때 CSV 헤더의 열 이름으로 columnNameOfCorruptRecord를 확인하면 안 됩니다.
- [SPARK-27907][SQL] HiveUDAF는 행이 0인 경우 NULL을 반환해야 합니다.
- [SPARK-27699][SQL] Parquet/ORC에서 이접 술어를 부분적으로 푸시다운합니다.
- [SPARK-27868][CORE] 소켓 서버 백로그에 대한 더 나은 기본값 및 설명서입니다.
- [SPARK-27869][CORE] UI에서 시스템 속성의 중요한 정보가 수정되었습니다.
- [SPARK-27863][SQL][BACKPORT-2.4] 메타데이터 파일 및 임시 파일은 데이터 파일로 계산하면 안 됩니다.
- [SPARK-27657][ML] ml.util.Instrumentation.logFai…의 로그 형식이 수정되었습니다.
- [SPARK-27858][SQL] null이 아닌 여러 형식이 있는 통합 형식의 Avro 역직렬화가 수정되었습니다.
- [SPARK-27711][CORE] 작업 종료 시 InputFileBlockHolder 설정을 해제합니다.
- [SPARK-27351][SQL] Null 값 열만 있는 AggregateEstimation 후 잘못된 outputRows 추정
- [SPARK-27539][SQL] null 값이 포함된 열로 부정확한 집계 outputRows 추정이 수정되었습니다.
- [SPARK-27800][SQL] BitwiseXor 테스트 사례의 오답이 수정되었습니다.
- [SPARK-27639][SQL] InMemoryTableScan은 가능한 경우 UI에 테이블 이름을 표시합니다.
- [SPARK-27726][CORE] 부하가 높은 상태에서 InMemoryStore를 사용할 때 ElementTrackingStore 삭제 성능이 수정되었습니다.
- [SPARK-27771][SQL] 그룹화 함수에 대한 SQL 설명이 추가(cube, rollup, grouping 및 grouping_id)되었습니다.
- [SPARK-27735][SS] 구문 분석 간격 문자열은 SS에서 대/소문자를 구분하지 않아야 합니다.
- [SPARK-26856][PYSPARK] from_avro 및 to_avro API에 대한 Python이 지원됩니다.
- [SPARK-26870][SQL] Java 호환성으로 인해 to_avro/from_avro를 함수 개체로 이동합니다.
- [SPARK-26812][SQL] Union의 복잡한 데이터 형식에 대한 올바른 null 허용 여부를 보고합니다.
- [SPARK-27671][SQL] 구조체의 중첩된 null에서 캐스팅할 때 오류가 수정되었습니다.
- [SPARK-27673][SQL] 임의, 정규식, null 식에
since정보가 추가되었습니다. - [SPARK-27672][SQL] 문자열 식에
since정보가 추가되었습니다. - [SPARK-25139][SPARK-18406][CORE] PythonRunner에서 실행기를 죽이기 위해 NonFatals가 방지됩니다.
- [SPARK-27624][CORE] 빈 간격을 올바르게 표시하도록 CalenderInterval이 수정되었습니다.
- [SPARK-27577][MLIB] BinaryClassificationMetrics에서 다운샘플링된 임계값이 수정되었습니다.
- [SPARK-27621][ML] 선형 회귀 - 맞춤 단계에서만 손실과 같은 학습 관련 매개 변수의 유효성을 검사합니다.
- [SPARK-26048][SPARK-24530] 2.4 릴리스 스크립트에 대한 누락된 모든 커밋을 Cherrypick합니다.
- [SPARK-24935][SQL] Hive UDAF 어댑터에서 INIT -> UPDATE -> MERGE -> FINISH가 지원됩니다.
유지 관리 업데이트
Databricks Runtime 5.5 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: Python 2 클러스터의 경우 2.7.12, Python 3 클러스터의 경우 3.5.2.
- R: R 버전 3.6.0(2019-04-26)
- GPU 클러스터: 다음 NVIDIA GPU 라이브러리가 설치됩니다.
- Tesla 드라이버 375.66
- CUDA 9.0
- cuDNN 7.0
참고 항목
Scala 2.12는 Apache Spark 2.4에서 지원되지만 Databricks Runtime 5.5에서는 지원되지 않습니다.
이 섹션의 내용:
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 암호화 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | 미래 | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.1.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.4 |
| wsgiref | 0.1.2 |
설치된 R 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | callr | 3.2.0 | 차량 | 3.0-2 |
| carData | 3.0-2 | 캐럿 | 6.0-82 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | colorspace | 1.4-1 | commonmark | 1.7 |
| compiler | 3.6.0 | config | 0.3 | crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | 데이터 세트 | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | 줄임표 | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | foreign | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.7 | gbm | 2.1.5 |
| 제네릭(generics) | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | glue | 1.3.1 |
| gower | 0.2.0 | graphics | 3.6.0 | grDevices | 3.6.0 |
| grid | 3.6.0 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | labeling | 0.3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.2 |
| littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | 맵 | 3.3.0 |
| maptools | 0.9-5 | MASS | 7.3-51.1 | 행렬 | 1.2-17 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | 메서드 | 3.6.0 |
| mgcv | 1.8-28 | mime | 0.6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | pillar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| praise | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | 진행률 | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | recipes | 0.1.5 | rematch | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | scales | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | SparseM | 1.77 | spatial | 7.3-11 |
| splines | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | 통계 | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | survival | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.6.0 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.1 |
설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | 아이비 | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |