Databricks Runtime 5.4(지원되지 않음)
Databricks는 2019년 6월에 이 이미지를 릴리스했습니다.
다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 5.4에 대해 설명합니다.
새로운 기능
Azure Databricks의 Delta Lake에서 자동 최적화 추가(퍼블릭 미리 보기)
현재 클라우드 스토리지에 데이터를 쓸 때 최적의 I/O 성능을 위해 파일을 압축해야 합니다. 적절한 파일 크기, 파일 압축 빈도, 사용할 클러스터 크기 등에 대해 신경을 써야 합니다. 이러한 종류의 문제를 해결하기 위해 Azure Databricks에서 Delta Lake를 사용하는 자동 최적화를 도입하게 되어 기쁩니다. Delta 테이블에 쓸 때마다 올바른 파일 크기와 압축 파일을 자동으로 파악하므로 스토리지 레이아웃 최적화에 대해 걱정할 필요가 없습니다. 쓰기 중에 auto-optimize 옵션이 true이면 Azure Databricks는 최적화가 필요한지 여부를 자동으로 결정하고 작은 파일을 최적화합니다. 자세한 내용은 데이터 파일 크기를 제어하도록 Delta Lake 구성을 참조 하세요.
라이브러리 유틸리티 출시
이제 라이브러리 유틸리티가 출시되었습니다. 이 기능을 사용하면 Notebook 세션 범위 내에서 Python 라이브러리를 조작할 수 있습니다. 라이브러리 유틸리티(dbutils.library)(레거시)를 참조하세요.
Databricks Connect 출시
이제 Databricks Connect가 출시되었습니다. 이 기능은 즐겨 찾는 IDE(IntelliJ, Eclipse, PyCharm, RStudio), Notebook 서버(Zeppelin, Jupyter), 기타 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결하고 Spark 코드를 실행할 수 있는 Spark 클라이언트 라이브러리입니다. Databricks Connect를 참조하세요.
이진 파일 데이터 원본
이진 파일 데이터 원본은 이진 파일을 읽고 각 파일을 파일의 원시 콘텐츠와 메타데이터를 포함하는 단일 레코드로 변환합니다. 이제 파일의 내용을 찾지 않아도 임의의 파일을 Spark DataFrame으로 효율적으로 읽을 수 있습니다. 이 기능은 Spark를 사용하여 채점을 위해 이미지와 같은 큰 파일을 로드하려는 경우에 특히 유용합니다. 이진 파일을 참조하세요.
향상된 기능
디스크 캐싱
디스크 캐싱이 이제 Lsv2 인스턴스에 대해 사전 구성됩니다. 캐시는 기본적으로 사용하지 않도록 설정됩니다. 사용하도록 설정하는 방법에 대한 자세한 내용은 디스크 캐시를 사용하거나 사용하지 않도록 설정을 참조하세요.
Azure Data Lake Storage Gen2 Azure AD 자격 증명 통과
이제 Microsoft Entra ID(이전의 Azure Active Directory) 자격 증명 통과를 사용하여 ADLS(Azure Data Lake Storage) Gen2 파일 시스템의 DBFS 탑재가 지원됩니다. Azure Data Lake Storage Gen2를 참조하세요.
R을 3.6.0으로 업그레이드
R 베이스는 3.5.2에서 3.6.0으로 업그레이드됩니다.
Apache Spark
Databricks Runtime 5.4에는 Apache Spark 2.4.3이 포함됩니다. 이 릴리스에는 Databricks Runtime 5.3(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-27596][SQL] JDBC ‘쿼리’ 옵션이 Oracle 데이터베이스에서 작동하지 않음
- [SPARK-27240][PYTHON] Scalar Pandas UDF의 구조체 형식 인수에 Pandas DataFrame을 사용합니다.
- [SPARK-26745][SQL][TESTS] JsonSuite 테스트 사례: 빈 줄 -> 0 레코드 수
- [SPARK-25535][CORE] commons-crypto에서 잘못된 오류 처리를 해결합니다.
- [SPARK-26891][YARN] YarnSchedulerBackendSuite에서 불안정한 테스트 수정
- [SPARK-27563][SQL][TEST] HiveExternalCatalogVersionsSuite에서 최신 Spark 버전을 자동으로 가져옵니다.
- [SPARK-27494][SS] Null 값은 Kafka source v2에서 작동하지 않음
- [SPARK-27550][TEST] Scala-2.12용 kafka-0-8 프로필을 사용하지 않도록 test-dependencies.sh 수정
- [SPARK-26992][STS] STS 스케줄러 풀 올바른 배달 수정
- [SPARK-27544][PYTHON][TEST] Scala-2.12 빌드에서 작동하도록 Python 테스트 스크립트 수정
- [SPARK-27539][SQL] Null 값이 포함된 열로 부정확한 집계 outputRows 추정 수정
- [SPARK-27469][BUILD] commons-beanutils deps를 최신 1.9.3으로 통합
- [SPARK-27419][FOLLOWUP][DOCS] 마이그레이션 가이드에 spark.executor.heartbeatInterval 변경에 대한 메모 추가
- [SPARK-27496][CORE] 치명적인 오류도 보낸 사람에게 다시 보내야 함
- [SPARK-25079][PYTHON] python3 실행 파일을 3.6.x로 업데이트
- [SPARK-27163][PYTHON] Pandas UDF 기능 정리 및 통합
- [SPARK-27403][SQL] 항상 새로운 통계 또는 없음으로 테이블 통계를 업데이트하도록 updateTableStats 수정
- [SPARK-27479][BUILD] org.apache.spark.util.kvstore에 대한 API 문서 숨기기
- [SPARK-27446][R] Use existing spark conf if available.가능한 경우 기존 spark conf를 사용합니다.
- [SPARK-27453] DataFrameWriter의 옵션으로 partitionBy 전달
- [SPARK-27454][SPARK-27454][HOT-FIX][ML][SQL] Cherrypick(일부 불법 이미지가 발견되면 Spark 이미지 데이터 원본 수정 실패)
- [SPARK-27351][SQL] Null 값 열만 있는 AggregateEstimation 후 잘못된 outputRows 추정
- [SPARK-27314][SQL] 공용 구조체에 대한 exprIds의 중복을 제거합니다.
- [SPARK-27394][WEBUI] SparkListenerExecutorMetricsUpdate(백포트 2.4)를 수신할 때 필요한 경우 LiveEntity 플러시
- [SPARK-27406][SQL] UnsafeArrayData serialization은 두 머신의 Oops 크기가 서로 다른 경우 중단
- [SPARK-27419][CORE] 하트비트 간격을 초로 캐스팅 방지(2.4)
- [SPARK-27391][SS] ContinuousExecution 작업에서 지연 값을 초기화하지 마세요.
- [SPARK-27390][CORE][SQL][TEST] 패키지 이름 불일치 수정
- [SPARK-27358][UI] 보안 수정 사항을 선택하려면 jquery를 1.12.x로 업데이트
- [SPARK-27216][CORE] RoaringBitmap을 0.7.45로 업그레이드하여 안전하지 않은 Kryo ser/dser 문제 수정
- [SPARK-27382][SQL][TEST] HiveExternalCatalogVersionsSuite에서 Spark 2.4.x 테스트 업데이트
- [SPARK-27338][CORE] UnsafeExternalSorter와 TaskMemoryManager 간 교착 상태 수정
- [SPARK-27338][CORE][FOLLOWUP] 후행 공백 제거
- [SPARK-27338][CORE] UnsafeExternalSorter.SpillableIterator 및 TaskMemoryManager를 모두 잠글 때 UnsafeExternalSorter.SpillableIterator의 교착 상태 수정
- [SPARK-27346][SQL] ExpressionInfo의 ‘예시’ 필드에 대한 줄 바꿈 어설션 조건을 약하게 함
- [SPARK-26998][CORE] 실행기에서 SSL 구성 제거
- [SPARK-27244][CORE][TEST][FOLLOWUP] toDebugString은 민감한 정보를 편집
- [SPARK-27267][FOLLOWUP] hadoop-2.6 종속성 매니페스트 업데이트
- [SPARK-27267][CORE] 빈 직렬화된 데이터를 압축 해제하는 경우 오류를 방지하기 위해 snappy 업데이트
- [SPARK-27301][DSTREAM] 파일 시스템 캐시 수명 주기를 정리 메서드 내부 범위로 단축
- [SPARK-27244][CORE] 옵션 logConf=true를 사용하는 동안 암호 편집
- [SPARK-26208][SQL] header=true일 때 빈 CSV 파일에 머리글 추가
- [SPARK-27275][CORE] EncryptedMessage.transferTo의 잠재적 손상 수정(2.4)
- [SPARK-23836][PYTHON] Scalar Pandas UDF에서 StructType 반환에 대한 지원 추가
- [SPARK-26961][CORE] 병렬 클래스 로딩 기능 사용하도록 설정
- [SPARK-27274][DOCS] 2.4.1+ 문서에서 scala 2.11에 대한 참조를 수정합니다. 2.11 지원은 2.4.1+에서 더 이상 사용되지 않습니다.
- [SPARK-27198][CORE] 드라이버 및 실행기의 하트비트 간격 불일치
- [SPARK-27094][YARN] 스레드 인터럽트를 무시하는 RackResolver를 해결합니다.
- [SPARK-24935][SQL] 두 개의 집계 버퍼로 Hive UDAF 수정
- [SPARK-27160][SQL] orc 필터를 빌드하는 경우 DecimalType 수정
- [SPARK-26606][CORE] 레거시 클라이언트를 통해 독립형 클러스터 모드로 제출하는 경우 드라이버 옵션을 올바르게 처리
- [SPARK-27221][SQL] TreeNode.parseToJson(5.x)의 어설션 오류 메시지 개선
- [SPARK-27102][R][PYTHON][CORE] R의 스칼라 코드에서 Python의 Scala 코드에 대한 참조 제거
- [SPARK-27159][SQL] 바이너리 형식을 지원하도록 mssql 서버 언어 업데이트
- [SPARK-27112][CORE] : 동적 할당 또는 차단 목록으로 인해 실행기를 종료하려고 하는 경우 발생하는 교착 상태를 해결하기 위해 스레드 간에리소스 순서 만들기
- [SPARK-27178][K8S] nss 패키지를 추가하여 테스트를 수정
- [SPARK-27045][SQL] UI의 SQL 탭은 SparkSQLDriver의 경우 호출 사이트 대신 실제 SQL을 표시
- [SPARK-27119][SQL] 네이티브 데이터 원본이 있는 Hive serde 테이블을 읽는 경우 스키마를 유추하지 말 것
- [SPARK-27165][SPARK-27107][BUILD][SQL] Apache ORC를 1.5.5로 업그레이드
- [SPARK-26742][K8S] k8s 클라이언트 버전을 4.1.2로 업데이트
- [SPARK-26927][CORE] 동적 할당 관리자에서 이벤트를 처리할 때 실행기가 활성 상태인지 확인
- [SPARK-27097][CHERRY-PICK 2.4] 문자 그대로 전체 단계에서 생성된 코드에 플랫폼 종속 오프셋 포함 방지
- [SPARK-27111][SS] InterruptedException(5.x)으로 연속 쿼리가 실패할 수 있는 경합 수정
- [SPARK-27111][SS] InterruptedException으로 연속 쿼리가 실패할 수 있는 경합 수정
- [SPARK-27080][SQL] 버그 수정: mergeWithMetastoreSchema와 일관된 소문자 비교
- [SPARK-26604][CORE] StreamManager에 대한 채널 등록 정리
- [SPARK-27016][SQL][BUILD] SQL 문법 파일에서 파서를 생성하는 동안 모든 antlr 경고를 오류로 처리
- [SPARK-25863][SPARK-21871][SQL] updateAndGetCompilationStats에서 코드 크기 통계가 비어 있는지 여부를 확인
- [SPARK-27078][SQL] Hive 구체화된 뷰를 읽을 때 NoSuchFieldError 수정
- [SPARK-27019][SQL][WEBUI] onJobStart는 onExecutionEnd가 kvstore를 덮어쓰지 않아야 하는 후에 발생
- [SPARK-27065][CORE] 한 스테이지에 대해 둘 이상의 활성 작업 집합 관리자를 방지
- [SPARK-24669][SQL] DROP DATABASE CASCADE의 경우 테이블 무효화
- [SPARK-26932][DOC] Hive 2.1.1 ORC 판독기 문제에 대한 경고 추가
- [SPARK-25139][SPARK-18406][CORE] PythonRunner에서 실행기를 죽이기 위해 NonFatals가 방지됩니다.
유지 관리 업데이트
Databricks Runtime 5.4 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Scala: 2.11.12
- Python: Python 2 클러스터의 경우 2.7.12, Python 3 클러스터의 경우 3.5.2.
- R: R 버전 3.6.0(2019-04-26)
- GPU 클러스터: 다음 NVIDIA GPU 라이브러리가 설치됩니다.
- Tesla 드라이버 375.66
- CUDA 9.0
- cuDNN 7.0
참고 항목
Scala 2.12는 Apache Spark 2.4에서 지원되지만 Databricks Runtime 5.4에서는 지원되지 않습니다.
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 암호화 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | 미래 | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.1.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.3 |
| wsgiref | 0.1.2 |
설치된 R 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | callr | 3.2.0 | 차량 | 3.0-2 |
| carData | 3.0-2 | 캐럿 | 6.0-82 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | colorspace | 1.4-1 | commonmark | 1.7 |
| compiler | 3.6.0 | config | 0.3 | crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | datasets | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | 줄임표 | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | foreign | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.7 | gbm | 2.1.5 |
| 제네릭(generics) | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | glue | 1.3.1 |
| gower | 0.2.0 | graphics | 3.6.0 | grDevices | 3.6.0 |
| grid | 3.6.0 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | labeling | 0.3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.2 |
| littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | 맵 | 3.3.0 |
| maptools | 0.9-5 | MASS | 7.3-51.1 | 행렬 | 1.2-17 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | 메서드 | 3.6.0 |
| mgcv | 1.8-28 | mime | 0.6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-139 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | pillar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| praise | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | 진행률 | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | recipes | 0.1.5 | rematch | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | scales | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.3 | SparseM | 1.77 | spatial | 7.3-11 |
| splines | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | 통계 | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | survival | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.6.0 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.1 |
설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | 수집기 | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | 아이비 | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |