Databricks Runtime 7.2(지원되지 않음)
Databricks는 이 이미지를 2020년 8월에 릴리스했습니다.
다음 릴리스 정보는 Apache Spark 3.0에서 제공하는 Databricks Runtime 7.2에 대한 정보를 제공합니다.
새로운 기능
Databricks Runtime 7.2에는 다음과 같은 새로운 기능이 포함됩니다.
자동 로더가 일반 공급됨
자동 로더는 많은 수의 파일을 Delta Lake로 증분 방식으로 수집하는 효율적인 방법입니다. 이제 GA이며 디렉터리 목록, 클라우드 리소스 관리 API, 속도 제한 옵션 및 옵션 유효성 검사와 같은 기능을 추가합니다.
디렉터리 목록 모드 옵션
자동 로더는 새 파일이 있는 시기를 확인하기 위해 기존 파일 알림 모드 외에도 새 디렉터리 목록 모드를 추가합니다.
- 디렉터리 목록 모드: 일부 시나리오에서는 정기적으로 스트림해야 하는 몇 개의 파일만 있습니다. 이러한 경우 입력 디렉터리를 병렬로 나열하여 새 파일을 식별하고 수집하는 것이 상당히 효율적입니다. 이렇게 하면 권한 구성 없이 자동 로더 스트림을 시작할 수 있습니다. 디렉터리 목록 모드는 Databricks Runtime 7.2 이상의 자동 로더에 대한 기본 모드입니다.
- 파일 알림 모드: 파일 알림 모드를 명시적으로 옵트인할 수 있습니다. 이 모드에서는 대용량 입력 디렉터리에 대해 성능과 확장성이 더 높지만 알림 서비스에서 파일 이벤트를 구독하고
.option("cloudFiles.useNotifications", "true")을 설정할 수 있는 권한을 구성해야 합니다. Databricks Runtime 7.1 이하에서 시작된 기존 자동 로더 스트림은 Databricks Runtime 7.2로 업그레이드할 때 파일 알림 모드를 자동으로 옵트인합니다.
자세한 내용은 자동 로더란?을 참조하세요.
클라우드 리소스 관리 API
이제 Scala API를 사용하여 자동 로더에서 만든 클라우드 리소스를 관리할 수 있습니다. 이 API를 사용하여 알림 서비스를 나열하고 특정 알림 서비스를 해제할 수 있습니다. 자세한 내용은 수동으로 파일 알림 리소스 구성 또는 관리를 참조하세요.
속도 제한 옵션
이제 cloudFiles.maxBytesPerTrigger 옵션을 사용하여 각 마이크로 일괄 처리에서 처리되는 데이터의 양을 제한할 수 있습니다. 10g와 같은 바이트 문자열을 지정하여 각 마이크로 일괄 처리를 10GB의 데이터로 제한할 수 있습니다. 이는 소프트 최댓값입니다. 각각 3GB인 파일이 있는 경우 Azure Databricks는 마이크로 일괄 처리에서 12GB를 처리합니다. 이 옵션은 Trigger.Once()와 함께 사용하면 효과가 없습니다. 이 옵션이 제공되지 않으면 속도 제한에 1,000개 파일의 cloudFiles.maxFilesPerTrigger 기본값이 사용됩니다. cloudFiles.maxFilesPerTrigger와 함께 사용하는 경우 Azure Databricks는 cloudFiles.maxFilesPerTrigger 또는 cloudFiles.maxBytesPerTrigger 중 먼저 도달하는 가장 낮은 제한까지 소비합니다.
자세한 내용은 자동 로더란?을 참조하세요.
옵션 유효성 검사
자동 로더는 이제 사용자가 제공하는 옵션을 확인합니다. 알 수 없는 옵션을 제공하는 경우 자동 로더는 옵션을 자동으로 무시하는 대신 오류를 반환합니다. 또한 유효성 검사는 제공된 옵션의 불일치를 검색합니다. 예를 들어 cloudFiles.useNotifications를 false로 설정하고 동시에 Azure Event Grid 및 Queue Storage 서비스에 대한 권한 옵션을 제공하면 validation이 실패합니다. 옵션 유효성 검사를 건너뛰려면 cloudFiles.validateOptions를 false로 설정합니다.
기본 옵션 값 및 호환성 변경 내용
일부 자동 로더 옵션의 기본 동작은 Databricks Runtime 7.2에서 변경되었습니다. 호환성을 보장하기 위해 Databricks Runtime 7.1 이하에서 시작된 스트림의 동작은 Databricks Runtime 7.2 이상을 실행하는 클러스터에서 이러한 스트림을 실행하도록 업그레이드한 후에도 변경되지 않은 상태로 유지됩니다. 자동 로더란?을 참조하세요.
clone을 사용하여 델타 테이블을 효율적으로 복사(공개 미리 보기)
이제 clone 명령을 사용하여 특정 버전에서 델타 테이블의 단순 또는 전체 복제본을 효율적으로 만들 수 있습니다. 전체 복제본(deep clone)은 파일을 원본 테이블에서 대상 테이블로 병렬로 복사하여 만든 델타 테이블의 독립 실행형 복제본입니다. 부분 복제본(shallow clone)은 파일을 대상 테이블에 복사하지 않고 원래 테이블의 파일을 가리키는 저렴하게 만든 복제본입니다. 전체 복제본 또는 부분 복제본을 변경하면 원래 테이블이 아닌 복제본에만 영향을 줍니다. Azure Databricks에서 테이블 복제를 참조하세요.
개선
Snowflake 커넥터: 커넥터가 Spark 3.0 지원을 포함하는 버전 2.8.1로 업그레이드되었습니다.
PySpark 유용성: PySpark 또는 pandas UDF가 실패하면 Azure Databricks에서 이제 Python 쪽 예외와 가장 최근에 실행된 Notebook 코드 줄(해당하는 경우)을 오류 메시지의 위쪽에 표시합니다.
자격 증명 통과:
- 이제 통과 지원 클러스터에서 LDA 변환 함수를 사용할 수 있습니다.
- 이제 통과 사용 클러스터에서 스토리지 검사점 디렉터리를 설정할 수 있습니다.
클러스터 라이브러리: Azure Databricks는 이제 모든 클러스터 라이브러리를 클러스터에 설치된 순서대로 처리합니다. Databricks Runtime 7.1 이하에서는 Maven 및 CRAN 라이브러리만 클러스터에 설치된 순서대로 처리되었습니다. 다른 라이브러리는 비결정적 순서로 설치되었습니다.
TensorBoard:
tensorboard.notebookAPI를 사용하여 TensorBoard 프로세스를 관리합니다.- 단일 클러스터에서 여러 TensorBoard 백 엔드를 실행할 수 있습니다.
- Python Notebook에서
%tensorboard줄 매직 명령을 사용하여 TensorBoard UI를 인라인으로 표시합니다. dbutils.tensorboard는 사용되지 않습니다.
TensorBoard를 참조하세요.
업그레이드된 Python 라이브러리:
- jmespath: 0.9.4에서 0.10.0으로
- koalas: 1.0.1에서 1.1.0으로
설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
Apache Spark
Databricks Runtime 7.2에는 Apache Spark 3.0.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 7.1(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-32234] [SQL] orc 테이블을 선택할 때 Spark sql 명령이 실패
- [SPARK-30616] [SQL] SQL 메타데이터 캐시용 TTL 구성 옵션 도입
- [SPARK-21117] [SQL] 기본 제공 SQL 함수 지원 - WIDTH_BUCKET
- [SPARK-32168] [SQL] SQL 덮어쓰기에서 숨겨진 분할 정확성 버그 수정
- [SPARK-31935] Hadoop 파일 시스템 구성은 데이터 원본 옵션에서 유효해야 함
- [SPARK-32270] [SQL] 다른 인코딩을 사용하여 CSV의 스키마 유추에서 TextFileFormat 사용
- [SPARK-28481] [SQL] 더 많은 식에서 NullIntolerant를 확장해야 함
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL 힌트에서 비 카티전 곱 조인 결과를 변경하지 않아야 함
- [SPARK-32232] [ML][PYSPARK] Scala와 Python 간에 동일한 기본 해결기 값이 ML에 있는지 확인
- [SPARK-32238] [SQL] Utils.getSimpleName을 사용하여 ScalaUDF에서 Malformed 클래스 이름을 적중하지 않도록 방지
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL 힌트에서 비 카티전 곱 조인 결과를 변경하지 않아야 함
- [SPARK-32256] [SQL] HiveExternalCatalog에서 Hadoop VersionInfo를 초기화하도록 강제 적용
- [SPARK-32159] [SQL] Aggregator[Array[_], _, _] 및 UnresolvedMapObjects 간의 통합 수정
- [SPARK-32160] [CORE][PYSPARK] 실행기에서 SparkContext를 만들도록 허용하지 않음
- [SPARK-32168] [SQL] SQL 덮어쓰기에서 숨겨진 분할 정확성 버그 수정
- [SPARK-32024] [WEBUI] HistoryServerDiskManager 초기화 중 ApplicationStoreInfo.size 업데이트
- [SPARK-32214] [SQL] "other" 형식에 대해 makeFromJava에서 생성된 형식 변환 함수에서 잘못된 변수를 사용함
- [SPARK-30703] [SQL] 잘못된 SqlBase.g4 주석 업데이트
- [SPARK-32163] [SQL] 중첩된 정리가 외관상의 변형에서도 작동해야 함
- [SPARK-32124] [CORE] 이전 Spark 버전에서 이벤트가 기록될 때 잘못된 Int.MinValue 값을 사용하여 맵 인덱스를 채움
- [SPARK-32167] [SQL] 내부 필드의 null 허용 여부를 함께 사용하도록 GetArrayStructFields 수정
- [SPARK-32130] [SQL] JsonBenchmark에서 타임스탬프 유추 사용
- [SPARK-32121] [SHUFFLE] ExecutorDiskUtils에서 Windows OS 지원
- [SPARK-32130] [SQL] 기본적으로
inferTimestampJSON 옵션 사용 안 함 - [SPARK-31935] [SQL] Hadoop 파일 시스템 구성은 데이터 원본 옵션에서 유효해야 함
- [SPARK-32095] [SQL] 업데이트된 통계의 사용량을 반영하도록 설명서 업데이트
- [SPARK-32131] [SQL] UNION/EXCEPT/MINUS 연산에서 AnalysisException 메시지 수정
- [SPARK-32068] [WEBUI] 스테이지 탭의 표준 시간대로 인한 작업 시작 시간 표시 문제 수정
- [SPARK-29999] [SS] 실제 메타데이터 로그 디렉터리를 확인하는 테스트 수정
- [SPARK-32127] [SQL] MERGE INTO에 대한 검사 규칙에서 MergeAction.children 이외의 MergeAction.conditition을 사용해야 함
- [SPARK-32038] [SQL] float/double 정규화 후 별칭 이름 다듬기
- [SPARK-32126] [SS] IncrementalExecution에서 Session.active 범위 지정
- [SPARK-32115] [SQL] 정수 오버플로를 처리하도록 SUBSTRING 수정
- [SPARK-32098] [PYTHON] Arrow가 있는 createDataFrame에서 직접 조각화 대신 위치 조각화에 iloc 사용
- [SPARK-32080][SPARK-31998] [SQL] ArrowColumnVector ListArray 접근자 단순화
- [SPARK-32028] [WEBUI] 기록 요약 페이지에서 다중 시도 앱에 대한 앱 ID 링크 수정
- [SPARK-31918] [R] R 4.0.0 이상을 지원하기 위해 닫기 정리에서 SparkR 네임스페이스 아래의 S4 제네릭 메서드를 무시함
- [SPARK-32038] [SQL] NormalizeFloatingNumbers도 고유 집계에서 작동해야 함
- [SPARK-32034] [SQL] HIVE-14817 포트: 종료 시 SessionManager timeoutChecker 스레드를 올바르게 종료함
- [SPARK-32021] [SQL]
make_interval에 대한 초 및 분수의 전체 자릿수 증가 - [SPARK-31980] [SQL] 범위의 시작과 끝이 동일한 날짜인 경우 sequence() 함수가 실패함
- [SPARK-32020] [SQL] SPARK_HOME 또는 spark.test.home이 설정되지 않은 경우 오류 메시지 개선
- [SPARK-32011] [PYTHON][CORE] 핀 스레드 모드에 대한 경고 제거 및 collectWithJobGroup을 사용하도록 안내
유지 관리 업데이트
Databricks Runtime 7.2 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 18.04.4 LTS
- Java: 1.8.0_252
- Scala: 2.12.10
- Python: 3.7.5
- R: R 버전 3.6.3(2020-02-29)
- Delta Lake 0.7.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | 암호화 | 2.8 | cycler | 0.10.0 |
| Cython | 0.29.15 | decorator | 4.4.1 | docutils | 0.15.2 |
| entrypoints | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | jedi | 0.14.1 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | koalas | 1.1.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| parso | 0.5.2 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 0.15.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | requests | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | six | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traitlets | 4.3.3 |
| unattended-upgrades | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | wheel | 0.34.2 |
설치된 R 라이브러리
R 라이브러리는 Microsoft CRAN 스냅샷 2020-07-14에 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.1.8 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| boot | 1.3-25 | brew | 1.0-6 | broom | 0.7.0 |
| callr | 3.4.3 | 캐럿 | 6.0-86 | cellranger | 1.1.0 |
| chron | 2.3-55 | class | 7.3-17 | cli | 2.0.2 |
| clipr | 0.7.0 | cluster | 2.1.0 | codetools | 0.2-16 |
| colorspace | 1.4-1 | commonmark | 1.7 | compiler | 3.6.3 |
| config | 0.3 | covr | 3.5.0 | crayon | 1.3.4 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.12.8 |
| 데이터 세트 | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| desc | 1.2.0 | devtools | 2.3.0 | digest | 0.6.25 |
| dplyr | 0.8.5 | DT | 0.14 | 줄임표 | 0.3.1 |
| evaluate | 0.14 | fansi | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.0 |
| foreign | 0.8-76 | forge | 0.2.0 | fs | 1.4.2 |
| 제네릭(generics) | 0.0.2 | ggplot2 | 3.3.2 | gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | globals | 0.12.5 |
| glue | 1.4.1 | gower | 0.2.2 | graphics | 3.6.3 |
| grDevices | 3.6.3 | grid | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | iterators | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | knitr | 1.29 |
| labeling | 0.3 | later | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | 주기 | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | markdown | 1.1 |
| MASS | 7.3-51.6 | 행렬 | 1.2-18 | memoise | 1.1.0 |
| 메서드 | 3.6.3 | mgcv | 1.8-31 | mime | 0.9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-147 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.2 | parallel | 3.6.3 | pillar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.16.2 | processx | 3.4.3 |
| prodlim | 2019.11.13 | 진행률 | 1.2.2 | promises | 1.1.1 |
| proto | 1.0.0 | ps | 1.3.3 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.3.1 | readxl | 1.3.1 |
| recipes | 0.1.13 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.1.1 | reprex | 0.3.0 | reshape2 | 1.4.4 |
| rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0.11 | rversions | 2.0.2 |
| rvest | 0.3.5 | scales | 1.1.1 | selectr | 0.4-2 |
| sessioninfo | 1.1.1 | shape | 1.4.4 | shiny | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
| spatial | 7.3-11 | splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.3 | 통계 | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | survival | 3.1-12 |
| sys | 3.3 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0.24 | tools | 3.6.3 | usethis | 1.6.1 |
| utf8 | 1.1.4 | utils | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | whisker | 0.4 |
| withr | 2.2.0 | xfun | 0.15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 프로파일러 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.15.1 |
| org.apache.arrow | arrow-memory | 0.15.1 |
| org.apache.arrow | arrow-vector | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 아이비 | 2.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-encoding | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | 속도 | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |