Databricks Runtime 9.1 LTS

  • 아티클

다음은 Apache Spark 3.1.2에서 제공하는 Databricks Runtime 9.1 LTS 및 Databricks Runtime 9.1 LTS Photon에 대한 릴리스 정보를 제공합니다. Databricks는 2021년 9월에 이러한 이미지를 릴리스했습니다. Photon은 현재 공개 미리 보기 상태입니다.

참고 항목

LTS는 이 버전이 장기적인 지원을 받고 있다는 것을 의미합니다. Databricks Runtime LTS 버전 수명 주기를 참조 하세요.

새로운 기능 및 향상 기능

이제 자동 로더 스키마 힌트가 배열 및 맵 형식에서 작동함

배열 및 맵 형식은 자동 로더에 대한 스키마 힌트를 사용한 스키마 추론 재정의에서 지원됩니다.

배열에 대한 스키마 힌트의 예는 다음과 같습니다.

  1. arr Array<TYPE>은(는) 배열 형식을 변경합니다.
  2. arr.element TYPE은(는) 배열 형식을 변경합니다(element 키워드를 사용).
  3. arr.element.x TYPE은(는) 구조체 배열에서 중첩된 필드 형식을 변경합니다.

처음 두 예제는 배열 형식을 arr에서 TYPE(으)로 변경하는 힌트이지만 서로 다른 구문을 사용합니다. 세 번째 예제에서 arr은(는) 필드 x가 있는 구조체 배열입니다. 이 예제에서는 x 형식을 TYPE(으)로 변경하는 방법을 보여 줍니다.

맵에 대한 스키마 힌트의 예는 다음과 같습니다.

  1. m Map<KEY-TYPE, VALUE-TYPE>은(는) 맵 키 및 값 형식을 변경합니다.
  2. m.key TYPE은(는) 맵 키의 형식을 변경합니다.
  3. m.value TYPE은(는) 맵 값의 형식을 변경합니다.
  4. m.key.x TYPE은(는) 맵 키의 필드 형식을 변경합니다.
  5. m.value.x TYPE은(는) 맵 값의 필드 형식을 변경합니다.

첫 번째 예제에서는 맵 m의 키 및 값 형식을 각각 KEY_TYPE 및 VALUE_TYPE(으)로 변경합니다. 키 형식 또는 값 형식만 변경해야 하는 경우 두 번째 및 세 번째 예제를 사용할 수 있습니다. 네 번째 및 다섯 번째 예제에서 m은(는) 필드 x이(가) 있는 구조체 형식의 키와 값이 있는 맵입니다. 이 예제에서는 x 형식을 TYPE(으)로 변경하는 방법을 보여 줍니다.

병합 스키마에 대한 Avro 파일 지원

이제 Avro 파일 형식은 파일을 읽을 때 mergeSchema 옵션을 지원합니다. Avro 파일을 읽을 때 mergeSchema을(를) true로 설정하면 단일 파일이 아닌 Avro 파일 집합에서 스키마가 유추됩니다. 이렇게 하면 개별 스키마가 다른 경우에도 모든 파일을 읽을 수 있는 스키마를 유추하게 되어 유용성이 향상됩니다. 구성을 참조하세요.

자동 로더 증분 목록 지원(공개 미리 보기)

사전순으로 생성된 파일의 경우, 자동 로더란?은 이제 사전순 파일 정렬과 기존의 최적화된 API를 활용하여 전체 디렉터리를 나열하는 대신 이전에 수집된 파일을 나열함으로써 디렉터리 목록의 효율성을 높일 수 있습니다. 자동 로더는 지정된 디렉터리가 기본적으로 증분 목록에 적합한지 여부를 자동으로 검색합니다. 이 동작을 명시적으로 제어하려면 새 cloudFiles.useIncrementalListing 옵션을 켜기(true), 끄기(false) 또는 자동(auto)으로 설정합니다. 이 동작을 true(으)로 설정하면 모든 데이터가 완전히 수집되도록 cloudFiles.backfillInterval 옵션을 설정하여 데이터에 대한 일반 백필을 예약할 수도 있습니다.

이제 Delta가 임의 replaceWhere를 지원함

덮어쓰기 모드와 함께 replaceWhere 옵션을 사용하여 옵션에 정의된 조건자와 일치하는 데이터를 동시에 덮어쓸 수 있습니다. 이전에 replaceWhere은(는) 파티션 열에 대해서만 조건자를 지원했지만 이제는 임의의 식이 될 수 있습니다. 테이블에 쓰기를 참조하세요.

이제 Google Cloud용 자동 로더에서 파일 알림(공개 미리 보기)을 지원함

이제 자동 로더가 Google Cloud에서 파일 알림 모드를 지원합니다. 자동 로더가 Google Cloud Pub/Sub 리소스를 자동으로 설정할 수 있도록 .option("cloudFiles.useNotifications", "true")을(를) 설정합니다. 파일 알림 모드를 사용하면 입력 디렉터리를 나열하지 않고 새 파일이 도착하는 대로 검색되고 수집됩니다. 자동 로더 파일 알림 모드란?을 참조하세요.

이제 CREATE FUNCTION이 테이블 함수 만들기를 지원함

스칼라 값을 반환하는 스칼라 함수를 만드는 것 외에도, 이제 행 집합을 반환하는 테이블 함수를 만들 수 있습니다. CREATE FUNCTION(SQL 및 Python)을 참조하세요.

이제 Kafka 스트리밍 원본이 estimatedTotalBytesBehindLatest 메트릭을 보고함

이제 Kafka 스트리밍 원본은 모든 일괄 처리 후에 소비자가 사용 가능한 최신 바이트로부터 몇 바이트 뒤처져 있는지 예측합니다. 이 메트릭을 사용하여 스트림 진행률을 추적할 수 있습니다. Kafka 메트릭 검색을 참조 하세요.

예제 메트릭 출력:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

배열 내의 구조체에 대해 이제 Delta MERGE INTO가 이름별로 구조체 필드를 확인하고 구조체 스키마를 발전시킴

이제 Delta MERGE INTO은(는) 구조체 배열에 대한 이름 및 자동 스키마 진화를 통해 구조체 필드의 해결을 지원합니다. spark.databricks.delta.schema.autoMerge.enabled을(를) true로 설정하여 자동 스키마 진화를 사용하도록 설정한 경우, UPDATE 및 INSERT 절은 대상 배열에 정의된 해당 데이터 형식으로 캐스팅하고 원본 또는 대상의 추가 필드 또는 누락된 필드를 null 값으로 채워 이름별로 배열 내의 구조체 필드를 확인합니다. 자동 스키마 진화를 사용하지 않도록 설정한 경우, UPDATE 및 INSERT 절은 이름별로 배열 내의 구조체 필드를 확인하지만 추가 필드를 발전시킬 수는 없습니다. 구조체 배열을 위한 자동 스키마 진화를 참조하세요.

버그 수정

  • JVM DeleteOnExit 기능으로 인해 장기 실행 작업 또는 서비스에서 발생할 수 있는 Amazon S3 커넥터의 메모리 누수가 해결되었습니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • plotly를 4.14.3에서 5.1.0으로
  • 업그레이드된 R 라이브러리:
    • base를 4.1.0에서 4.1.1로
    • bslib를 0.2.5.1에서 0.3.0으로
    • cachem을 1.0.5에서 1.0.6으로
    • compiler를 4.1.0에서 4.1.1로
    • datasets를 4.1.0에서 4.1.1로
    • future를 1.21.0에서 1.22.1로
    • gert를 1.3.1에서 1.3.2로
    • graphics를 4.1.0에서 4.1.1로
    • grDevices를 4.1.0에서 4.1.1로
    • grid를 4.1.0에서 4.1.1로
  • 업그레이드된 Java 라이브러리:
    • org.eclipse.jetty를 9.4.36.v20210114에서 9.4.42.v20210604로

Apache Spark

Databricks Runtime 9.1 LTS에는 Apache Spark 3.1.2가 포함됩니다. 이 릴리스에는 Databricks Runtime 9.0(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-36674][SQL][CHERRY-PICK] ILIKE 지원 - 대/소문자를 구분하지 않는 LIKE
  • [SPARK-36353][SQL][3.1] RemoveNoopOperators는 출력 스키마를 유지해야 함
  • [SPARK-35876][SQL][3.1] ArraysZip은 필드 이름이 분석기/최적화 프로그램에 의해 다시 작성되지 않도록 유지해야 함
  • [SPARK-36398][SQL] Spark Thrift Server 로그에서 중요한 정보 편집
  • [SPARK-36498][SQL] byName V2 쓰기에서 입력 쿼리의 내부 필드 순서 변경
  • [SPARK-36614][CORE][UI] UI의 서비스 해제로 인한 실행기 손실 사유 수정
  • [SPARK-36012][SQL] SHOW CREATE TABLE에 null 플래그 추가
  • [SPARK-36509][CORE] 작업자가 독립 실행형 클러스터에서 중지되는 경우 실행기가 다시 예약되지 않는 문제 해결
  • [SPARK-36603][CORE] LevelDB에서 SoftReference가 아닌 WeakReference 사용
  • [SPARK-36564][CORE] LiveRDDDistribution.toApi에서 NullPointerException 수정
  • [SPARK-36086][SQL][3.1] CollapseProject 프로젝트 바꾸기 별칭은 원본 열 이름을 사용해야 함
  • [SPARK-33527][SQL] 일반 데이터베이스와 일관적이도록 디코딩 기능을 확장
  • [SPARK-36400][SPARK-36398][SQL][WEBUI] ThriftServer가 spark.sql.redaction.string.regex를 인식하도록 함
  • [SPARK-34054][CORE] BlockManagerDecommissioner 코드 정리
  • [SPARK-36500][CORE] 작업 중단 시 temp_shuffle 파일 누수 수정
  • [SPARK-36489][SQL] 단일 버킷이 있는 테이블에서 그룹화 키가 없는 집계 함수가 여러 행을 반환
  • [SPARK-36464][CORE] 2GB 이상의 데이터 쓰기를 위해 ChunkedByteBufferOutputStream의 기본 크기 변수 초기화를 수정
  • [SPARK-36339][SQL][3.0] 집계의 일부가 아닌 그룹화에 대한 참조를 바꿔야 함
  • [SPARK-36354][CORE] EventLogFileReader는 로그가 없는 롤링 이벤트 로그 디렉터리를 건너뛰어야 함
  • [SPARK-36242][CORE][3.1] ExternalSorter.spillMemoryIteratorToDisk 메서드에서 set success = true 전에 스필 파일이 닫혔는지 확인
  • [SPARK-36211][PYTHON] udf 반환 값의 올바른 입력
  • [SPARK-34222][SQL] 부울 단순화 규칙 향상
  • [SPARK-35027][CORE] 쓰기 중일 때 FileAppender에서 inputStream 닫기...
  • [SPARK-36269][SQL] 설정된 데이터 열만 Hive 열 이름 구성으로 수정
  • [SPARK-36213][SQL] PartitionSpec이 있는 테이블 명령 설명에 대한 PartitionSpec 정규화
  • [SPARK-36210][SQL] Dataset.withColumns에서 열 삽입 순서 유지
  • [SPARK-36079][SQL] Null 기반 필터 예상치는 항상 [0, 1] 범위에 있어야 함
  • [SPARK-28266][SQL] convertToLogicalRelation은 Hive 테이블을 읽을 때 path 속성을 해석하지 않아야 함

유지 관리 업데이트

Databricks Runtime 9.1 LTS 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
Antergos Linux 2015.10(ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 six 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2021-09-08)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.0 cachem 1.0.6 callr 3.7.0
캐럿 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.3.1 crayon 1.4.1 credentials 1.3.1
curl 4.3.2 data.table 1.14.0 데이터 세트 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 줄임표 0.3.2
evaluate 0.14 fansi 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
foreign 0.8-81 forge 0.2.0 fs 1.5.0
future 1.22.1 future.apply 1.8.1 gargle 1.2.0
제네릭(generics) 0.1.0 gert 1.3.2 ggplot2 3.3.5
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globals 0.14.0 glue 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 graphics 4.1.1
grDevices 4.1.1 grid 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.4.3
highr 0.9 hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.3 httpuv 1.6.2 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ID 1.0.1
ini 0.3.1 ipred 0.9-11 isoband 0.2.5
iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.33 labeling 0.4.2
later 1.3.0 lattice 0.20-44 lava 1.6.10
주기 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 markdown 1.1 MASS 7.3-54
행렬 1.3-4 memoise 2.0.0 메서드 4.1.1
mgcv 1.8-36 mime 0.11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallelly 1.27.0 pillar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.1
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 진행률 1.2.2 progressr 0.8.0
promises 1.2.0.1 proto 1.0.0 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 recipes 0.1.16 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2.10
RODBC 1.3-18 roxygen2 7.1.1 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.1
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.6.0
sourcetools 0.1.7 sparklyr 1.7.1 SparkR 3.1.1
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 통계 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.4 waldo 0.3.0 whisker 0.4
withr 2.4.2 xfun 0.25 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 아이비 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.42.v20210604
org.eclipse.jetty jetty-continuation 9.4.42.v20210604
org.eclipse.jetty jetty-http 9.4.42.v20210604
org.eclipse.jetty jetty-io 9.4.42.v20210604
org.eclipse.jetty jetty-jndi 9.4.42.v20210604
org.eclipse.jetty jetty-plus 9.4.42.v20210604
org.eclipse.jetty jetty-proxy 9.4.42.v20210604
org.eclipse.jetty jetty-security 9.4.42.v20210604
org.eclipse.jetty jetty-server 9.4.42.v20210604
org.eclipse.jetty jetty-servlet 9.4.42.v20210604
org.eclipse.jetty jetty-servlets 9.4.42.v20210604
org.eclipse.jetty jetty-util 9.4.42.v20210604
org.eclipse.jetty jetty-util-ajax 9.4.42.v20210604
org.eclipse.jetty jetty-webapp 9.4.42.v20210604
org.eclipse.jetty jetty-xml 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-api 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-client 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-common 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-server 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-servlet 9.4.42.v20210604
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52