Databricks Runtime 10.0(지원되지 않음)

  • 아티클

다음 릴리스 정보는 Apache Spark 3.2.0에서 제공하는 Databricks Runtime 10.0 및 Databricks Runtime 10.0 Photon에 대한 정보를 제공합니다. Databricks는 2021년 10월에 이 이미지를 릴리스했습니다. Photon은 현재 공개 미리 보기 상태입니다.

새로운 기능 및 향상 기능

새로운 버전의 Apache Spark

Databricks Runtime 10.0 및 Databricks Runtime 10.0 Photon은 Apache Spark 3.2.0을 포함합니다. 자세한 내용은 Apache Spark를 참조하세요.

SELECT 문이 이제 창 함수 결과를 필터링하는 QUALIFY 절을 지원함

이제 SELECT 문이 QUALIFY 절을 지원합니다. QUALIFY는 창 함수의 결과를 필터링하는 데 사용할 수 있습니다. SELECT 목록 또는 QUALIFY 조건에 하나 이상의 창 함수가 있어야 합니다. 예시:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

JDK 11의 클러스터 지원(공개 미리 보기)

이제 Databricks는 JDK(Java Development Kit) 11에 대한 클러스터 지원을 제공합니다.

클러스터를 만들 때 클러스터가 (드라이버 및 실행기 모두에 대해) JDK 11을 사용한다고 지정할 수 있습니다. 이렇게 하려면 고급 옵션 > Spark > 환경 변수에 다음 환경 변수를 추가합니다.

JNAME=zulu11-ca-amd64

이제 자동 로더가 스키마를 null 허용으로 취급함

이제 자동 로더가 모든 유추된 스키마와 사용자가 제공한 스키마를 기본적으로 null 허용으로 취급합니다. 이는 데이터에 null을 허용하지 않는 열에 대한 null 필드가 포함된 경우 잠재적인 데이터 손상을 방지하기 위한 것입니다. 이 동작을 추적하기 위한 새로운 구성 spark.databricks.cloudFiles.schema.forceNullable이 도입되었습니다. 기본적으로 이 구성에는 Apache Spark의 FileStreamSource가 사용하고 기본적으로 true로 설정된 spark.sql.streaming.fileSource.schema.forceNullable의 설정이 포함됩니다.

호환성이 손상되는 변경

모든 Spark SQL 사용자에 대한 호환성이 손상되는 변경

  • 새로운 spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled 구성: true로 설정된 경우, 하위 쿼리가 집계될 때 상관 관계가 있는 같음 조건자의 하위 집합이 허용됩니다. 기본 설정은 true입니다.
  • 새로운 spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled 구성: true로 설정된 경우, 뷰가 만들어질 때 자동 생성 별칭이 차단됩니다. 기본 설정은 true입니다.
  • 새로운 spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled 구성: true로 설정된 경우, 비어 있지 않은 위치를 갖는 CREATE TABLE AS SELECT가 허용되지 않습니다. 기본 설정은 true입니다. spark.sql.legacy.allowNonEmptyLocationInCTAS도 true로 설정된 경우 이 구성은 효과가 없으며 비어 있지 않은 위치를 갖는 CREATE TABLE AS SELECT가 항상 허용됩니다.

ANSI 모드를 사용하도록 설정한 Spark SQL 사용자에 대한 호환성이 손상되는 변경

ANSI 모드에 대한 자세한 내용은 Databricks 런타임의 ANSI 규정 준수를 참조 하세요.

  • 새로운 spark.databricks.behaviorChange.SC83587NextDayDOW.enabled 구성: true로 설정된 경우, next_day 함수에 잘못된 dayOfWeek 인수가 전달되면 ANSI 모드에서 IllegalArgumentException이 throw되고, 그 밖의 경우에는 null이 반환됩니다. 기본 설정은 true입니다.
  • 새로운 spark.databricks.behaviorChange.SC83796CanCast.enabled 구성: true로 설정된 경우, ANSI 모드에서 새로운 명시적 캐스트 구문 규칙이 사용하도록 설정됩니다. 기본 설정은 true입니다.
  • 새로운 spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled 구성: true로 설정된 경우, 문자열을 부울로 캐스팅할 때 구문 분석 오류 예외가 throw되고, 그 밖의 경우에는 null이 반환됩니다. 기본 설정은 true입니다.
  • 새로운 spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled 구성: true로 설정된 경우, 입력이 범위를 벗어나면 abs 함수가 예외를 throw합니다. 기본 설정은 true입니다.

모든 Python 사용자에 대한 호환성이 손상되는 변경

  • Python API delta.tables.DeltaTable.convertToDelta는 이제 올바른 DeltaTable Python 개체를 반환하며, 반환된 개체는 Delta Lake 명령을 실행하는 데 사용할 수 있습니다. 이전에는 직접 호출할 수 없는 내부 개체를 반환했습니다.

라이브러리 업그레이드

Apache Hadoop 3 업그레이드

  • Databricks Runtime 10.0은 Hadoop 종속성을 Hadoop 2.7.4에서 Hadoop 3.3.1로 업그레이드합니다.

동작 변경

  • Hadoop 3은 hadoop-common 라이브러리 대신 hadoop-client-api 및 hadoop-client-runtime 라이브러리를 사용합니다. 이전에 사용된 hadoop-common 라이브러리는 Hadoop 퍼블릭 API 또는 확장에서 사용될 수 있는 특정 타사 종속성을 음영 처리했습니다.
  • Hadoop 3 구성 옵션이 Hadoop 2에서 변경되었습니다. Hadoop 3.3.1 옵션은 core-default.xml을 참조하세요.
  • Databricks는 스토리지 커넥터가 동일한 기본 인증 설정 및 성능 수준을 갖도록 Hadoop 3의 기본 구성 중 일부를 Hadoop 2와 일치하도록 업데이트했습니다.
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • GCS(Google Cloud Storage) 커넥터가 2.1.6에서 2.2.2로 업그레이드되었습니다.
  • Amazon Redshift 커넥터가 이제 s3a:// 체계를 사용합니다. s3n:// 체계는 더 이상 사용되지 않습니다.
  • 음영 처리된 클래스에 더해 Amazon S3 MetadataStore API의 OSS 클래스 이름을 처리합니다. 이에 따라 음영 처리된 클래스 이름이 없어도 OSS 구성을 처리할 수 있습니다.
    • 예를 들어, Hadoop 구성에서 org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore 클래스를 지정할 수 있습니다.
  • new Configuration()과 sparkContext.hadoopConfiguration 이 일관성을 갖습니다.
    • 이제 새 Hadoop 구성이 만들어질 때마다 파일 시스템 체계 및 기본 구성을 포함하여 Databricks Runtime에서 sparkContext.hadoopConfiguration에 미리 정의된 Hadoop 구성과 일치하게 됩니다.
  • Databricks Runtime에 포함된 Hadoop 스토리지 커넥터는 Hadoop 3.3.1과 완전히 호환되지만, OSS Hadoop 3.3.1 커넥터와 동기화되었다고 보장할 수 없으며, 동작이 서로 다를 수 있습니다.
    • Amazon S3 커넥터는 여전히 S3 URL에서 사용자:비밀 인증을 (경고와 함께) 허용합니다. 반면에 HADOOP-14833에서는 이 기능이 제거되었습니다.
  • 이제 globStatus가 항상 정렬된 결과를 반환합니다(HADOOP-10798).
  • unset 및 fs.s3a.endpoint 지역이 null인 경우 fs.s3a.endpoint가 추가됨(SPARK-35878)
    • Databricks가 제공하는 Amazon S3 지역 자동 확인은 설정된 글로벌 엔드포인트에 의해 트리거되지 않는 경우가 있을 수 있습니다. AWS SDK가 지역을 올바르게 확인하므로 이것은 문제가 되지 않습니다.
  • 설정되지 않은 경우 fs.s3a.downgrade.syncable.exceptions가 추가되었습니다(SPARK-35868).
  • LZ4 및 Snappy 코덱이 네이티브 Hadoop 라이브러리를 사용하지 않습니다(HADOOP-17125).

알려진 문제

  • SPARK-36681 SnappyCodec을 사용하여 시퀀스 파일을 쓰면 Hadoop 3.3.1의 알려진 문제로 인해 UnsatisfiedLinkError가 발생하고 실패합니다(HADOOP-17891).

Apache Spark

Databricks Runtime 10.0은 Apache Spark 3.2.0을 포함합니다.

이 섹션의 내용:

중요 사항

Core 및 Spark SQL

ANSI SQL 호환성 개선 사항

  • ANSI SQL INTERVAL 형식 지원(SPARK-27790)
  • ANSI 모드의 새로운 형식 강제 변환 구문 규칙(SPARK-34246)

성능 향상

  • 쿼리 최적화
    • 최적화 프로그램에서 중복 집계 제거(SPARK-33122)
    • 조인을 사용한 프로젝트 푸시 다운 제한(SPARK-34622)
    • union, sort 및 range 연산자의 카디널리티 추정(SPARK-33411)
    • In/InSet 조건자의 UnwrapCastInBinaryComparison 지원(SPARK-35316)
    • 파티션 정리 후에 필요한 통계 유지(SPARK-34119)
  • 쿼리 실행
    • 기본적으로 Zstandard 버퍼 풀 사용(SPARK-34340, SPARK-34390)
    • 정렬 병합 조인의 모든 조인 형식에 대해 code-gen 추가(SPARK-34705)
    • 중첩된 루프 조인 개선 사항 브로드캐스트(SPARK-34706)
    • 최종 해시 집계를 위한 두 가지 수준의 해시 맵 지원(SPARK-35141)
    • 동적 파티션 및 버킷 테이블 쓰기를 위한 동시 기록기 허용(SPARK-26164)
    • Thriftserver에서 FETCH_PRIOR의 처리 성능 향상(SPARK-33655)

커넥터 개선 사항

  • 쪽모이 세공 마루
    • Parquet 1.12.1로 업그레이드(SPARK-36726)
    • Parquet에서 int32 실제 형식으로 저장된 부호 없는 Parquet 형식 읽기(SPARK-34817)
    • 부호 있는 int64 실제 형식으로 저장된 부호 없는 Parquet int64 논리 형식을 소수점(20, 0)으로 읽기(SPARK-34786)
    • 필터 푸시다운에서 Parquet 개선(SPARK-32792)
  • 오크
  • Avro
    • Avro 버전 1.10.2로 업그레이드(SPARK-34778)
    • “avro.schema.literal”을 갖는 분할된 Hive 테이블의 Avro 스키마 개선 지원(SPARK-26836)
    • 읽기에서 날짜/시간 재지정을 제어하는 새로운 Avro 데이터 원본 옵션 추가(SPARK-34404)
    • Avro에서 사용자 제공 스키마 URL에 대한 지원 추가(SPARK-34416)
    • 위치 기반 Catalyst-Avro 스키마 매칭에 대한 지원 추가(SPARK-34365)
  • JSON
    • Jackson 버전 2.12.3으로 업그레이드(SPARK-35550)
    • Json 데이터 원본이 비 ASCII 문자를 codepoint로 쓰도록 허용(SPARK-35047)
  • Jdbc
    • JDBCRelation에서 보다 정밀한 파티션 스트라이드 계산(SPARK-34843)
  • not-in에 의한 Hive 메타스토어 지원 필터(SPARK-34538)

향상된 기능

  • 하위 쿼리가
    • 상관 관계를 갖는 하위 쿼리 개선(SPARK-35553)
  • 새로운 기본 제공 함수
  • 기본적으로 Apache Hadoop 3.3.1 사용(SPARK-29250)
  • 섞기 블록에 대해 체크섬 추가(SPARK-35275)
  • 기본적으로 spark.storage.replication.proactive 사용(SPARK-33870)
  • SparkContext 중지 중에 대체 스토리지 정리 지원(SPARK-34142)
  • Scala Dataset API에서 Java 열거형 지원(SPARK-23862)
  • 아이비 좌표를 갖는 ADD JAR이 Hive 전이 동작과 호환되어야 함(SPARK-34506)
  • ADD ARCHIVE 및 LIST ARCHIVES 명령 지원(SPARK-34603)
  • ADD FILE/JAR/ARCHIVE 명령의 여러 경로 지원(SPARK-35105)
  • CREATE FUNCTION USING 구문에 대해 보관 파일을 리소스로 지원(SPARK-35236)
  • ServiceLoader에서 SparkSessionExtensions 로드(SPARK-35380)
  • functions.{scala,py}에 문장 함수 추가(SPARK-35418)
  • 파티션 관리용으로 Hive 메타스토어를 사용하는 비Hive 테이블에 spark.sql.hive.metastorePartitionPruning 적용(SPARK-36128)
  • 웹 UI에 초과 손실 이유 전파(SPARK-34764)
  • 비결정적 With-CTE이 인라인 처리 방지(SPARK-36447)
  • 특정 데이터베이스에서 모든 테이블의 분석 지원(SPARK-33687)
  • Spark의 표준화된 예외 메시지(SPARK-33539)
  • LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE에 대해 (IGNORE | RESPECT) NULLS 지원(SPARK-30789)

기타 주목할 만한 변경 내용

  • 모니터
    • ExternalShuffleService에 대한 새로운 메트릭(SPARK-35258)
    • 새로운 스테이지 수준 REST API 및 매개 변수 추가(SPARK-26399)
    • REST API에서 태스크 및 실행기 메트릭 배포 지원(SPARK-34488)
    • 해시 집계에 대한 대체 메트릭 추가(SPARK-35529)
  • Dataset#summary의 옵션으로 count_distinct 추가(SPARK-34165)
  • SQL/Core에서 ScriptTransform 구현(SPARK-31936)
  • BlockManagerMaster 드라이버 하트비트 시간 제한을 구성할 수 있도록 지원(SPARK-34278)
  • 클라이언트 쪽에서 섞기 서비스 이름을 구성할 수 있도록 지원, 서버 쪽에서 클래스 경로 기반 구성 재정의 허용(SPARK-34828)
  • ExecutorMetricsPoller는 하트비트가 발생할 때까지 스테이지 항목을 stageTCMP에 유지해야 함(SPARK-34779)
  • RewriteDistinctAggregates에서 if를 필터 절로 대체(SPARK-34882)
  • 셀프 조인에 CostBasedJoinReorder를 적용할 때 오류 수정(SPARK-34354)
  • CREATE TABLE LIKE가 예약된 테이블 속성을 준수해야 함(SPARK-34935)
  • YARN 클러스터 모드에서 ivySettings 파일을 드라이버로 전송(SPARK-34472)
  • USING/NATURAL JOIN의 중복된 공통 열 확인(SPARK-34527)
  • describe table 명령의 내부 뷰 속성 숨기기(SPARK-35318)
  • distribute/cluster by/repartition 힌트의 누락된 특성 해결 지원(SPARK-35331)
  • FileStreamSink.hasMetadata에서 경로를 확인할 때 오류 무시(SPARK-34526)
  • 누락된 구성을 유추하여 s3a 매직 커밋자 지원 개선(SPARK-35383)
  • STRUCT 형식 문자열에서 omit : 허용(SPARK-35706)
  • AQE가 안전하게 최적화할 수 있는지 여부를 구분하는 새 연산자 추가(SPARK-35786)
  • null로 채워진 unionByName으로 정렬하는 대신 새 중첩된 구조체 필드 추가(SPARK-35290)
  • ArraysZip이 필드 이름을 유지하여 분석기/최적화 프로그램에 의한 다시 쓰기를 방지해야 함(SPARK-35876)
  • NullType의 형식 이름으로 Void 사용(SPARK-36224)
  • 유연한 파일 이름 지정을 위해 FileCommitProtocol에 새 API 도입(SPARK-33298)

동작 변경 내용

각 구성 요소 인 Spark Core에 대한 마이그레이션 가이드를 참조하세요.

구조적 스트리밍

주요 기능

  • EventTime 기반 세션화(세션 창)(SPARK-10816)
  • Kafka 클라이언트 2.8.0으로 업그레이드(SPARK-33913)
  • Scala에서 여러 일괄 처리에서 Trigger.Once와 같은 스트리밍 쿼리를 실행하기 위한 Trigger.AvailableNow(SPARK-36533)

기타 주목할 만한 변경 내용

  • 트리거당 읽을 레코드의 최소 개수를 지정하기 위해 Kafka 원본에 새로운 옵션 도입(SPARK-35312)
  • 원본 진행률에 최신 오프셋 추가(SPARK-33955)

PySpark

Project Zen

기타 주목할 만한 변경 내용

  • 기본적으로 고정된 스레드 모드 사용(SPARK-35303)
  • Arrow 실행을 위한 NullType 지원 추가(SPARK-33489)
  • toPandas에 Arrow self_destruct 지원 추가(SPARK-32953)
  • pyspark 스레드 고정 모드에 대한 스레드 대상 래퍼 API 추가(SPARK-35498)

동작 변경 내용

마이그레이션 가이드를 참조하세요.

MLlib

성능 개선 사항

  • BucketedRandomProjectionLSH transform 최적화(SPARK-34220)
  • w2v findSynonyms 최적화(SPARK-34189)
  • 경계 검사를 건너뜀으로써 희소 GEMM 최적화(SPARK-35707)
  • GEMV에 의한 ML ALS recommendForAll의 성능 개선(SPARK-33518)

모델 학습 개선 사항

  • 로지스틱 집계기 리팩터링 - 가상 가운데 맞춤 지원(SPARK-34797)
  • 인터셉트 지원 가운데 맞춤을 사용하는 이진 로지스틱 회귀(SPARK-34858, SPARK-34448)
  • 인터셉트 지원 가운데 맞춤을 사용하는 다항 로지스틱 회귀(SPARK-34860)

BLAS 개선 사항

  • com.github.fommil.netlib를 dev.ludovic.netlib:2.0으로 대체(SPARK-35295)
  • 벡터화된 BLAS 구현 추가(SPARK-33882)
  • dev.ludovic.netlib로 대체 BLAS 가속(SPARK-35150)

기타 주목할 만한 변경 내용

  • OVR 변환이 잠재적인 열 충돌을 수정(SPARK-34356)

사용 중단 및 제거

  • spark.launcher.child커넥트ionTimeout(SPARK-33717) 사용 중단
  • GROUP BY … GROUPING SETS(…) 및 GROUP BY GROUPING SETS(…) 승격(SPARK-34932)
  • ps.broadcast API 사용 중단(SPARK-35810)
  • num_files argument 사용 중단(SPARK-35807)
  • DataFrame.to_spark_io 사용 중단(SPARK-35811)

유지 관리 업데이트

Databricks Runtime 10.0 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
Antergos Linux 2015.10(ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.3
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 six 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2021-09-21)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.0 cachem 1.0.6 callr 3.7.0
캐럿 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.3.1 crayon 1.4.1 credentials 1.3.1
curl 4.3.2 data.table 1.14.0 datasets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 줄임표 0.3.2
evaluate 0.14 fansi 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
foreign 0.8-81 forge 0.2.0 fs 1.5.0
future 1.22.1 future.apply 1.8.1 gargle 1.2.0
제네릭(generics) 0.1.0 gert 1.4.1 ggplot2 3.3.5
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globals 0.14.0 glue 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 graphics 4.1.1
grDevices 4.1.1 grid 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.4.3
highr 0.9 hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.34 labeling 0.4.2
later 1.3.0 lattice 0.20-44 lava 1.6.10
주기 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 markdown 1.1 MASS 7.3-54
행렬 1.3-4 memoise 2.0.0 메서드 4.1.1
mgcv 1.8-37 mime 0.11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallelly 1.28.1 pillar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 진행률 1.2.2 progressr 0.8.0
promises 1.2.0.1 proto 1.0.0 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 recipes 0.1.16 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.1
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 통계 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0.4
withr 2.4.2 xfun 0.26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 아이비 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1