Databricks Runtime 8.0 (지원 되지 않음)

Databricks는 3 월 2021에이 이미지를 릴리스 했습니다.

다음 릴리스 정보는 Apache Spark 3.1.1에서 제공 하 Databricks Runtime 8.0에 대 한 정보를 제공 합니다.

새로운 기능

Databricks Runtime 8.0 Apache Spark 3.1.1를 포함 합니다. 자세한 내용은 Apache Spark를 참조 하세요.

향상 된 기능

형식이 지정 되지 않은 경우 이제 델타가 기본 형식입니다.

Databricks Runtime 8.0에서는 기본 형식을로 변경 하 여 delta 델타 테이블을 보다 쉽게 만들 수 있습니다. SQL 명령 또는 api를 사용 하 여 테이블을 만들 때 {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} 형식을 지정 하지 않은 경우 기본 형식은 delta 입니다.

델타 Lake를 사용 하면 다양 한 스키마 유효성 검사, 품질 제약 조건 및 트랜잭션 보장으로 Parquet 보다 더 나은 성능을 얻을 수 있습니다. 델타 Lake를 사용 하면 단일 데이터 원본에서 통합 된 구조적 스트리밍 및 일괄 처리를 통해 데이터 파이프라인을 단순화할 수 있습니다.

Databricks에서 델타 Lake를 사용 하 여 데이터를 저장 하는 것이 좋지만 델타 Lake로 마이그레이션해야 하는 레거시 워크플로가 있을 수 있습니다. 기존 워크플로를 마이그레이션하는 방법에 대 한 자세한 내용은 Databricks Runtime 8.0 마이그레이션 가이드를 참조 하세요.

새 구조적 스트리밍 기본 트리거 간격으로 비용이 감소 합니다.

스트리밍 쿼리에서를 사용 하 여 트리거 간격을 설정 하지 않으면 Trigger.ProcessingTime 간격은 500 밀리초로 설정 됩니다. 이전에는 기본 간격이 0 밀리초 였습니다. 이렇게 변경 하면 빈 트리거의 수가 줄어들고 클라우드 저장소에 대 한 비용 (예: 나열)이 줄어듭니다.

자격 증명 통과에 LDA transform 함수 사용 (공개 미리 보기)

이제 인증을 위해 자격 증명 통과를 사용 하도록 구성 된 클러스터에서 LDA transform 함수를 사용할 수 있습니다.

자격 증명 통과로 구성 된 단일 사용자 클러스터에는 더 이상 신뢰할 수 있는 파일 시스템 필요 하지 않습니다 (공개 미리 보기)

단일 사용자로 자격 증명을 통과 하도록 구성 된 표준 또는 작업 클러스터를 사용할 경우 더 이상 로컬 파일 시스템를 신뢰할 수 있는 파일 시스템로 구성할 필요가 없습니다. 이 변경은 단일 사용자 클러스터에서 작업을 실행할 때 불필요 한 파일 시스템 제한을 제거 합니다.

라이브러리 업그레이드

Apache Spark

Databricks Runtime 8.0 Apache Spark 3.1.1를 포함 합니다.

이 섹션에서는 다음 작업을 수행합니다.

코어 및 Spark SQL

강조 표시

ANSI SQL 호환성 향상

  • Char/varchar 데이터 형식 지원 (SPARK-33480)
  • ANSI 모드: null을 반환 하는 대신 런타임 오류 (SPARK-33275)
  • ANSI 모드: 새 명시적 캐스트 구문 규칙 (SPARK-33354)
  • SQL 표준 명령 추가 SET TIME ZONE (SET TIME ZONE)
  • create table SQL 구문 통합 (SPARK-31257)
  • 임시 보기 및 영구 보기 동작 통합 (SPARK-33138)
  • 문에서 지원 열 목록 INSERT (INSERT)
  • ANSI 중첩 된 대괄호로 묶은 주석 지원 (SPARK-28880)

성능 향상

  • 무작위 서비스 없이 호스트 로컬 순서 섞기 데이터 읽기 (SPARK-32077)
  • 다시 분할 노드 (SPARK-32276) 전에 중복 된 정렬 제거
  • 부분 푸시 다운 조건자 (spark-32302, spark-32352)
  • 확장을 통해 필터 푸시 (SPARK-33302)
  • MY.CNF 변환을 통해 조인을 통해 더 많은 조건자를 푸시합니다 (SPARK-31705).
  • 브로드캐스트 해시 조인의 출력 분할을 유지 하 여 순서 섞기 제거 (SPARK-31869)
  • 다시 정렬 조인 키 (SPARK-32282)를 개선 하 여 순서 섞기 제거
  • 출력 분할 및 sortorder를 표준화 하 여 순서 섞기 제거 (SPARK-33399)
  • 섞은 해시 조인 개선 (SPARK-32461)
    • 섞은 hash join 빌드 쪽 분할 유지 (SPARK-32330)
    • Hash join (BHJ 및 SHJ) 스트림 측 순서 유지 (SPARK-32383)
    • Sort merge join에 대 한 버킷 팅 테이블 병합 (SPARK-32286)
    • 섞은 hash join에 대 한 코드를 추가 합니다 (SPARK-32421).
    • 섞은 hash join에서 full outer join 지원 (SPARK-32399)
  • 전체 단계-codegen를 사용 하 여 프로젝트에서 하위 식 제거 지원 (SPARK-33092)
  • 조건 식에서 하위 식 제거 지원 (SPARK-33337)
  • 해석 식 계산에 대 한 하위 식 제거 지원 (SPARK-33427)
  • 해석 조건자에 대 한 하위 식 제거 지원 (SPARK-33540)
  • 기타 최적화 프로그램 규칙
    • 규칙 ExtractSingleColumnNullAwareAntiJoin (ExtractSingleColumnNullAwareAntiJoin)
    • 규칙 EliminateNullAwareAntiJoin (EliminateNullAwareAntiJoin)
    • 규칙 EliminateAggregateFilter (EliminateAggregateFilter)
    • 규칙 UnwrapCastInBinaryComparison (UnwrapCastInBinaryComparison)
    • 규칙 DisableUnnecessaryBucketedScan (DisableUnnecessaryBucketedScan)
    • 규칙 CoalesceBucketsInJoin (CoalesceBucketsInJoin)
    • 프로젝트 없이 생성 된 불필요 한 중첩 필드 정리 (SPARK-29721)
    • 집계 및 확장에서 불필요 한 중첩 필드 정리 (SPARK-27217)
    • 식 및 join에서 불필요 한 중첩 필드 정리 (SPARK-31736)
    • 코스메틱 변형에 대해 불필요 한 중첩 필드 정리 (SPARK-32163)
    • 창에서 불필요 한 중첩 필드 정리 및 정렬 (SPARK-32059)
    • CreateArray/CreateMap 크기를 해당 자식의 크기 (SPARK-33544)로 최적화

확장성 향상

  • SupportsPartitionsDataSourceV2에 api 추가 (SupportsPartitions)
  • SupportsMetadataColumnsDataSourceV2에서 API 추가 (SupportsMetadataColumns)
  • SQL cache serialization을 플러그형으로 설정 (SPARK-32274)
  • purgeTableCatalog.dropTable V2 catalog에 대 한 옵션 소개 (purge)

향상 된 커넥터

  • Hive Metastore 파티션 필터 푸시 다운 개선 (SPARK-33537)
  • Parquet
    • ’Parquet의 map s 키 형식에 복합 유형 허용 (’)
    • 의 기준 주소 없이 Parquet에서 INT96 저장 및 로드 허용 (SPARK-33160)
  • ORC
    • ORC에 대 한 중첩 열 조건자 푸시 다운 (SPARK-25557)
    • Apache ORC를 1.5.12로 업그레이드 (SPARK-33050)
  • CSV
    • CSV 스키마를 유추 하는 동안 SQL 텍스트 데이터 원본 활용 (SPARK-32270)
  • JSON
    • JSON 데이터 원본의 지원 필터 푸시 다운 (SPARK-30648)
  • JDBC
  • Avro
    • Avro 데이터 원본에서의 필터 푸시 다운 지원 (SPARK-32346)

향상된 기능

  • 노드 서비스 해제 (SPARK-20624)
    • 기본 프레임 워크 (SPARK-20628)
    • 서비스를 해제 하는 동안 RDD 블록 마이그레이션 (SPARK-20732)
    • 동적 크기 조정의 일부로 정상 서비스 해제 (SPARK-31198)
    • 서비스를 해제 하는 동안 순서 섞기 블록 마이그레이션 (SPARK-20629)
    • 작업 및 마이그레이션 차단이 완료 된 경우에만 executor 종료 (SPARK-31197)
    • 서비스 해제 중 대체 (fallback) 저장소 지원 (SPARK-33545)
  • 새로운 기본 제공 함수
  • 명령 향상 설명 (spark-32337, spark-31325)
  • 사용자 제공 힌트를 사용 하지 않도록 설정 하는 옵션 제공 (SPARK-31875)
  • Hive 스타일 REPLACE COLUMNS 구문 지원 (SPARK-30613)
  • 지원 LIKE ANYLIKE ALL 연산자 (LIKE ANY)
  • 제한 없이 MATCHED 지원 NOT MATCHEDMERGE INTO (MATCHED)
  • 지원 F -접미사로 float 리터럴 (F)
  • RESET단일 구성을 다시 설정 하는 구문 지원 (RESET)
  • 지원 필터 식에서 DISTINCT (DISTINCT)을 동시에 사용할 수 있습니다.
  • DSv2에 대 한 alter table add/drop partition 명령 지원 (SPARK-32512)
  • NOT IN중첩 된 조건 내에서 하위 쿼리 지원 OR (NOT IN)
  • 지원 REFRESH FUNCTION 명령 (REFRESH FUNCTION)
  • sameSemanticssementicHash 데이터 집합의 및 메서드 추가 (sameSemantics)
  • UDF에서 구성 된 사례 클래스 유형 지원 (SPARK-31826)
  • 인코더의 지원 열거 (SPARK-32585)
  • 중첩 된 필드 Api withFielddropFields (withField, dropFields) 지원
  • 에서 누락 된 열에 대 한 null 채우기 지원 unionByName (unionByName)
  • DataFrameReader.table지정 된 옵션을 사용할 수 있도록 지원 (DataFrameReader.table, spark-32844)
  • 에서 HDFS 위치 지원 spark.sql.hive.metastore.jars (spark.sql.hive.metastore.jars)
  • --archives기본적으로 지원 옵션 (--archives, spark-33615)
  • ExecutorPlugin작업 시작 및 종료 이벤트에 대 한 메서드를 포함 하도록 API 향상 (ExecutorPlugin)

기타 주목할 만한 변경 내용

  • Spark 문서 사이트에 검색 기능 제공 (spark-33166)
  • Apache 화살표를 2.0.0로 업그레이드 (SPARK-33213)
  • Thrift 서버에서 Java 8 시간 API 사용 (SPARK-31910)
  • Udf에서 Java 8 시간 API 사용 (SPARK-32154)
  • 10 진수 집계 합계에 대 한 오버플로 확인 (SPARK-28067)
  • 동적 파티션 덮어쓰기 모드의 커밋 충돌 수정 (spark-27194, spark-29302)
  • 슬레이브, 블랙 리스트 및 허용 목록에 대 한 참조 제거 (spark-32004, spark-32036, spark-32037)
  • 순서 섞기 맵 단계에 대 한 작업 결과 크기 확인 제거 (SPARK-32470)
  • ExecutorSource사용자 지정 파일 시스템 구성표를 노출 하도록 일반화 (ExecutorSource)
  • 추가 StorageLevel.DISK_ONLY_3 (StorageLevel.DISK_ONLY_3)
  • 실행자에 대 한 웹 UI에서 실행자 메모리 메트릭을 노출 합니다 (SPARK-23432).
  • 단계 탭 (SPARK-26341)의 단계 수준에서 실행자 메모리 메트릭을 표시 합니다.
  • YARN 클러스터 모드에서 명시적으로 설정 된 수정 spark.ui.port (spark.ui.port)
  • spark.submit.waitForCompletion독립 실행형 클러스터 모드에서 spark-제출 종료를 제어 하는 구성 추가 (spark.submit.waitForCompletion)
  • yarn.Client드라이버 stdout/stderr에 대 한 직접 링크를 인쇄 하도록 설정 (yarn.Client)
  • 브로드캐스트 중 일부를 저장 하지 못할 때 메모리 누수 해결 (SPARK-32715)
  • BlockManagerMaster드라이버 하트 비트 제한 구성 가능 (BlockManagerMaster)
  • 캐시 동작 통합 및 완료 (SPARK-33507)

동작 변경

각 구성 요소에 대 한 마이그레이션 가이드 인 Spark Corespark SQL를 참조 하세요.

PySpark

Project Zen

  • Project Zen: Python 유용성 향상 (SPARK-32082)
  • PySpark 형식 힌트 지원 (SPARK-32681)
  • PySpark 설명서 다시 디자인 (SPARK-31851)
  • NumPy 설명서 스타일로 마이그레이션 (SPARK-32085)
  • PyPI 사용자에 대 한 설치 옵션 (SPARK-32017)
  • Dict 목록에서 데이터 프레임 스키마 유추 사용 중단 (SPARK-32686)
  • Python Udf에서 예외 메시지 단순화 (SPARK-33407)

기타 주목할 만한 변경 내용

  • 중복 된 결정적 PythonUDF 호출 (SPARK-33303)
  • PySpark 함수에서 고차 함수 지원 (SPARK-30681)
  • 지원 데이터 원본 v2x 쓰기 Api (SPARK-29157)
  • percentile_approxPySpark 함수에서 지원 (percentile_approx)
  • inputFilesPySpark 데이터 프레임의 지원 (inputFiles)
  • withFieldPySpark 열의 지원 (withField)
  • dropFieldsPySpark 열의 지원 (dropFields)
  • nth_valuePySpark 함수에서 지원 (nth_value)
  • 지원 acosh , asinhatanh (acosh)
  • getCheckpointDirPySpark SparkContext의 Support 메서드 (getCheckpointDir)
  • 에서 누락 된 열에 대 한 null 채우기 지원 unionByName (unionByName)
  • cloudpickleV 1.5.0 업데이트 (cloudpickle)
  • MapType화살표가 있는 PySpark에 대 한 지원 추가 (MapType)
  • DataStreamReader.tableDataStreamWriter.toTable (DataStreamReader.table)

동작 변경 내용

[PySpark] )에 대한 마이그레이션 가이드를 https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html 참조하세요.

구조적 스트리밍

성능 향상

  • maxFilesPerTrigger를 벗어난 파일 목록을 읽지 않은 파일로 캐시합니다(SPARK-30866).
  • 파일 스트림 원본 및 싱크 메타데이터 로그에 대한 논리 간소화(SPARK-30462)
  • 쿼리가 압축 일괄 처리에서 다시 시작되면 압축 메타데이터 로그를 두 번읽지 마세요(SPARK-30900).

향상된 기능

  • DataStreamReader.tableAPI 추가(DataStreamReader.table
  • DataStreamWriter.toTableAPI 추가(DataStreamWriter.toTable)
  • 왼쪽 세미 스트림 스트림 조인(SPARK-32862)
  • 전체 외부 스트림 스트림 조인(SPARK-32863)
  • 출력 파일에 보존하는 새 옵션을 제공합니다(SPARK-27188).
  • Spark 구조적 스트리밍 기록 서버 지원 추가(SPARK-31953)
  • 쿼리 다시 시작 중 상태 스키마 유효성 검사 도입(SPARK-27237)

기타 주목할 만한 변경 내용

  • 스트리밍 상태 저장소에 대한 스키마 유효성 검사 도입(SPARK-31894)
  • 상태 저장소에서 다른 압축 코덱을 사용하도록 지원(SPARK-33263)
  • 메타데이터가 업데이트되지 않았기 때문에 Kafka 커넥터 무한 대기(SPARK-28367)
  • Kafka를 2.6.0으로 업그레이드(SPARK-32568)
  • 구조적 스트리밍 UI 페이지에 대한 페이지 지정 지원(SPARK-31642, SPARK-30119)
  • 구조적 스트리밍 UI의 상태 정보(SPARK-33223)
  • 구조적 스트리밍 UI의 워터마크 간격 정보(SPARK-33224)
  • SS UI에 상태 사용자 지정 메트릭 정보 노출(SPARK-33287)
  • 워터마크 이후의 행 수와 관련된 새 메트릭을 추가합니다(SPARK-24634).

동작 변경 내용

구조적 스트리밍에대한 마이그레이션 가이드를 참조하세요.

MLlib

주요 항목

  • LinearSVC는 입력 벡터를 차단합니다(SPARK-30642).
  • LogisticRegression blockify input vectors (SPARK-30659)
  • LinearRegression은 입력 벡터를 차단합니다(SPARK-30660).
  • AFT blockify 입력 벡터(SPARK-31656)
  • ML 연결 규칙에 대한 지원 추가(SPARK-19939)
  • LinearSVCModel에 대한 학습 요약 추가(SPARK-20249)
  • RandomForestClassificationModel에 요약 추가(SPARK-23631)
  • FMClassificationModel에 학습 요약 추가(SPARK-32140)
  • MultilayerPercep classificationModel에 요약 추가(SPARK-32449)
  • SparkR에 FMClassifier 추가(SPARK-30820)
  • SparkR LinearRegression 래퍼 추가(SPARK-30818)
  • SparkR에 FMRegressor 래퍼 추가(SPARK-30819)
  • 용 SparkR 래퍼 vector_to_array 추가(vector_to_array)
  • 인스턴스를 적응적으로 차단 - LinearSVC(SPARK-32907)
  • CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer가 Python 백 엔드 평가기/평가기를 지원하게 합니다(SPARK-33520)
  • ML ALS recommendForAll by GEMV의 성능 향상(SPARK-33518)
  • UnivariateFeatureSelector 추가(SPARK-34080)

기타 주목할 만한 변경 내용

  • 한 작업의 GMM 컴퓨팅 요약 및 업데이트 배포(SPARK-31032)
  • mllib에 대한 ChiSqSelector 종속성을 제거합니다. ChiSqSelectorModel(SPARK-31077)
  • testChiSquare에서 테스트의 결과 데이터 프레임 평면화(SPARK-31301)
  • MinHash keyDistance 최적화(SPARK-31436)
  • 삼각형이 다른지 기반 KMeans 최적화(SPARK-31007)
  • ClusteringEvaluator에서 가중치 지원 추가(SPARK-31734)
  • 평가기에서 getMetrics 추가(SPARK-31768)
  • LinearRegressionSummary에서 인스턴스 가중치 지원 추가(SPARK-31944)
  • CrossValidator에 사용자 지정 접기 열 추가(SPARK-31777)
  • ML 기능 및 튜닝의 기본값 패리티(SPARK-32310)
  • KMeans/BiKMeans의 이중 캐싱 수정(SPARK-32676)
  • aft 변환 최적화(SPARK-33111)
  • FeatureHasher 변환 최적화(SPARK-32974)
  • 데이터 프레임 열에 대한 array_to_vector 함수 추가(SPARK-33556)
  • ML 분류, 회귀, 클러스터링 및 fpm의 기본값 패리티(SPARK-32310)
  • MaxIters보다 큰 Summary.totalIterations(SPARK-31925)
  • 트리 모델 예측 최적화(SPARK-32298)

동작 변경 내용

MLlib에대한 마이그레이션 가이드를 참조하세요.

SparkR

  • 더 높은 순서의 함수를 위한 SparkR 인터페이스 추가(SPARK-30682)
  • unionByName에서 누락된 열에 대한 null 채우기 지원(SPARK-32798)
  • SparkR 함수에서 withColumn 지원(SPARK-32946)
  • SparkR 함수에서 timestamp_seconds 지원(SPARK-32949)
  • SparkR 함수에서 nth_value 지원(SPARK-33030)
  • 최소 화살표 버전이 1.0.0까지 상승했습니다(SPARK-32452).
  • SparkR 함수에서 array_to_vector 지원(SPARK-33622)
  • acosh, asinh 및 atanh 지원(SPARK-33563)
  • from_avro 및 to_avro 지원(SPARK-33304)

동작 변경 내용

SparkR(Spark의 R)에대한 마이그레이션 가이드를 참조하세요.

GraphX

프로그래밍 가이드: GraphX 프로그래밍 가이드.

유지 관리 업데이트

Databricks Runtime 8.0 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제:Ubuntu 18.04.5 LTS
  • Java:Zulu 8.50.0.51-CA-linux64(빌드 1.8.0_275-b01)
  • Scala:2.12.10
  • Python:3.8.8(2021년 5월 26일 유지 관리 업데이트의 3.8.6에서 업데이트됨)
  • R: R 버전 4.0.3(2020-10-10)
  • Delta Lake 0.8.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
암호화 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0.3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
requests 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
six 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

설치된 R 라이브러리

R 라이브러리는 2020-11-02의 Microsoft CRAN 스냅샷에서설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-25 brew 1.0-6 생기 1.1.0
broom 0.7.2 callr 3.5.1 캐럿 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 자격 증명 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
줄임표 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 제네릭(generics) 0.1.0
게르트 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 주기 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 행렬 1.2-18
memoise 1.1.0 methods 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-전체 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 리모컨이 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 도구 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

설치 된 Java 및 Scala 라이브러리 (Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
amazonaws amazon-kinesis-client 1.12.0
amazonaws aws-sdk-자동 크기 조정 1.11.655
amazonaws aws-sdk-cloudformation 1.11.655
amazonaws aws-sdk-cloudfront 1.11.655
amazonaws aws-cloudhsm 1.11.655
amazonaws aws-sdk-cloudsearch 1.11.655
amazonaws aws-sdk-cloudtrail 1.11.655
amazonaws aws-sdk-cloudwatch 1.11.655
amazonaws aws-cloudwatchmetrics 1.11.655
amazonaws aws-codedeploy 1.11.655
amazonaws aws-cognitoidentity 1.11.655
amazonaws aws-cognitosync 1.11.655
amazonaws aws-sdk-구성 1.11.655
amazonaws aws-sdk-core 1.11.655
amazonaws aws-datapipeline 1.11.655
amazonaws aws-sdk-directconnect 1.11.655
amazonaws aws--directory 1.11.655
amazonaws aws-dynamodb 1.11.655
amazonaws aws-ec2 1.11.655
amazonaws aws-sdk-ecs 1.11.655
amazonaws aws-sdk-efs 1.11.655
amazonaws aws-elasticache 1.11.655
amazonaws aws-elasticbeanstalk 1.11.655
amazonaws aws-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk- 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.krusai shapeless_2.12 2.3.3
com.clearspring.analytics 스트림(stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks 3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo 음영 처리 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 동급 생 1.3.4
com.fasterxml..core 은(는) 2.10.0
com.fasterxml..core 은(는) 2.10.0
com.fasterxml..core 2016년 10월 20일 2.10.0
com.fasterxml..dataformat 2016년 10월 20일 2.10.0
com.fasterxml..datatype 일체 데이터 형식-joda 2.10.0
com.fasterxml.module.module 일반-모듈-paranamer 2.10.0
com.fasterxml.module.module scala_2-module-12 2.10.0
com.github.ben-manes. 카페인 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.gielser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.경우 JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox 2018년 4월 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json : 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.un 적정성 un 구문 분석기 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info..gmetric4j gmetric4j 1.0.10
io.air aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
net.razorvine 2018년 3월 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 화살표 형식 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.org 은(는) 2.7.1
org.apache.org 은(는) 2.7.1
org.apache.org recipes 2.7.1
org.apache.org 더비 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop 주석 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shim 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org. httpcomponents httpcore 4.4.12 패키지가
ivy ivy 2.4.0
mesos mesos-protobuf 1.4.0
orc orc-코어 1.5.12
orc orc-mapreduce 1.5.12
orc orc-shim 1.5.12
parquet parquet-열 1.10.1-databricks6
parquet parquet-일반 1.10.1-databricks6
parquet parquet-encoding 1.10.1-databricks6
parquet parquet-형식 2.4.0
parquet parquet-hadoop 1.10.1-databricks6
parquet parquet-jackson 1.10.1-databricks6
thrift libfb303 0.9.3
thrift libthrift 0.12.0
org. 속도 1.5
org. xbean xbean-asm7-음영 4.15
org. apache .yetus 대상 그룹-주석 0.5.0
org. 3.4.14
org. jackson-core-asl 1.9.13
org. jackson-jaxrs 1.9.13
org. jackson-매퍼-asl 1.9.13
org. jackson-xc 1.9.13
org janino commons-compiler 3.0.16
org janino janino 3.0.16
datanucleus datanucleus-jdo 4.2.4
datanucleus datanucleus-코어 4.1.17
datanucleus datanucleus-rdbms 4.1.19
datanucleus javax.sql 3.2.0-m3
jetty jetty-클라이언트 9.4.34.v20201102
jetty jetty-연속 9.4.34.v20201102
jetty jetty-http 9.4.34.v20201102
jetty jetty-io 9.4.34.v20201102
jetty jetty-jndi 9.4.34.v20201102
jetty jetty-plus 9.4.34.v20201102
jetty jetty-프록시 9.4.34.v20201102
jetty jetty-보안 9.4.34.v20201102
jetty jetty-서버 9.4.34.v20201102
jetty jetty-서브렛 9.4.34.v20201102
jetty jetty-서블릿 9.4.34.v20201102
jetty jetty-util 9.4.34.v20201102
jetty jetty-webapp 9.4.34.v20201102
jetty jetty-xml 9.4.34.v20201102
leveldbjni. leveldbjni-all 1.8
org. hk2 hk2-api 2.6.1
org. hk2 hk2-로케이터 2.6.1
org. hk2 hk2-유틸리티 2.6.1
org. hk2 osgi-리소스-로케이터 1.0.3
hk2. 외부 aopalliance-다시 패키지 2.6.1
hk2. 외부 자카르타. 삽입 2.6.1
jersey. 컨테이너 jersey-서브렛 2.30
jersey. 컨테이너 jersey-서브렛-core 2.30
jersey. 핵심 jersey-client 2.30
jersey. 핵심 jersey-일반 2.30
jersey. 핵심 jersey-서버 2.30
jersey. 삽입 jersey-hk2 2.30
jersey. 미디어 jersey-jaxb 2.30
org. 최대 유효성 검사기 최대 절전 모드-유효성 검사기 6.1.0
javassist javassist 3.25.0-GA
jboss. 로깅 jboss-로깅 3.3.2
jdbi jdbi 2.63.1
joda joda-변환 1.7
jodd jodd-코어 3.5.2
json4s json4s-ast_2.12 3.7.0-M5
json4s json4s-core_2.12 3.7.0-M5
json4s json4s-jackson_2.12 3.7.0-M5
json4s json4s-scalap_2.12 3.7.0-M5
lz4 lz4-java 1.7.1
org. biadb.jdbc mariadb-java-클라이언트 2.1.2
objenesis objenesis 2.5.1
postgresql postgresql 42.1.4
org. roaringbitmap RoaringBitmap 0.9.0
org. roaringbitmap shim 0.9.0
rocksdb rocksdbjni 6.2.2
org.. r 엔진 REngine 2.1.0
scala-lang scala-compiler_2.12 2.12.10
scala-lang scala-library_2.12 2.12.10
scala-lang scala-reflect_2.12 2.12.10
scala-lang 모듈 scala-compat_2.12 2.1.1
scala-lang 모듈 scala-combinators_2.12 1.1.2
scala-lang 모듈 scala-xml_2.12 1.2.0
scala-sbt 테스트 인터페이스 1.0
scalacheck scalacheck_2.12 1.14.2
scalactic scalactic_2.12 3.0.8
scalanlp 간편 하 게 macros_2.12 1.0
scalanlp breeze_2.12 1.0
scalatest scalatest_2.12 3.0.8
slf4j jcl-slf4j 1.7.30
slf4j jul-to-slf4j 1.7.30
slf4j slf4j-api 1.7.30
slf4j slf4j-log4j12 1.7.30
org. spark-프로젝트. spark unused 1.0.0
springframework 스프링 코어 4.1.4
springframework 스프링 테스트 4.1.4
threeten threeten-추가 1.5.0
tukaani xz 1.5
typelevel algebra_2.12 2.0.0-M2
typelevel 고양이-kernel_2.12 2.0.0-M4
typelevel machinist_2.12 0.6.8
typelevel 매크로 compat_2.12 1.1.1
typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml 2018년 4월 1.24
2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52