Databricks Runtime 4.1 (지원 되지 않음)

Databricks는 2018 년 5 월에이 이미지를 출시 했습니다.

중요

이 릴리스는 2019 년 1 월 17 일에 사용 되지 않습니다. Databricks Runtime 사용 중단 정책 및 일정에 대 한 자세한 내용은 Databricks Runtime support 수명 주기를 참조 하세요.

다음 릴리스 정보는 Apache Spark에서 제공 하는 Databricks Runtime 4.1에 대 한 정보를 제공 합니다.

Delta Lake

Databricks Runtime 버전 4.1은 델타 Lake에 주요 품질 향상 및 기능을 추가 합니다. 모든 델타 Lake 고객이 새 런타임으로 업그레이드 하는 것이 Databricks 것이 좋습니다. 이 릴리스는 비공개 미리 보기 상태를 유지 하지만 예정 된 GA (일반 공급) 릴리스를 예상 하 여 후보 릴리스를 나타냅니다.

이제 사용자를 Azure Databricks 하기 위해 비공개 미리 보기에서 델타 Lake를 사용할 수도 있습니다. 계정 관리자에 게 문의 하거나에 등록 하세요 https://databricks.com/product/databricks-delta .

호환성이 손상되는 변경

  • Databricks Runtime 4.1에는 유효성 검사와 같은 새로운 기능을 사용할 수 있도록 트랜잭션 프로토콜에 대 한 변경 내용이 포함 되어 있습니다. Databricks Runtime 4.1를 사용 하 여 만든 테이블은 새 버전을 자동으로 사용 하 고 이전 버전의 Databricks Runtime에 쓸 수 없습니다. 이러한 향상 된 기능을 활용 하려면 기존 테이블을 업그레이드 해야 합니다. 기존 테이블을 업그레이드 하려면 먼저 테이블에 기록 하는 모든 작업을 업그레이드 합니다. 다음을 실행합니다.

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
    

    자세한 내용은 테이블 버전 관리 를 참조 하세요.

  • 이제 이전 처럼 대상 테이블에서 누락 된 열을 자동으로 추가 하는 대신 테이블의 현재 스키마에 대해 쓰기의 유효성을 검사 합니다. 이전 동작을 사용 하도록 설정 하려면 mergeSchema 옵션을로 설정 true 합니다. 스키마 유효성 검사를 참조 하세요.

  • 이전 버전의 Databricks 델타를 실행 하는 경우 Databricks Runtime 4.1를 사용 하기 전에 모든 작업을 업그레이드 해야 합니다. 이러한 오류 중 하나가 표시 되 면 Databricks Runtime 4.1으로 업그레이드 합니다.

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
    scala.MatchError
    
  • 테이블에는 대/소문자만 다른 열이 더 이상 없을 수 있습니다.

  • 이제 델타 관련 테이블 구성에 접두사를 추가 해야 합니다. delta.

새로운 기능

  • 이제 스키마 관리 -Databricks Delta는 기존 테이블에 추가 및 덮어쓰기의 유효성을 검사 하 여 작성 되는 스키마가 스키마와 일치 하는지 확인 합니다.

    • Databricks 델타는 자동 스키마 마이그레이션을 계속 지원 합니다.
    • 이제 Databricks 델타에서 스키마를 명시적으로 수정 하기 위해 다음 DDL을 지원 합니다.
      • ALTER TABLE ADD COLUMN 테이블에 새 열을 추가 하려면
      • ALTER TABLE CHANGE COLUMNS 열 순서를 변경 하려면
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    자세한 내용은 스키마 유효성 검사를 참조 하세요.

  • 향상 된 DDL 및 테이블 지원

    • 테이블 DDL 및에 대해 완벽 하 게 지원 saveAsTable() 됩니다. save() 및의 saveAsTable() 의미 체계는 동일 합니다.
    • 모든 DDL 및 DML 명령은 테이블 이름과을 모두 지원 delta.`<path-to-table>` 합니다.
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • 자세한 테이블 정보-를 실행 하 여 테이블의 현재 판독기 및 작성기 버전을 볼 수 있습니다 DESCRIBE DETAIL . 테이블 버전 관리를 참조 하세요.
    • 테이블 세부 정보-이제 테이블에 쓸 때마다 Provenance 정보를 사용할 수 있습니다. 또한 데이터 사이드바는 Databricks 델타 테이블에 대 한 자세한 테이블 정보 및 기록을 보여 줍니다. 테이블 메타 데이터를 참조 하세요.
    • 스트리밍 테이블-를 사용 하 여 Streaming 데이터 프레임을 만들 수 있습니다 spark.readStream.format("delta").table("<table-name>") .
    • 추가 전용 테이블-이제 Databricks Delta에서 기본 데이터 관리를 지원 합니다. 테이블 속성을 설정 하 여 테이블에 대 한 삭제 및 수정을 차단할 수 있습니다 .
    • MERGE INTO 원본-의 원본 쿼리 사양에 보다 포괄적인 지원을 추가 MERGE 합니다. 예를 들어 LIMIT , ORDER BY 및를 INLINE TABLE 원본에 지정할 수 있습니다.
    • 테이블 Acl을 완벽 하 게 지원 합니다.

성능 개선

  • 통계 수집 오버 헤드 감소-통계 컬렉션의 효율성이 향상 되 고 통계는 이제 구성 가능한 수의 열에 대해서만 수집 되며 기본적으로 32로 설정 됩니다. Databricks 델타 쓰기 성능은 통계 수집 오버 헤드 감소 때문에 최대 2 배까지 향상 되었습니다. 열 수를 구성 하려면 table 속성을 설정 합니다 .
  • 밀어넣기 제한 제한 지원-통계를 사용 하 여 LIMIT 파티션 열 위에 및 조건자를 포함 하는 쿼리에 대해 검색 되는 파일 수를 제한 합니다. 모든 노트북 명령에 암시적으로 적용 되기 때문에 노트북의 쿼리에 적용 됩니다 limit=1000 .
  • 스트리밍 원본에서 필터 푸시 다운-이제 새 스트림을 시작 하 여 관련이 없는 데이터를 건너뛸 때 스트리밍 쿼리를 사용 합니다.
  • 에 대 한 향상 된 병렬 처리는 OPTIMIZE - OPTIMIZE 이제 단일 Spark 작업으로 실행 되며 클러스터에서 사용할 수 있는 모든 병렬 처리를 사용 합니다 (이전에는 한 번에 100 압축 파일로 제한 됨).
  • DML-, 및의 데이터를 건너뛰면 UPDATEDELETEMERGE 이제 다시 작성 해야 하는 파일을 찾을 때 통계를 사용 합니다.
  • 검사점 보존 감소-검사점이 2 일 동안 보존 됩니다. 트랜잭션 로그에 대 한 저장소 비용을 절감 하기 위해 기록이 계속 30에 보존 됩니다.

API 동작

  • insertInto(<table-name>)Databricks 델타에서의 동작은 다른 데이터 원본과 동일 합니다.
    • 모드를 지정 하지 않거나, 또는로 지정 하면 modeErrorIfExistsIgnoreAppend 데이터 프레임의 데이터를 Databricks 델타 테이블에 추가 합니다.
    • mode가 이면 Overwrite 기존 테이블의 모든 데이터를 삭제 하 고 데이터 프레임의 데이터를 Databricks Delta 테이블에 삽입 합니다.
  • 캐시 된 경우의 대상 테이블을 MERGE 수동으로 캐시 되지 않은 해야 합니다.

유용성 향상

  • 워크 로드 마이그레이션 유효성 검사-Databricks Delta로 작업을 마이그레이션할 때 발생 하는 일반적인 실수는 이제 실패 하지 않고 예외를 throw 합니다.
    • 를 사용 하 여 format("parquet") 테이블을 읽거나 씁니다.
    • 파티션을 직접 읽거나 쓸 수 있습니다 (즉, /path/to/delta/part=1 ).
    • 테이블의 베 큐에서 하위 디렉터리입니다.
    • INSERT OVERWRITE DIRECTORY 테이블에서 Parquet 사용
  • 대/소문자 구분 안 함 구성-데이터 프레임 판독기/Writer 및 테이블 속성에 대 한 옵션은 현재 대/소문자를 구분 하지 않습니다 (읽기 경로 및 쓰기 경로 모두 포함).
  • 열 이름-테이블 열 이름에는 이제 점이 포함 될 수 있습니다.

알려진 문제

  • 다중 삽입 문의 삽입이 동일한 트랜잭션이 아닌 다른 작업 단위에 있습니다.

버그 수정

  • 빠른 업데이트 테이블에서 새 스트림을 시작 하는 경우 무한 루프가 수정 되었습니다.

지원 중단

구조화 된 스트리밍은 추가가 아닌 입력을 처리 하지 않으며 소스로 사용 되는 테이블에서 수정 사항이 발생 하는 경우 예외를 throw 합니다. 이전에는 플래그를 사용 하 여이 동작을 재정의할 수 ignoreFileDeletion 있지만 이제는 사용 되지 않습니다. 대신 ignoreDeletes 또는 ignoreChanges 를 사용 합니다. 원본으로 델타 표를 참조 하세요.

기타 변경 내용 및 향상 된 기능

  • 쿼리 Watchdog 은 UI를 사용 하 여 만든 모든 용도의 클러스터에 대해 사용 하도록 설정 됩니다.
  • 차원에 대 한 향상 된 드라이버 쪽 성능
  • 새 네이티브 Parquet 디코더를 통해 Parquet 디코딩을 위한 성능 향상
  • 일반적인 하위 식 제거에 대 한 성능 향상
  • 데이터의 향상 된 작은 테이블 조인 (팩트 차원 테이블 조인)의 작은 테이블에 대 한 성능 건너뛰기
  • display() 이제는 이미지 데이터 형식이 포함 된 열을 리치 HTML로 렌더링 합니다. 이미지를 참조 하세요.
  • 모델 내보내기 및 가져오기 에 대 한 향상 된 기능
    • Dbml-로컬에서 최신 릴리스 0.4.1로 업그레이드 됨
    • 지정 된 매개 변수로 내보낸 모델을 사용 하 여 버그 수정 됨 threshold
    • OneVsRestModel내보내기에 대 한 지원이 추가 되었습니다.GBTClassificationModel
  • 일부 설치 된 Python 라이브러리를 업그레이드 했습니다.
    • pip: from 9.0.1에서 10.0.0 b2
    • setuptools: 38.5.1에서 39.0.1로
    • 토네이도: 4.5.3 to 5.0.1 용
    • wheel: 0.30.0 to 0.31.0
  • 설치 된 여러 R 라이브러리를 업그레이드 했습니다. 설치된 R 라이브러리 를 참조하세요.
  • Azure Data Lake Store SDK를 2.0.11에서 2.2.8로 업그레이드했습니다.
  • GPU 클러스터의 경우 CUDA를 8.0에서 9.0으로, CUDNN을 6.0에서 7.0으로 업그레이드했습니다.

Apache Spark

Databricks Runtime 4.1에는 Apache Spark 2.3.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 4.0(지원되지 않는)에 포함된 모든 수정 사항 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 향상된 기능이 포함되어 있습니다.

  • [SPARK-24007][SQL] FloatType 및 DoubleType에 대한 EqualNullSafe는 codegen에 의해 잘못된 결과를 생성할 수 있습니다.
  • [SPARK-23942][PYTHON][SQL] 쿼리 실행기 수신기에 대한 작업으로 PySpark에서 수집을 수행합니다.
  • [SPARK-23815] [CORE]Spark 기록기 동적 파티션 덮어쓰기 모드가 다중 수준 파티션에 출력을 쓰지 못할 수 있음
  • [SPARK-23748][SS] SS 연속 프로세스가 SubqueryAlias 문제를 지원하지 않음 수정
  • [SPARK-23963][SQL] 텍스트 기반 Hive 테이블에 대한 쿼리에서 많은 수의 열을 올바르게 처리합니다.
  • [SPARK-23867][SCHEDULER] logWarning에서 droppedCount 사용
  • [SPARK-23816] [CORE]완료된 작업은 FetchFailures를 무시해야 합니다.
  • [SPARK-23809][SQL] getOrCreate를 통해 활성 SparkSession을 설정해야 합니다.
  • [SPARK-23966][SS] 공통 CheckpointFileManager 인터페이스에서 논리를 작성하는 모든 검사점 파일 리팩터링
  • [SPARK-21351][SQL] 자식의 출력에 따라 nullability 업데이트
  • [SPARK-23847][PYTHON][SQL] PySpark에 asc_nulls_first, asc_nulls_last 추가
  • [SPARK-23822][SQL] Parquet 스키마 불일치에 대한 오류 메시지 개선
  • [SPARK-23823][SQL] transformExpression에 원본 유지
  • [SPARK-23838][WEBUI] 실행 중인 SQL 쿼리가 SQL 탭에 "완료됨"으로 표시됩니다.
  • [SPARK-23802][SQL] PropagateEmptyRelation은 쿼리 계획을 해결되지 않은 상태로 둘 수 있습니다.
  • [SPARK-23727][SQL] parquet에서 DateType에 대한 필터 푸시다운 지원
  • [SPARK-23574][SQL] 데이터 판독기 팩터리 1개만 있는 경우 DataSourceV2ScanExec에서 SinglePartition을 보고합니다.
  • [SPARK-23533][SS] ContinuousDataReader의 startOffset 변경에 대한 지원 추가
  • [SPARK-23491][SS] ContinuousExecution 다시 구성에서 명시적 작업 취소 제거
  • [SPARK-23040][CORE] 순서 섞기 판독기에 대한 인터럽트 가능한 반복기를 반환합니다.
  • [SPARK-23827][SS] StreamingJoinExec는 입력 데이터가 특정 수의 파티션으로 분할되었는지 확인해야 합니다.
  • [SPARK-23639][SQL] SparkSQL CLI에서 init metastore 클라이언트 전에 토큰 얻기
  • [SPARK-23806] Broadcast.unpersist를 사용하면 심각한 예외가 발생할 수 있습니다...
  • [SPARK-23599][SQL] Uuid 식에서 RandomUUIDGenerator 사용
  • [SPARK-23599][SQL] Pseudo-Random 숫자에서 UUID 생성기 추가
  • [SPARK-23759][UI] Spark UI를 특정 호스트 이름/IP에 바인딩할 수 없음
  • [SPARK-23769][CORE] Scalastyle 검사를 불필요하게 사용하지 않도록 설정하는 주석 제거
  • [SPARK-23614][SQL] 캐싱을 사용할 때 잘못된 재사용 교환 수정
  • [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs는 CSE 상태를 올바르게 저장/복원해야 합니다.
  • [SPARK-23729] [CORE]GLOB를 확인할 때 URI 조각 준수
  • [SPARK-23550][CORE] 정리 유틸리티
  • [SPARK-23288][SS] parquet 싱크를 사용하여 출력 메트릭 수정
  • [SPARK-23264][SQL] scala를 수정합니다. literals.sql.out의 MatchError
  • [SPARK-23649][SQL] UTF-8에서 문자 건너뛰기가 허용되지 않음
  • [SPARK-23691][PYTHON] 가능한 경우 PySpark 테스트에서 sql_conf 유틸리티 사용
  • [SPARK-23644][CORE][UI] SHS에서 REST 호출에 절대 경로 사용
  • [SPARK-23706] [PYTHON]spark.conf.get(value, default=None)은 PySpark에서 None을 생성해야 합니다.
  • [SPARK-23623][SS] CachedKafkaConsumer에서 캐시된 소비자의 동시 사용 방지
  • [SPARK-23670][SQL] SparkPlanGraphWrapper의 메모리 누수 수정
  • [SPARK-23608][CORE][WEBUI] Jetty 처리기에 대한 동시 수정 문제를 방지하기 위해 attachSparkUI와 detachSparkUI 함수 간에 SHS에 동기화 추가
  • [SPARK-23671][CORE] SHS 스레드 풀을 사용하도록 조건을 수정합니다.
  • [SPARK-23658][LAUNCHER] InProcessAppHandle은 getLogger에서 잘못된 클래스를 사용합니다.
  • [SPARK-23642][DOCS] AccumulatorV2 하위 클래스 isZero scaladoc fix
  • [SPARK-22915][MLLIB] spark.ml.feature에 대한 스트리밍 테스트( N에서 Z로)
  • [SPARK-23598][SQL] 큰 쿼리에 대한 런타임 오류를 방지하기 위해 BufferedRowIterator의 메서드를 공용으로 만듭니다.
  • [SPARK-23546][SQL] CodegenContext에서 상태 비지정 메서드/값 리팩터리
  • [SPARK-23523][SQL] OptimizeMetadataOnlyQuery 규칙으로 인해 발생한 잘못된 결과를 수정합니다.
  • [SPARK-23462][SQL] StructType에서 누락된 필드 오류 메시지 개선
  • [SPARK-23624][SQL] Datasource V2의 pushFilters 메서드 문서 수정
  • [SPARK-23173][SQL] JSON에서 데이터를 로드할 때 손상된 parquet 파일을 만들지 않습니다.
  • [SPARK-23436][SQL] 파티션을 날짜로 캐스팅할 수 있는 경우에만 날짜로 유추
  • [SPARK-23406][SS] 스트림 스트림 자체 조인 사용
  • [SPARK-23490][SQL] CreateTable의 기존 테이블을 사용하여 storage.locationUri를 확인합니다.
  • [SPARK-23524] 큰 로컬 순서 섞기 블록에서 손상이 확인되지 않아야 합니다.
  • [SPARK-23525][SQL] 외부 hive 테이블에 대한 ALTER TABLE CHANGE COLUMN COMMENT 지원
  • [SPARK-23434][SQL] Spark는 HDFS 파일 경로에 대한 메타데이터 디렉터리를 경고하지 않아야 합니다.
  • [SPARK-23457][SQL] ParquetFileFormat에서 먼저 작업 완료 수신기 등록
  • [SPARK-23329][SQL] 삼각 함수 설명서 수정
  • [SPARK-23569] [PYTHON]pandas_udf python3 스타일 형식 주석이 추가된 함수로 작업하도록 허용
  • [SPARK-23570][SQL] HiveExternalCatalogVersionsSuite에 Spark 2.3.0 추가
  • [SPARK-23517][PYTHON] _pyspark.util로 만듭니다. exception_message Py4JJavaError가 Java 쪽에서 추적을 생성합니다.
  • [SPARK-23508] [CORE]blockManagerIdCache가 oom을 유발하는 경우 BlockmanagerId 수정
  • [SPARK-23448][SQL] 문서에서 JSON 및 CSV 파서 동작 설명
  • [SPARK-23365] [CORE]유휴 실행기를 휴지할 때 num 실행기를 조정하지 않습니다.
  • [SPARK-23438][DSTREAMS] 드라이버 충돌 시 WAL로 DStreams 데이터 손실 수정
  • [SPARK-23475][UI] 건너뛴 단계도 표시
  • [SPARK-23518][SQL] 사용자가 데이터 프레임을 읽고 쓰려는 경우 metastore 액세스 방지
  • [SPARK-23406][SS] 스트림 스트림 자체 조인 사용
  • [SPARK-23541][SS] Kafka 원본이 아티클 파티션 수보다 더 큰 병렬 처리로 데이터를 읽을 수 있도록 허용
  • [SPARK-23097][SQL][SS] 텍스트 소켓 원본을 V2로 마이그레이션
  • [SPARK-23362][SS] Kafka Microbatch 원본을 v2로 마이그레이션
  • [SPARK-23445] ColumnStat 리팩터링
  • [SPARK-23092][SQL] MemoryStream을 DataSourceV2 API로 마이그레이션
  • [SPARK-23447][SQL] 리터럴에 대한 codegen 템플릿 정리
  • [SPARK-23366] ReadAheadInputStream에서 핫 읽기 경로 개선
  • [SPARK-22624][PYSPARK] 범위 분할 순서 섞기 노출

유지 관리 업데이트

Databricks Runtime 4.1 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제:Ubuntu 16.04.4 LTS
  • Java:1.8.0_162
  • Scala:2.11.8
  • Python: Python2 클러스터의 경우 2.7.12, Python 3 클러스터의 경우 3.5.2입니다. 자세한 내용은 Docker 이미지 를 참조하세요.
  • R: R 버전 3.4.4(2018-03-15)
  • GPU 클러스터:다음 NVIDIA GPU 라이브러리가 설치됩니다.
    • Tesla 드라이버 375.66
    • CUDA 9.0
    • cuDNN 7.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
암호화 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 미래 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 Ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.0b2 시트 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypara 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 39.0.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.0.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.0
wsgid ref 0.1.2

설치 된 R 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 car 3.0-0
carData 3.0-1 캐럿 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-69
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 maptools 0.9-2
MASS 7.3-49 행렬 1.2-13 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-23
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
리오 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.0 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.41-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

설치 된 Java 및 Scala 라이브러리 (Scala 2.11 클러스터 버전)

그룹 ID 아티팩트 ID Version
antlr antlr 2.7.7
amazonaws amazon-kinesis-client 1.7.3
amazonaws aws-sdk-자동 크기 조정 1.11.313
amazonaws aws-sdk-cloudformation 1.11.313
amazonaws aws-sdk-cloudfront 1.11.313
amazonaws aws-cloudhsm 1.11.313
amazonaws aws-sdk-cloudsearch 1.11.313
amazonaws aws-sdk-cloudtrail 1.11.313
amazonaws aws-sdk-cloudwatch 1.11.313
amazonaws aws-cloudwatchmetrics 1.11.313
amazonaws aws-codedeploy 1.11.313
amazonaws aws-cognitoidentity 1.11.313
amazonaws aws-cognitosync 1.11.313
amazonaws aws-sdk-구성 1.11.313
amazonaws aws-sdk-core 1.11.313
amazonaws aws-datapipeline 1.11.313
amazonaws aws-sdk-directconnect 1.11.313
amazonaws aws--directory 1.11.313
amazonaws aws-dynamodb 1.11.313
amazonaws aws-ec2 1.11.313
amazonaws aws-sdk-ecs 1.11.313
amazonaws aws-sdk-efs 1.11.313
amazonaws aws-elasticache 1.11.313
amazonaws aws-elasticbeanstalk 1.11.313
amazonaws aws-elasticloadbalancing 1.11.313
amazonaws aws-elastictranscoder 1.11.313
amazonaws aws-emr 1.11.313
amazonaws aws-glacier 1.11.313
amazonaws aws-iam 1.11.313
amazonaws aws--importexport 1.11.313
amazonaws aws-kinesis 1.11.313
amazonaws aws-sdk-kms 1.11.313
amazonaws aws-sdk-람다 1.11.313
amazonaws aws-sdk-로그 1.11.313
amazonaws aws-machinelearning 1.11.313
amazonaws aws-sdk-opsworks 1.11.313
amazonaws aws-sdk-rds 1.11.313
amazonaws aws-redshift 1.11.313
amazonaws aws-route53 1.11.313
amazonaws aws-s s k-s 3 1.11.313
amazonaws aws-sdk-ses 1.11.313
amazonaws aws-sdk-simpledb 1.11.313
amazonaws aws-simpleworkflow 1.11.313
amazonaws aws-sns 1.11.313
amazonaws aws-s s k-sqs 1.11.313
amazonaws aws-ssm 1.11.313
amazonaws aws-storagegateway 1.11.313
amazonaws aws-sdk-sts 1.11.313
amazonaws aws-sdk-지원 1.11.313
amazonaws aws-라이브러리 1.11.22
amazonaws aws-sdk-작업 영역 1.11.313
amazonaws jmespath-java 1.11.313
carrotsearch hppc 0.7.2
com. chuusai shapeless_2.11 2.3.2
com. clearspring 분석 스트림(stream) 2.7.0
databricks Rserve 1.8-3
databricks dbml-local_2.11 0.4.1-db1-spark 2.3
databricks dbml-local_2-테스트 0.4.1-db1-spark 2.3
databricks jets3t 0.7.1-0
databricks. scalapb compilerplugin_2.11 0.4.15-9
databricks. scalapb scalapb-runtime_2.11 0.4.15-9
esotericsoftware kryo-음영 처리 3.0.3
esotericsoftware minlog 1.3.0
com.fasterxml 동급 생 1.0.0
com.fasterxml..core 은(는) 2.6.7
com.fasterxml..core 은(는) 2.6.7
com.fasterxml..core 2016년 10월 20일 2.6.7.1
com.fasterxml..dataformat 2016년 10월 20일 2.6.7
com.fasterxml..datatype 일체 데이터 형식-joda 2.6.7
com.fasterxml.module.module 일반-모듈-paranamer 2.6.7
com.fasterxml.module.module scala_2-module-11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox 2018년 4월 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
thoughtworks. paranamer paranamer 2.8
trueaccord. lenses lenses_2.11 0.3
com twitter chill-java 0.8.4
com twitter chill_2.11 0.8.4
com twitter parquet 1.6.0
com twitter util-app_2 11 6.23.0
com twitter util-core_2 11 6.23.0
com twitter util-jvm_2 11 6.23.0
형식 안전 config 1.2.1
형식 안전 scala scala-api_2.11 2.1.2
형식 안전 scala scala-slf4j_2.11 2.1.2
com. univoc univocity 파서 2.5.9
vlkan flatbuffers 1.2.0-3f79e055
zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils 1.8.0
commons-cli commons-cli 1.2
common-codec.jar 파일 버전과 common-codec.jar 파일 버전과 1.10
commons-컬렉션 commons-컬렉션 3.2.2
commons-구성 commons-구성 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons commons 2.6
commons-로깅 commons-로깅 1.1.3
commons-net commons-net 2.2
commons-풀 commons-풀 1.5.4
ganglia. gmetric4j gmetric4j 1.0.7
io. 락 리프트 락 압축기 0.8
io. dropwizard. 메트릭 메트릭-코어 3.1.5
io. dropwizard. 메트릭 메트릭-ganglia 3.1.5
io. dropwizard. 메트릭 메트릭-graphite 3.1.5
io. dropwizard. 메트릭 메트릭-healthchecks 3.1.5
io. dropwizard. 메트릭 메트릭-jetty9 3.1.5
io. dropwizard. 메트릭 메트릭-json 3.1.5
io. dropwizard. 메트릭 메트릭-jvm 3.1.5
io. dropwizard. 메트릭 메트릭-log4j 3.1.5
io. dropwizard. 메트릭 메트릭-서블릿 3.1.5
io. netty netty 3.9.9
io. netty netty-모두 4.1.17
io. 프로메테우스 simpleclient 0.0.16
io. 프로메테우스 simpleclient_common 0.0.16
io. 프로메테우스 simpleclient_dropwizard 0.0.16
io. 프로메테우스 simpleclient_servlet 0.0.16
jmx Collector 0.7
javax.sql activation 1.1.1
javax.sql javax.sql-api 1.2
javax.sql javax.sql 2.2.4
javax.sql jdo-api 3.0.1
javax.sql javax.sql-api 3.1.0
javax.sql jsp-api 2.1
javax.sql jta 1.1
javax.sql 유효성 검사-api 1.1.0
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml. 바인딩 jaxb-api 2.2.2
javax.xml stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda joda 2.9.3
log4j apache-log4j-스페셜 1.2.17
log4j log4j 1.2.17
hydromatic eigenbase-properties 1.1.5
net. iharder base64 2.3.8
jets3t. jets3t 0.9.4
razorvine pyrolite 4.13
net.pipe. jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 화살표 형식 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.org 은(는) 2.7.1
org.apache.org 은(는) 2.7.1
org.apache.org recipes 2.7.1
org.apache.org 더비 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop 주석 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet- 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5 음영 처리 4.4.
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.code도그.org 일치 코어-asl 1.9.13
org.code도그.org 2018년 10월 1.9.13
org. jackson-매퍼-asl 1.9.13
org. jackson-xc 1.9.13
org janino commons-compiler 3.0.8
org janino janino 3.0.8
datanucleus datanucleus-jdo 3.2.6
datanucleus datanucleus-코어 3.2.10
datanucleus datanucleus-rdbms 3.2.9
jetty jetty-클라이언트 9.3.20.v20170531
jetty jetty-연속 9.3.20.v20170531
jetty jetty-http 9.3.20.v20170531
jetty jetty-io 9.3.20.v20170531
jetty jetty-jndi 9.3.20.v20170531
jetty jetty-plus 9.3.20.v20170531
jetty jetty-프록시 9.3.20.v20170531
jetty jetty-보안 9.3.20.v20170531
jetty jetty-서버 9.3.20.v20170531
jetty jetty-서브렛 9.3.20.v20170531
jetty jetty-서블릿 9.3.20.v20170531
jetty jetty-util 9.3.20.v20170531
jetty jetty-webapp 9.3.20.v20170531
jetty jetty-xml 9.3.20.v20170531
leveldbjni. leveldbjni-all 1.8
org. hk2 hk2-api 2.4.0-b34
org. hk2 hk2-로케이터 2.4.0-b34
org. hk2 hk2-유틸리티 2.4.0-b34
org. hk2 osgi-리소스-로케이터 1.0.1
hk2. 외부 aopalliance-다시 패키지 2.4.0-b34
hk2. 외부 javax.inject 2.4.0-b34
jersey를 다시 작성 합니다. jersey-가드 ava 2.22.2
jersey. 컨테이너 jersey-서브렛 2.22.2
jersey. 컨테이너 jersey-서브렛-core 2.22.2
jersey. 핵심 jersey-client 2.22.2
jersey. 핵심 jersey-일반 2.22.2
jersey. 핵심 2018년 10월 2.22.2
org.glassfish..media 일반 미디어 jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.orgingbitmap 마스킹비트맵 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml 2018년 4월 1.16
2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52