Databricks Runtime 4.1(지원되지 않음)

  • 아티클

Databricks는 이 이미지를 2018년 5월에 릴리스했습니다.

Important

이 릴리스는 2019년 1월 17일에 더 이상 사용되지 않습니다. Databricks Runtime 사용 중단 정책 및 일정에 대한 자세한 내용은 Databricks Runtime 지원 수명 주기를 참조하세요.

다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 4.1에 대한 정보를 제공합니다.

Delta Lake

Databricks Runtime 버전 4.1은 향상된 주요 품질 및 기능을 Delta Lake에 추가합니다. Databricks는 모든 Delta Lake 고객이 새 런타임으로 업그레이드하도록 권장합니다. 이 릴리스는 프라이빗 미리 보기로 유지되지만 예정된 GA(일반 공급) 릴리스를 예상하는 후보 릴리스를 나타냅니다.

또한 Delta Lake는 이제 Azure Databricks 사용자가 프라이빗 미리 보기에서 사용할 수 있습니다. 계정 관리자에게 문의하거나 https://databricks.com/product/databricks-delta에서 등록하세요.

주요 변경 내용

  • Databricks Runtime 4.1에는 유효성 검사와 같은 새로운 기능을 사용할 수 있도록 트랜잭션 프로토콜이 변경되었습니다. Databricks Runtime 4.1를 사용하여 만든 테이블은 새 버전을 자동으로 사용하며 이전 버전의 Databricks Runtime에서 쓸 수 없습니다. 향상된 이러한 기능을 활용하려면 기존 테이블을 업그레이드해야 합니다. 기존 테이블을 업그레이드하려면 먼저 테이블에 쓰는 모든 작업을 업그레이드합니다. 다음을 실행합니다.

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")

    자세한 내용은 Azure Databricks에서 Delta Lake 기능 호환성을 관리하는 방법을 참조 하세요 .

  • 이제 쓰기는 이전과 마찬가지로 대상 테이블에서 누락된 열을 자동으로 추가하는 대신 테이블의 현재 스키마에 대해 유효성을 검사합니다. 이전 동작을 사용하도록 설정하려면 mergeSchema 옵션을 true로 설정합니다. Delta Lake 스키마 유효성 검사를 참조하세요.

  • 이전 버전의 Databricks Delta를 실행하는 경우 Databricks Runtime 4.1을 사용하기 전에 모든 작업을 업그레이드해야 합니다. 이러한 오류 중 하나가 표시되면 Databricks Runtime 4.1로 업그레이드합니다.

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
scala.MatchError

  • 테이블에는 더 이상 대/소문자만 다른 열이 있을 수 없습니다.

  • 델타별 테이블 구성은 이제 delta. 접두사로 지정해야 합니다.

새로운 기능

  • 스키마 관리 - Databricks Delta는 이제 존 테이블에 대한 추가 및 덮어쓰기의 유효성을 검사하여 작성 중인 스키마가 스키마와 일치하는지 확인합니다.

    • Databricks Delta는 자동 스키마 마이그레이션을 계속 지원합니다.
    • 이제 Databricks Delta는 스키마를 명시적으로 수정하기 위해 다음 DDL을 지원합니다.
      • ALTER TABLE ADD COLUMN: 새 열을 테이블에 추가
      • ALTER TABLE CHANGE COLUMNS: 열 순서 변경
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    자세한 내용은 Delta Lake 스키마 유효성 검사를 참조하세요.

  • DDL 및 테이블 지원 향상

    • 테이블 DDL 및 saveAsTable()을 완전히 지원합니다. save() 및 saveAsTable()에는 이제 동일한 의미 체계가 있습니다.
    • 모든 DDL 및 DML 명령에서 테이블 이름 및 delta.`<path-to-table>`을 모두 지원합니다.
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • 자세한 테이블 정보 - DESCRIBE DETAIL을 실행하여 테이블의 현재 판독기 및 기록기 버전을 볼 수 있습니다. Azure Databricks에서 Delta Lake 기능 호환성을 관리하는 방법을 참조 하세요.
    • 테이블 세부 정보 - 이제 테이블에 쓸 때마다 출처 정보를 사용할 수 있습니다. 데이터 사이드바에는 Databricks Delta 테이블에 대한 자세한 테이블 정보 및 기록도 표시됩니다. 설명 세부 정보를 사용하여 Delta Lake 테이블 세부 정보 검토를 참조하세요.
    • 스트리밍 테이블 - DataFrame 스트리밍은 spark.readStream.format("delta").table("<table-name>")을 사용하여 만들 수 있습니다.
    • 추가 전용 테이블 - Databricks Delta는 이제 기본 데이터 거버넌스를 지원합니다. 테이블 속성delta.appendOnly=true을 설정하여 테이블 삭제 및 수정을 차단할 수 있습니다.
    • MERGE INTO 원본 -더 포괄적인 지원을 MERGE의 원본 쿼리 사양에 추가합니다. 예를 들어 원본에서 LIMIT, ORDER BY 및 INLINE TABLE을 지정할 수 있습니다.
    • 테이블 ACL을 완전히 지원합니다.

성능 개선 사항

  • 통계 수집 오버헤드 감소 - 통계 수집의 효율성이 향상되었으며, 이제 기본적으로 32로 설정된 구성 가능한 수의 열에 대한 통계만 수집됩니다. Databricks Delta 쓰기 성능은 통계 수집 오버헤드 감소로 인해 최대 2배 향상되었습니다. 열 수를 구성하려면 테이블 속성delta.dataSkippingNumIndexedCols=<number-of-columns>을 설정합니다.
  • 푸시다운 제한 지원 - 통계는 파티션 열에 대한 LIMIT 및 조건자가 있는 쿼리에 대해 검사되는 파일 수를 제한하는 데 사용됩니다. 이는 모든 Notebook 명령에 적용되는 암시적 limit=1000으로 인해 Notebook의 쿼리에 적용할 수 있습니다.
  • 스트리밍 원본의 푸시다운 필터링 - 이제 스트리밍 쿼리는 관련 없는 데이터를 건너뛰기 위해 새 스트림을 시작할 때 분할을 사용합니다.
  • OPTIMIZE - OPTIMIZE에 대한 향상된 병렬 처리는 이제 단일 Spark 작업으로 실행되며, 클러스터에서 사용할 수 있는 모든 병렬 처리를 사용합니다(이전에는 한 번에 100개의 압축 파일로 제한됨).
  • DML에서 데이터 건너뛰기 - UPDATE, DELETE 및 MERGE는 이제 다시 작성해야 하는 파일을 찾을 때 통계를 사용합니다.
  • 검사점 보존 기간 단축 - 이제 트랜잭션 로그에 대한 스토리지 비용을 줄이기 위해 검사점이 2일 동안 보존됩니다(기록은 여전히 ​​30일 동안 보존됨).

API 동작

  • Databricks Delta의 insertInto(<table-name>) 동작은 다른 데이터 원본과 동일합니다.
    • 지정된 모드가 없거나 mode이 ErrorIfExists, Ignore 또는 Append이면 DataFrame의 데이터를 Databricks Delta 테이블에 추가합니다.
    • mode이 Overwrite이면 기존 테이블의 모든 데이터를 삭제하고 DataFrame의 데이터를 Databricks Delta 테이블에 삽입합니다.
  • 캐시되면 MERGE의 대상 테이블 캐시를 수동으로 취소해야 합니다.

유용성 향상

  • 워크로드 마이그레이션 유효성 검사 - Databricks Delta로 워크로드를 마이그레이션할 때 발생하는 일반적인 실수는 이제 실패하지 않고 예외를 throw합니다.
    • format("parquet")을 사용하여 테이블을 읽거나 씁니다.
    • 파티션(즉, /path/to/delta/part=1)에서 직접 읽거나 씁니다.
    • 테이블의 하위 디렉터리를 완전히 비웁니다.
    • INSERT OVERWRITE DIRECTORY - 테이블에서 Parquet를 사용합니다.
  • 대/소문자를 구분하지 않는 구성 - DataFrame 판독기/기록기 및 테이블 속성에 대한 옵션은 이제 대/소문자를 구분하지 않습니다(읽기 경로와 쓰기 경로 모두 포함).
  • 열 이름 - 이제 테이블 열 이름에 점이 포함될 수 있습니다.

알려진 문제

  • 다중 삽입 문의 삽입은 동일한 트랜잭션이 아니라 다른 작업 단위에 있습니다.

버그 수정

  • 빠른 업데이트 테이블에서 새 스트림을 시작할 때 무한 루프가 수정되었습니다.

사용 중단

구조적 스트리밍은 추가가 아닌 입력을 처리하지 않으며 원본으로 사용되는 테이블에서 수정이 발생하면 예외를 throw합니다. 이전에는 ignoreFileDeletion 플래그를 사용하여 이 동작을 재정의할 수 있었지만 이제는 더 이상 사용되지 않습니다. 대신 ignoreDeletes 또는 ignoreChanges를 사용합니다. 델타 테이블을 원본으로를 참조하세요.

기타 변경 내용 및 향상된 기능

  • Query Watchdog은 UI를 사용하여 만든 다목적 클러스터 모두에 사용하도록 설정됩니다.
  • DBIO 캐시에 대한 드라이버 쪽 성능 향상
  • 새 네이티브 Parquet 디코더를 통한 Parquet 디코딩 성능 향상
  • 일반적인 하위 식 제거에 대한 성능 향상
  • 작은 테이블을 조인하는 큰 테이블에 대한 데이터 건너뛰기 성능 향상(팩트 차원 테이블 조인)
  • display()는 이제 이미지 데이터 형식이 포함된 열을 서식 있는 HTML로 렌더링합니다.
  • MLflow 모델 기록, 로드, 등록 및 배포 개선 사항
    • dbml-local이 최신 릴리스 0.4.1로 업그레이드되었습니다.
    • 지정된 threshold 매개 변수를 사용하여 내보낸 모델과 관련된 버그가 수정되었습니다.
    • OneVsRestModel, GBTClassificationModel 내보내기 지원이 추가되었습니다.
  • 설치된 일부 Python 라이브러리를 업그레이드했습니다.
    • pip: 9.0.1에서 10.0.0b2로
    • setuptools: 38.5.1에서 39.0.1로
    • tornado: 4.5.3에서 5.0.1로
    • wheel: 0.30.0에서 0.31.0으로
  • 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
  • Azure Data Lake Store SDK가 2.0.11에서 2.2.8로 업그레이드되었습니다.
  • GPU 클러스터의 경우 CUDA가 8.0에서 9.0으로 업그레이드되고, CUDNN이 6.0에서 7.0으로 업그레이드되었습니다.

Apache Spark

Databricks Runtime 4.1에는 Apache Spark 2.3.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 4.0(지원되지 않음)에 포함된 모든 수정 사항 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-24007][SQL] FloatType 및 DoubleType에 대한 EqualNullSafe에서 codegen의 잘못된 결과를 생성할 수 있습니다.
  • [SPARK-23942][PYTHON][SQL] PySpark에서 쿼리 실행기 수신기에 대한 작업으로 수집
  • [SPARK-23815][CORE] Spark 기록기 동적 파티션 덮어쓰기 모드에서 다중 수준 파티션에 출력을 쓰지 못할 수 있음
  • [SPARK-23748][SS] SubqueryAlias ​​문제를 지원하지 않는 SS 연속 프로세스 수정
  • [SPARK-23963][SQL] 텍스트 기반 Hive 테이블에 대한 쿼리에서 많은 수의 열을 올바르게 처리
  • [SPARK-23867][SCHEDULER] logWarning에서 droppedCount 사용
  • [SPARK-23816][CORE] 종료된 작업에서 FetchFailures를 무시해야 함
  • [SPARK-23809][SQL] getOrCreate에서 활성 SparkSession을 설정해야 함
  • [SPARK-23966][SS] 일반 CheckpointFileManager 인터페이스에서 모든 검사점 파일 쓰기 논리 리팩터링
  • [SPARK-21351][SQL] 자식의 출력에 따라 null 허용 여부 업데이트
  • [SPARK-23847][PYTHON][SQL] PySpark에 asc_nulls_first, asc_nulls_last 추가
  • [SPARK-23822][SQL] Parquet 스키마 불일치에 대한 오류 메시지 개선
  • [SPARK-23823][SQL] transformExpression에서 원본 유지
  • [SPARK-23838][WEBUI] SQL 쿼리를 실행하면 SQL 탭에서 "완료됨"으로 표시
  • [SPARK-23802][SQL] PropagateEmptyRelation에서 쿼리 계획을 확인되지 않은 상태로 둘 수 있음
  • [SPARK-23727][SQL] parquet에서 DateType에 대한 필터 푸시 지원
  • [SPARK-23574][SQL] 정확히 하나의 데이터 판독기 팩터리만 있는 경우 DataSourceV2ScanExec에서 SinglePartition을 보고함
  • [SPARK-23533][SS] ContinuousDataReader의 startOffset 변경 지원 추가
  • [SPARK-23491][SS] ContinuousExecution 다시 구성에서 명시적 작업 취소 제거
  • [SPARK-23040][CORE] 순서 섞기 판독기에 대한 인터럽트 가능한 반복기 반환
  • [SPARK-23827][SS] StreamingJoinExec에서 입력 데이터가 특정 수의 파티션으로 분할되었는지 확인해야 함
  • [SPARK-23639][SQL] SparkSQL CLI에서 메타스토어 클라이언트를 초기화하기 전에 토큰 가져오기
  • [SPARK-23806]Broadcast.unpersist로 인해 심각한 예외가 발생할 수 있음...
  • [SPARK-23599][SQL] Uuid 식에서 RandomUUIDGenerator 사용
  • [SPARK-23599][SQL] 의사 난수에서 UUID 생성기 추가
  • [SPARK-23759][UI] Spark UI를 특정 호스트 이름/IP에 바인딩할 수 없음
  • [SPARK-23769][CORE] Scalastyle 확인을 불필요하게 사용하지 않도록 설정하는 주석 제거
  • [SPARK-23614][SQL] 캐싱을 사용할 때 잘못된 재사용 교환 수정
  • [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs에서 CSE 상태를 올바르게 저장/복원해야 함
  • [SPARK-23729][CORE] glob을 확인할 때 URI 조각을 사용함
  • [SPARK-23550][CORE] Utils 정리
  • [SPARK-23288][SS] parquet를 사용하여 출력 메트릭 수정
  • [SPARK-23264][SQL] literals.sql.out에서 scala.MatchError 수정
  • [SPARK-23649][SQL] UTF-8에서 허용되지 않는 문자 건너뛰기
  • [SPARK-23691][PYTHON] 가능한 경우 PySpark 테스트에서 sql_conf 유틸리티 사용
  • [SPARK-23644][CORE][UI] SHS에서 REST 호출에 절대 경로 사용
  • [SPARK-23706][PYTHON] spark.conf.get(value, default=None)은 PySpark에서 None을 생성해야 함
  • [SPARK-23623][SS] CachedKafkaConsumer에서 캐시된 소비자의 동시 사용 방지
  • [SPARK-23670][SQL] SparkPlanGraphWrapper에서 메모리 누수 수정
  • [SPARK-23608][CORE][WEBUI] SHS에서 attachSparkUI와 detachSparkUI 함수 간의 동기화를 추가하여 Jetty Handler에 대한 동시 수정 문제 방지
  • [SPARK-23671][CORE] SHS 스레드 풀을 사용하도록 설정하는 조건 수정
  • [SPARK-23658][LAUNCHER] InProcessAppHandle이 getLogger에서 잘못된 클래스를 사용함
  • [SPARK-23642][DOCS] AccumulatorV2 하위 클래스 isZero scaladoc 수정
  • [SPARK-22915][MLLIB] spark.ml.feature에 대한 스트리밍 테스트(N에서 Z까지)
  • [SPARK-23598][SQL] BufferedRowIterator의 메서드를 public으로 만들어 대규모 쿼리에 대한 런타임 오류 방지
  • [SPARK-23546][SQL] CodegenContext에서 상태 비저장 메서드/값 리팩터링
  • [SPARK-23523][SQL] OptimizeMetadataOnlyQuery 규칙으로 인한 잘못된 결과 수정
  • [SPARK-23462][SQL] StructType에서 누락된 필드 오류 메시지 개선
  • [SPARK-23624][SQL] Datasource V2에서 pushFilters 메서드의 문서 수정
  • [SPARK-23173][SQL] JSON에서 데이터를 로드할 때 손상된 parquet 파일을 만들지 않도록 방지
  • [SPARK-23436][SQL] 파티션을 날짜로 캐스트할 수 있는 경우에만 파티션을 날짜로 유추함
  • [SPARK-23406][SS] 스트림-스트림 자체 조인 사용
  • [SPARK-23490][SQL] CreateTable에서 기존 테이블을 사용하여 storage.locationUri 확인
  • [SPARK-23524]큰 로컬 순서 섞기 블록에 대한 손상 여부를 확인하지 않아야 함
  • [SPARK-23525][SQL] 외부 Hive 테이블에 대한 ALTER TABLE CHANGE COLUMN COMMENT 지원
  • [SPARK-23434][SQL] Spark에서 HDFS 파일 경로에 대한 메타데이터 디렉터리를 경고하지 않아야 함
  • [SPARK-23457][SQL] ParquetFileFormat에서 먼저 작업 완료 수신기를 등록함
  • [SPARK-23329][SQL] 삼각 함수에 대한 설명서 수정
  • [SPARK-23569][PYTHON] pandas_udf에서 python3 스타일 형식 주석 함수를 사용하도록 허용
  • [SPARK-23570][SQL] HiveExternalCatalogVersionsSuite에 Spark 2.3.0 추가
  • [SPARK-23517][PYTHON] _pyspark.util.exception_message에서 Py4JJavaError를 통해 Java 쪽에서 추적을 생성하도록 설정
  • [SPARK-23508][CORE] blockManagerIdCache로 인해 oom이 발생하는 경우 BlockmanagerId 수정
  • [SPARK-23448][SQL] 문서에서 JSON 및 CSV 파서 동작을 명확히 설명함
  • [SPARK-23365][CORE] 유휴 실행기를 종료할 때 실행기 수를 조정하지 않음
  • [SPARK-23438][DSTREAMS] 드라이버 가동 중단 시 WAL을 사용하여 DStreams 데이터 손실 수정
  • [SPARK-23475][UI] 건너뛴 단계도 표시
  • [SPARK-23518][SQL] 사용자가 데이터 프레임만 읽고 쓰려는 경우 메타스토어에 액세스하지 않도록 방지
  • [SPARK-23406][SS] 스트림-스트림 자체 조인 사용
  • [SPARK-23541][SS] Kafka 원본에서 아티클 파티션 수보다 더 큰 병렬 처리를 사용하여 데이터를 읽을 수 있도록 허용
  • [SPARK-23097][SQL][SS] 텍스트 소켓 원본을 V2로 마이그레이션
  • [SPARK-23362][SS] Kafka Microbatch 원본을 v2로 마이그레이션
  • [SPARK-23445]ColumnStat 리팩터링
  • [SPARK-23092][SQL] MemoryStream을 DataSourceV2 API로 마이그레이션
  • [SPARK-23447][SQL] Literal에 대한 codegen 템플릿 정리
  • [SPARK-23366]ReadAheadInputStream에서 핫 읽기 경로 개선
  • [SPARK-22624][PYSPARK] 범위 분할 순서 섞기 공개

유지 관리 업데이트

Databricks Runtime 4.1 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: Python 2 클러스터의 경우 2.7.12, Python 3 클러스터의 경우 3.5.2.
  • R: R 버전 3.4.4(2018-03-15)
  • GPU 클러스터: 다음 NVIDIA GPU 라이브러리가 설치됩니다.
    • Tesla 드라이버 375.66
    • CUDA 9.0
    • cuDNN 7.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
암호화 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 미래 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.0b2 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 39.0.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.0.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.0
wsgiref 0.1.2

설치된 R 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 차량 3.0-0
carData 3.0-1 캐럿 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-69
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 맵 3.3.0 maptools 0.9-2
MASS 7.3-49 행렬 1.2-13 MatrixModels 0.4-1
memoise 1.1.0 메서드 3.4.4 mgcv 1.8-23
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.0 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 통계 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.41-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 수집기 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy 아이비 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52