Databricks Runtime 4.2(지원되지 않음)

Databricks는 이 이미지를 2018년 7월에 릴리스했습니다.

Important

이 릴리스는 2019년 3월 5일에 더 이상 사용되지 않습니다. Databricks Runtime 사용 중단 정책 및 일정에 대한 자세한 내용은 Databricks Runtime 지원 수명 주기를 참조하세요.

다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 4.2에 대한 정보를 제공합니다.

Delta Lake

Databricks Runtime 4.2는 향상된 주요 품질 및 기능을 Delta Lake에 추가합니다. Databricks는 모든 Delta Lake 고객이 새 런타임으로 업그레이드하도록 권장합니다. 이 릴리스는 프라이빗 미리 보기로 유지되지만 예정된 GA(일반 공급) 릴리스를 예상하는 후보 릴리스를 나타냅니다.

새로운 기능

  • 스트림은 이제 df.writeStream.table(...)을 사용하여 Hive 메타스토어에 등록된 델타 테이블에 직접 쓸 수 있습니다.

개선

  • 모든 Delta Lake 명령 및 쿼리는 이제 경로를 식별자로 사용하여 테이블을 참조하도록 지원합니다.

    delta.`<path-to-table>`
    

    이전에는 OPTIMIZEVACUUM에서 표준이 아닌 문자열 리터럴(즉, '<path-to-table>')을 사용해야 했습니다.

  • DESCRIBE HISTORY는 이제 커밋 ID를 포함하며, 기본적으로 최신 ID에서 오래된 ID로 정렬됩니다.

버그 수정

  • 이제 조건자의 대/소문자가 테이블의 대/소문자와 다른 경우에도 파티션 조건자 기준의 필터링이 올바르게 작동합니다.
  • 델타 테이블의 부울 열에 대해 같음 검사를 수행할 때 누락되는 AnalysisException 열이 수정되었습니다(즉, booleanValue = true).
  • CREATE TABLE은 기존 테이블에 대한 포인터를 만들 때 더 이상 트랜잭션 로그를 수정하지 않습니다. 이렇게 하면 동시 스트림과의 불필요한 충돌을 방지하고 사용자가 데이터에 대한 읽기 액세스 권한만 있는 테이블에 대한 메타스토어 포인터를 만들 수 있습니다.
  • 많은 양의 데이터가 있는 스트림에서 display()를 호출해도 더 이상 드라이버에서 OOM이 발생하지 않습니다.
  • 빈 결과를 반환하는 대신 기본 Delta Lake 경로가 삭제되면 이제 AnalysisException이 throw됩니다.
  • 특정 프로토콜 버전(예: appendOnly)이 필요한 Delta Lake 구성은 적절한 버전의 테이블에만 적용할 수 있습니다.
  • 델타 테이블의 상태를 업데이트할 때 긴 계보는 이제 StackOverFlowError를 방지하기 위해 자동으로 잘립니다.

구조적 스트리밍

새로운 기능

  • Delta Lake 및 Kafka는 이제 Trigger.Once를 완전히 지원합니다. 이전에는 원본 옵션 또는 기본값으로 지정된 속도 제한(예: maxOffsetsPerTrigger 또는 maxFilesPerTrigger)으로 인해 사용 가능한 데이터가 부분적으로만 실행될 수 있었습니다. 이제 Trigger.Once가 사용되면 이러한 옵션이 무시되므로 현재 사용 가능한 모든 데이터를 처리할 수 있습니다.

  • foreachBatch() 스트리밍이 Scala에 추가되었습니다. 이 경우 DataFrame 작업을 사용하여 모든 마이크로 일괄 처리의 출력을 처리하는 함수를 정의할 수 있습니다. 이를 통해 다음을 수행할 수 있습니다.

    • 기존 일괄 처리 데이터 원본을 사용하여 마이크로 일괄 처리 출력을 아직 스트리밍 데이터 원본이 없는 시스템에 작성합니다(예: 모든 마이크로 일괄 처리 출력에서 Cassandra 일괄 처리 기록기 사용).
    • 마이크로 일괄 처리 출력을 여러 위치에 작성합니다.
    • DataFrame 및 테이블 작업을 DataFrame 스트리밍에서 아직 지원되지 않는 마이크로 일괄 처리 출력에 적용합니다(예: 마이크로 일괄 처리 출력을 델타 테이블에 upsert).
  • from_json/to_json과 비슷하게 파일 대신 DataFrame 내에서 Avro 데이터를 읽고 쓰는 from_avro/to_avro 함수가 추가되었습니다. 자세한 내용은 어디서나 Avro 읽기 및 쓰기를 참조하세요.

  • Python에서 foreach() 스트리밍에 대한 지원이 추가되었습니다(이미 Scala에서 사용 가능). 자세한 내용은 foreach 및 foreachBatch 설명서를 참조하세요.

개선

  • 입력 스트림에 데이터가 없는 경우 상태 저장 작업(mapGroupsWithState, 스트림-스트림 조인, 스트리밍 집계, dropDuplicate 스트리밍)을 사용하여 출력 결과 및/또는 상태 정리를 더 빠르게 생성합니다.

버그 수정

  • 이전에 명시적인 재분할이 있을 때 더 적은 결과를 보고한 스트림-스트림 조인(예: df1.repartition("a", "b").join(df, "a"))의 SPARK-24588 수정 버그가 수정되었습니다.

기타 변경 내용 및 향상된 기능

  • 테이블 액세스 제어 사용 클러스터의 SQL 거부 명령에 대한 지원이 추가되었습니다. 이제 사용자는 이전에 부여할 수 있었던 것과 동일한 방식으로 특정 권한을 거부할 수 있습니다. 거부된 권한은 부여된 권한을 대체합니다. 특정 개체의 관리자와 소유자는 여전히 언제든지 작업을 수행할 수 있습니다.
  • ABFS 드라이버를 사용하는 새 Azure Data Lake Storage Gen2 데이터 원본이 있습니다. Azure Data Lake Storage Gen2 및 Blob Storage에 대한 커넥트 참조
  • 설치된 일부 Python 라이브러리를 업그레이드했습니다.
    • pip: 10.0.0b2에서 10.0.1로
    • setuptools: 39.0.1에서 39.2.0으로
    • tornado: 5.0.1에서 5.0.2로
    • wheel: 0.31.0에서 0.31.1로
  • 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
  • Parquet 지원이 향상되었습니다.
  • Apache ORC가 1.4.1에서 1.4.3으로 업그레이드되었습니다.

Apache Spark

Databricks Runtime 4.2에는 Apache Spark 2.3.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 4.1(지원되지 않음)포함된 모든 수정 사항 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-24588][SS] 스트리밍 조인에 자식의 HashClusteredPartitioning이 필요함
  • [SPARK-23931][SQL] function.scala @scala.annotation.varargs에서 arrays_zip을 만듦
  • [SPARK-24633][SQL] arrays_zip에 분할이 필요한 경우 codegen 수정
  • [SPARK-24578][CORE] 반환된 nio 버퍼의 하위 지역 크기 제한
  • [SPARK-24613][SQL] UDF가 있는 캐시를 후속 종속 캐시와 일치시킬 수 없음
  • [SPARK-24583][SQL] InsertIntoDataSourceCommand의 잘못된 스키마 형식입니다.
  • [SPARK-24565][SS] 각 마이크로 일괄 처리의 출력 행을 DataFrame으로 표시하는 구조적 스트리밍에 대한 API 추가
  • [SPARK-24396][SS][PYSPARK] ForeachWriter (Python용 구조적 스트리밍) 추가
  • [SPARK-24216][SQL] Spark TypedAggregateExpression이 Scala에서 안전하지 않은 getSimpleName을 사용함
  • [SPARK-24452][SQL][CORE] 여러 int 추가에서 가능한 오버플로 방지
  • [SPARK-24187][R][SQL] SparkR에 array_join 함수 추가
  • [SPARK-24525][SS] MemorySink의 행 수를 제한하는 옵션 제공
  • [SPARK-24331][SPARKR][SQL] SparkR에 array_overlap, array_repeat, map_entries 추가
  • [SPARK-23931][SQL] Spark SQL에 arrays_zip 함수 추가
  • [SPARK-24186][R][SQL] R의 컬렉션 함수에 대한 역방향 및 연결 변경
  • [SPARK-24198][SPARKR][SQL] SparkR에 slice 함수 추가
  • [SPARK-23920][SQL] array_remove를 추가하여 배열에서 요소와 동일한 모든 요소 제거
  • [SPARK-24197][SPARKR][SQL] SparkR에 array_sort 함수 추가
  • [SPARK-24340][CORE] 독립 실행형 클러스터에서 실행기 종료 후 비순서 섞기 디스크 블록 관리자 파일 정리
  • [SPARK-23935][SQL] map_entries 함수 추가
  • [SPARK-24500][SQL] 트리 변환 중에 스트림이 구체화되었는지 확인
  • [SPARK-24495][SQL] 동일한 키를 다시 정렬할 때 EnsureRequirement에서 잘못된 계획을 반환
  • [SPARK-24506][UI] 바인딩 후 추가된 탭에 UI 필터 추가
  • [SPARK-24468][SQL] 소수 연산의 정밀도를 조정할 때 음의 배율 처리
  • [SPARK-24313][SQL] 복합 형식에 대한 컬렉션 작업의 해석된 평가 수정
  • [SPARK-23922][SQL] arrays_overlap 함수 추가
  • [SPARK-24369][SQL] 동일한 인수 집합이 있는 여러 고유 집계에 대한 올바른 처리
  • [SPARK-24455][CORE] TaskSchedulerImpl 주석의 오타 수정
  • [SPARK-24397][PYSPARK] Python에 TaskContext.getLocalProperty(key) 추가
  • [SPARK-24117][SQL] getSizePerRow 통합
  • [SPARK-24156][SS] 데이터 없음 일괄 처리 실패의 오류 복구 수정
  • [SPARK-24414][UI] 단계에 대한 올바른 작업 수 계산
  • [SPARK-23754][PYTHON] 클라이언트 코드에서 StopIteration 다시 발생
  • [SPARK-23991][DSTREAMS] allocateBlocksToBatch에서 WAL 쓰기 실패 시 데이터 손실 수정
  • [SPARK-24373][SQL] RelationalGroupedDataset 및 KeyValueGroupedDataset의 자식에 AnalysisBarrier 추가
  • [SPARK-24392][PYTHON] pandas_udf에 Experimental 레이블 지정
  • [SPARK-24334] Arrow 메모리 할당자가 불완전하게 종료되는 ArrowPythonRunner의 경합 상태 수정
  • [SPARK-19112][CORE] 구성에 누락된 shortCompressionCodecNames 추가
  • [SPARK-24244][SPARK-24368][SQL] 필수 열만 CSV 파서에 전달
  • [SPARK-24366][SQL] 형식 변환 오류 메시지 개선
  • [SPARK-24371][SQL] Scala용 DataFrame API에 isInCollection 추가...
  • [SPARK-23925][SQL] array_repeat 컬렉션 함수 추가
  • [MINOR] toString 및 scaladoc에 포트 SSL 구성 추가
  • [SPARK-24378][SQL] 잘못된 date_trunc 함수 예제 수정
  • [SPARK-24364][SS] 파일 경로가 없는 경우 InMemoryFileIndex가 실패하지 않도록 방지
  • [SPARK-24257][SQL] LongToUnsafeRowMap에서 계산한 새 크기가 잘못되었을 수 있음
  • [SPARK-24348][SQL] element_at 오류 수정
  • [SPARK-23930][SQL] slice 함수 추가
  • [SPARK-23416][SS] ContinuousExecution에 대한 특정 중지 메서드 추가합니다.
  • [SPARK-23852][SQL] Parquet 1.8.3으로 업그레이드
  • [SPARK-24350][SQL] "array_position" 함수의 ClassCastException 수정
  • [SPARK-24321][SQL] 나누기/나머지에서 기본 특성으로 일반 코드 추출
  • [SPARK-24309][CORE] 인터럽트 시 AsyncEventQueue를 중지해야 함
  • [SPARK-23850][SQL] SQL 옵션 수정에 대한 별도의 구성 추가
  • [SPARK-22371][CORE] 누적기가 가비지 수집될 때 예외를 throw하는 대신 없음을 반환
  • [SPARK-24002][SQL] org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes로 인해 작업을 직렬화할 수 없음
  • [SPARK-23921][SQL] array_sort 함수 추가
  • [SPARK-23923][SQL] cardinality 함수 추가
  • [SPARK-24159][SS] mapGroupswithState 스트리밍에 데이터 없음 마이크로 일괄 처리 사용
  • [SPARK-24158][SS] 스트리밍 조인에 데이터 없음 일괄 처리 사용
  • [SPARK-24157][SS] 스트리밍 집계 및 중복 제거에 MicroBatchExecution의 데이터 없음 일괄 처리 사용
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet에서 STRING에 대해 잘못된 통계 생성
  • [SPARK-17916][SQL] nullValue가 설정된 경우 빈 문자열이 Null로 구문 분석되는 문제 해결
  • [SPARK-23916][SQL] array_join 함수 추가
  • [SPARK-23408][SS] Streaming*JoinSuite에서 연속 AddData 작업 동기화
  • [SPARK-23780][R] 새 SparkR에서 googleVis 라이브러리를 사용하지 못함
  • [SPARK-23821][SQL] 컬렉션 함수: 평면화
  • [SPARK-23627][SQL] 데이터 세트에서 isEmpty 제공
  • [SPARK-24027][SQL] from_json에서 키에 대한 StringType을 루트 형식으로 사용하여 MapType 지원
  • [SPARK-24035][SQL] 피벗에 대한 SQL 구문 - antlr 경고 수정
  • [SPARK-23736][SQL] 배열 열을 지원하도록 concat 함수 확장
  • [SPARK-24246][SQL] 사용 가능한 경우 원인을 설정하여 AnalysisException 개선
  • [SPARK-24263][R] openjdk를 사용하여 SparkR Java 확인 중단
  • [SPARK-24262][PYTHON] UDF 형식 일치 오류 메시지의 오타 수정
  • [SPARK-24067][STREAMING][KAFKA] 비연속 오프셋 허용
  • [SPARK-10878][CORE] 여러 클라이언트에서 동시에 아티팩트를 확인할 때의 경합 상태 수정
  • [SPARK-19181][CORE] 신뢰도가 낮은 "SparkListenerSuite.local 메트릭" 수정
  • [SPARK-24068] 스키마 유추 시 DataFrameReader의 옵션을 텍스트 데이터 원본에 전파
  • [SPARK-24214][SS] StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation에 대한 toJSON 수정
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] array_position/element_at 함수 추가
  • [SPARK-23926][SQL] ArrayType 인수를 지원하도록 reverse 함수 확장
  • [SPARK-23809][SQL] getOrCreate에서 활성 SparkSession을 설정해야 함
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] json 파일에 대한 사용자 지정 인코딩 지원
  • [SPARK-24035][SQL] 피벗에 대한 SQL 구문
  • [SPARK-24069][R] array_min/array_max 함수 추가
  • [SPARK-23976][CORE] UTF8String.concat()/ByteArray.concat()에서 길이 오버플로 감지
  • [SPARK-24188][CORE] "/version" API 엔드포인트 복원
  • [SPARK-24128][SQL] 암시적 CROSS JOIN 오류에서 구성 옵션 언급
  • [SPARK-23291][SQL][R] Scala API를 호출할 때 R의 substr에서 시작 위치를 1만큼 줄이지 않아야 함
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper에서 isZero를 올바르게 정의해야 함
  • [SPARK-24168][SQL] WindowExec에서 실행기 쪽의 SQLConf에 액세스하지 않아야 함
  • [SPARK-24143] mapstatus를 (blockId, size) 쌍으로 변환할 때 빈 블록 필터링
  • [SPARK-23917][SPARK-23918][SQL] array_max/array_min 함수 추가
  • [SPARK-23905][SQL] UDF 평일 추가
  • [SPARK-16406][SQL] LogicalPlan.resolve의 성능 향상
  • [SPARK-24013][SQL] ApproximatePercentile에서 불필요한 압축 제거
  • [SPARK-23433][CORE] 좀비 작업 완료가 늦으면 모든 작업 세트를 업데이트함
  • [SPARK-24169][SQL] JsonToStructs에서 실행기 쪽의 SQLConf에 액세스하지 않아야 함
  • [SPARK-24133][SQL] 백포트 [SPARK-24133]WritableColumnVectors 크기를 조정할 때 정수 오버플로 확인
  • [SPARK-24166][SQL] InMemoryTableScanExec는 실행기 쪽에서 SQLConf에 액세스하지 않아야 함
  • [SPARK-24133][SQL] WritableColumnVectors 크기를 조정할 때 정수 오버플로 확인
  • [SPARK-24085][SQL] 분할 식에 스칼라 하위 쿼리가 있는 경우 쿼리에서 UnsupportedOperationException을 반환
  • [SPARK-24062][THRIFT SERVER] Thrift 서버에서 SASL 암호화를 사용하도록 설정할 수 없는 문제 해결
  • [SPARK-23004][SS] 스트리밍 집계 작업에서 StateStore.commit이 한 번만 호출되는지 확인
  • [SPARK-23188][SQL] 벡터화된 열 판독기 일괄 처리 크기를 구성할 수 있도록 설정
  • [SPARK-23375][SPARK-23973][SQL] 최적화 프로그램에서 불필요한 정렬 제거
  • [SPARK-23877][SQL] 필터 조건자를 사용하여 메타데이터 전용 쿼리에서 파티션 정리
  • [SPARK-24033][SQL] specifiedwindowframe(RowFrame, -1, -1) 창 프레임의 불일치 수정
  • [SPARK-23340][SQL] Apache ORC를 1.4.3으로 업그레이드
  • 생성된 소스 코드를 조금 더 길게 만들고 문제가 있는 코드 경로(Expression.reduceCodeSize()에 의한 코드 분할)를 트리거했으므로 간소화된 식 코드 생성에서 트리거되고 SPARK-23986에서 공개될 가능성이 높은 누락된 Null 검사 문제 해결
  • [SPARK-23989][SQL] 교환에서 직렬화되지 않은 순서 섞기 전에 데이터를 복사해야 함
  • [SPARK-24021][CORE] BlacklistTracker의 updateBlacklistForFetchFailure 버그 수정
  • [SPARK-24014][PYSPARK] StreamingListener에 onStreamingStarted 메서드 추가
  • [SPARK-23963][SQL] 텍스트 기반 Hive 테이블에 대한 쿼리에서 많은 수의 열을 올바르게 처리
  • [SPARK-23948] submitMissingTasks에서 mapstage의 작업 수신기 트리거
  • [SPARK-23986][SQL] freshName에서 고유하지 않은 이름을 생성할 수 있음
  • [SPARK-23835][SQL] 튜플의 인수 역직렬화에 Null이 아님 검사 추가

유지 관리 업데이트

Databricks Runtime 4.2 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: Python 2 클러스터의 경우 2.7.12, Python 3 클러스터의 경우 3.5.2.
  • R: R 버전 3.4.4(2018-03-15)
  • GPU 클러스터: 다음 NVIDIA GPU 라이브러리가 설치됩니다.
    • Tesla 드라이버 375.66
    • CUDA 9.0
    • cuDNN 7.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
암호화 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 미래 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

설치된 R 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 차량 3.0-0
carData 3.0-1 캐럿 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
데이터 세트 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 3.3.0 maptools 0.9-2
MASS 7.3-50 행렬 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 메서드 3.4.4 mgcv 1.8-24
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 통계 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 수집기 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy 아이비 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52