Databricks Runtime 10.1(지원되지 않음)

다음은 Apache Spark 3.2.0에서 제공하는 Databricks Runtime 10.1 및 Databricks Runtime 10.1 Photon에 대한 릴리스 정보를 제공합니다. Databricks는 2021년 11월에 이러한 이미지를 릴리스했습니다. Photon은 현재 공개 미리 보기 상태입니다.

새로운 기능 및 향상 기능

작은 파일을 압축하기 위한 새 Delta 테이블 설정

Delta 테이블 속성 delta.autoOptimize.autoCompact은 이제 기존 truefalse 값에 추가로 새 autolegacy 값을 허용합니다. auto(권장)으로 설정하면 자동 압축은 대상 파일 크기로 32MB를 설정하는 것과 같은 더 나은 기본값을 사용합니다(기본 동작은 향후 변경될 수 있음). legacy 또는 true로 설정하면 자동 압축은 대상 파일 크기로 128MB를 사용합니다.

개별 테이블에 대해 이 속성을 설정하는 대신 spark.databricks.delta.autoCompact.enabled 구성을 auto, legacy, 또는 true로 설정하여 모든 Delta 테이블에 대해 자동 압축을 사용할 수 있습니다. 이 구성은 현재 세션 동안 관련 테이블 속성보다 우선합니다.

자동 압축의 대상 파일 크기는 spark.databricks.delta.autoCompact.maxFileSize 구성을 사용하여 제어할 수 있습니다.

자동 압축에 대한 자세한 내용은 Azure Databricks의 Delta Lake 자동 압축을 참조 하세요.

Parquet 쿼리 검사에 대한 새 행 그룹 메트릭

Parquet 검사를 사용한 쿼리는 이제 Spark UI에서 행 그룹 메트릭을 표시합니다. 이러한 행 그룹 메트릭은 다음과 같습니다.

  • parquet 행 그룹의 총 수
  • parquet 행 그룹 읽기 수

Delta 원본 스트리밍 쿼리에 대한 Trigger.AvailableNow

이 변경은 Scala의 Trigger.AvailableNow과 같은 Delta 원본 스트리밍 쿼리에 대한 새 유형의 트리거를 지원합니다. 사용 가능한 모든 데이터를 처리한 다음 쿼리를 중지하는 Trigger.Once과 같습니다. 그러나 Trigger.AvailableNow는 데이터가 하나가 아닌 여러 일괄 처리로 처리될 수 있으므로 향상된 확장성을 제공합니다. 이 변경은 새 인터페이스를 도입하지 않습니다. 기존 Spark API를 구현합니다. 이 트리거는 원본으로서 Delta에서 이미 지원되는 모든 속도 제한 옵션도 지원합니다.

예시:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

자동 로더란?Trigger.AvailableNow 적용 범위를 참조하세요.

자동 로더에 대한 Trigger.AvailableNow

Trigger.AvailableNowTrigger.Once와 유사한 새로운 스트리밍 트리거 모드입니다. Trigger.Once는 사용 가능한 모든 데이터를 처리한 다음 쿼리를 중지합니다. Trigger.AvailableNow는 데이터가 하나가 아닌 여러 일괄 처리로 처리될 수 있으므로 확장성이 향상되었습니다. 이제 자동 로더는 Scala의 디렉터리 목록 및 파일 알림 모드 모두에서 Trigger.AvailableNow를 지원합니다. 자동 로더란?Trigger.AvailableNow 적용 범위를 참조하세요.

DataFrame 옵션을 통해 전달되는 Hadoop 파일 시스템 구성에 대한 Delta 지원

Parquet와 마찬가지로 Delta는 이제 DataFrameReader.load(path) 또는 DataFrameWriter.save(path)을 사용하여 테이블을 읽거나 쓸 때 DataFrameReaderDataFrameWriter 옵션으로부터 Hadoop 파일 시스템 구성 읽기를 지원합니다. Delta Storage 자격 증명 구성을 참조하세요.

이제 상태 저장 스트리밍 작업에서 비동기 상태 검사점 지원(공개 미리 보기)

비동기 상태 검사점은 상태 업데이트가 큰 상태 저장 스트리밍 작업의 엔드투엔드 마이크로배치 대기 시간을 잠재적으로 줄이는 새로운 기능입니다. 상태 저장 쿼리는 비동기 상태 검사포인트링을 참조하세요.

자격 증명 통과가 있는 Sparklyr

이제 sparklyr API를 사용하여 자격 증명 통과를 사용해 클라우드 스토리지에서 데이터를 읽고 쓸 수 있습니다. 이 기능은 단일 사용자 액세스 권한이 있는 표준 클러스터로 제한됩니다. Microsoft Entra ID(이전의 Azure Active Directory) 자격 증명 통과(레거시)를 사용하여 Azure Data Lake Storage에 액세스하세요.

Databricks 유틸리티 데이터 요약 정밀도 제어(공개 미리 보기)

요약 결과의 전체 자릿수를 제어하는 dbutils.data.summarize에 대한 새 precise 매개 변수 입니다. precise를 false(기본값)로 설정한 경우 요약은 고유 카운트, 백분위수 및 빈번한 항목 수에 대한 근사치 결과를 반환합니다. precise를 true로 설정한 경우 요약이 정확한 고유 카운트 및 빈도 항목 수로 계산되고 더 정확한 백분위수 추정치가 포함됩니다. summarize 명령(dbutils.data.summarize)을 참조하세요.

이제 Azure Databricks Notebook을 IPython 커널과 함께 사용 가능

이제 IPython 커널을 사용하여 Python 코드를 실행하도록 Azure Databricks 클러스터를 구성할 수 있습니다. Azure Databricks에서 IPython 커널을 사용하면 IPython의 디스플레이 및 출력 도구에 대한 지원이 추가됩니다. 또한 IPython 커널은 Notebook에서 만든 자식 프로세스의 stdout 및 stderr 출력을 캡처하여 해당 출력이 Notebook의 명령 결과에 포함될 수 있도록 합니다.

자세한 정보는 IPython 커널을 참조하세요.

Spark SQL의 새 함수

Unity 카탈로그(미리 보기)에서 데이터를 사용하기 위해 추가된 개체 및 명령은 다음과 같습니다.

읽기 전용 데이터를 조직 외부의 받는 사람과 공유할 수 있는 Delta 공유(미리 보기)를 위해 추가된 명령은 다음과 같습니다.

버그 수정

  • No FileSystem for scheme와 같이 IOException를 사용한 쿼리 오류가 발생하거나 sparkContext.hadoopConfiguration에 대한 수정이 쿼리에 적용되지 않을 수 있는 경합 조건을 수정했습니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • filelock을 3.0.12에서 3.3.1로
    • koalas를 1.8.1에서 1.8.2로
    • plotly를 5.1.0에서 5.3.0으로
  • 업그레이드된 R 라이브러리:
    • bslib를 0.3.0에서 0.3.1로
    • caret를 6.0-88에서 6.0-90으로
    • cpp11를 0.3.1에서 0.4.0으로
    • data.table을 1.14.0에서 1.14.2로
    • desc를 1.3.0에서 1.4.0으로
    • diffobj를 0.3.4에서 0.3.5로
    • digest를 0.6.27에서 0.6.28로
    • generics를 0.1.0에서 0.1.1로
    • hms를 1.1.0에서 1.1.1로
    • knitr를1.34에서 1.36으로
    • lattice를 0.20-44에서 0.20-45로
    • lifecycle을 1.0.0에서 1.0.1으로
    • lubridate를 1.7.10에서 1.8.0으로
    • mgcv를 1.8-37에서 1.8-38로
    • mime을 0.11에서 0.12로
    • pkgload를 1.2.2에서 1.2.3으로
    • progressr를 0.8.0에서 0.9.0으로
    • rcmdcheck를 1.3.3에서 1.4.0으로
    • readr를 2.0.1에서 2.0.2로
    • recipes를 0.1.16에서 0.1.17로
    • remotes를 2.4.0에서 2.4.1로
    • rlang을 0.4.11에서 0.4.12로
    • rvest를 1.0.1에서 1.0.2로
    • shiny를 1.6.0에서 1.7.1로
    • stringi를 1.7.4에서 1.7.5로
    • testthat을 3.0.4에서 3.1.0로
    • tidyr을 1.1.3에서 1.1.4로
    • tinytex를 0.33에서 0.34로
    • usethis를 2.0.1에서 2.1.2로
    • xfun을 0.26에서 0.27로
  • 업그레이드된 Java 라이브러리:
    • com.zaxxer.HikariCP를 3.1.0에서 4.0.3으로

Apache Spark

Databricks Runtime 10.1에는 Apache Spark 3.2.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 10.0(지원되지 않음)포함된 모든 Spark 수정 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-37037] [SQL] UTF8String 및 ByteArray의 compareTo 함수를 통합하여 바이트 배열 정렬 개선
  • [SPARK-37091] [R] Java < 18을 포함하는 SystemRequirements
  • [SPARK-37041] [SQL] 백포트 HIVE-15025: HMS에 대한 SSL(Secure-Socket-Layer) 지원
  • [SPARK-37098] [SQL] 테이블 속성 변경은 캐시를 무효화해야 함
  • [SPARK-36992] [SQL] UTF8String 및 ByteArray의 getPrefix 함수를 통합하여 바이트 배열 정렬 성능 향상
  • [SPARK-37047] [SQL] 이진 문자열에 대한 lpad 및 rpad 함수 추가
  • [SPARK-37076] [SQL] Scala 2.13에 대한 StructType.toString을 명시적으로 구현
  • [SPARK-37075] [SQL] UDAF 식 빌드를 sql/catalyst에서 sql/core로 이동
  • [SPARK-37084] [SQL] spark.sql.files.openCostInBytes를 bytesConf로 설정
  • [SPARK-37088] [PYSPARK][SQL] 작업 완료 수신기가 반환된 후 기록기 스레드가 입력에 액세스하지 않아야 함
  • [SPARK-37069] [SQL] Hive.getWithoutRegisterFns를 사용할 수 없을 경우 적절하게 대체
  • [SPARK-37050] [PYTHON] Conda 설치 지침 업데이트
  • [SPARK-37067] [SQL] ZoneId.of()를 사용하여 DatetimeUtils에서 표준 시간대 문자열 처리
  • [SPARK-35925] [SQL] width-bucket 함수에서 DayTimeIntervalType 지원
  • [SPARK-35926] [SQL] width_bucket에 대한 YearMonthIntervalType 지원 추가
  • [SPARK-35973] [SQL] SHOW CATALOGS 명령 추가
  • [SPARK-36922] [SQL] SIGN/SIGNUM 함수는 ANSI 간격을 지원해야 함
  • [SPARK-37078] [CORE] 이전 3 매개 변수 싱크 생성자 지원
  • [SPARK-37061] [SQL] 내부 클래스를 사용할 경우 CustomMetrics 수정
  • [SPARK-35918] [AVRO] 읽기/쓰기를 위한 스키마 불일치 처리 통합 및 오류 메시지 향상
  • [SPARK-36871] [SQL]CreateViewStatement를 v2 명령으로 마이그레이션
  • [SPARK-36898] [SQL] 순서 섞기 해시 조인 인수를 구성할 수 있도록 설정
  • [SPARK-36921] [SQL] DIV으로 ANSI 간격 지원
  • [SPARK-36794] [SQL] SEMI/ANTI 순서가 섞인 해시 조인에 대한 관계를 빌드할 경우 중복 조인 키 무시
  • [SPARK-36867] [SQL] GROUP BY 별칭을 사용하여 오류 메시지 수정
  • [SPARK-36914] [SQL] JDBC(MySQL 언어)에서 dropIndex 및 listIndexes 구현
  • [SPARK-35531] [SQL] HiveTable-> CatalogTable - ->HiveTable에서 불필요한 변환을 방지하기 위해 getPartitions를 호출할 때 hiveTable을 HiveClient에 직접 전달
  • [SPARK-36718] [SQL] 고가의 식을 복제하지 않는 경우에만 프로젝트 축소
  • [SPARK-37046] [SQL]: 변경 보기가 열 대/소문자를 유지하지 않음
  • [SPARK-36978] [SQL] InferConstraints 규칙이 루트 중첩 형식 대신 액세스된 중첩 필드에 IsNotNull 제약 조건을 만들어야 함
  • [SPARK-37052] [CORE] Spark는 sql 셸인 경우 –verbose 인수만 기본 클래스에 전달해야 함
  • [SPARK-37017] [SQL] 잠재적 교착 상태 방지를 위해 동기화된 범위 감소
  • [SPARK-37032] [SQL] SQL 참조 페이지에서 손상된 SQL 구문 링크 수정
  • [SPARK-36905] [SQL] 명시적 열 이름 없이 하이브 보기 읽기 수정
  • [SPARK-36678] 기본적으로 V2 명령을 사용하도록 SHOW TABLES 마이그레이션
  • [SPARK-36943] [SQL] 누락된 열 오류 메시지의 가독성 향상
  • [SPARK-36980] [SQL] CTE를 사용하여 지원 쿼리 삽입
  • [SPARK-37001] [SQL] 기본적으로 최종 해시 집계에 대해 두 수준의 맵을 사용하지 않도록 설정
  • [SPARK-36970] [SQL] Java 17이 Java 8과 호환되도록 하는 date_format 함수의 형식 B 수동 비활성화
  • [SPARK-36546] [SQL] 이름으로 공용 구조체에 배열 지원 추가
  • [SPARK-36979] [SQL] RewriteLateralSubquery 규칙을 nonExcludableRules에 추가
  • [SPARK-36949] [SQL] ANSI 간격으로 Hive 공급자 테이블 허용 안 함
  • [SPARK-36849] [SQL] UseStatement를 v2 명령 프레임워크로 마이그레이션
  • [SPARK-36868] [SQL] CreateFunctionStatement를 v2 명령 프레임워크로 마이그레이션
  • [SPARK-36841] [SQL] 현재 카탈로그를 변경하는 ansi 구문 set catalog xxx 추가
  • [SPARK-36821] [SQL] ColumnarBatch 클래스를 확장 가능하게 설정 - 추록
  • [SPARK-36963] [SQL] sql.functions에 max_by/min_by 추가
  • [SPARK-36913] [SQL] DS V2 JDBC(MySQL 언어)에서 createIndex 및 IndexExists 구현
  • [SPARK-36848] [SQL] ShowCurrentNamespaceStatement를 v2 명령 프레임워크로 마이그레이션
  • [SPARK-36526] [SQL] DSV2 인덱스 지원: supportsIndex 인터페이스 추가
  • [SPARK-36960] [SQL] ORC에 대한 ANSI 간격 값을 사용한 푸시다운 필터
  • [SPARK-36929] [SQL] 사용되지 않는 메서드 EliminateSubqueryAliasesSuite#assertEquivalent 제거
  • [SPARK-36931] [SQL] ORC 데이터 원본 간의 ANSI 간격 읽기 및 쓰기 지원
  • [SPARK-34980] [SQL] AQE에서 공용 구조체를 통한 병합 파티션 지원
  • [SPARK-36809] [SQL] DPP에 사용되는 InSubqueryExec에 대한 브로드캐스트 제거
  • [SPARK-36813] [SQL][PYTHON] 조인 및 imlement ps.merge_asof 기준 인프라 제안
  • [SPARK-36918] [SQL] unionByName 구조체를 비교할 때 형식 무시
  • [SPARK-36891] [SQL] SpecificParquetRecordReaderBase를 리팩터링하고 벡터화된 Parquet 디코딩에 대한 더 많은 검사 추가
  • [SPARK-36920] [SQL] ABS()로 ANSI 간격 지원
  • [SPARK-36888] [SQL] sha2 함수에 대한 테스트 사례 추가
  • [SPARK-36889] [SQL] v2 parquet 스캔 작성기별 spark.sql.parquet.filterPushdown 준수
  • [SPARK-36830] [SQL] JSON 데이터 원본에서 ANSI 간격 읽기 및 쓰기 지원
  • [SPARK-36870] [SQL] INTERNAL_ERROR 오류 클래스 도입
  • [SPARK-36831] [SQL] CSV 데이터 원본 간 ANSI 간격 읽기 및 쓰기 지원
  • [SPARK-36550] [SQL] UDF 리플렉션이 실패할 때 전파 원인
  • [SPARK-36866] [SQL] parquet에 대한 ANSI 간격 값을 사용한 푸시다운 필터
  • [SPARK-33832] [SQL] 강제 기울이기 조인 코드 단순화 및 개선
  • [SPARK-36642] [SQL] df.withMetadata pyspark API 추가
  • [SPARK-35765] [SQL] 고유 agg가 중복 구분되지 않음
  • [SPARK-36825] [SQL] ANSI 간격이 parquet 파일에서/로 데이터 프레임 읽기/쓰기
  • [SPARK-36829] [SQL] collectionOperators에 대한 NULL 리팩터링 검사
  • [SPARK-32712] [SQL] Hive 버킷 테이블(Hive 해시를 사용하는 Hive 파일 형식) 작성 지원
  • [SPARK-36797] [SQL] 공용 구조체가 중첩 열을 최상위 열로 확인해야 함
  • [SPARK-36838] [SQL] InSet에서 생성된 코드 성능 향상
  • [SPARK-36683] [SQL] 새 기본 제공 SQL 함수 추가: SEC 및 CSC
  • [SPARK-36721] [SQL] 한쪽이 리터럴인 경우 부울 동일성 단순화
  • [SPARK-36760] [SQL] SupportsPushDownV2Filters 인터페이스 추가
  • [SPARK-36652] [SQL] AQE 동적 조인 선택이 비동등 조인에 적용되지 않아야 함
  • [SPARK-36745] [SQL] ExtractEquiJoinKeys는 조인 키에 원래 조건자를 반환해야 함
  • [SPARK-36107] [SQL] 오류 클래스를 사용하도록 쿼리 실행 오류 20개 중 첫 번째 집합 리팩터링
  • [SPARK-32709] [SQL] Hive 버킷 테이블(Hive 해시가 있는 Parquet/ORC 형식) 작성 지원
  • [SPARK-36735] [SQL] DPP에 대해 캐시된 관계의 오버헤드 조정
  • [SPARK-33832] [SQL] 추가 순서 섞기 도입이 있더라도 기울어진 조인 최적화 지원
  • [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec이 비등급 조건 대신 모든 조건을 사용해야 함
  • [SPARK-35221] [SQL] 지원되는 조인 힌트 검사 추가
  • [SPARK-36814] [SQL] ColumnarBatch 클래스를 확장 가능으로 설정
  • [SPARK-36663] [SQL] ORC 데이터 원본에서 숫자 전용 열 이름 지원
  • [SPARK-36751] [SQL][PYTHON][R] Scala, Python 및 R에 bit/octet_length API 추가
  • [SPARK-36733] [SQL] 구조체에 필드가 많은 경우 SchemaPruning의 성능 이슈 해결
  • [SPARK-36724] [SQL] SessionWindow에 대한 시간 열 형식으로 timestamp_ntz 지원
  • [SPARK-36556] [SQL] DSV2 필터 추가
  • [SPARK-36687] [SQL][CORE] _ERROR 접미사를 사용하여 오류 클래스 이름 바꾸기
  • [SPARK-35803] [SQL] DataSource V2 CreateTempViewUsing 지원
  • [SPARK-36642] [SQL] df.withMetadata 추가: 데이터 프레임의 메타데이터를 업데이트하는 구문 suger

유지 관리 업데이트

Databricks Runtime 10.1 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
Antergos Linux 2015.10(ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bleach 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 cffi 1.14.5 chardet 4.0.0
cycler 0.10.0 Cython 0.29.23 dbus-python 1.2.16
decorator 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0.23ubuntu1 entrypoints 0.3 facets-overview 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 koalas 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
Notebook 6.3.0 numpy 1.19.2 패키징 20.9
pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2.20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 pyrsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2021-10-26)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
캐럿 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.4.0 crayon 1.4.1 credentials 1.3.1
curl 4.3.2 data.table 1.14.2 데이터 세트 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.2 diffobj 0.3.5 digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
줄임표 0.3.2 evaluate 0.14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-81
forge 0.2.0 fs 1.5.0 future 1.22.1
future.apply 1.8.1 gargle 1.2.0 제네릭(generics) 0.1.1
gert 1.4.1 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 globals 0.14.0
glue 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 graphics 4.1.1 grDevices 4.1.1
grid 4.1.1 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ID 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 주기 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 행렬 1.3-4
memoise 2.0.0 메서드 4.1.1 mgcv 1.8-38
mime 0.12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
parallelly 1.28.1 pillar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
진행률 1.2.2 progressr 0.9.0 promises 1.2.0.1
proto 1.0.0 프록시 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.2
readxl 1.3.1 recipes 0.1.17 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.1 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.12 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.2
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 통계 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.34 tools 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0.4
withr 2.4.2 xfun 0.27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 아이비 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1