Databricks Runtime 8.4(지원되지 않음)
다음 릴리스 정보는 Apache Spark 3.1.2에서 제공하는 Databricks Runtime 8.4 및 Databricks Runtime 8.4 Photon에 대한 정보를 제공합니다. Databricks는 이러한 이미지를 2021년 7월에 릴리스했습니다. Photon은 현재 공개 미리 보기 상태입니다.
새로운 기능 및 향상 기능
Delta Lake 기능 및 향상된 기능
- 델타 테이블 변경 데이터 피드(GA)
- Databricks Runtime을 사용하여 공유 델타 테이블을 쉽게 로드
- 더 많은 테이블에서 동적 파일 정리를 활용할 수 있음
- 자동 대상 파일 크기 튜닝을 사용하여 성능 향상
DeltaTable.forName에서 테이블을 지정하는 다양한 방법foreachBatch를 사용하는 강력한 스트리밍 다중 테이블 쓰기- 튜닝된 검사점으로 인해 특정 워크로드에서 읽기 쿼리 성능 향상
GroupState를 만들어 사용자 정의 구조적 스트리밍 함수 테스트
델타 테이블 변경 데이터 피드(GA)
이제 델타 테이블 변경 데이터 피드가 일반 공급됩니다. 다른 테이블 버전 간의 행 수준 변경 내용을 나타냅니다. 사용하도록 설정하면 테이블의 모든 쓰기 작업에 대한 행 수준 변경과 관련된 추가 정보가 기록됩니다. Azure Databricks에서 Delta Lake 변경 데이터 피드 사용을 참조하세요.
Databricks Runtime을 사용하여 공유 델타 테이블을 쉽게 로드
Delta Sharing 0.1.0용 Apache Spark 커넥터가 이제 Databricks Runtime에 있습니다. Delta Sharing Spark 커넥터를 클러스터에 연결하지 않고 직접 spark.read.format("deltaSharing").load(uri)를 사용하여 공유 테이블을 로드할 수 있습니다.
더 많은 테이블에서 동적 파일 정리를 활용할 수 있음
동적 파일 정리 기능은 파일 수가 적은 테이블에서 트리거되도록 튜닝되었습니다. 동적 파일 정리를 참조하세요.
자동 대상 파일 크기 튜닝을 사용하여 성능 향상
델타 테이블의 대상 파일 크기는 이제 테이블 크기에 따라 자동으로 튜닝됩니다. 이전에는 OPTIMIZE 및 OPTIMIZE ZORDER BY의 대상 파일 크기가 1GB였습니다. 테이블 크기에 따라 자동 튜닝을 사용하는 경우 최대 2.56TB의 델타 테이블에서 대상 크기로 256MB를 사용합니다. 10TB보다 큰 테이블은 이전과 같이 1GB를 사용합니다. 이러한 크기 사이의 테이블은 테이블 크기에 비례하여 증가하는 대상 크기를 사용합니다.
데이터 파일 크기를 제어하도록 Delta Lake 구성을 참조하세요.
DeltaTable.forName에서 테이블을 지정하는 다양한 방법
이제 DeltaTable.forName에서 delta.`<path>`를 사용하여 테이블을 식별할 수 있습니다.
foreachBatch를 사용하는 강력한 스트리밍 다중 테이블 쓰기
이제 foreachBatch() 명령 내의 idempotent 델타 스트리밍 쓰기가 지원됩니다. 자세한 내용은 Idempotent 다중 테이블 쓰기를 참조하세요.
튜닝된 검사점으로 인해 특정 워크로드에서 읽기 쿼리 성능 향상
Delta Lake는 이제 향상된 검사점을 수행하는 빈도를 튜닝합니다. 이제 델타는 고정된 간격으로 검사점을 지정하는 대신 특정 이벤트 트리거에 따라 검사점 빈도를 동적으로 조정합니다. 이렇게 하면 이전에 일부 데이터 건너뛰기 최적화를 적용할 수 없었던 워크로드에서 읽기 쿼리 성능이 향상됩니다. 이러한 최적화를 사용하려면 Delta Lake에 쓰는 작업을 Databricks Runtime 8.4로 업그레이드합니다. 구조적 스트리밍 쿼리에 향상된 검사점 사용을 참조하세요.
GroupState를 만들어 사용자 정의 구조적 스트리밍 함수 테스트
지금까지는 구조적 스트리밍 엔진만 GroupState의 인스턴스를 만들 수 있었습니다. 따라서 사용자 정의 함수의 단위 테스트는 Apache Spark에서 스트리밍 쿼리를 실행해야 했습니다.
이제 TestGroupState.create(…)를 사용하여 GroupState의 인스턴스를 만들 수 있습니다. 이렇게 하면 Spark를 실행할 필요가 없는 간단한 단위 테스트에서 사용자 정의 함수를 테스트할 수 있습니다. mapGroupsWithState 업데이트 함수 테스트를 참조하세요. 특히 사용자 정의 함수가 적용된 후 내부 상태를 검사하는 추가 메서드를 사용하여 GroupState 인터페이스를 확장하는 TestGroupState 유형의 인스턴스를 생성합니다.
자동 로더 기능 및 향상된 기능
누락된 파일을 캡처하도록 백필 구성
자동 로더는 이제 파일 알림을 사용하여 누락되었을 수 있는 모든 파일을 캡처하기 위해 백필을 비동기적으로 수행하도록 지원합니다. 파일 스토리지 시스템 및 알림 시스템은 모든 파일 이벤트의 100% 전달을 보장할 수 없습니다. 따라서 Databricks는 자동 로더를 사용하여 모든 데이터를 캡처하기 위해 주기적 백필을 사용하도록 권장합니다. cloudFiles.backfillInterval 옵션을 사용하여 데이터에 대한 정기적인 백필을 예약합니다. 일반적인 자동 로더 옵션을 참조하세요.
대용량 스트림에 대한 바인딩된 스토리지 공간
이제 RocksDB의 항목을 만료시키고 제거하여 검사점 위치의 스토리지 공간을 바인딩하도록 자동 로더를 구성할 수 있습니다. Databricks는 시간당 수백만 개의 파일 순서로 데이터를 수집하지 않는 한 이 옵션을 사용하지 않도록 권장합니다. 이 옵션을 잘못 설정하거나 튜닝하려고 하면 처리되지 않은 파일이 무시되거나 정확히 한 번 처리되는 대신 일부 파일이 복제되는 것과 같은 많은 데이터 품질 문제가 발생할 수 있습니다. 자세한 내용은 이벤트 보존을 참조하세요.
경로 없는 지원을 사용하여 구성 간소화
S3 버킷
이제 여러 경로 또는 S3 버킷에서 이벤트를 받는 SQS 큐를 제공할 수 있습니다.
SQS 큐 URL을 제공하는 경우 이 사용 사례에는 path 옵션이 필요하지 않습니다.
자동 로더는 S3 이벤트의 버킷과 키를 사용하여 S3 경로를 구성합니다. DBFS 탑재 지점을 통해 파일을 읽으려면 cloudFiles.pathRewrites를 사용하여 경로 접두사를 DBFS로 변경할 수 있습니다. AssumeRole을 사용하여 다른 계정의 데이터에 액세스하는 경우에만 이 작업이 필요합니다.
파일 알림 옵션을 참조하세요.
Azure Data Lake Storage Gen2 컨테이너
이제 여러 컨테이너에서 이벤트를 받는 Azure 큐를 제공할 수 있습니다.
Azure 큐 이름을 제공하는 경우 path 옵션이 필요하지 않습니다.
기본적으로 자동 로더는 파일 이벤트의 컨테이너와 키를 사용하여 Azure Data Lake Storage Gen2 경로를 생성합니다.
WASB 경로 또는 DBFS 탑재 지점을 사용하려는 경우 cloudFiles.pathRewrites를 사용하여 경로 접두사를 변경할 수 있습니다.
파일 알림 옵션을 참조하세요.
커넥터 업그레이드
- Snowflake Spark 커넥터가 v2.9.0으로 업데이트되었습니다.
- KMS 암호화는 이제 Redshift 커넥터의
UNLOAD문에서 지원됩니다.
버그 수정
- 사용자에게 파일 액세스 권한이 없는 경우에도
select * from folder에서 폴더 콘텐츠를 표시할 수 있는 테이블 액세스 제어를 사용하여 사용하도록 설정된 클러스터에 대한 문제가 해결되었습니다. - 관리자가 아닌 데이터베이스 소유자는 이제 데이터베이스에서 소유하지 않은 테이블을 삭제할 수 있습니다. 이렇게 하면 데이터베이스에 소유하지 않은 테이블이 있는 경우 데이터베이스 소유자가 해당 데이터베이스를 삭제할 수 없는 문제가 해결됩니다.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- certifi: 2020.12.5에서 2021.5.30으로
- distill: 0.3.1에서 0.3.2로
- koalas: 1.8.0에서 1.8.1로
- protobuf: 3.17.0에서 3.17.3으로
- 업그레이드된 R 라이브러리:
- base: 4.0.4에서 4.1.0으로
- boot: 1.3-27에서 1.3-28로
- class: 7.3-18에서 7.3-19로
- cluster: 2.1.1에서 2.1.2로
- compiler: 4.0.4에서 4.1.0으로
- datasets: 4.0.4에서 4.1.0으로
- graphics: 4.0.4에서 4.1.0으로
- grDevices: 4.0.4에서 4.1.0으로
- grid: 4.0.4에서 4.1.0으로
- KernSmooth: 2.23-18에서 2.23-20으로
- lattice: 0.20-41에서 0.20-44로
- MASS: 7.3-53.1에서 7.3-54로
- Matrix: 1.3-2에서 1.3-3으로
- methods: 4.0.4에서 4.1.0으로
- mgcv: 1.8-33에서 1.8-35로
- nnet: 7.3-15에서 7.3-16으로
- parallel: 4.0.4에서 4.1.0으로
- Rserve: 1.8-7에서 1.8-8로
- SparkR: 3.1.1에서 3.1.2로
- splines: 4.0.4에서 4.1.0으로
- stats: 4.0.4에서 4.1.0으로
- stats4: 4.0.4에서 4.1.0으로
- survival: 3.2-7에서 3.2-11로
- tcltk: 4.0.4에서 4.1.0으로
- tools: 4.0.4에서 4.1.0으로
- utils: 4.0.4에서 4.1.0으로
- 업그레이드된 Java 라이브러리:
- snowflake-jdbc: 3.12.8에서 3.13.3으로
- spark-snowflake_2.12: 2.8.1-spark_3.0에서 2.9.0-spark_3.1로
- RoaringBitmap: 0.9.0에서 0.9.14로
- shims: 0.9.0에서 0.9.14로
- rocksdbjni: 6.2.2에서 6.20.3으로
Apache Spark
Databricks Runtime 8.4에는 Apache Spark 3.1.2가 포함됩니다. 이 릴리스에는 Databricks Runtime 8.3(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-35792] [SQL] 보기에서
RelationConversions에서 사용하는 구성을 캡처하지 않아야 함 - [SPARK-35700] [SQL] 외부 시스템에서 만들고 기록한 char/varchar orc 테이블 읽기
- [SPARK-35636] [SQL] 람다 키를 람다 함수 외부에서 참조하지 않아야 함
- [SPARK-35800] [Cherry Pick] TestGroupState를 도입하여 GroupState 테스트 가능성 향상
- [SPARK-35391] ExecutorAllocationListener의 메모리 누수 수정
- [SPARK-35799] [CherryPick] FlatMapGroupsWithStateExec에서 측정하는 allUpdatesTimeMs 메트릭 수정
- [SPARK-35763] [SS] StateStoreCustomMetric 하위 클래스 열거형 종속성 제거
- [SPARK-35791 [SQL] NULL 인식 ANTI 조인에 대해 진행 중인 맵을 올바르게 릴리스
- [SPARK-35695] [SQL] 캐시된 적응형 실행 하위 트리에서 관찰된 메트릭 수집
- [SPARK-35767] [SQL] CoalesceExec에서 자식 계획을 두 번 실행하지 않음
- [SPARK-35746] [UI] 스테이지 페이지 작업 이벤트 타임라인에서 taskid 수정
- [SPARK-35673] [SQL] 하위 쿼리에서 사용자 정의 힌트 및 인식할 수 없는 힌트 수정
- [SPARK-35714] [CORE] 실행기 종료 중 교착 상태에 대한 버그 수정
- [SPARK-35689] [SS] keyWithIndexToValue에서 null 값을 반환할 때 로그 경고 추가
- [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint에서 업데이트 중 인덱스 전용 순서 섞기 파일을 무시하지 않아야 함
- [SPARK-35643] [PYTHON] functions.py column()의 모호한 참조 수정
- [SPARK-35652] [SQL] 동일한 테이블에서 생성된 두 테이블에 대한 joinWith
- [SPARK-35679] [SQL] instantToMicros 오버플로
- [SPARK-35602] [SS] 긴 길이 JSON을 허용할 수 있도록 상태 스키마 업데이트
- [SPARK-35653] [SQL] case 클래스를 키 또는 값으로 사용하는 Map에 대해 CatalystToExternalMap에서 해석한 경로 실패 수정
- [SPARK-35296] [SQL] 작업의 CollectMetricsExec에서 여러 파티션을 처리하는 경우에도 Dataset.observe가 작동하도록 허용
- [SPARK-35659] [SS] StateStore에 null 쓰기 방지
- [SPARK-35665] [SQL] CollectMetrics에서 UnresolvedAlias 해결
- [SPARK-35558] 다중 분위수 검색에 최적화
- [SPARK-35621] [SQL] TypeCoercion 규칙에 규칙 ID 정리 추가
- [SPARK-35077] [SQL] 남은 최적화 프로그램 규칙에 대한 transformWithPruning으로 마이그레이션
- [SPARK-35610] [CORE] 실행기의 중지 종료 후크로 인한 메모리 누수 수정
- [SPARK-35544] [SQL] 분석기 규칙에 트리 패턴 정리 추가
- [SPARK-35566] [SS] StateStoreRestoreExec 출력 행 수정
- [SPARK-35454] [SQL][3.1] 하나의 LogicalPlan이 여러 데이터 세트 ID와 일치할 수 있음
- [SPARK-35538] [SQL] transformAllExpressionsWithPruning을 사용하도록 transformAllExpressions 호출 사이트 마이그레이션
- [SPARK-35106] [Core][SQL] 존재하지 않는 대상 디렉터리로 인한 이름 바꾸기 실패 방지
- [SPARK-35287] [SQL] RemoveRedundantProjects가 DataSourceV2ScanRelation에 대해 UnsafeRow를 생성하는 ProjectExec를 유지하도록 허용
- [SPARK-35495] [R] CRAN에 대한 SparkR 유지 관리자 변경
- [SPARK-27991] [CORE] Netty OOM에서 가져오기 요청 연기
- [SPARK-35171] [R] markdown 패키지를 SparkR 패키지의 종속성으로 선언
- [SPARK-35454] [SQL] 하나의 LogicalPlan이 여러 데이터 세트 ID와 일치할 수 있음
- [SPARK-35298] [SQL] Optimizer.scala의 규칙에 대한 transformWithPruning으로 마이그레이션
- [SPARK-35480] [SQL] 피벗을 사용하여 percentile_approx 작동
- [SPARK-35093] [SQL] 이제 AQE에서 다시 사용하기 위해 캐시된 교환을 조회하기 위한 키로 newQueryStage 계획을 사용함
- [SPARK-35146] [SQL] finishAnalysis.scala의 규칙에 대한 transformWithPruning 또는 resolveWithPruning으로 마이그레이션
- [SPARK-35411] [SQL] TreeNode를 json으로 직렬화하는 동안 필수 정보 추가
- [SPARK-35294] [SQL] 최적화 프로그램에서 전용 파일을 사용하여 규칙에 트리 통과 정리 추가
- [SPARK-34897] [SQL][3.1] 중첩된 열 정리 후 인덱스에 따라 스키마 조정 지원
- [SPARK-35144] [SQL] 개체 규칙에 대한 transformWithPruning으로 마이그레이션
- [SPARK-35155] [SQL] 분석기 규칙에 규칙 ID 정리 추가
- [SPARK-35382] [PYTHON] Python API의 중첩된 DataFrame 함수에서 람다 변수 이름 문제 해결
- [SPARK-35359] [SQL] 데이터 길이가 길이 제한을 초과하면 char/varchar 데이터 형식의 데이터 삽입이 실패함
- [SPARK-35381] [R] R API에서 중첩된 고차 함수의 람다 변수 이름 문제 해결
시스템 환경
- 운영 체제: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0(2021-05-18)
- Delta Lake 1.0.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| 암호화 | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| decorator | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koalas | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2.20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| requests | 2.24.0 | retrying | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | six | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
설치된 R 라이브러리
R 라이브러리는 Microsoft CRAN 스냅샷(2020-11-02)에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| boot | 1.3-28 | brew | 1.0-6 | brio | 1.1.0 |
| broom | 0.7.2 | callr | 3.5.1 | 캐럿 | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1.7 |
| compiler | 4.1.0 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | crayon | 1.3.4 | credentials | 1.3.0 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| 데이터 세트 | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| 줄임표 | 0.3.1 | evaluate | 0.14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | foreign | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | future | 1.21.0 | 제네릭(generics) | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| glue | 1.4.2 | gower | 0.2.2 | graphics | 4.1.0 |
| grDevices | 4.1.0 | grid | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | iterators | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | knitr | 1.30 |
| labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-44 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | 주기 | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | 행렬 | 1.3-3 |
| memoise | 1.1.0 | 메서드 | 4.1.0 | mgcv | 1.8-35 |
| mime | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallelly | 1.22.0 | pillar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| 진행률 | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recipes | 0.1.15 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| rversions | 2.0.2 | rvest | 0.3.6 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | shape | 1.4.5 |
| shiny | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | spatial | 7.3-11 | splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | 통계 | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| survival | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0.28 | tools | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | whisker | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 프로파일러 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 아이비 | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |