Databricks Runtime 10.5(지원되지 않음)

다음 릴리스 정보는 Apache Spark 3.2.1에서 제공하는 Databricks Runtime 10.5에 대한 정보를 제공합니다. Databricks는 이러한 이미지를 2022년 5월에 릴리스했습니다.

새로운 기능 및 향상 기능

SQL: 새 함수 to_numbertry_to_number

to_number 함수try_to_number 함수를 사용하면 다양한 형식으로 된 숫자의 문자 표현을 DECIMAL로 변환할 수 있습니다.

SQL: 새 try_sum 함수

sum과 달리 try_sum 집계 함수는 오버플로가 발생할 때 오류 대신 NULL을 반환합니다.

SQL: ceil, ceilingfloor 함수로 업데이트

이제 ceil 함수, ceiling 함수 및 floor 함수에서 대상 크기 조정을 지정하는 두 번째 선택적 인수를 지원합니다.

SQL: 새 regr_avgxregr_avgy 집계 함수

regr_avgx 집계 함수regr_avgy 집계 함수에서 선형 회귀를 지원합니다.

SQL: contains, startswithendswith 함수로 업데이트

이제 contains 함수, startswith 함수endswith 함수에서 문자열 외에도 이진 데이터 형식을 입력으로 지원합니다.

SQL: 새 array_size 함수

array_size 함수에서 배열의 크기를 계산합니다.

Unity 카탈로그: SQL LIST 출력은 is_directory 열을 제거하고 디렉터리 경로에 대한 후행 / 추가(공개 미리 보기)

Unity 카탈로그가 관리하는 경로 나열에 대한 SQL LIST 문의 출력이 변경되었습니다. is_directory 열은 더 이상 표시되지 않습니다. 대신 디렉터리를 나타내는 경로는 이제 pathname 열에 대한 후행 슬래시(/)로 끝납니다. 이 변경 내용은 dbutils.fs.ls 명령의 출력과 일관성을 유지하기 위한 것입니다.

자동 로더: 새 SQL 함수 CLOUD_FILES_STATE

CLOUD_FILES_STATE 함수를 사용하여 자동 로더 스트림의 내부 상태를 쿼리할 수 있습니다. 자동 로더로 검색된 파일 쿼리를 참조하세요.

자동 로더: 파일 알림 지원이 이제 GA(일반 공급)됨

이제 Google Cloud에서 자동 로더란?에 대한 파일 알림 지원이 일반 안정화 버전으로 제공됩니다.

Delta Lake: 단일 파일에 기록된 최대 레코드에 대한 새로운 maxRecordsPerFile 옵션

DataFrame API를 사용하여 델타 테이블에 쓸 때 maxRecordsPerFile 옵션을 사용하여 단일 파일에 쓸 최대 레코드 수를 지정할 수 있습니다. 값 0 또는 음수 값을 지정하면 제한이 없습니다. 데이터 파일 크기를 제어하도록 Delta Lake 구성을 참조하세요.

Koalas 사용 중단

Koalas는 이제 사용되지 않습니다. Koalas는 Apache Spark를 기반으로 pandas API를 제공합니다. Koalas는 커뮤니티에 기여했으며 Apache Spark 3.2부터 Spark 기반 Pandas API로 사용할 수 있습니다. Koalas는 Databricks Runtime 10.5에 대해 계속 사전 설치되지만, Koalas는 다음 Databricks 런타임 버전부터 더 이상 사전 설치되지 않습니다.

Spark 기반 Pandas API에 대한 자세한 내용은 다음을 참조하세요.

모든 파일 형식에 대한 새 _metadata

_metadata 열을 사용하여 입력 파일에 대한 메타데이터 정보를 가져올 수 있습니다. _metadata 열은 숨겨져 있습니다. 이 열은 모든 입력 파일 형식에 사용할 수 있습니다. _metadata 열을 반환된 DataFrame에 포함하려면 쿼리에서 이 열을 명시적으로 참조해야 합니다. 파일 메타데이터 열을 참조하세요.

Databricks Runtime 10.5를 사용하여 Delta Live Tables 파이프라인 테스트

Databricks Runtime 10.5는 이제 Delta Live Tables에 지원되는 preview 버전입니다. Databricks Runtime 10.5를 사용하여 파이프라인을 테스트하려면 파이프라인 설정에서 channel 설정을 preview로 설정합니다.

버그 수정

  • CDC(변경 데이터 캡처)가 사용하도록 설정된 델타 테이블에서 업데이트 작업에 대한 numUpdatedRowsnumCopiedRows 메트릭 결과의 표시가 수정되었습니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • plotly 5.5.0에서 5.6.0으로
  • 업그레이드된 R 라이브러리:
    • base 4.1.2에서 4.1.3으로
    • caret 6.0-90에서 6.0-91로
    • cluster 2.1.2에서 2.1.3으로
    • commonmark 1.7에서 1.8.0으로
    • compiler 4.1.2에서 4.1.3으로
    • crayon 1.5.0에서 1.5.1로
    • datasets 4.1.2에서 4.1.3으로
    • desc를 1.4.0에서 1.4.1로
    • fansi 1.0.2에서 1.0.3으로
    • glue 1.6.1 에서 1.6.2로
    • graphics 4.1.2에서 4.1.3으로
    • grDevices 4.1.2에서 4.1.3으로
    • grid 4.1.2에서 4.1.3으로
    • knitr 1.37에서 1.38로
    • MASS 7.3-55에서 7.3-56으로
    • Matrix 1.4-0에서 1.4-1로
    • methods 4.1.2에서 4.1.3으로
    • mgcv 1.8-39에서 1.8-40으로
    • nlme 3.1-155에서 3.1-157로
    • openssl 1.4.6에서 2.0.0으로
    • parallel 4.1.2에서 4.1.3으로
    • plyr 1.8.6에서 1.8.7로
    • processx 3.5.2에서 3.5.3으로
    • r2d3 0.2.5에서 0.2.6으로
    • Rcpp 1.0.8에서 1.0.8.3으로
    • rlang 1.0.1에서 1.0.2로
    • rmarkdown 2.11에서 2.13으로
    • RSQLite 2.2.10에서 2.2.11로
    • sass 0.4.0에서 0.4.1로
    • splines 4.1.2에서 4.1.3으로
    • stats 4.1.2에서 4.1.3으로
    • stats4 4.1.2에서 4.1.3으로
    • tcltk 4.1.2에서 4.1.3으로
    • tools 4.1.2에서 4.1.3으로
    • utils 4.1.2에서 4.1.3으로
    • uuid 0.1-3에서 1.0-4로
    • rvest 0.3.1에서 0.4.0으로
    • withr 2.4.3에서 2.5.0으로
    • xfun 0.29에서 0.30으로
  • 업그레이드된 Java 라이브러리:
    • com.h2database.h2 1.4.195에서 2.1.210으로
    • org.apache.hadoop.hadoop-client-api 3.3.1-databricks에서 3.3.2-databricks로
    • org.apache.hadoop.hadoop-client-runtime 3.3.1에서 3.3.2로
    • org.rocksdb.rocksdbjni 6.24.2에서 6.20.3으로

Apache Spark

Databricks Runtime 10.5에는 Apache Spark 3.2.1이 포함됩니다. 이 릴리스에는 다음과 같은 Databricks Runtime 10.4 LTS에 포함된 모든 Spark 수정 및 향상된 기능과 Spark에 대한 추가 버그 수정 및 향상된 기능이 포함되어 있습니다.

  • [SPARK-38354] [SC-97886] 되돌리기 “[SQL] 해시 조인 순서 섞기용 해시 프로브 메트릭 추가”
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] 일반 사용 로거가 있는 계측 PySpark SQL 모듈
  • [SPARK-38333] [SQL] PlanExpression 식은 Executor에서 addExprTree 함수를 건너뛰어야 함
  • [SPARK-38646] [PYTHON][10.x] Python 함수에 대한 특성 끌어오기
  • [SPARK-38674] [PHOTON] PhotonSubqueryBroadcastExec에 메트릭 추가
  • [SPARK-38787] [SS] 찾은 값을 키의 나머지 목록에서 null이 아닌 요소로 바꾸고 스트림-스트림 조인을 위한 keyWithIndexToValue 저장소의 값에서 나머지 null 요소 제거
  • [SPARK-38446] [Core] Log4j로 인한 ExecutorClassLoader와 FileDownloadCallback 간의 교착 상태 수정
  • [SPARK-38705] [SQL] 함수 만들기 및 삭제 명령에 함수 식별자 사용
  • [SPARK-38684] [SS] RocksDB 상태 저장소 공급자를 사용한 스트림-스트림 외부 조인의 정확성 문제 해결
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase에서 입력이 null이 아닌 오프셋 행을 찾을 수 없음
  • [SPARK-38204] [SS] 이전 버전과의 호환성을 위해 상태 저장 연산자에서 StatefulOpClusteredDistribution 사용
  • [SPARK-38616] [SQL] Catalyst TreeNode에서 SQL 쿼리 텍스트 추적
  • [SPARK-38600] [SQL] unit을(를) TIMESTAMPADD/DIFF의 sql 문자열에 포함
  • [SPARK-34805] [SQL] 별칭의 중첩 열에서 메타데이터 전파
  • [SPARK-38535] [SQL] datetimeUnit 열거형을 추가하고TIMESTAMPADD/DIFF에서 사용
  • [SPARK-38415] [SQL] x ==를 입력 형식으로 만들도록 histogram_numeric(x, y) 결과 형식 업데이트
  • [SPARK-38148] [SQL] 정적 파티션 정리가 있는 경우 동적 파티션 정리를 추가하지 마세요.
  • [SPARK-37527] [SQL] H2Dialet에서 COVAR_POP, COVAR_SAMPCORR 컴파일
  • [SPARK-38510] [SQL] ClassSymbol.selfType을 다시 시도하여 순환 참조 해결
  • [SPARK-38509] [SQL] TIMESTAMPADD/DIFF 함수 등록을 취소하고 DATE_ADD/DIFF 제거
  • [SPARK-38504] [SQL] TimestampNTZ를 TimestampLTZ로 읽을 수 없음
  • [SPARK-38526] [SQL] RuntimeReplaceable에 대한 잘못된 함수 별칭 이름 수정
  • [SPARK-38335] [SQL] DEFAULT 열 값에 대한 파서 지원 구현
  • [SPARK-38593] [SS] SessionWindowStateStoreSaveExec에 삭제된 지연 이벤트 수의 메트릭 전달
  • [SPARK-38549] [SS] SessionWindowStateStoreRestoreExecnumRowsDroppedByWatermark 추가
  • [SPARK-38583] [SQL] 숫자 형식을 허용하는 to_timestamp 동작 복원
  • [SPARK-38481] [SQL] Spark 예외로 인한 TIMESTAMPADD Java 오버플로 예외 대체
  • [SPARK-37753] [SQL] DynamicJoinSelection에서 브로드캐스트 해시 조인을 강등하는 미세 조정 논리
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH는 문자열 및 이진 형식을 모두 지원해야 함
  • [SPARK-38345] [SQL] SQL 함수 ARRAY_SIZE 소개
  • [SPARK-38385] [SQL] ParseException의 빈 명령문 및 <EOF> 오류 메시지 개선
  • [SPARK-37614] [SQL] ANSI 집계 함수 지원: regr_avgx 및 regr_avgy
  • [SPARK-38560] [SQL] Sum, Count, Any인 경우 고유와 함께, 부분 agg 푸시 다운을 수행할 수 없습니다.
  • [SPARK-38360] [SQL][SS][PYTHON] 중복 코드 패턴을 제거하는 TreeNode에 대한 exists 함수 소개
  • [SPARK-38385] [SQL] ANTLR에서 ‘일치하지 않는 입력’ 사례의 오류 메시지 개선
  • [SPARK-38240] [SQL] RuntimeReplaceable을 개선하고 새 함수를 추가하기 위한 지침 추가
  • [SPARK-38542] [SQL]UnsafeHashedRelation은 numKeys를 serialize해야 함
  • [SPARK-38521] [SQL] Scala에서 문자열에서 변수로 partitionOverwriteMode 변경
  • [SPARK-38558] [SQL] IntegerType과 IntDecimal 간에 불필요한 캐스트 제거
  • [SPARK-38489] [SQL] Aggregate.groupOnly는 접을 수 있는 식 지원
  • [SPARK-38410] [SQL] 리밸런스를 위해 초기 파티션 번호 지정 지원
  • [SPARK-38107] [SQL] python/pandas UDF의 컴파일 오류에 오류 클래스 사용
  • [SPARK-38354] [SQL] 해시 조인 순서 섞기용 해시 프로브 메트릭 추가
  • [SPARK-38112] [SQL] 날짜/타임스탬프 처리 실행 오류에 오류 클래스 사용
  • [SPARK-38361] [SQL] getConnection 팩터리 메서드를 JDBCDialect에 추가합니다.
  • [SPARK-37865] [SQL] 공용 구조체 중복 제거 수정 버그
  • [SPARK-38298] [SQL][테스트] DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, ANSI 모드에서 CastSuite 수정
  • [SPARK-38407] [SQL] ANSI 캐스트: null이 아닌 복합 형식 캐스팅의 제한 완화
  • [SPARK-38352] [SQL] ANSI 모드에서 DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite 수정
  • [SPARK-38054] [SQL] JDBC v2 MySQL 언어로 목록 네임스페이스 지원
  • [SPARK-37960] [SQL] DS v2 API에서 촉매 식을 나타내는 새로운 프레임워크
  • [SPARK-38103] [SQL] 변환의 구문 분석 오류를 새 오류 프레임워크로 마이그레이션
  • [SPARK-38519] [SQL] AQE throw 예외는 SparkFatalException을 준수해야 함
  • [SPARK-38528] [SQL] ExtractGenerator에서 프로젝트 목록을 빌드할 때 집계 시퀀스를 열심히 반복
  • [SPARK-38320] [SS] key에 대한 데이터를 사용하여 flatMapGroupsWithState 시간 제한을 일괄 처리로 수정
  • [SPARK-38442] [SQL] ANSI 모드에서 ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite 수정
  • [SPARK-38268] [SQL] Abs/CheckOverflow의 toString 메서드에서 “failOnError” 필드 숨기기
  • [SPARK-37949] [SQL] 균형 조정 통계 예측 개선
  • [SPARK-38450] [SQL] ANSI 모드에서 HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite 수정
  • [SPARK-38501] [SQL] ANSI 모드에서 thriftserver 테스트 오류 수정
  • [SPARK-37895] [SQL] 따옴표가 붙은 열을 사용하여 열 푸시다운 필터링
  • [SPARK-38449] [SQL] ignoreIfExists=true이고 테이블이 있는 경우 createTable 호출 방지
  • [SPARK-38406] [SQL] ShufflePartitionsUtil createSkewPartitionSpecs의 성능 향상
  • [SPARK-37947] [SQL] Generate 연산자에 포함된 GeneratorOuter 식에서 생성기를 추출합니다.
  • [SPARK-38309] [CORE] SHS shuffleTotalReadsshuffleTotalBlocks 백분위수 메트릭 수정
  • [SPARK-38412] [SS] StateSchemaCompatibilityChecker에서 교환된 시퀀스 간 수정
  • [SPARK-38267] [CORE][SQL][SS] 부울 식의 패턴 일치를 조건문으로 바꿈
  • [SPARK-38104] [SQL] 창의 구문 분석 오류를 새 오류 프레임워크로 마이그레이션
  • [SPARK-38434] [SQL] CheckAnalysis.getDataTypesAreCompatibleFn 메서드의 올바른 의미 체계
  • [SPARK-38033] [SS] SS 처리를 시작할 수 없음...
  • [SPARK-38378] [SQL] ANTLR 문법 정의를 별도의 파서 및 렉서 파일로 리팩터링
  • [SPARK-37475] [SQL] floor 및 ceil 함수에 배율 매개 변수 추가
  • [SPARK-38411] [CORE] doMergeApplicationListingInternal 이벤트 로그를 읽을 때 UTF-8 사용
  • [SPARK-36553] [ML] KMeans는 큰 K에 대한 컴퓨팅 보조 통계를 피함
  • [SPARK-38393] [SQL] 더 이상 사용되지 않는 GenSeq/GenMap 사용 정리
  • [SPARK-38389] [SQL] TIMESTAMPDIFF()에 대한 DATEDIFF()DATE_DIFF() 별칭 추가
  • [SPARK-33206] [CORE][3.2] 작은 인덱스 파일에 대한 순서 섞기 인덱스 캐시 가중치 계산 수정
  • [SPARK-38353] [PYTHON] 기기에서 Spark 기반 Pandas API에 대한 매직 메서드 입력종료
  • [SPARK-38323] [SQL][스트리밍] 스트리밍에서 숨겨진 파일 메타데이터 지원
  • [SPARK-38138] [SQL] QueryPlan 하위 쿼리 구체화
  • [SPARK-38094] 필드 ID별로 일치하는 스키마 열 이름 사용
  • [SPARK-37923] [SQL] 파서 내에서 BucketSpec에 대한 파티션 변환 생성
  • [SPARK-38363] [SQL] ANSI 모드가 설정된 경우 Dataset.summary()/Dataset.describe()에서 런타임 오류 방지
  • [SPARK-38284] [SQL] TIMESTAMPDIFF() 함수 추가
  • [SPARK-38251] [SQL] ANSI 모드에서 “ansi_cast” 대신 Cast.toString을 “cast”로 변경
  • [SPARK-38314] [SQL] 숨겨진 파일 메타데이터를 작성한 후 parquet 파일을 읽지 못하는 문제 해결

Databricks Runtime 10.5 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
Antergos Linux 2015.10(ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 Notebook 6.3.0 numpy 1.20.1
패키징 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2022-03-28)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
캐럿 6.0-91 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 데이터 세트 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
줄임표 0.3.2 evaluate 0.15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 제네릭(generics) 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ID 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.38 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
주기 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-56
행렬 1.4-1 memoise 2.0.1 메서드 4.1.3
mgcv 1.8-40 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 진행률 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 프록시 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2.13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.1
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
통계 4.1.3 stats4 4.1.3 stringi 1.76
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0.4 withr 2.5.0
xfun 0.30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 아이비 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1