Databricks Runtime 9.0(지원되지 않음)
다음 릴리스 정보는 Apache Spark 3.1.2에서 제공하는 Databricks Runtime 9.0 및 Databricks Runtime 9.0 Photon에 대해 설명합니다. Databricks는 2021년 8월에 이러한 이미지를 릴리스했습니다. Photon은 현재 공개 미리 보기 상태입니다.
수정
이러한 릴리스 정보의 이전 버전에서는 Apache Parquet 종속성이 1.10에서 1.12로 업그레이드되었다고 잘못 설명했습니다. 사실 Parquet 종속성은 여전히 버전 1.10입니다. 잘못된 릴리스 노트를 제거했습니다.
새로운 기능 및 향상 기능
- 데이터 세트의 요약 통계를 위한 새 API(퍼블릭 미리 보기)
- Azure Synapse 커넥터에 대한 더 간편한 외부 데이터 원본 구성
- 필요에 따라 Amazon Redshift 커넥터에 대해 지정된 기간으로 세션을 제한
- 자동 로더
- SQL
- R 지원
- 구조적 스트리밍 상태 저장 처리에 대한 초기 상태를 지정하여 다시 실행 방지
- 이제 Delta MERGE INTO 명령의 낮은 순서 섞기 구현을 사용할 수 있음(퍼블릭 미리 보기)
데이터 세트의 요약 통계를 위한 새 API(퍼블릭 미리 보기)
Databricks Utilities의 새로운 dbutils.data.summarize 명령을 사용하면 Spark DataFrame의 열에 대한 요약 통계를 자동으로 계산한 다음 결과를 대화형으로 표시하는 Spark 작업을 시작할 수 있습니다. 이 함수는 Scala 및 Python에서 사용할 수 있습니다. 데이터 유틸리티(dbutils.data)를 참조하세요.
Azure Synapse 커넥터에 대한 더 간편한 외부 데이터 원본 구성
Azure Synapse Analytics에서 데이터 쿼리 커넥터의 새로운 externalDataSource 옵션을 사용하면 사전 프로비저닝된 외부 데이터 원본을 사용하여 Azure Synapse 데이터베이스에서 읽을 수 있습니다. externalDataSource 옵션을 사용하면 이전에 필요했던 CONTROL 권한이 필요하지 않습니다.
externalDataSource을 설정하는 경우 임시 스토리지를 구성하는 데 사용되는 외부 데이터 원본 및 tempDir 옵션은 스토리지 계정에서 동일한 컨테이너를 참조해야 합니다.
필요에 따라 Amazon Redshift 커넥터에 대해 지정된 기간으로 세션을 제한
Azure Databricks 커넥터를 사용하여 Amazon Redshift 쿼리의 새 fs.s3a.assumed.role.session.duration 옵션을 사용하면 Redshift가 맡은 역할로 임시 S3 버킷에 액세스할 때 필요에 따라 세션 기간을 설정할 수 있습니다.
자동 로더
- 최적화된 파일 목록
- 최적화된 이미지 데이터 스토리지
- 이진 파일에 대한 이미지 썸네일(퍼블릭 미리 보기)
DirectoryRename이벤트를 사용하면 여러 파일을 원자성 처리할 수 있음
최적화된 파일 목록
자동 로더 최적화는 AWS S3, ADLS Gen2(Azure Data Lake Storage Gen2), GCS(Google Cloud Storage)를 포함하여 클라우드 스토리지에 중첩된 디렉터리를 나열하는 경우 성능을 향상하고 비용을 절감합니다.
예를 들어 /some/path/YYYY/MM/DD/HH/fileName으로 업로드되는 파일이 있는 경우 이 디렉터리의 모든 파일을 찾기 위해 자동 로더는 모든 하위 디렉터리를 병렬로 나열하여 365(일당) * 24(시간당) = 8760 LIST API 디렉터리가 각 연도 디렉터리의 기본 스토리지로 호출되도록 했습니다. 이러한 스토리지 시스템에서 평면화된 응답을 받으면 자동 로더는 스토리지 시스템의 파일 수에 대한 API 호출 수를 각 API 호출에 의해 반환된 결과 수(S3의 경우 1000, ADLS Gen2의 경우 5000, GCS의 경우 1024)로 나누어 클라우드 비용을 크게 절감합니다.
최적화된 이미지 데이터 스토리지
이제 자동 로더는 수집 중인 이미지 데이터를 자동으로 검색하고 델타 테이블에서 스토리지를 최적화하여 읽기 및 쓰기 성능을 개선할 수 있습니다. ML용 Delta Lake에 이미지 또는 이진 데이터 수집을 참조하세요.
이진 파일에 대한 이미지 썸네일(퍼블릭 미리 보기)
자동 로더를 사용하여 델타 테이블로 로드되거나 저장된 binaryFile 형식의 이미지에는 주석이 첨부되어 Azure Databricks Notebook에 테이블이 표시되는 경우 이미지 썸네일이 나타납니다. 자세한 내용은 이미지를 참조하세요.
DirectoryRename 이벤트를 사용하면 여러 파일을 원자성 처리할 수 있음
Azure Data Lake Storage Gen2의 Databricks Runtime 9.0 이상에서 만든 자동 로더 스트림은 디렉터리 이름을 포함하고 RenameDirectory 이벤트를 수신 대기하기 위해 파일 이벤트 알림을 설정합니다. 디렉터리 이름을 사용하여 여러 파일을 자동 로더에 원자성으로 표시할 수 있습니다.
SQL
SELECT *에서 열 제외(퍼블릭 미리 보기)
SELECT *는 이제 확장에서 지정된 최상위 수준 열을 제외할 수 있는 EXCEPT 키워드를 지원합니다. 예를 들어 스키마 (a, b, c)가 있는 테이블의 SELECT * EXCEPT (b) FROM tbl은 (a, c)으로 확장됩니다.
SQL 스칼라 함수(퍼블릭 미리 보기)
CREATE FUNCTION은 이제 SQL 스칼라 함수를 지원합니다. 인수 집합을 사용하고 단일 스칼라 형식 값을 반환하는 스칼라 함수를 만들 수 있습니다. SQL 함수 본문은 어떠한 식이든 될 수 있습니다. 예시:
CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);
자세한 내용은 CREATE FUNCTION(SQL 및 Python)을 참조하세요.
FROM 하위 쿼리의 이전 별칭 및 열 참조(퍼블릭 미리 보기)
이제 쿼리의 FROM 절에 있는 하위 쿼리 앞에 이전 FROM 항목의 별칭과 열을 참조할 수 있는 LATERAL 키워드가 올 수 있습니다. 예시:
SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)
LATERAL 키워드는 INNER, CROSS, LEFT (OUTER) JOIN을 지원합니다.
R 지원
Notebook 범위 R 라이브러리(퍼블릭 미리 보기)
Notebook 범위 Python 라이브러리를 사용하여 Python 라이브러리를 설치하고 Notebook 세션으로 범위가 지정된 환경을 만들 수 있습니다. 이러한 라이브러리는 동일한 클러스터에서 실행되는 다른 Notebook에 영향을 미치지 않습니다. 라이브러리는 드라이버 및 작업자 노드에서 모두 사용할 수 있으므로 사용자 정의 함수에서 참조할 수 있습니다. Notebook 범위 R 라이브러리를 참조하세요.
R Notebook 경고 메시지
이제 R Notebook 내에서 warn 옵션의 기본값은 1로 설정됩니다. 따라서 이제 모든 경고가 명령 결과의 일부로 노출됩니다. warn 옵션에 대한 자세한 내용은 옵션 설정을 참조하세요.
구조적 스트리밍 상태 저장 처리에 대한 초기 상태를 지정하여 다시 실행 방지
이제 [flat]MapGroupsWithState 연산자를 사용하여 구조적 스트리밍 상태 저장 처리에 대해 사용자 정의 초기 상태를 지정할 수 있습니다.
mapGroupsWithState의 초기 상태 지정을 참조하세요.
이제 Delta MERGE INTO 명령의 낮은 순서 섞기 구현을 사용할 수 있음(퍼블릭 미리 보기)
Delta MERGE INTO 명령에서는 수정되지 않은 행의 순서 섞기를 줄이는 새로운 구현을 사용할 수 있습니다. 이렇게 하면 명령의 성능이 개선되고 Z 순서 지정과 같은 테이블의 기존 클러스터링을 유지하는 데 도움이 됩니다. 낮은 순서 섞기 병합을 사용하도록 설정하려면 spark.databricks.delta.merge.enableLowShuffle을 true로 설정합니다. Azure Databricks의 낮은 순서 섞기 병합을 참조하세요.
버그 수정
- 더 이상 같은 이름으로 뷰를 만들어 뷰를 덮어쓸 수 없습니다.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- certifi를 2021.5.30에서 2020.12.5로
- chardet을 3.0.4에서 4.0.0으로
- Cython을 0.29.21에서 0.29.23으로
- decorator를 4.4.2에서 5.0.6
- ipython을 7.19.0에서 7.22.0으로
- joblib을 0.17.0에서 1.0.1로
- jupyter-client를 6.1.7에서 6.1.12로
- jupyter-core를 4.6.3에서 4.7.1로
- kiwisolver를 1.3.0에서 1.3.1로
- matplotlib으로 3.2.2에서 3.4.2로
- pandas를 1.1.5에서 1.2.4로
- pip을 20.2.4에서 21.0.1로
- prompt-toolkit을 3.0.8에서 3.0.17로
- protobuf를 3.17.3에서 3.17.2로
- ptyprocess를 0.6.0에서 0.7.0으로
- pyarrow를 1.0.1에서 4.0.0으로
- Pygments를 2.7.2에서 2.8.1로
- pyzmq를 19.0.2에서 20.0.0으로
- requests를 2.24.0에서 2.25.1로
- s3transfer를 0.3.6에서 0.3.7로
- scikit-learn을 0.23.2에서 0.24.1로
- scipy을 1.5.2에서 1.6.2로
- seaborn을 0.10.0에서 0.11.1로
- setuptools를 50.3.1에서 52.0.0으로
- statsmodels를 0.12.0에서 0.12.2로
- tornado를 6.0.4에서 6.1로
- virtualenv를 20.2.1에서 20.4.1로
- wheel을 0.35.1에서 0.36.2로
- 업그레이드된 R 라이브러리:
- Matrix를 1.3-3에서 1.3-4로
Apache Spark
Databricks Runtime 9.0에는 Apache Spark 3.1.2가 포함됩니다. 이 릴리스에는 Databricks Runtime 8.4(지원되지 않음)에 포함된 모든 Spark 수정 및 개선 사항과 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-35886] [SQL][3.1] PromotePrecision은 genCode를 덮어쓰지 않아야 함
- [SPARK-35879] [CORE][SHUFFLE] collectFetchRequests로 인한 성능 회귀 수정
- [SPARK-35817] [SQL][3.1] 넓은 Avro 테이블에 대한 쿼리 성능 복원
- [SPARK-35841] [SQL] 문자열을 10진수 유형으로 캐스팅하는 것은 다음과 같은 경우 작동하지 않음
- [SPARK-35783] [SQL] ORC 데이터 읽기를 줄이기 위해 작업 구성에서 읽기 열 목록을 설정
- [SPARK-35576][SQL][3.1] Set 명령의 결과에서 중요한 정보 수정
- [SPARK-35449] [SQL][3.1] elseValue가 설정된 경우 CaseWhen 값에서 일반적인 식만 추출
- [SPARK-35288] [SQL] StaticInvoke는 정확한 인수 클래스가 일치하지 않는 메서드를 찾아야 함
- [SPARK-34794] [SQL] 중첩된 DataFrame 함수의 람다 변수 이름 문제 해결
- [SPARK-35278] [SQL] Invoke는 올바른 수의 매개 변수가 있는 메소드를 찾아야 함
- [SPARK-35226] [SQL] JDBC 데이터 원본에서 refreshKrb5Config 옵션 지원
- [SPARK-35244] [SQL] 호출은 원래 예외를 throw해야 함
- [SPARK-35213] [SQL] 연결된 withField 작업에서 중첩된 구조체의 올바른 순서 유지
- [SPARK-35087] [UI] stage-detail 페이지의 실행기별 집계된 메트릭 테이블의 일부 열이 잘못 표시됩니다.
- [SPARK-35168] [SQL] mapred.reduce.tasks는 adaptive.coalescePartitions.initialPartitionNum이 아닌 shuffle.partitions여야 함
- [SPARK-35127] [UI] 서로 다른 스테이지 세부 정보 페이지 간에 전환하면 새로 연 페이지의 항목이 비어 있을 수 있음
- [SPARK-35142] [PYTHON][ML]
OneVsRestModel의rawPredictionUDF에 대한 잘못된 반환 유형 수정 - [SPARK-35096] [SQL] SchemaPruning은 spark.sql.caseSensitive 구성을 준수해야 함
- [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias는 UnresolvedAlias를 생성해서는 안 됨
- [SPARK-35080] [SQL] 하위 쿼리가 집계될 때 상관 관계가 있는 같음 조건자의 하위 집합만 허용
- [SPARK-35117] [UI] 진행률 표시줄을 다시 변경하여 진행 중인 작업의 비율을 강조 표시
- [SPARK-35136] LiveStage.info의 초기 Null 값 제거
- [SPARK-34834] [NETWORK] TransportResponseHandler에서 잠재적인 Netty 메모리 누수 수정
- [SPARK-35045][SQL] univocity에서 입력 버퍼를 제어하는 내부 옵션이 추가됨
- [SPARK-35014] 폴딩 가능 식을 다시 쓰지 않도록 PhysicalAggregation 패턴이 수정되었습니다.
- [SPARK-35019] pyspark.sql에서 형식 힌트 불일치가 수정되었습니다.*
- [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment()는 파티션 값이 Null이어야 함
- [SPARK-34630] [PYTHON] pyspark에 대한 typehint를 추가합니다. 버전
- [SPARK-34963] [SQL] 구조체 배열에서 대/소문자를 구분하지 않는 구조체 필드를 추출하기 위한 중첩 열 정리 수정
- [SPARK-34988] [CORE][3.1] CVE-2021-28165용 Jetty 업그레이드
- [SPARK-34922] [SQL][3.1] CBO에서 상대 비용 비교 함수 사용
- [SPARK-34970] [SQL][SECURITY][3.1] Explain() 출력에서 map-type 옵션 수정
- [SPARK-34923] [SQL] 더 많은 계획을 위해 메타데이터 출력이 비어 있어야 함
- [SPARK-34949] [CORE] 실행기가 종료되는 경우 BlockManager 다시 등록되지 않도록 방지
- [SPARK-34939] [CORE] 브로드캐스트된 맵 상태를 역직렬화할 수 없는 경우 페치 오류 예외 throw
- [SPARK-34909] [SQL] conv() 부호 없는 음수 변환 수정
- [SPARK-34845] [CORE] ProcfsMetricsGetter는 부분 procfs 메트릭을 반환하지 않아야 함
- [SPARK-34814] [SQL] LikeSimplification이 NULL을 처리해야 함
- [SPARK-34876] [SQL] Null을 허용하지 않는 집계의 defaultResult 채우기
- [SPARK-34829] [SQL] 더 높은 순서의 함수 결과 수정
- [SPARK-34840] [SHUFFLE] 병합된 순서 섞기에서 손상 사례를 수정 …
- [SPARK-34833] [SQL] 상관 관계가 있는 하위 쿼리에 대해 오른쪽 패딩을 올바르게 적용
- [SPARK-34630] [PYTHON][SQL] pyspark.sql.Column.contains에 대한 typehint가 추가됨
- [SPARK-34763] [SQL] col(), $"name" 및 df("name")는 따옴표 붙은 열 이름을 올바르게 처리해야 합니다.
- [SPARK-33482][SPARK-34756] [SQL] FileScan 같음 검사 수정
- [SPARK-34790] [CORE] io 암호화를 사용하도록 설정된 경우 일괄 처리로 섞기 블록 가져오기를 사용하지 않음
- [SPARK-34803] [PYSPARK] pandas 또는 pyarrow를 가져오지 못한 경우 발생된 ImportError를 전달
- [SPARK-34225] [CORE] addFile 또는 addJar에 URI 형식 문자열이 전달되는 경우 더 이상 인코딩하지 않음
- [SPARK-34811] [CORE] 비밀 및 토큰과 같은 fs.s3a.access.key 수정
- [SPARK-34796] [SQL][3.1] doProduce()의 LIMIT 코드 생성에 대한 카운터 변수 초기화
- [SPARK-34128] [SQL] THRIFT-4805와 관련된 바람직하지 않은 TTransportException 경고 표시 안 함
- [SPARK-34776] [SQL] 중첩된 열 정리는 창에서 생성된 특성을 정리하지 않아야 함
- [SPARK-34087] [3.1][SQL] ExecutionListenerBus의 메모리 누수 수정
- [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords는 컨텍스트 대신 Spark 클래스 로더를 사용해야 함
- [SPARK-34719] [SQL][3.1] 중복된 열 이름이 있는 뷰 쿼리를 올바르게 해결
- [SPARK-34766] [SQL][3.1] 뷰에 대한 maven config를 캡처하면 안 됨
- [SPARK-34731] [CORE] EventLoggingListener에서 속성을 수정하는 경우 ConcurrentModificationException 방지
- [SPARK-34737] [SQL][3.1]
TIMESTAMP_SECONDS에서 입력 부동을 두 배로 캐스팅 - [SPARK-34749] [SQL][3.1] Simplify ResolveCreateNamedStruct
- [SPARK-34768] [SQL] Univocity에서 기본 입력 버퍼 크기를 준수
- [SPARK-34770] [SQL] 데이터베이스가 없는 경우 InMemoryCatalog.tableExists가 실패하지 않아야 함
- [SPARK-34504] [SQL] DDL 명령에 대한 SQL 임시 뷰의 불필요한 확인 방지
- [SPARK-34727] [SQL] 타임스탬프에 부동 캐스팅의 불일치 수정
- [SPARK-34723] [SQL] 전체 단계에서 하위 식 제거를 위한 올바른 매개 변수 형식
- [SPARK-34724] [SQL] getDeclaredMethod 대신 getMethod를 사용하여 해석된 평가 수정
- [SPARK-34713] [SQL] ExtractValue를 사용하여 CreateStruct로 그룹 수정
- [SPARK-34697] [SQL] DESCRIBE FUNCTION 및 SHOW FUNCTIONS가 ||(문자열 연결 연산자)에 대해 설명하도록 허용
- [SPARK-34682] [SQL] 리플렉션 대신 PrivateMethodTester 사용
- [SPARK-34682] [SQL] CustomShuffleReaderExec에서 정규화 오류 검사의 회귀 수정
- [SPARK-34681] [SQL] 같지 않은 조건으로 왼쪽을 빌드할 때 전체 외부 순서 섞기 해시 조인에 대한 버그 수정
- [SPARK-34545] [SQL] pyrolite의 valueCompare 기능 관련 문제 해결
- [SPARK-34607] [SQL][3.1] jdk8u에서 형식이 잘못된 클래스 이름 오류를 수정하려면
Utils.isMemberClass를 추가 - [SPARK-34596] [SQL] Utils.getSimpleName을 사용하여 NewInstance.doGenCode에서 잘못된 클래스 이름을 적중하지 않도록 함
- [SPARK-34613] [SQL] 수정 뷰가 힌트를 사용하지 않도록 설정된 구성을 캡처하지 않음
- [SPARK-32924] [WEBUI] 마스터 UI의 기간 열을 올바른 순서로 정렬
- [SPARK-34482] [SS] StreamExecution.logicalPlan에 대한 활성화된 SparkSession 수정
- [SPARK-34567] [SQL] CreateTableAsSelect는 메트릭도 업데이트해야 함
- [SPARK-34599] [SQL] INSERT INTO OVERWRITE에서 DSv2용 점이 포함된 파티션 열을 지원하지 않는 문제 해결
- [SPARK-34577] [SQL]
DESCRIBE NAMESPACE데이터 세트에 대한 삭제/추가 열 수정 - [SPARK-34584] [SQL] v2 테이블에 삽입하는 경우 정적 파티션도 StoreAssignmentPolicy를 따라야 함
- [SPARK-34555] [SQL] DataFrame에서 메타데이터 출력 확인
- [SPARK-34534] FetchShuffleBlocks를 사용하여 블록을 가져올 때 blockIds 순서가 수정되었습니다.
- [SPARK-34547] [SQL] 해결을 위해 최후의 수단으로만 메타데이터 열 사용
- [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap이 점이 있는 열 이름에 대해 실패함
- [SPARK-34561] [SQL] v2
DESCRIBE TABLE의 데이터 세트에서 열 삭제/추가 수정 - [SPARK-34556] [SQL] 중복 정적 파티션 열을 확인하려면 대/소문자를 구분하는 conf를 준수해야 함
- [SPARK-34392] [SQL] DateTimeUtils에서 ZoneOffset +h:mm을 지원합니다. getZoneId
- [SPARK-34550] [SQL] 필터를 Hive 메타스토어로 푸시 중에 InSet null 값 건너뛰기
- [SPARK-34543] [SQL] v1
SET LOCATION에서 파티션 사양을 확인하는 동안spark.sql.caseSensitive구성을 반영 - [SPARK-34436] [SQL] DPP에서 LIKE ANY/ALL 표현식을 지원합니다.
- [SPARK-34531] [CORE] PrometheusServlet에서 실험적 API 태그 제거
- [SPARK-34497] [SQL] JVM 보안 컨텍스트 변경 내용을 복원하는 기본 제공 JDBC 연결 공급자를 수정
- [SPARK-34515][SQL] getPartitionsByFilter 중에 InSet에 Null 값이 포함된 경우 NPE 수정
- [SPARK-34490] [SQL] 뷰가 삭제된 테이블을 참조하는 경우 분석이 실패함
- [SPARK-34473] [SQL] Avoid NPE in DataFrameReader.schema(StructType)
- [SPARK-34384] [CORE] ResourceProfile API에 대한 누락된 문서 추가
- [SPARK-34373] [SQL] HiveThriftServer2 startWithContext가 경합 문제로 중단될 수 있음
- [SPARK-20977] [CORE] CollectionAccumulator 상태에 최종 필드가 아닌 필드 사용
- [SPARK-34421] [SQL] CTE를 사용하여 보기에서 임시 함수 및 보기 확인
- [SPARK-34431] [CORE] 한 번만
hive-site.xml을 로드 - [SPARK-34405] [CORE] PrometheusServlet 클래스에서 timersLabels의 평균 값 수정
- [SPARK-33438] [SQL]
set -v명령에 대해 정의된 SQL Confs를 사용하여 개체를 적극적으로 초기화 - [SPARK-34158] pom.xml에서 유일한 개발자 Matei의 잘못된 URL
- [SPARK-34346] [CORE][SQL][3.1] spark.buffer.size에 의해 설정된 io.file.buffer.size는 hive-site.xml을 로드하여 재정의하며 실수로 성능 회귀가 발생할 수 있음
- [SPARK-34359] [SQL][3.1] SHOW DATABASES의 출력 스키마를 복원하는 레거시 구성 추가
- [SPARK-34331] [SQL] DS v2 메타데이터 열 확인 속도 향상
- [SPARK-34318] [SQL][3.1] Dataset.colRegex는 줄 바꿈이 포함된 열 이름 및 한정자와 함께 작동해야 함
- [SPARK-34326] [CORE][SQL] 임시 경로의 길이에 따라 SPARK-31793에 추가된 UT 수정
- [SPARK-34319] [SQL] FlatMapCoGroupsInPandas/MapInPandas에 대한 중복 특성 확인
- [SPARK-34310] [CORE][SQL] 지도를 대체하고 flatMap으로 평면화
- [SPARK-34083] [SQL][3.1] char/varchar 열에 대한 TPCDS 원래 정의 사용
- [SPARK-34233] [SQL][3.1] 이진 비교에서 문자 패딩에 대한 NPE 수정
- [SPARK-34270] [SS] StateStoreMetrics 결합은 StateStoreCustomMetric을 재정의해서는 안 됨
- [SPARK-34144] [SQL] LocalDate 및 Instant 값을 JDBC 관계로 쓰려고 하는 경우 예외가 throw됨
- [SPARK-34273] [CORE] SparkContext가 중지된 경우 BlockManager를 다시 등록하지 않음
- [SPARK-34262] [SQL][3.1] v1 테이블의 캐시된 데이터 새로 고침
ALTER TABLE .. SET LOCATION - [SPARK-34275] [CORE][SQL][MLLIB] 필터와 크기를 count로 바꿈
- [SPARK-34260][SQL] 임시 보기를 두 번 만들 때 UnresolvedException이 수정됨
- [SPARK-33867] [SQL] QL 쿼리를 생성할 때 인스턴트 및 LocalDate 값이 처리되지 않음
- [SPARK-34193] [CORE] TorrentBroadcast 블록 관리자 서비스 해제 레이스 수정
- [SPARK-34221] [WEBUI] UI 페이지에서 스테이지가 실패하면 해당 오류 메시지가 올바르게 표시될 수 있는지 확인
- [SPARK-34236] [SQL] Null 정적 파티션으로 v2 덮어쓰기를 수행할 경우 ‘식을 원본 필터로 변환할 수 없음: Null’이 발생하는 버그 수정
- [SPARK-34212] [SQL] Parquet 파일에서 잘못된 10진수 읽기 수정
- [SPARK-34244] [SQL] regexp_extract_all Scala 함수 버전 제거
- [SPARK-34235] [SS] spark.sql.hive를 프라이빗 패키지로 만들기
- [SPARK-34232] [CORE] 로그의 Redact SparkListenerEnvironmentUpdate 이벤트 수정
- [SPARK-34229] [SQL] Avro는 파일 스키마로 10진수 값을 읽어야 함
- [SPARK-34223] [SQL] InsertIntoHadoopFsRelationCommand에서 Null이 있는 정적 파티션에 대한 NPE 수정
- [SPARK-34192] [SQL] 문자 패딩을 쓰기 쪽으로 이동하고 읽기 쪽에서도 길이 검사를 제거
- [SPARK-34203] [SQL] v1
In-Memory카탈로그에서null파티션 값을__HIVE_DEFAULT_PARTITION__으로 변환 - [SPARK-33726] [SQL] 집계 중 중복 필드 이름 수정
- [SPARK-34133] [AVRO] Catalyst-to-Avro 필드 일치를 수행하는 경우 대/소문자 구분 준수
- [SPARK-34187] [SS] 오프셋 유효성 검사 시 폴링 중에 얻은 사용 가능한 오프셋 범위 사용
- [SPARK-34052] [SQL][3.1] “CACHE TABLE ..AS SELECT …”를 사용하여 만든 임시 보기에 대한 SQL 텍스트 저장
- [SPARK-34213] [SQL]
LOAD DATA에서 v1 테이블의 캐시된 데이터 새로 고침 - [SPARK-34191] [PYTHON][SQL] udf 오버로드에 대한 입력 추가
- [SPARK-34200] [SQL] 모호한 열 참조는 특성 가용성을 고려해야 함
- [SPARK-33813] [SQL][3.1] JDBC 소스가 MS SQL Server의 공간 유형을 처리할 수 없는 문제 수정
- [SPARK-34178] [SQL] MultiInstanceRelation.newInstance에서 만든 새 노드에 대한 태그 복사
- [SPARK-34005] [CORE][3.1] 작업 종료 시 각 실행기에 대한 최대 메모리 메트릭 업데이트
- [SPARK-34115] [CORE] 속도 저하를 피하기 위해 SPARK_TESTING을 지연 값으로 확인
- [SPARK-34153] [SQL][3.1][3.0]
HiveExternalCatalog.alterPartitions()getRawTable() - [SPARK-34130] [SQL] Static Invoke를 사용한 char varchar 패딩 및 길이 검사의 성능 향상
- [SPARK-34027] [SQL][3.1]
ALTER TABLE .. RECOVER PARTITIONS에서 캐시 새로 고침 - [SPARK-34151] [SQL]
java.io.File.toURL을java.io.File.toURI.toURL로 바꿈 - [SPARK-34140] [SQL][3.1] QueryCompilationErrors.scala를 org/apache/spark/sql/errors로 이동
- [SPARK-34080] [ML][PYTHON] UnivariateFeatureSelector 추가
- [SPARK-33790] [CORE][3.1] SingleFileEventLogFileReader에서 getFileStatus의 rpc 호출 줄이기
- [SPARK-34118] [CORE][SQL][3.1] 필터를 바꾸고 exists 또는 forall을 사용하여 비어 있는지 확인
- [SPARK-34114] [SQL] 읽기 측 문자 길이 확인 및 패딩에 대해 오른쪽을 자르면 안 됨
- [SPARK-34086] [SQL][3.1] RaiseError는 너무 많은 코드를 생성하고 char varchar에 대한 길이 검사에서 codegen에 실패할 수 있음
- [SPARK-34075] [SQL][CORE] 파티션 추론을 위해 숨겨진 디렉터리가 나열됨
- [SPARK-34076] [SQL] 캐시가 비어 있지 않으면 SQLContext.dropTempTable이 실패함
- [SPARK-34084] [SQL][3.1]
ALTER TABLE .. ADD PARTITION - [SPARK-34090] [SS] KafkaTokenUtil.needTokenUpdate에서 사용된 캐시 HadoopDelegationTokenManager.isServiceEnabled 결과
- [SPARK-34069] [CORE] 장벽 종료 작업은 SPARK_JOB_INTERRUPT_ON_CANCEL을 준수해야 함
- [SPARK-34091] [SQL] 순서 섞기 일괄 처리 페치를 사용하도록 설정한 후 사용하지 않도록 설정할 수 있어야 함
- [SPARK-34059] [SQL][CORE][3.1] 적극적으로 실행하려면 map 대신 for/foreach를 사용
- [SPARK-34002] [SQL] ScalaUDF에서 인코더 사용 수정
- [SPARK-34060] [SQL][3.1]
ALTER TABLE .. DROP PARTITION에 의해 통계를 업데이트하는 동안 Hive 테이블 캐싱 수정ALTER TABLE .. DROP PARTITION - [SPARK-31952] [SQL] 집계를 수행할 때 잘못된 메모리 유출 메트릭 수정
- [SPARK-33591] [SQL][3.1] 파티션 사양 값에서
null인식 - [SPARK-34055] [SQL][3.1]
ALTER TABLE .. ADD PARTITION에서 캐시 새로 고침 - [SPARK-34039] [SQL][3.1] ReplaceTable은 캐시를 무효화해야 함
- [SPARK-34003] [SQL] PaddingAndLengthCheckForCharVarchar 및 ResolveAggregateFunctions 간의 규칙 충돌 수정
- [SPARK-33938] [SQL][3.1] 누구나 LikeSimplification으로 최적화
- [SPARK-34021] [R] CRAN 제출을 위한 SparkR 문서의 하이퍼링크 수정
- [SPARK-34011] [SQL][3.1][3.0]
ALTER TABLE .. RENAME TO PARTITION에서 캐시 새로 고침 - [SPARK-33948] [SQL] Scala 2.13에서 MapObjects.doGenCode 메서드의 CodeGen 오류 수정
- [SPARK-33635] [SS] 성능 회귀를 해결하기 위해 KafkaTokenUtil.needTokenUpdate에서 확인 순서를 조정
- [SPARK-33029] [CORE][WEBUI] 드라이버를 제외된 것으로 잘못 표시하는 UI 실행기 페이지 수정
- [SPARK-34015] [R] gapply에서 입력 타이밍 수정
- [SPARK-34012] [SQL] 마이그레이션 가이드를 사용하여 conf
spark.sql.legacy.parser.havingWithoutGroupByAsWhere가 true일 때 일관된 동작 유지 - [SPARK-33844] [SQL][3.1] Hive Dir에 삽입 명령은 열 이름도 확인해야 함
- [SPARK-33935] [SQL] CBO 비용 함수 수정
- [SPARK-33100] [SQL] spark-sql의 대괄호로 묶인 주석 내에서 세미콜론 무시
- [SPARK-34000] [CORE] stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException 수정
- [SPARK-33992] [SQL] allowInvokingTransformsInAnalyzer를 추가하기 위해 transformUpWithNewOutput 재정의
- [SPARK-33894] [SQL] Scala 2.13를 사용하여 런타임 컴파일 오류를 방지하도록 mllib의 프라이빗 사례 클래스 표시 유형 변경
- [SPARK-33950] [SQL][3.1][3.0] v1
ALTER TABLE .. DROP PARTITION에서 캐시 새로 고침 - [SPARK-33980] [SS] spark.readStream.schema에서 char/varchar 무효화
- [SPARK-33945] [SQL][3.1] expr 트리로 구성된 임의 시드 처리
- [SPARK-33398] Spark 3.0 이전의 트리 모델 로드 수정
- [SPARK-33963] [SQL] 테이블 통계 없이
HiveTableRelation정규화 - [SPARK-33906] [WEBUI] 정의되지 않은 peakMemoryMetrics로 인해 UI 실행기 페이지가 중단된 버그 수정
- [SPARK-33944] [SQL] SharedState 옵션의 웨어하우스 키에 대한 잘못된 로깅
- [SPARK-33936] [SQL][3.1] 커넥터의 인터페이스가 추가된 버전 추가
- [SPARK-33916] [CORE] 대체 스토리지 오프셋 수정 및 압축 코덱 테스트 검사 개선
- [SPARK-33899] [SQL][3.1]
spark_catalog의 v1 SHOW TABLES/VIEWS에서 어설션 오류 수정 - [SPARK-33901] [SQL] DDL 후 Char 및 Varchar 표시 오류 수정
- [SPARK-33897] [SQL] 조인 메서드에서 'cross' 옵션을 설정할 수 없음
- [SPARK-33907] [SQL][3.1] 구문 분석 옵션이 비어 있는 경우 JsonToStructs 열만 정리
- [SPARK-33621][SPARK-33784] [SQL][3.1] 데이터 원본 다시 쓰기 규칙을 주입하는 방법 추가
- [SPARK-33900] [WEBUI] remotebytesread만 사용할 수 있는 경우 순서 섞기 읽기 크기/레코드가 올바르게 표시됨
- [SPARK-33892] [SQL] DESC 및 SHOW CREATE TABLE에 char/varchar 표시
- [SPARK-33895] [SQL] ThriftServer의 MetaOperation에서 Char 및 Varchar 실패
- [SPARK-33659] [SS] DataStreamWriter.toTable API의 현재 동작 문서화
- [SPARK-33893] [CORE] executorList에서 대체 블록 관리자 제외
- [SPARK-33277] [PYSPARK][SQL] ContextAwareIterator를 사용하여 작업 종료 후 소비 중지
- [SPARK-33889] [SQL][3.1] V2 테이블의
SHOW PARTITIONS에서 NPE 수정 - [SPARK-33879] [SQL] Char Varchar 값이 파티션 열과 일치하지 않아 실패
- [SPARK-33877] [SQL] 열 목록이 있는 INSERT에 대한 SQL 참조 문서
- [SPARK-33876] [SQL] 외부 위치가 있는 테이블에서 char/varchar를 읽기 위한 길이 검사 추가
- [SPARK-33846] [SQL] StructType.toDDL에 중첩된 스키마에 대한 주석 포함
- [SPARK-33860] [SQL] CatalystTypeConverters.convertToCatalyst가 특수 배열 값과 일치하도록 함
- [SPARK-33834] [SQL] Char 및 Varchar로 ALTER TABLE CHANGE COLUMN 확인
- [SPARK-33853] [SQL] EXPLAIN CODEGEN 및 BenchmarkQueryTest는 하위 쿼리 코드를 표시하지 않음
- [SPARK-33836] [SS][PYTHON] DataStreamReader.table 및 DataStreamWriter.toTable 노출
- [SPARK-33829] [SQL][3.1] v2 테이블 이름을 변경하면 캐시가 다시 만들어짐
- [SPARK-33756] [SQL] BytesToBytesMap의 MapIterator를 멱등원으로 만들기
- [SPARK-33850] [SQL] EXPLAIN FORMATTED는 AQE를 사용하도록 설정한 경우 하위 쿼리에 대한 계획을 표시하지 않음
- [SPARK-33841] [CORE][3.1] 고부하 상태에서 SHS에서 작업이 간헐적으로 사라지는 문제 수정
- [SPARK-33593][SQL] 벡터 판독기에 이진 파일 파티션 값이 있는 잘못된 데이터를 얻음
- [SPARK-26341] [WEBUI] 스테이지 탭의 스테이지 수준에서 실행기 메모리 메트릭을 노출
- [SPARK-33831] [UI] jetty 9.4.34로 업데이트
- [SPARK-33822] [SQL] HashJoin에서
CastSupport.cast메서드 사용 - [SPARK-33774] [UI][CORE] “마스터로 돌아가기”는 독립 실행형 클러스터에서 500 오류를 반환
- [SPARK-26199][SPARK-31517] [R] 처리 전략 수정 … 변경되는 이름
- [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader는
package private이어야 함 - [SPARK-33697] [SQL] RemoveRedundantProjects에는 기본적으로 열 순서가 필요함
- [SPARK-33752] [SQL][3.1] AnalysisException의 getSimpleMessage가 세미콜론을 반복적으로 추가하지 않도록 방지
- [SPARK-33788] [SQL][3.1][3.0][2.4] HiveExternalCatalog.dropPartitions()에서 NoSuchPartitionsException throw
- [SPARK-33803] [SQL] DESCRIBE TABLE 명령에서 키로 테이블 속성 정렬
- [SPARK-33786] [SQL] 테이블 이름이 변경되는 경우 캐시의 저장 수준을 준수해야 함
- [SPARK-33273] [SQL] 하위 쿼리 실행에서 경합 상태 수정
- [SPARK-33653] [SQL][3.1] DSv2: REFRESH TABLE은 테이블 자체를 다시 캐시해야 함
- [SPARK-33777] [SQL] V2 SHOW PARTITIONS의 출력 정렬
- [SPARK-33733] [SQL] PullOut Nondeterministic은 결정적 필드를 확인하고 수집해야 함
- [SPARK-33764] [SS] 상태 저장소 유지 관리 간격을 SQL 구성으로 설정
- [SPARK-33729] [SQL] 캐시를 새로 고치는 경우 데이터를 다시 캐시할 때 Spark에서 캐시된 계획을 사용하지 않아야 함
- [SPARK-33742] [SQL][3.1] HiveExternalCatalog.createPartitions()에서 PartitionsAlreadyExistException throw
- [SPARK-33706] [SQL] partitionExists()에 완전히 지정된 파티션 식별자가 필요함
- [SPARK-33740] [SQL] hive-site.xml의 hadoop 구성은 기존 hadoop 구성을 재정의할 수 있음
- [SPARK-33692] [SQL] 뷰는 함수를 조회하기 위해 캡처된 카탈로그 및 네임스페이스를 사용해야 함
- [SPARK-33669] yarn 클라이언트 모드의 sc.stop에서 YARN 애플리케이션 상태 모니터의 잘못된 오류 메시지
- [SPARK-32110] [SQL] HyperLogLog++에서 특수 부동 숫자 정규화
- [SPARK-33677][SQL] 패턴에 escapeChar가 포함된 경우 LikeSimplification 규칙을 건너뜀
- [SPARK-33693] [SQL] spark.sql.hive.convertCTAS 사용 중단
- [SPARK-33641] [SQL] 잘못된 결과를 생성하는 퍼블릭 API에서 새 char/varchar 형식을 무효화
- [SPARK-32680] [SQL] 해결되지 않은 쿼리를 사용하여 V2 CTAS를 전처리하지 않음
- [SPARK-33676] [SQL] V2
ALTER TABLE .. ADD/DROP PARTITION의 스키마에 대한 파티션 사양이 정확하게 일치해야 함 - [SPARK-33670] [SQL] 파티션 공급자가 v1 SHOW TABLE EXTENDED에서 Hive인지 확인
- [SPARK-33663] [SQL] 존재하지 않는 임시 뷰에서 캐시 취소를 호출하면 안 됨
- [SPARK-33667] [SQL] v1
SHOW PARTITIONS에서 파티션 사양을 확인하는 동안spark.sql.caseSensitive구성을 반영 - [SPARK-33652] [SQL] DSv2: DeleteFrom에서 캐시를 새로 고쳐야 함
유지 관리 업데이트
Databricks Runtime 9.0 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 20.04.2 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.10
- R: 4.1.0(2021-05-18)
- Delta Lake 1.0.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10(ISO-Rolling) | appdirs | 1.4.4 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | certifi | 2020.12.5 |
| chardet | 4.0.0 | cycler | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | decorator | 5.0.6 | distlib | 0.3.2 |
| distro-info | 0.23ubuntu1 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.22.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
| kiwisolver | 1.3.1 | koalas | 1.8.1 | matplotlib | 3.4.2 |
| numpy | 1.19.2 | pandas | 1.2.4 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 8.2.0 | pip | 21.0.1 | plotly | 4.14.3 |
| prompt-toolkit | 3.0.17 | protobuf | 3.17.2 | psycopg2 | 2.8.5 |
| ptyprocess | 0.7.0 | pyarrow | 4.0.0 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | python-apt | 2.0.0+ubuntu0.20.4.5 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| requests | 2.25.1 | requests-unixsocket | 0.2.0 | retrying | 1.3.3 |
| s3transfer | 0.3.7 | scikit-learn | 0.24.1 | scipy | 1.6.2 |
| seaborn | 0.11.1 | setuptools | 52.0.0 | six | 1.15.0 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | traitlets | 5.0.5 | unattended-upgrades | 0.1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| wheel | 0.36.2 |
설치된 R 라이브러리
R 라이브러리는 Microsoft CRAN 스냅샷(2021-07-28)에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| boot | 1.3-28 | brew | 1.0-6 | brio | 1.1.0 |
| broom | 0.7.2 | callr | 3.5.1 | 캐럿 | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1.7 |
| compiler | 4.1.0 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | crayon | 1.3.4 | credentials | 1.3.0 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| 데이터 세트 | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| 줄임표 | 0.3.1 | evaluate | 0.14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | foreign | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | future | 1.21.0 | 제네릭(generics) | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| glue | 1.4.2 | gower | 0.2.2 | graphics | 4.1.0 |
| grDevices | 4.1.0 | grid | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | iterators | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | knitr | 1.30 |
| labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-44 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | 주기 | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | 행렬 | 1.3-4 |
| memoise | 1.1.0 | 메서드 | 4.1.0 | mgcv | 1.8-36 |
| mime | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallelly | 1.22.0 | pillar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| 진행률 | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recipes | 0.1.15 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| rversions | 2.0.2 | rvest | 0.3.6 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | shape | 1.4.5 |
| shiny | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | spatial | 7.3-11 | splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | 통계 | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| survival | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0.28 | tools | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | whisker | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacecommerceanalytics | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 프로파일러 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 아이비 | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |