Databricks 런타임 유지 관리 업데이트

이 페이지에는 Databricks Runtime 릴리스에 대해 발급된 유지 관리 업데이트가 나열되어 있습니다. 기존 클러스터에 유지 관리 업데이트를 추가하려면 클러스터를 다시 시작합니다.

참고

이 문서에는 Azure Databricks 더 이상 사용하지 않는 용어인 whitelist라는용어에 대한 참조가 포함되어 있습니다. 소프트웨어에서 용어가 제거되면 이 문서에서 해당 용어를 ’ 제거합니다.

Databricks Runtime 릴리스

릴리스별 유지 관리 업데이트:

원래 릴리스 정보인 경우 하위 헤더 아래의 링크를 따릅니다.

Databricks Runtime 10.0

Databricks Runtime 10.0을 참조하세요.

  • 2021년 11월 9일
    • ANSI 동작을 세밀하게 제어할 수 있는 추가 구성 플래그가 도입되었습니다.
  • 2021년 11월 4일
    • ArrayIndexOutOfBoundsException으로 인해 구조적 스트리밍 스트림이 실패할 수 있는 버그가 수정되었습니다.
    • 또는 와 같은 IOException으로 인해 쿼리 오류가 발생할 수 있는 경합 상태가 수정되어 쿼리에 적용되지 않는 문제가 java.io.IOException: No FileSystem for schemesparkContext.hadoopConfiguration 해결되었습니다.
    • 델타 공유용 Apache Spark 커넥터가 0.2.0으로 업그레이드되었습니다.
  • 2021년 11월 30일
    • 콜론이 없는 시간대 문자열이 잘못된 것으로 간주되는 타임스탬프 구문 분석 문제를 해결했습니다.
    • 특정 조건에서 쿼리 결과 캐싱과 관련된 메모리 부족 문제가 해결되었습니다.
    • 사용자가 현재 USE DATABASE 카탈로그를 기본이 아닌 카탈로그로 전환할 때의 문제를 해결했습니다.

Databricks Runtime 9.1 LTS

Databricks Runtime 9.1 LTS를참조하세요.

  • 2021년 11월 4일
    • ArrayIndexOutOfBoundsException으로 인해 구조적 스트리밍 스트림이 실패할 수 있는 버그가 수정되었습니다.
    • 또는 와 같은 IOException으로 인해 쿼리 오류가 발생할 수 있는 경합 상태가 수정되어 쿼리에 적용되지 않는 문제가 java.io.IOException: No FileSystem for schemesparkContext.hadoopConfiguration 해결되었습니다.
    • 델타 공유용 Apache Spark 커넥터가 0.2.0으로 업그레이드되었습니다.
  • 2021년 10월 20일
    • BigQuery 커넥터를 0.18.1에서 0.22.2로 업그레이드했습니다. BigNumeric 형식에 대한 지원이 추가되었습니다.

Databricks Runtime 9.0

Databricks Runtime 9.0을 참조하세요.

  • 2021년 11월 4일
    • ArrayIndexOutOfBoundsException으로 인해 구조적 스트리밍 스트림이 실패할 수 있는 버그가 수정되었습니다.
    • 또는 와 같은 IOException으로 인해 쿼리 오류가 발생할 수 있는 경합 상태가 수정되어 쿼리에 적용되지 않는 문제가 java.io.IOException: No FileSystem for schemesparkContext.hadoopConfiguration 해결되었습니다.
    • 델타 공유용 Apache Spark 커넥터가 0.2.0으로 업그레이드되었습니다.
  • 2021년 9월 22일
    • 문자열에 null을 사용하여 Spark 배열 캐스팅의 버그 수정
  • 2021년 9월 15일
    • 과 같은 IOException을 통해 쿼리 실패를 일으킬 수 있는 경합 상태를 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x 수정했습니다.
  • 2021년 9월 8일
    • Azure Synapse Connector의 대상 테이블 이름으로 스키마 databaseName.schemaName.tableName 이름( 형식)에 대한 지원이 추가되었습니다.
    • Spark SQL 대한 기하 도형 및 지리 JDBC 형식 지원이 추가되었습니다.
    • [SPARK-33527][SQL] 일반 데이터베이스와 일치하도록 디코딩 기능을 확장했습니다.
    • [SPARK-36532][CORE][3.1] 실행기 종료 중단을 방지하기 위해 executorsconnected''의 교착 상태가 수정되었습니다.
  • 2021년 8월 25일
    • SQL Server 드라이버 라이브러리가 9.2.1.jre8로 업그레이드되었습니다.
    • Snowflake 커넥터가 2.9.0으로 업그레이드되었습니다.
    • AutoML 실험 페이지에서 최상의 평가판 Notebook에 대한 끊어진 링크가 수정되었습니다.

Databricks Runtime 8.4

Databricks Runtime 8.4를참조하세요.

  • 2021년 11월 4일
    • ArrayIndexOutOfBoundsException으로 인해 구조적 스트리밍 스트림이 실패할 수 있는 버그가 수정되었습니다.
    • 또는 와 같은 IOException으로 인해 쿼리 오류가 발생할 수 있는 경합 상태가 수정되어 쿼리에 적용되지 않는 문제가 java.io.IOException: No FileSystem for schemesparkContext.hadoopConfiguration 해결되었습니다.
    • 델타 공유용 Apache Spark 커넥터가 0.2.0으로 업그레이드되었습니다.
  • 2021년 9월 22일
    • Spark JDBC 드라이버가 2.6.19.1030으로 업그레이드되었습니다.
    • [SPARK-36734][SQL] ORC를 1.5.1로 업그레이드
  • 2021년 9월 15일
    • 과 같은 IOException을 통해 쿼리 실패를 일으킬 수 있는 경합 상태를 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x 수정했습니다.
    • 운영 체제 보안 업데이트.
  • 9 월 8 일, 2021
    • 실행자 종료가 중단 되지 않도록 하려면 [SPARK-36532][CORE] [3.1] executorsconnected ' '에서 교착 상태가 수정 되었습니다.
  • 8 월 25 일, 2021
    • SQL Server 드라이버 라이브러리가 9.2.1. jre8로 업그레이드 되었습니다.
    • 눈송이 커넥터가 2.9.0로 업그레이드 되었습니다.
    • 새 Parquet 프리페치 최적화로 인해 발생 하는 자격 증명 통과의 버그를 수정 합니다. 여기서 사용자의 ’ 통과 자격 증명은 파일 액세스 중에 찾지 못할 수 있습니다.
  • 8 월 11 일, 2021
    • 이전 Databricks Runtime 8.4을 방지 하는 RocksDB 비호환 문제를 수정 합니다. 그러면 자동 로더, COPY INTO 및 상태 저장 스트리밍 응용 프로그램에 대 한 이전 버전과의 호환성이 수정 됩니다.
    • 자동 로더를 사용 하 여 헤더 파일이 일치 하지 않는 CSV 파일을 읽을 때 버그를 수정 합니다. 열 이름이 일치 하지 않으면 열이 null로 채워집니다. 이제 스키마를 제공 하는 경우 스키마가 동일 하다 고 가정 하 고 자동 복구 데이터 열이 설정 된 경우에만 열 불일치를 저장 합니다.
    • Azure Synapse 커넥터에 라는 새 옵션을 추가 externalDataSource 하 여 CONTROL PolyBase 읽기를 위해 데이터베이스에 대 한 권한 요구 사항을 제거 합니다.
  • 2021 년 7 월 29 일
    • [SPARK-36034][빌드] 푸시 다운 필터의 Datetime을 Parquet로 다시 지정 합니다.
    • [SPARK-36163][빌드] jdbc 커넥터 공급자에서 올바른 jdbc 속성을 전파 하 고 옵션을 추가 합니다.

Databricks Runtime 8.3

Databricks Runtime 8.3을 참조 하세요.

  • 2021 년 11 월 4 일
    • ArrayIndexOutOfBoundsException를 사용 하 여 구조적 스트리밍 스트림이 실패할 수 있는 버그를 수정 했습니다.
    • 또는와 같은 IOException을 사용 하 여 쿼리 실패를 야기 하는 경합 상태를 수정 하 여 java.io.IOException: No FileSystem for scheme 쿼리에 수정 사항이 적용 되지 않을 수 있습니다 sparkContext.hadoopConfiguration .
  • 9 월 22 일, 2021
    • Spark JDBC 드라이버가 2.6.19.1030로 업그레이드 되었습니다.
  • 2021 년 9 월 15 일
    • 와 같은 IOException을 사용 하 여 쿼리 오류를 일으킬 수 있는 경합 상태를 수정 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x 했습니다.
    • 운영 체제 보안 업데이트.
  • 9 월 8 일, 2021
    • [SPARK-35700][SQL] [WARMFIX] 외부 시스템에서 만들고 쓸 때 char/varchar orc 테이블을 읽습니다.
    • 실행자 종료가 중단 되지 않도록 하려면 [SPARK-36532][CORE] [3.1] executorsconnected ' '에서 교착 상태가 수정 되었습니다.
  • 8 월 25 일, 2021
    • SQL Server 드라이버 라이브러리가 9.2.1. jre8로 업그레이드 되었습니다.
    • 눈송이 커넥터가 2.9.0로 업그레이드 되었습니다.
    • 새 Parquet 프리페치 최적화로 인해 발생 하는 자격 증명 통과의 버그를 수정 합니다. 여기서 사용자의 ’ 통과 자격 증명은 파일 액세스 중에 찾지 못할 수 있습니다.
  • 8 월 11 일, 2021
    • 자동 로더를 사용 하 여 헤더 파일이 일치 하지 않는 CSV 파일을 읽을 때 버그를 수정 합니다. 열 이름이 일치 하지 않으면 열이 null로 채워집니다. 이제 스키마를 제공 하는 경우 스키마가 동일 하다 고 가정 하 고 자동 복구 데이터 열이 설정 된 경우에만 열 불일치를 저장 합니다.
  • 2021 년 7 월 29 일
    • Databricks 눈송이 Spark 커넥터를 2.9.0로 업그레이드-3.1
    • [SPARK-36034][빌드] 푸시 다운 필터의 Datetime을 Parquet로 다시 지정 합니다.
    • [SPARK-36163][빌드] jdbc 커넥터 공급자에서 올바른 jdbc 속성을 전파 하 고 옵션을 추가 합니다.
  • 2021 년 7 월 14 일
    • Azure Synapse 커넥터에서 점이 있는 열 이름을 사용 하는 경우 문제가 해결 되었습니다.
    • database.schema.tableSynapse 커넥터에 대해 도입 된 형식입니다.
    • databaseName.schemaName.tableName또는 뿐 아니라 대상 테이블로 형식을 제공 하는 지원이 추가 되었습니다 schemaName.tableNametableName .
  • 6 월 15 일, 2021
    • NoSuchElementException많은 양의 데이터를 작성 하 고 실행 기 손실이 발생할 때 발생할 수 있는 델타 Lake 최적화 된 쓰기의 버그를 수정 했습니다.
    • SQL,,, CREATE GROUPDROP GROUPALTER GROUPSHOW GROUPS 및 명령을 추가 SHOW USERS 합니다. 자세한 내용은 보안 문표시 문을 참조하세요.

Databricks Runtime 8.2 (지원 되지 않음)

Databricks Runtime 8.2 (지원 되지 않음)을 참조 하세요.

  • 9 월 22 일, 2021

    • 운영 체제 보안 업데이트.
  • 2021 년 9 월 15 일

    • 와 같은 IOException을 사용 하 여 쿼리 오류를 일으킬 수 있는 경합 상태를 수정 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x 했습니다.
  • 9 월 8 일, 2021

    • [SPARK-35700][SQL] [WARMFIX] 외부 시스템에서 만들고 쓸 때 char/varchar orc 테이블을 읽습니다.
    • 실행자 종료가 중단 되지 않도록 하려면 [SPARK-36532][CORE] [3.1] executorsconnected ' '에서 교착 상태가 수정 되었습니다.
  • 8 월 25 일, 2021

    • 눈송이 커넥터가 2.9.0로 업그레이드 되었습니다.
  • 8 월 11 일, 2021

    • [SPARK-36034][SQL] 푸시 다운 필터의 datetime을 parquet로 다시 지정 합니다.
  • 2021 년 7 월 29 일

    • Databricks 눈송이 Spark 커넥터를 2.9.0로 업그레이드-3.1
    • [SPARK-36163][빌드] jdbc 커넥터 공급자에서 올바른 jdbc 속성을 전파 하 고 옵션을 추가 합니다.
  • 2021 년 7 월 14 일

    • Azure Synapse 커넥터에서 점이 있는 열 이름을 사용 하는 경우 문제가 해결 되었습니다.
    • database.schema.tableSynapse 커넥터에 대해 도입 된 형식입니다.
    • databaseName.schemaName.tableName또는 뿐 아니라 대상 테이블로 형식을 제공 하는 지원이 추가 되었습니다 schemaName.tableNametableName .
    • 사용자가 델타 테이블을 사용 하 여 이전에 사용 가능한 버전으로 이동할 수 없도록 하는 버그를 수정 했습니다.
  • 6 월 15 일, 2021

    • NoSuchElementException많은 양의 데이터를 작성 하 고 실행 기 손실을 발생 시킬 수 있는 델타 Lake 최적화 된 쓰기에서 버그를 수정 합니다.
  • 2021년 5월 26일

    • Python 보안 취약점을 해결 하기 위해 보안 패치로 Python 업데이트 (CVE-2021-3177)
  • 4 월 30 일, 2021

    • 운영 체제 보안 업데이트.
    • [Spark-35227][빌드] SparkSubmit에서 SPARK에 대 한 확인자 업데이트
    • [SPARK-34245][코어] Master에서 완료 된 상태를 전송 하지 못한 실행 기를 제거 하도록 합니다.
    • 자동 로더가 구조화 된 스트리밍 진행률 메트릭을 보고 하는 경우 OOM 문제를 수정 했습니다.

Databricks Runtime 8.1 (지원 되지 않음)

Databricks Runtime 8.1 (지원 되지 않음)을 참조 하세요.

  • 9 월 22 일, 2021

    • 운영 체제 보안 업데이트.
  • 2021 년 9 월 15 일

    • 와 같은 IOException을 사용 하 여 쿼리 오류를 일으킬 수 있는 경합 상태를 수정 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x 했습니다.
  • 9 월 8 일, 2021

    • [SPARK-35700][SQL] [WARMFIX] 외부 시스템에서 만들고 쓸 때 char/varchar orc 테이블을 읽습니다.
    • 실행자 종료가 중단 되지 않도록 하려면 [SPARK-36532][CORE] [3.1] executorsconnected ' '에서 교착 상태가 수정 되었습니다.
  • 8 월 25 일, 2021

    • 눈송이 커넥터가 2.9.0로 업그레이드 되었습니다.
  • 8 월 11 일, 2021

    • [SPARK-36034][SQL] 푸시 다운 필터의 datetime을 parquet로 다시 지정 합니다.
  • 2021 년 7 월 29 일

    • Databricks 눈송이 Spark 커넥터를 2.9.0로 업그레이드-3.1
    • [SPARK-36163][빌드] jdbc 커넥터 공급자에서 올바른 jdbc 속성을 전파 하 고 옵션을 추가 합니다.
  • 2021 년 7 월 14 일

    • Azure Synapse 커넥터에서 점이 있는 열 이름을 사용 하는 경우 문제가 해결 되었습니다.
    • 사용자가 델타 테이블을 사용 하 여 이전에 사용 가능한 버전으로 이동할 수 없도록 하는 버그를 수정 했습니다.
  • 6 월 15 일, 2021

    • NoSuchElementException많은 양의 데이터를 작성 하 고 실행 기 손실을 발생 시킬 수 있는 델타 Lake 최적화 된 쓰기에서 버그를 수정 합니다.
  • 2021년 5월 26일

    • Python 보안 취약점을 해결 하기 위해 보안 패치로 Python 업데이트 (CVE-2021-3177)
  • 4 월 30 일, 2021

    • 운영 체제 보안 업데이트.
    • [Spark-35227][빌드] SparkSubmit에서 SPARK에 대 한 확인자 업데이트
    • 자동 로더가 구조화 된 스트리밍 진행률 메트릭을 보고 하는 경우 OOM 문제를 수정 했습니다.
  • 4 월 27 일, 2021

    • [SPARK-34245][코어] Master에서 완료 된 상태를 전송 하지 못한 실행 기를 제거 하도록 합니다.
    • [SPARK-34856][SQL] ANSI 모드: 복합 형식을 문자열 형식으로 캐스팅할 수 있습니다.
    • [SPARK-35014] 폴딩 가능 식을 다시 작성 하지 않도록 실제 집계 패턴을 수정 합니다.
    • [SPARK-34769][SQL] AnsiTypeCoercion: typecollection에서 가장 좁은 변환 가능 형식을 반환 합니다.
    • [SPARK-34614][SQL] ANSI 모드: 문자열을 부울로 캐스팅 하면 구문 분석 오류 시 예외가 throw 됩니다.
    • [SPARK-33794][SQL] ANSI 모드:에서 잘못 된 입력을 받을 때 런타임 IllegalArgumentException을 throw 하는 nextday 식을 수정 합니다.

Databricks Runtime 8.0 (지원 되지 않음)

Databricks Runtime 8.0 (지원 되지 않음)을 참조 하세요.

  • 2021 년 9 월 15 일

    • 와 같은 IOException을 사용 하 여 쿼리 오류를 일으킬 수 있는 경합 상태를 수정 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x 했습니다.
  • 8 월 25 일, 2021

    • 눈송이 커넥터가 2.9.0로 업그레이드 되었습니다.
  • 8 월 11 일, 2021

    • [SPARK-36034][SQL] 푸시 다운 필터의 datetime을 parquet로 다시 지정 합니다.
  • 2021 년 7 월 29 일

    • [SPARK-36163][빌드] jdbc 커넥터 공급자에서 올바른 jdbc 속성을 전파 하 고 옵션을 추가 합니다.
  • 2021 년 7 월 14 일

    • Azure Synapse 커넥터에서 점이 있는 열 이름을 사용 하는 경우 문제가 해결 되었습니다.
    • 사용자가 델타 테이블을 사용 하 여 이전에 사용 가능한 버전으로 이동할 수 없도록 하는 버그를 수정 했습니다.
  • 2021년 5월 26일

    • Python 보안 취약점을 해결 하기 위해 보안 패치로 Python 업데이트 (CVE-2021-3177)
  • 4 월 30 일, 2021

    • 운영 체제 보안 업데이트.
    • [Spark-35227][빌드] SparkSubmit에서 SPARK에 대 한 확인자 업데이트
    • [SPARK-34245][코어] Master에서 완료 된 상태를 전송 하지 못한 실행 기를 제거 하도록 합니다.
  • 3 월 24 일, 2021

    • [SPARK-34681][SQL] 같지 않은 조건으로 왼쪽을 빌드할 때 전체 외부 섞은 hash join에 대 한 버그를 수정 합니다.
    • [SPARK-34534] FetchShuffleBlocks를 사용 하 여 블록을 페치할 때 blockIds 순서 수정
    • [SPARK-34613][SQL] 수정 뷰가 disable 힌트 구성을 캡처하지 않습니다.
  • 2021년 3월 9일

    • [SPARK-34543][SQL] v1에서 파티션 사양을 확인 하는 동안 구성을 준수 합니다.SET LOCATION
    • [SPARK-34392][SQL] DateTimeUtils에서 ZoneOffset + h:mm을 지원 합니다. getZoneId
    • U Spark DAG 시각화의 href 링크를 수정 합니다.
    • [SPARK-34436][SQL] ANY/ALL 식과 같은 차원 pp 지원

Databricks Runtime 7.6 (지원 되지 않음)

Databricks Runtime 7.6 (지원 되지 않음)을 참조 하세요.

  • 8 월 11 일, 2021
    • [SPARK-36034][SQL] 푸시 다운 필터의 datetime을 parquet로 다시 지정 합니다.
  • 2021 년 7 월 29 일
    • [SPARK-32998][빌드] 내부 리포지토리만 사용 하 여 기본 원격 리포지토리를 재정의 하는 기능을 추가 합니다.
  • 2021 년 7 월 14 일
    • 사용자가 델타 테이블을 사용 하 여 이전에 사용 가능한 버전으로 이동할 수 없도록 하는 버그를 수정 했습니다.
  • 2021년 5월 26일
    • Python 보안 취약점을 해결 하기 위해 보안 패치로 Python 업데이트 (CVE-2021-3177)
  • 4 월 30 일, 2021
    • 운영 체제 보안 업데이트.
    • [Spark-35227][빌드] SparkSubmit에서 SPARK에 대 한 확인자 업데이트
    • [SPARK-34245][코어] Master에서 완료 된 상태를 전송 하지 못한 실행 기를 제거 하도록 합니다.
  • 3 월 24 일, 2021
    • [SPARK-34768][SQL] univocity 기본 입력 버퍼 크기를 고려 합니다.
    • [SPARK-34534] FetchShuffleBlocks를 사용 하 여 블록을 페치할 때 blockIds 순서 수정
  • 2021년 3월 9일
    • (Azure에만 해당) Databricks Runtime 7.6를 사용 하 여 Databricks Runtime 7.2에서 만든 이전 자동 로더 스트림을 실행할 때 NullPointerException을 발생 시킬 수 있는 자동 로더 버그를 수정 했습니다.
    • U Spark DAG 시각화의 href 링크를 수정 합니다.
    • 알 수 없는 리프 노드 SparkPlan는 SizeInBytesOnlyStatsSparkPlanVisitor에서 올바르게 처리 되지 않습니다.
    • 출력 스키마 복원 SHOW DATABASES
    • 삼각 [8.0, 7.6] 파일 크기 자동 조정 논리에서 계산 버그 수정
    • 델타 캐시의 델타 테이블 파일에 대해 부실 검사 사용 안 함
    • [SQL] 범위 조인 힌트가 있는 경우 올바른 동적 정리 빌드 키 사용
    • 비 SQL 코드 경로에서 문자 형식 지원 사용 안 함
    • DataFrameReader에서 NPE을 피합니다.
    • EventGridClient 응답에 엔터티가 없는 경우 NPE 수정
    • Azure 자동 로더에서 읽기 닫힌 스트림 버그 수정
    • [SQL] AOS가 사용 하도록 설정 된 경우 순서 섞기 파티션 번호 통지를 생성 하지 않음
  • 2021 년 2 월 24 일
    • Spark 이상 쿼리 커넥터를 v 0.18로 업그레이드 하 여 다양 한 버그 수정과 화살표 및 Avro 반복기에 대 한 지원을 제공 합니다.
    • Parquet 파일의 ’ 10 진수 전체 자릿수와 소수 자릿수가 spark 스키마와 다를 때 spark에서 잘못 된 결과를 반환 하도록 하는 정확성 문제를 수정 했습니다.
    • Spark SQL에 geometry 및 geography JDBC types 지원을 추가 하 여 공간 데이터 형식을 포함 하는 Microsoft SQL Server 테이블에 대 한 읽기 실패 문제를 수정 했습니다.
    • 에는 새로운 구성이 도입 spark.databricks.hive.metastore.init.reloadFunctions.enabled 되었습니다. 이 구성은 기본 제공 Hive 초기화를 제어 합니다. True로 설정 하면 Azure Databricks는 사용자가 있는 모든 데이터베이스의 모든 함수를 다시 로드 FunctionRegistry 합니다. Hive Metastore의 기본 동작입니다. False로 설정 하면 Azure Databricks 최적화를 위해이 프로세스를 사용 하지 않도록 설정 합니다.
    • [SPARK-34212] Parquet 파일에서 10 진수 데이터를 읽는 작업과 관련 된 문제를 해결 했습니다.
    • [SPARK-34260][SQL] 임시 뷰를 두 번 만들 때 UnresolvedException을 수정 합니다.

Databricks Runtime 7.5 (지원 되지 않음)

Databricks Runtime 7.5 (지원 되지 않음)을 참조 하세요.

  • 2021년 5월 26일
    • Python 보안 취약점을 해결 하기 위해 보안 패치로 Python 업데이트 (CVE-2021-3177)
  • 4 월 30 일, 2021
    • 운영 체제 보안 업데이트.
    • [Spark-35227][빌드] SparkSubmit에서 SPARK에 대 한 확인자 업데이트
    • [SPARK-34245][코어] Master에서 완료 된 상태를 전송 하지 못한 실행 기를 제거 하도록 합니다.
  • 3 월 24 일, 2021
    • [SPARK-34768][SQL] univocity 기본 입력 버퍼 크기를 고려 합니다.
    • [SPARK-34534] FetchShuffleBlocks를 사용 하 여 블록을 페치할 때 blockIds 순서 수정
  • 2021년 3월 9일
    • (Azure에만 해당) Databricks Runtime 7.5를 사용 하 여 Databricks Runtime 7.2에서 만든 이전 자동 로더 스트림을 실행할 때 NullPointerException을 발생 시킬 수 있는 자동 로더 버그를 수정 했습니다.
    • U Spark DAG 시각화의 href 링크를 수정 합니다.
    • 알 수 없는 리프 노드 SparkPlan는 SizeInBytesOnlyStatsSparkPlanVisitor에서 올바르게 처리 되지 않습니다.
    • 출력 스키마 복원 SHOW DATABASES
    • 델타 캐시의 델타 테이블 파일에 대해 부실 검사 사용 안 함
    • [SQL] 범위 조인 힌트가 있는 경우 올바른 동적 정리 빌드 키 사용
    • SQL 코드 경로에서 char 형식 지원 사용 안 함
    • DataFrameReader.schema에서 NPE 방지
    • EventGridClient 응답에 엔터티가 없는 경우 NPE 수정
    • Azure Auto Loader에서 닫힌 읽기 스트림 버그 수정
  • 2021년 2월 24일
    • Spark BigQuery 커넥터를 v0.18로 업그레이드했습니다. 이 커넥터는 화살표 및 Avro 반복기에 대한 다양한 버그 수정 및 지원을 도입했습니다.
    • Parquet 파일의 소수 자릿수 및 소수 자릿수가 Spark 스키마와 다를 때 Spark가 잘못된 결과를 반환하도록 하는 정확성 문제가 ’ 해결되었습니다.
    • Spark SQL 대한 geometry 및 geography JDBC 형식 지원을 추가하여 공간 데이터 형식이 포함된 Microsoft SQL Server 테이블의 읽기 실패 문제를 해결했습니다.
    • 새 구성 을 spark.databricks.hive.metastore.init.reloadFunctions.enabled 도입했습니다. 이 구성은 기본 제공 Hive 초기화를 제어합니다. true로 설정하면 Azure Databricks 사용자가 가진 모든 데이터베이스의 모든 함수를 로 다시 FunctionRegistry 로드합니다. Hive Metastore의 기본 동작입니다. false로 설정하면 Azure Databricks 최적화를 위해 이 프로세스를 사용하지 않도록 설정합니다.
    • [SPARK-34212] Parquet 파일에서 10진수 데이터 읽기와 관련된 문제를 해결했습니다.
    • [SPARK-34260][SQL] 임시 보기를 두 번 만들 때 UnresolvedException을 수정합니다.
  • 2021년 2월 4일
    • 와 같은 전역 제한을 설정하는 쿼리의 증분 실행을 방지하는 회귀가 SELECT * FROM table LIMIT nrows 수정되었습니다. 화살표 serialization을 사용하도록 설정된 ODBC/JDBC를 통해 쿼리를 실행하는 사용자가 회귀를 경험했습니다.
    • 델타 테이블의 Hive 메타스토어에서 메타데이터가 손상되지 않도록 Hive 클라이언트에 쓰기 시간 검사가 도입되었습니다.
    • 클러스터 환경 변수 구성에 잘못된 bash 구문이 포함된 경우 DBFS FUSE가 시작하지 못하는 회귀가 수정되었습니다.
  • 2021년 1월 20일
    • 2021년 1월 12일 유지 관리 릴리스에서 잘못된 AnalysisException이 발생할 수 있고 열이 자체 조인에서 모호하다고 말하는 회귀가 수정되었습니다. 이 회귀는 사용자가 파생된 DataFrame(자체 조인이라고 함)을 다음 조건으로 DataFrame에 조인할 때 발생합니다.
      • 이러한 두 DataFrame에는 공통 열이 있지만 자체 조인의 출력에는 공통 열이 없습니다. 예를 들어 df.join(df.select($"col" as "new_col"), cond)
      • 파생 DataFrame은 select, groupBy 또는 window를 통해 일부 열을 제외합니다.
      • 조인된 데이터 프레임 이후의 조인 조건 또는 다음 변환은 일반적이지 않은 열을 참조합니다. 예를 들어 df.join(df.drop("a"), df("a") === 1)
  • 2021년 1월 12일
    • Azure Storage SDK를 2.3.8에서 2.3.9로 업그레이드합니다.
    • [SPARK-33593][SQL] 벡터 판독기가 이진 파티션 값이 있는 잘못된 데이터를 얻었습니다.
    • [SPARK-33480][SQL] char/varchar 테이블 삽입 길이 검사의 오류 메시지를 업데이트합니다.

Databricks Runtime 7.3 LTS

Databricks Runtime 7.3 LTS를참조하세요.

  • 2021년 11월 4일

    • ArrayIndexOutOfBoundsException으로 인해 구조적 스트리밍 스트림이 실패할 수 있는 버그가 수정되었습니다.
    • 또는 와 같은 IOException으로 인해 쿼리 오류가 발생할 수 있는 경합 상태가 수정되어 쿼리에 적용되지 않는 문제가 java.io.IOException: No FileSystem for schemesparkContext.hadoopConfiguration 해결되었습니다.
  • 2021년 9월 15일

    • 과 같은 IOException을 통해 쿼리 실패를 일으킬 수 있는 경합 상태를 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x 수정했습니다.
    • 운영 체제 보안 업데이트.
  • 2021년 9월 8일

    • [SPARK-35700][SQL][WARMFIX] 외부 시스템에서 만들고 쓸 때 char/varchar orc 테이블을 읽습니다.
    • [SPARK-36532][CORE][3.1] 실행기 종료 중단을 방지하기 위해 executorsconnected''의 교착 상태가 수정되었습니다.
  • 2021년 8월 25일

    • Snowflake 커넥터가 2.9.0으로 업그레이드되었습니다.
  • 2021년 7월 29일

  • 2021년 7월 14일

    • Azure Synapse database.schema.table 커넥터에 대한 형식이 도입되었습니다.
    • 또는 만 아닌 대상 테이블로 형식을 제공하는 지원이 databaseName.schemaName.tableNameschemaName.tableNametableName 추가되었습니다.
    • 사용자가 델타 테이블을 사용하여 사용 가능한 이전 버전으로 이동하지 못하게 하는 버그가 수정되었습니다.
  • 2021년 6월 15일

    • NoSuchElementException많은 양의 데이터를 쓰고 실행기 손실이 발생할 때 발생할 수 있는 Delta Lake 최적화 쓰기의 버그 수정
    • Python 보안 취약성(CVE-2021-3177)을 수정하도록 Python을 보안 패치로 업데이트했습니다.
  • 2021년 4월 30일

    • 운영 체제 보안 업데이트.
    • [SPARK-35227] [BUILD]SparkSubmit에서 spark-packages에 대한 확인자 업데이트
    • [SPARK-34245] [CORE]마스터가 완료된 상태를 보내지 못한 실행기를 제거해야 합니다.
    • [SPARK-35045][SQL] 입력 버퍼를 무제한으로 제어하는 내부 옵션 추가
  • 2021년 3월 24일

    • [SPARK-34768][SQL] Un SQL 기본 입력 버퍼 크기를 준수합니다.
    • [SPARK-34534] FetchShuffleBlocks를 사용하여 블록을 페치할 때 blockIds 순서 수정
    • [SPARK-33118][SQL]CREATE TEMPORARY TABLE이 위치와 함께 실패함
  • 2021년 3월 9일

    • 이제 Azure Data Lake Storage Gen2용 업데이트된 Azure Blob File System 드라이버가 기본적으로 사용하도록 설정됩니다. 여러 안정성이 향상되었습니다.
    • 에 대한 Windows 경로 구분 기호 수정databricks-connect get-jar-dir
    • [UI] Spark DAG 시각화의 href 링크 수정
    • [DBCONNECT] Databricks 커넥트 7.3에서 FlatMapCoGroupsInP 커넥트 대한 지원 추가
    • 의 출력 스키마 복원 SHOW DATABASES
    • [SQL] 범위 조인 힌트가 있는 경우 올바른 동적 정리 빌드 키 사용
    • 델타 캐시의 델타 테이블 파일에 대한 부실 검사 사용 안 함
    • [SQL] AOS를 사용하는 경우 순서 섞기 파티션 번호 조언을 생성하지 않습니다.
  • 2021년 2월 24일

    • Spark BigQuery 커넥터를 v0.18로 업그레이드했습니다. 이 커넥터는 화살표 및 Avro 반복기에 대한 다양한 버그 수정 및 지원을 도입했습니다.
    • Parquet 파일의 소수 자릿수 및 소수 자릿수가 Spark 스키마와 다를 때 Spark가 잘못된 결과를 반환하도록 하는 정확성 문제가 ’ 해결되었습니다.
    • Spark SQL 대한 geometry 및 geography JDBC 형식 지원을 추가하여 공간 데이터 형식이 포함된 Microsoft SQL Server 테이블의 읽기 실패 문제를 해결했습니다.
    • 새 구성 을 spark.databricks.hive.metastore.init.reloadFunctions.enabled 도입했습니다. 이 구성은 기본 제공 Hive 초기화를 제어합니다. true로 설정하면 Azure Databricks 사용자가 가진 모든 데이터베이스의 모든 함수를 로 다시 FunctionRegistry 로드합니다. Hive Metastore의 기본 동작입니다. false로 설정하면 Azure Databricks 최적화를 위해 이 프로세스를 사용하지 않도록 설정합니다.
    • [SPARK-34212] Parquet 파일에서 10진수 데이터 읽기와 관련된 문제를 해결했습니다.
    • [SPARK-33579][UI] 프록시 뒤에 있는 빈 실행기 페이지를 수정합니다.
    • [SPARK-20044][UI] 경로 접두사로 프런트 엔드 역방향 프록시 뒤에 있는 Spark UI를 지원합니다.
    • [SPARK-33277][PYSPARK][SQL] ContextAwareIterator를 사용하여 작업이 종료된 후 사용을 중지합니다.
  • 2021년 2월 4일

    • 와 같은 전역 제한을 설정하는 쿼리의 증분 실행을 방지하는 회귀가 SELECT * FROM table LIMIT nrows 수정되었습니다. 화살표 serialization을 사용하도록 설정된 ODBC/JDBC를 통해 쿼리를 실행하는 사용자가 회귀를 경험했습니다.
    • 클러스터 환경 변수 구성에 잘못된 bash 구문이 포함된 경우 DBFS FUSE가 시작하지 못하는 회귀가 수정되었습니다.
  • 2021년 1월 20일

    • 2021년 1월 12일 유지 관리 릴리스에서 잘못된 AnalysisException이 발생할 수 있고 열이 자체 조인에서 모호하다고 말하는 회귀가 수정되었습니다. 이 회귀는 사용자가 파생된 DataFrame(자체 조인이라고 함)을 다음 조건으로 DataFrame에 조인할 때 발생합니다.
      • 이러한 두 DataFrame에는 공통 열이 있지만 자체 조인의 출력에는 공통 열이 없습니다. 예를 들어 df.join(df.select($"col" as "new_col"), cond)
      • 파생 DataFrame은 select, groupBy 또는 window를 통해 일부 열을 제외합니다.
      • 조인된 데이터 프레임 이후의 조인 조건 또는 다음 변환은 일반적이지 않은 열을 참조합니다. 예를 들어 df.join(df.drop("a"), df("a") === 1)
  • 2021년 1월 12일

    • 운영 체제 보안 업데이트.
    • [SPARK-33593][SQL] 벡터 판독기에서 이진 파티션 값이 잘못 된 데이터를 가져왔습니다.
    • [SPARK-33677][SQL] 패턴에 escapeChar이 있는 경우 Skip LikeSimplification rule
    • [SPARK-33592][ML] [PYTHON] estimatorParamMaps의 Pyspark ML Validator 매개 변수를 저장 하 고 다시 로드 한 후 손실 될 수 있습니다.
    • [spark-33071][spark-33536] [SQL] join ()의 logicalplan dataset_id를 중단 하지 않도록 변경 하지 않습니다. DetectAmbiguousSelfJoin
  • 2020년 12월 8일

    • [SPARK-33587][CORE] 중첩 된 치명적인 오류에서 실행자를 중지 합니다.
    • [SPARK-27421][SQL] 파티션 열을 정리할 때 int 열 및 값 클래스에 대 한 필터를 수정 합니다.
    • [SPARK-33316][SQL] Avro 쓰기에서 nullable이 아닌 catalyst 스키마에 대해 사용자가 제공한 nullable Avro 스키마를 지원 합니다.
    • Databricks 커넥트를 사용 하 여 시작 된 Spark 작업은 Executor$TaskRunner.$anonfun$copySessionState executor 스택 추적에서 무기한 중단 될 수 있습니다.
    • 운영 체제 보안 업데이트.
  • 2020 년 12 월 1 일

    • [SPARK-33404][SQL] [3.0] 식에서 잘못 된 결과 수정
    • [SPARK-33339][PYTHON] Pyspark 응용 프로그램은 예외가 아닌 오류로 인해 중단 됩니다.
    • [SPARK-33183][SQL] [핫픽스] 최적화 프로그램 규칙 EliminateSorts을 수정 하 고 중복 된 정렬을 제거 하는 실제 규칙을 추가 합니다.
    • [SPARK-33371][python] [3.0] 업데이트 Setup.py 및 PYTHON 3.9 테스트
    • [SPARK-33391][SQL]은 (는) 하나의 기반 인덱스를 따르지 않는 createarray element_at.
    • 날짜를 문자열로 캐스팅할 때 [SPARK-33306][SQL] 표준 시간대가 필요 합니다.
    • [SPARK-33260][SQL] sortOrder가 Stream 일 때 sortexec에서 잘못 된 결과를 수정 합니다.
  • 11 월 5 일, 2020

    • 와 관련 하 여 ABFS 및 WASB 잠금을 수정 UserGroupInformation.getCurrentUser() 합니다.
    • Avro 판독기가 매직 바이트를 읽을 때 무한 루프 버그를 수정 합니다.
    • 사용 권한에대 한 지원을 추가 합니다.
    • 테이블 액세스 제어에서 권한 확인에 대 한 성능 향상.
  • 2020년 10월 13일

    • 운영 체제 보안 업데이트.
    • 고속 동시성 자격 증명 통과 클러스터에서/sdbfs/when에 퓨즈 탑재를 사용 하 여 DBFS에서 읽고 쓸 수 있습니다. 일반 탑재는 지원 되지만 통과 자격 증명을 필요로 하는 탑재는 아직 지원 되지 않습니다.
    • [SPARK-32999][SQL] TreeNode에서 형식이 잘못 된 클래스 이름이 적중 되지 않도록 유틸리티를 사용 합니다.
    • [SPARK-32585][SQL] ScalaReflection에서 scala 열거를 지원 합니다.
    • 잘못 된 XML 문자가 포함 된 파일 이름을 포함 하는 퓨즈 탑재의 나열 된 디렉터리 수정
    • 퓨즈 마운트가 더 이상 ListMultipartUploads를 사용 하지 않습니다.
  • 9 월 29 일, 2020

    • [SPARK-32718][SQL] 간격 단위에 대 한 불필요 한 키워드를 제거 합니다.
    • [SPARK-32635][SQL] 폴딩 가능 전파를 수정 합니다.
    • 새 구성을 추가 spark.shuffle.io.decoder.consolidateThreshold 합니다. 구성 값을로 설정 하 여 Long.MAX_VALUE 코너 사례를 방지 하는 netty 프레임 버퍼의 통합을 건너뜁니다 java.lang.IndexOutOfBoundsException .

Databricks Runtime 6.4 확장 지원

Databricks Runtime 6.4 (지원 되지 않음)Databricks Runtime 6.4 확장 지원을 참조 하세요.

  • 9 월 22 일, 2021

    • 운영 체제 보안 업데이트.
  • 6 월 15 일, 2021

    • [SPARK-35576][SQL] Set 명령의 결과에서 중요 한 정보를 교정 합니다.
  • 6 월 7 일, 2021

    • spark.sql.maven.additionalRemoteRepositories선택적인 추가 원격 maven 미러의 쉼표로 구분 된 문자열 구성 이라는 새 구성을 추가 합니다. 값의 기본값은 https://maven-central.storage-download.googleapis.com/maven2/ 입니다.
  • 4 월 30 일, 2021

    • 운영 체제 보안 업데이트.
    • [Spark-35227][빌드] SparkSubmit에서 SPARK에 대 한 확인자 업데이트
  • 2021년 3월 9일

    • HADOOP-17215을 Azure Blob 파일 시스템 드라이버 (조건부 덮어쓰기 지원)로 이식 합니다.
    • Windows에 대 한 경로 구분 기호 수정databricks-connect get-jar-dir
    • 2.3.5, 2.3.6 및 2.3.7 Hive metastore 버전에 대 한 지원이 추가 됨
    • “” 분할 후 잘못 보고 된 화살표 totalResultsCollected
  • 2021 년 2 월 24 일

    • 에는 새로운 구성이 도입 spark.databricks.hive.metastore.init.reloadFunctions.enabled 되었습니다. 이 구성은 기본 제공 Hive 초기화를 제어 합니다. True로 설정 하면 Azure Databricks는 사용자가 있는 모든 데이터베이스의 모든 함수를 다시 로드 FunctionRegistry 합니다. Hive Metastore의 기본 동작입니다. False로 설정 하면 Azure Databricks 최적화를 위해이 프로세스를 사용 하지 않도록 설정 합니다.
  • 2 월 4 일, 2021

    • 와 같은 전역 한도를 설정 하는 쿼리의 증분 실행을 방지 하는 회귀를 수정 SELECT * FROM table LIMIT nrows 했습니다. 화살표 serialization을 사용 하는 ODBC/JDBC를 통해 쿼리를 실행 하는 사용자가 회귀를 사용 했습니다.
    • 클러스터 환경 변수 구성에 잘못 된 bash 구문이 포함 된 경우 DBFS 퓨즈를 시작 하지 못하는 재발 문제를 수정 했습니다.
  • 2021년 1월 12일

    • 운영 체제 보안 업데이트.
  • 2020년 12월 8일

    • [SPARK-27421][SQL] 파티션 열을 정리할 때 int 열 및 값 클래스에 대 한 필터를 수정 합니다.
    • [SPARK-33183][SQL] 최적화 프로그램 규칙 EliminateSorts을 수정 하 고 중복 된 정렬을 제거 하는 실제 규칙을 추가 합니다.
    • [런타임 6.4 ML GPU] 이전에는 NCCL의 잘못 된 버전 (2.7.8 + verda 11.1)을 설치 했습니다. 이 릴리스 10.0는이를 2.4.8 이상으로 수정 합니다.
    • 운영 체제 보안 업데이트.
  • 2020 년 12 월 1 일

    • [SPARK-33260][SQL] sortOrder가 Stream 일 때 sortexec에서 잘못 된 결과를 수정 합니다.
    • [SPARK-32635][SQL] 폴딩 가능 전파를 수정 합니다.
  • 2020 년 11 월 3 일

    • Java 버전을 1.8.0 _252에서 1.8.0 _252로 업그레이드 했습니다.
    • UserGroupInformation과 관련 하 여 ABFS 및 WASB 잠금을 수정 합니다. getCurrentUser ()
    • 매직 바이트를 읽을 때 Avro 판독기의 무한 루프 버그를 수정 합니다.
  • 2020년 10월 13일

    • 운영 체제 보안 업데이트.
    • [SPARK-32999][SQL] [2.4] TreeNode에서 형식이 잘못 된 클래스 이름이 적중 되지 않도록 유틸리티를 사용 합니다.
    • 잘못 된 XML 문자가 포함 된 파일 이름을 포함 하는 퓨즈 탑재의 나열 된 디렉터리 수정
    • 퓨즈 마운트가 더 이상 ListMultipartUploads를 사용 하지 않습니다.
  • 2020 년 9 월 24 일

    • 표준 클러스터의 통과에서 사용자가 사용 하는 파일 시스템 구현을 제한 하는 이전 제한 사항을 수정 했습니다. 이제 사용자는 제한 없이 로컬 파일 시스템에 액세스할 수 있습니다.
    • 운영 체제 보안 업데이트.
  • 2020년 9월 8일

    • Azure Synapse Analytics에 대해 새 매개 변수를 만들었습니다 maxbinlength . 이 매개 변수는 BinaryType 열의 열 길이를 제어 하는 데 사용 되며로 변환 됩니다 VARBINARY(maxbinlength) . 을 사용 하 여 설정할 수 있습니다 .option("maxbinlength", n) . 여기서 0 < n < = 8000입니다.
    • Azure Storage SDK를 8.6.4로 업데이트 하 고 WASB 드라이버에서 만든 연결에서 TCP 연결 유지를 사용 하도록 설정 합니다.
  • 8 월 25 일, 2020

    • 자체 병합에서 모호한 특성 확인을 수정 했습니다.
  • 8 월 18 일, 2020

    • [SPARK-32431][SQL] 빌드된 데이터 원본에서 읽은 중첩 열을 확인 합니다.
    • 트리거를 사용할 때 AQS 커넥터에서 경합 상태를 수정 했습니다.
  • 2020년 8월 11일

    • [SPARK-28676][CORE] ContextCleaner에서 과도한 로깅 방지
  • 2020년 8월 3일

    • 이제 통과 사용 클러스터에서 LDA 변환 함수를 사용할 수 있습니다.
    • 운영 체제 보안 업데이트.
  • 2020년 7월 7일

    • Java 버전이 1.8.0_232에서 1.8.0_252로 업그레이드되었습니다.
  • 2020년 4월 21일

    • [SPARK-31312][SQL] HiveFunctionWrapper의 UDF 인스턴스에 대한 캐시 클래스 인스턴스
  • 2020년 4월 7일

    • Pandas udf가 PyArrow 0.15.0 이상에서 작동하지 않는 문제를 해결하기 ARROW_PRE_0_15_IPC_FORMAT=1 위해 해당 버전의 PyArrow를 지원할 수 있도록 환경 변수( )를 추가했습니다. [SPARK-29367]의 지침을 참조하세요.
  • 2020년 3월 10일

    • 최적화된 자동 조정은 이제 Azure Databricks Premium 계획의모든 용도 클러스터에서 기본적으로 사용됩니다.
    • Databricks Runtime 포함된 Snowflake 커넥터( spark-snowflake_2.11 )가 버전 2.5.9로 업데이트됩니다. snowflake-jdbc 는 버전 3.12.0으로 업데이트됩니다.

Databricks Runtime 5.5 LTS

Databricks Runtime 5.5 LTS(지원되지 않는)Databricks Runtime 5.5 확장 지원(지원되지 않는) 을참조하세요.

  • 2021년 9월 22일

    • 운영 체제 보안 업데이트.
  • 2021년 8월 25일

    • 5.5 ML LTS에서 더 나은 패리티를 유지하기 위해 5.5 ML 확장 지원 릴리스에서 이전에 업그레이드된 일부 python 패키지를 다운그레이드했습니다(현재 사용되지 않습니다). 두 버전 간의 업데이트된 차이점에 대한 자세한 내용은 [_]/release-notes/runtime/5.5xml.md)를 참조하세요.
  • 2021년 6월 15일

    • [SPARK-35576][SQL] Set 명령의 결과에서 중요한 정보 수정
  • 2021년 6월 7일

    • spark.sql.maven.additionalRemoteRepositories선택적 추가 원격 maven 미러의 쉼표로 구분된 문자열 구성인 라는 새 구성을 추가합니다. 기본값은 https://maven-central.storage-download.googleapis.com/maven2/ 입니다.
  • 2021년 4월 30일

    • 운영 체제 보안 업데이트.
    • [SPARK-35227] [BUILD]SparkSubmit에서 spark-packages에 대한 확인자 업데이트
  • 2021년 3월 9일

    • HADOOP-17215를 Azure Blob File System 드라이버로 포트합니다(조건부 덮어쓰기 지원).
  • 2021년 2월 24일

    • 새 구성 을 spark.databricks.hive.metastore.init.reloadFunctions.enabled 도입했습니다. 이 구성은 기본 제공 Hive 초기화를 제어합니다. true로 설정하면 Azure Databricks 사용자가 가진 모든 데이터베이스의 모든 함수를 로 다시 FunctionRegistry 로드합니다. Hive Metastore의 기본 동작입니다. false로 설정하면 Azure Databricks 최적화를 위해 이 프로세스를 사용하지 않도록 설정합니다.
  • 2021년 1월 12일

  • 2020년 12월 8일

    • [SPARK-27421][SQL] 파티션 열을 정리할 때 int 열 및 값 클래스 java.lang.String에 대한 필터 수정
    • 운영 체제 보안 업데이트.
  • 2020년 12월 1일

    • [SPARK-33260][SQL] sortOrder가 Stream일 때 SortExec의 잘못된 결과 수정
    • [SPARK-32635][SQL] 폴딩 가능 전파 수정
  • 2020년 10월 29일

    • Java 버전이 1.8.0_252에서 1.8.0_265로 업그레이드되었습니다.
    • UserGroupInformation.getCurrentUser()와 관련하여 ABFS 및 WASB 잠금 수정
    • MAGIC 바이트를 읽을 때 Avro 판독기의 무한 루프 버그를 수정합니다.
  • 2020년 10월 13일

    • 운영 체제 보안 업데이트.
    • [SPARK-32999][SQL][2.4] TreeNode에서 잘못된 형식의 클래스 이름을 누르지 않으려면 Utils.getSimpleName을 사용합니다.
  • 2020년 9월 24일

    • 운영 체제 보안 업데이트.
  • 2020년 9월 8일

    • Azure Synapse Analytics 대해 새 매개 변수가 maxbinlength 만들어졌습니다. 이 매개 변수는 BinaryType 열의 열 길이를 제어하는 데 사용되며 로 VARBINARY(maxbinlength) 변환됩니다. 를 사용하여 설정할 수 .option("maxbinlength", n) 있습니다. 여기서 0 < n = < 8000
  • 2020년 8월 18일

    • [SPARK-32431][SQL] 기본 제공 데이터 원본에서 읽은 중첩 열 중복 확인
    • Trigger.Once를 사용할 때 AQS 커넥터의 경합 상태가 수정되었습니다.
  • 2020년 8월 11일

    • [SPARK-28676][CORE] ContextCleaner에서 과도한 로깅 방지
  • 2020년 8월 3일

    • 운영 체제 보안 업데이트
  • 2020년 7월 7일

    • Java 버전이 1.8.0_232에서 1.8.0_252로 업그레이드되었습니다.
  • 2020년 4월 21일

    • [SPARK-31312][SQL] HiveFunctionWrapper의 UDF 인스턴스에 대한 캐시 클래스 인스턴스
  • 2020년 4월 7일

    • Pandas udf가 PyArrow 0.15.0 이상에서 작동하지 않는 문제를 해결하기 ARROW_PRE_0_15_IPC_FORMAT=1 위해 해당 버전의 PyArrow를 지원할 수 있도록 환경 변수( )를 추가했습니다. [SPARK-29367]의 지침을 참조하세요.
  • 2020년 3월 25일

    • Databricks Runtime 포함된 Snowflake 커넥터( spark-snowflake_2.11 )가 버전 2.5.9로 업데이트됩니다. snowflake-jdbc 는 버전 3.12.0으로 업데이트됩니다.
  • 2020년 3월 10일

    • stdout으로 내보내는 로그 출력과 같은 작업 출력에는 20MB 크기 제한이 적용됩니다. 총 출력의 크기가 더 크면 실행이 취소되고 실패로 표시됩니다. 이 제한이 발생하지 않도록 하려면 Spark 구성을 로 설정하여 stdout이 드라이버에서 로 반환되지 않도록 방지할 수 spark.databricks.driver.disableScalaOutputtrue 있습니다. 기본적으로 플래그 값은 false 입니다. 플래그는 Scala JAR 작업 및 Scala Notebook에 대한 셀 출력을 제어합니다. 플래그를 사용하는 경우 Spark는 작업 실행 결과를 클라이언트에 반환하지 않습니다. 플래그는 클러스터의 로그 파일에 기록된 데이터에 영향을 주지 ’ 않습니다. 이 플래그 설정은 Notebook 결과를 사용하지 않도록 설정하므로 JAR 작업의 자동화된 클러스터에만 권장됩니다.
  • 2020년 2월 18일

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0은 예외를 throw해야 합니다.
    • ADLS 클라이언트 프리페치를 사용하는 경우 잘못된 스레드 로컬 처리로 인해 ADLS Gen2 자격 증명 통과의 성능이 저하됩니다. 이 릴리스에서는 적절한 수정이 있을 때까지 자격 증명 통과를 사용할 때 ADLS Gen2 프리페치를 사용하지 않도록 설정합니다.
  • 2020년 1월 28일

  • 2020년 1월 14일

    • Java 버전이 1.8.0_222에서 1.8.0_232로 업그레이드되었습니다.
  • 2019년 11월 19일

    • [SPARK-29743] [SQL] 샘플은 자식의 needCopyResult가 true인 경우 needCopyResult를 true로 설정해야 합니다.
    • R 버전은 3.6.0에서 3.6.1로 의도치 않게 업그레이드되었습니다. 3.6.0으로 다시 다운그레이드했습니다.
  • 2019년 11월 5일

    • Java 버전이 1.8.0_212에서 1.8.0_222로 업그레이드되었습니다.
  • 2019년 10월 23일

  • 2019년 10월 8일

    • 결과를 가져오는 동안 Simba Apache Spark ODBC 드라이버가 연결 실패 후 다시 연결하고 계속할 수 있도록 서버 쪽이 변경되었습니다(Simba Apache Spark ODBC 드라이버 버전 2.6.10필요).
    • 테이블 ACL 사용 클러스터에서 명령을 사용하는 데 영향을 주는 문제를 Optimize 해결했습니다.
    • pyspark.ml테이블 ACL 및 자격 증명 통과를 사용하도록 설정된 클러스터에서 Scala UDF 사용할 수 없음 오류로 인해 라이브러리가 실패하는 문제를 해결했습니다.
    • 자격 증명 통과에 대해 허용되는 SerDe 및 SerDeUtil 메서드입니다.
    • WASB 클라이언트에서 오류 코드를 확인할 때 NullPointerException이 수정되었습니다.
  • 2019년 9월 24일

    • Parquet 작성기의 안정성이 향상되었습니다.
    • 실행을 시작하기 전에 Thrift 쿼리가 취소되어 STARTED 상태에서 문제가 해결되었습니다.
  • 2019년 9월 10일

    • BytesToBytesMap에 스레드 안전 반복기 추가
    • [SPARK-27992][SPARK-28881]Python이 연결 스레드와 조인하여 오류를 전파하도록 허용
    • 특정 글로벌 집계 쿼리에 영향을 주는 버그가 수정되었습니다.
    • 자격 증명 편집이 향상되었습니다.
    • [SPARK-27330][SS] foreach 기록기에서 작업 중단 지원
    • [SPARK-28642] SHOW CREATE TABLE 자격 증명 숨기기
    • [SPARK-28699][SQL] 다시 분할 사례에서 ShuffleExchangeExec에 대한 radix 정렬 사용 안 함
  • 2019년 8월 27일

    • [SPARK-20906][SQL]스키마 레지스트리를 to_avro API에서 사용자 지정 스키마 허용
    • [SPARK-27838][SQL] 지원 사용자가 null 레코드 없이 null을 사용할 수 있는 대리자 스키마에 대해 null을 사용할 수 없는 avro 스키마를 제공함
    • Delta Lake 시간 이동 개선
    • 특정 식에 영향을 주는 문제를 transform 해결했습니다.
    • 프로세스 격리를 사용하는 경우 브로드캐스트 변수를 지원합니다.
  • 2019년 8월 13일

    • 델타 스트리밍 원본은 테이블의 최신 프로토콜을 확인해야 합니다.
    • [SPARK-28260] ExecutionState에 CLOSED 상태 추가
    • [SPARK-28489][SS]KafkaOffsetRangeCalculator.getRanges가 오프셋을 삭제할 수 있는 버그 수정
  • 2019년 7월 30일

    • [SPARK-28015][SQL] stringToDate()가 yyyy 및 yy-[m] m 형식에 대한 전체 입력을 사용하는지 확인합니다.
    • [SPARK-28308] [CORE]CalendarInterval 하위 초 부분은 구문 분석 전에 패딩해야 합니다.
    • [SPARK-27485] EnsureRequirements.reorder는 중복 식을 정상적으로 처리해야 함
    • [SPARK-28355][CORE][PYTHON] UDF가 브로드캐스트에 의해 압축되는 임계값에 Spark conf 사용

Databricks Light 2.4 확장 지원

Databricks Light 2.4(지원되지 않는)Databricks Light 2.4 확장 지원을참조하세요.

  • 2021년 9월 22일

    • 운영 체제 보안 업데이트.
  • 2021년 4월 30일

    • 운영 체제 보안 업데이트.
    • [SPARK-35227] [BUILD]SparkSubmit에서 spark-packages에 대한 확인자 업데이트
  • 2021년 1월 12일

    • 운영 체제 보안 업데이트.
  • 2020년 12월 8일

    • [SPARK-27421][SQL] 파티션 열을 정리할 때 int 열 및 값 클래스 java.lang.String에 대한 필터 수정
    • 운영 체제 보안 업데이트.
  • 2020년 12월 1일

  • [SPARK-33260][SQL] sortOrder가 Stream일 때 SortExec의 잘못된 결과 수정

  • 2020년 11월 3일

    • Java 버전이 1.8.0_252에서 1.8.0_265로 업그레이드되었습니다.
    • UserGroupInformation.getCurrentUser()와 관련하여 ABFS 및 WASB 잠금 수정
  • 2020년 10월 13일

    • 운영 체제 보안 업데이트.

Databricks Runtime 7.4(지원되지 않는 경우)

Databricks Runtime 7.4(지원되지 않는) 를참조하세요.

  • 2021년 4월 30일

    • 운영 체제 보안 업데이트.
    • [SPARK-35227] [BUILD]SparkSubmit에서 spark-packages에 대한 확인자 업데이트
    • [SPARK-34245] [CORE]마스터가 완료된 상태를 보내지 못한 실행기를 제거해야 합니다.
    • [SPARK-35045][SQL] CSV 입력 버퍼 크기에 대한 구성 및 빈도 없는 입력 버퍼를 제어하는 내부 옵션 추가
  • 2021년 3월 24일

    • [SPARK-34768][SQL] Un SQL 기본 입력 버퍼 크기를 준수합니다.
    • [SPARK-34534] FetchShuffleBlocks를 사용하여 블록을 페치할 때 blockIds 순서 수정
  • 2021년 3월 9일

    • 이제 Azure Data Lake Storage Gen2용 업데이트된 Azure Blob File System 드라이버가 기본적으로 사용하도록 설정됩니다. 여러 안정성이 향상되었습니다.
    • [ES-67926] [UI] Spark DAG 시각화의 href 링크 수정
    • [ES-65064] 의 출력 스키마 복원 SHOW DATABASES
    • [SC-70522] [SQL] 범위 조인 힌트가 있는 경우 올바른 동적 정리 빌드 키 사용
    • [SC-35081] 델타 캐시의 델타 테이블 파일에 대한 부실 검사 사용 안 함
    • [SC-70640] EventGridClient 응답에 엔터티가 없는 경우 NPE 수정
    • [SC-70220] [SQL] AOS를 사용하는 경우 순서 섞기 파티션 번호 조언을 생성하지 않습니다.
  • 2021년 2월 24일

    • Spark BigQuery 커넥터를 v0.18로 업그레이드했습니다. 이 커넥터는 화살표 및 Avro 반복기에 대한 다양한 버그 수정 및 지원을 도입했습니다.
    • Parquet 파일의 소수 자릿수 및 소수 자릿수가 Spark 스키마와 다를 때 Spark가 잘못된 결과를 반환하도록 하는 정확성 문제가 ’ 해결되었습니다.
    • Spark SQL 대한 geometry 및 geography JDBC 형식 지원을 추가하여 공간 데이터 형식이 포함된 Microsoft SQL Server 테이블의 읽기 실패 문제를 해결했습니다.
    • 새 구성 을 spark.databricks.hive.metastore.init.reloadFunctions.enabled 도입했습니다. 이 구성은 기본 제공 Hive 초기화를 제어합니다. true로 설정하면 Azure Databricks 사용자가 가진 모든 데이터베이스의 모든 함수를 로 다시 FunctionRegistry 로드합니다. Hive Metastore의 기본 동작입니다. false로 설정하면 Azure Databricks 최적화를 위해 이 프로세스를 사용하지 않도록 설정합니다.
    • [SPARK-34212] Parquet 파일에서 10진수 데이터 읽기와 관련된 문제를 해결했습니다.
    • [SPARK-33579][UI] 프록시 뒤에 있는 빈 실행기 페이지를 수정합니다.
    • [SPARK-20044][UI] 경로 접두사로 프런트 엔드 역방향 프록시 뒤에 있는 Spark UI를 지원합니다.
    • [SPARK-33277][PYSPARK][SQL] ContextAwareIterator를 사용하여 작업이 종료된 후 사용을 중지합니다.
  • 2021년 2월 4일

    • 와 같은 전역 제한을 설정하는 쿼리의 증분 실행을 방지하는 회귀가 SELECT * FROM table LIMIT nrows 수정되었습니다. 화살표 serialization을 사용하도록 설정된 ODBC/JDBC를 통해 쿼리를 실행하는 사용자가 회귀를 경험했습니다.
    • 클러스터 환경 변수 구성에 잘못된 bash 구문이 포함된 경우 DBFS FUSE가 시작하지 못하는 회귀가 수정되었습니다.
  • 2021년 1월 20일

    • 2021년 1월 12일 유지 관리 릴리스에서 잘못된 AnalysisException이 발생할 수 있고 열이 자체 조인에서 모호하다고 말하는 회귀가 수정되었습니다. 이 회귀는 사용자가 파생된 DataFrame(자체 조인이라고 함)을 다음 조건으로 DataFrame에 조인할 때 발생합니다.
      • 이러한 두 DataFrame에는 공통 열이 있지만 자체 조인의 출력에는 공통 열이 없습니다. 예를 들어 df.join(df.select($"col" as "new_col"), cond)
      • 파생 DataFrame은 select, groupBy 또는 window를 통해 일부 열을 제외합니다.
      • 조인된 데이터 프레임 이후의 조인 조건 또는 다음 변환은 일반적이지 않은 열을 참조합니다. 예를 들어 df.join(df.drop("a"), df("a") === 1)
  • 2021년 1월 12일

    • 운영 체제 보안 업데이트.
    • [SPARK-33593][SQL] 벡터 판독기가 이진 파티션 값이 있는 잘못된 데이터를 얻었습니다.
    • [SPARK-33677][SQL] 패턴에 escapeChar이 있는 경우 Skip LikeSimplification rule
    • [spark-33071][spark-33536] [SQL] join ()의 logicalplan dataset_id를 중단 하지 않도록 변경 하지 않습니다. DetectAmbiguousSelfJoin
  • 2020년 12월 8일

    • [SPARK-33587][CORE] 중첩 된 치명적인 오류에서 실행자를 중지 합니다.
    • [SPARK-27421][SQL] 파티션 열을 정리할 때 int 열 및 값 클래스에 대 한 필터를 수정 합니다.
    • [SPARK-33316][SQL] Avro 쓰기에서 nullable이 아닌 catalyst 스키마에 대해 사용자가 제공한 nullable Avro 스키마를 지원 합니다.
    • 운영 체제 보안 업데이트.
  • 2020 년 12 월 1 일

    • [SPARK-33404][SQL] [3.0] 식에서 잘못 된 결과 수정
    • [SPARK-33339][PYTHON] Pyspark 응용 프로그램은 예외가 아닌 오류로 인해 중단 됩니다.
    • [SPARK-33183][SQL] [핫픽스] 최적화 프로그램 규칙 EliminateSorts을 수정 하 고 중복 된 정렬을 제거 하는 실제 규칙을 추가 합니다.
    • [SPARK-33371][python] [3.0] 업데이트 Setup.py 및 PYTHON 3.9 테스트
    • [SPARK-33391][SQL]은 (는) 하나의 기반 인덱스를 따르지 않는 createarray element_at.
    • 날짜를 문자열로 캐스팅할 때 [SPARK-33306][SQL] 표준 시간대가 필요 합니다.
    • [SPARK-33260][SQL] sortOrder가 Stream 일 때 sortexec에서 잘못 된 결과를 수정 합니다.
    • [SPARK-33272][SQL] queryplan. transformUpWithNewOutput에서 특성 매핑을 정리 합니다.

Databricks Runtime 7.2 (지원 되지 않음)

Databricks Runtime 7.2 (지원 되지 않음)을 참조 하세요.

  • 2 월 4 일, 2021

    • 와 같은 전역 한도를 설정 하는 쿼리의 증분 실행을 방지 하는 회귀를 수정 SELECT * FROM table LIMIT nrows 했습니다. 화살표 serialization을 사용 하는 ODBC/JDBC를 통해 쿼리를 실행 하는 사용자가 회귀를 사용 했습니다.
    • 클러스터 환경 변수 구성에 잘못 된 bash 구문이 포함 된 경우 DBFS 퓨즈를 시작 하지 못하는 재발 문제를 수정 했습니다.
  • 1 월 20 일, 2021

    • 2021 년 1 월 12 일에 잘못 된 AnalysisException를 발생 시킬 수 있으며 자체 조인에서 열이 모호한 것으로 표시 되는 재발 문제를 수정 했습니다. 사용자가 다음 조건에 따라 파생 된 데이터 프레임 (데이터 프레임)와 함께 사용자를 조인할 때이 재발이 발생 합니다.
      • 이러한 두 데이터 프레임에는 공통 열이 있지만 자체 조인의 출력에는 공통 열이 없습니다. 예를 들어 df.join(df.select($"col" as "new_col"), cond)
      • 파생 된 데이터 프레임는 select, groupBy 또는 window를 통해 일부 열을 제외 합니다.
      • 조인 조건 또는 조인 된 데이터 프레임 뒤의 다음 변환은 비 공통 열을 참조 합니다. 예를 들어 df.join(df.drop("a"), df("a") === 1)
  • 2021년 1월 12일

    • 운영 체제 보안 업데이트.
    • [SPARK-33593][SQL] 벡터 판독기에서 이진 파티션 값이 잘못 된 데이터를 가져왔습니다.
    • [SPARK-33677][SQL] 패턴에 escapeChar이 있는 경우 Skip LikeSimplification rule
    • [spark-33071][spark-33536] [SQL] join ()의 logicalplan dataset_id를 중단 하지 않도록 변경 하지 않습니다. DetectAmbiguousSelfJoin
  • 2020년 12월 8일

    • [SPARK-27421][SQL] 파티션 열을 정리할 때 int 열 및 값 클래스에 대 한 필터를 수정 합니다.
    • [SPARK-33404][SQL] 식에서 잘못 된 결과 수정
    • [SPARK-33339][PYTHON] Pyspark 응용 프로그램은 예외가 아닌 오류로 인해 중단 됩니다.
    • [SPARK-33183][SQL] 최적화 프로그램 규칙 EliminateSorts을 수정 하 고 중복 된 정렬을 제거 하는 실제 규칙을 추가 합니다.
    • [SPARK-33391][SQL]은 (는) 하나의 기반 인덱스를 따르지 않는 createarray element_at.
    • 운영 체제 보안 업데이트.
  • 2020 년 12 월 1 일

    • 날짜를 문자열로 캐스팅할 때 [SPARK-33306][SQL] 표준 시간대가 필요 합니다.
    • [SPARK-33260][SQL] sortOrder가 Stream 일 때 sortexec에서 잘못 된 결과를 수정 합니다.
  • 2020 년 11 월 3 일

    • Java 버전을 1.8.0 _252에서 1.8.0 _252로 업그레이드 했습니다.
    • UserGroupInformation과 관련 하 여 ABFS 및 WASB 잠금을 수정 합니다. getCurrentUser ()
    • 매직 바이트를 읽을 때 Avro 판독기의 무한 루프 버그를 수정 합니다.
  • 2020년 10월 13일

    • 운영 체제 보안 업데이트.
    • [SPARK-32999][SQL] TreeNode에서 형식이 잘못 된 클래스 이름이 적중 되지 않도록 유틸리티를 사용 합니다.
    • 잘못 된 XML 문자가 포함 된 파일 이름을 포함 하는 퓨즈 탑재의 나열 된 디렉터리 수정
    • 퓨즈 마운트가 더 이상 ListMultipartUploads를 사용 하지 않습니다.
  • 9 월 29 일, 2020

    • [SPARK-28863][SQL] [WARMFIX] AlreadyOptimized를 도입 하 여 V1FallbackWriters의 분석을 방지 합니다.
    • [SPARK-32635][SQL] 폴딩 가능 전파를 수정 합니다.
    • 새 구성을 추가 spark.shuffle.io.decoder.consolidateThreshold 합니다. 구성 값을로 설정 하 여 Long.MAX_VALUE 코너 사례를 방지 하는 netty 프레임 버퍼의 통합을 건너뜁니다 java.lang.IndexOutOfBoundsException .
  • 2020 년 9 월 24 일

    • [SPARK-32764][SQL]-0.0은 0.0와 같아야 합니다.
    • [SPARK-32753][SQL] 계획을 변환할 때 태그가 없는 노드에서만 태그를 복사 합니다.
    • [SPARK-32659][SQL] 비 원자성 유형에 서 삽입 된 동적 파티션 정리의 데이터 문제를 해결 합니다.
    • 운영 체제 보안 업데이트.
  • 2020년 9월 8일

    • Azure Synapse Analytics에 대해 새 매개 변수를 만들었습니다 maxbinlength . 이 매개 변수는 BinaryType 열의 열 길이를 제어 하는 데 사용 되며로 변환 됩니다 VARBINARY(maxbinlength) . 을 사용 하 여 설정할 수 있습니다 .option("maxbinlength", n) . 여기서 0 < n < = 8000입니다.

Databricks Runtime 7.1 (지원 되지 않음)

Databricks Runtime 7.1 (지원 되지 않음)을 참조 하세요.

  • 2 월 4 일, 2021

    • 클러스터 환경 변수 구성에 잘못 된 bash 구문이 포함 된 경우 DBFS 퓨즈를 시작 하지 못하는 재발 문제를 수정 했습니다.
  • 1 월 20 일, 2021

    • 2021 년 1 월 12 일에 잘못 된 AnalysisException를 발생 시킬 수 있으며 자체 조인에서 열이 모호한 것으로 표시 되는 재발 문제를 수정 했습니다. 사용자가 다음 조건에 따라 파생 된 데이터 프레임 (데이터 프레임)와 함께 사용자를 조인할 때이 재발이 발생 합니다.
      • 이러한 두 데이터 프레임에는 공통 열이 있지만 자체 조인의 출력에는 공통 열이 없습니다. 예를 들어 df.join(df.select($"col" as "new_col"), cond)
      • 파생 된 데이터 프레임는 select, groupBy 또는 window를 통해 일부 열을 제외 합니다.
      • 조인 조건 또는 조인 된 데이터 프레임 뒤의 다음 변환은 비 공통 열을 참조 합니다. 예를 들어 df.join(df.drop("a"), df("a") === 1)
  • 2021년 1월 12일

    • 운영 체제 보안 업데이트.
    • [SPARK-33593][SQL] 벡터 판독기에서 이진 파티션 값이 잘못 된 데이터를 가져왔습니다.
    • [SPARK-33677][SQL] 패턴에 escapeChar이 있는 경우 Skip LikeSimplification rule
    • [spark-33071][spark-33536] [SQL] join ()의 logicalplan dataset_id를 중단 하지 않도록 변경 하지 않습니다. DetectAmbiguousSelfJoin
  • 2020년 12월 8일

    • [SPARK-27421][SQL] 파티션 열을 정리할 때 int 열 및 값 클래스에 대 한 필터를 수정 합니다.
    • Databricks 커넥트를 사용 하 여 시작 된 Spark 작업은 Executor$TaskRunner.$anonfun$copySessionState executor 스택 추적에서 무기한 중단 될 수 있습니다.
    • 운영 체제 보안 업데이트.
  • 2020 년 12 월 1 일

    • [SPARK-33404][SQL] [3.0] 식에서 잘못 된 결과 수정
    • [SPARK-33339][PYTHON] Pyspark 응용 프로그램은 예외가 아닌 오류로 인해 중단 됩니다.
    • [SPARK-33183][SQL] [핫픽스] 최적화 프로그램 규칙 EliminateSorts을 수정 하 고 중복 된 정렬을 제거 하는 실제 규칙을 추가 합니다.
    • [SPARK-33371][python] [3.0] 업데이트 Setup.py 및 PYTHON 3.9 테스트
    • [SPARK-33391][SQL]은 (는) 하나의 기반 인덱스를 따르지 않는 createarray element_at.
    • 날짜를 문자열로 캐스팅할 때 [SPARK-33306][SQL] 표준 시간대가 필요 합니다.
  • 2020 년 11 월 3 일

    • Java 버전을 1.8.0 _252에서 1.8.0 _252로 업그레이드 했습니다.
    • UserGroupInformation과 관련 하 여 ABFS 및 WASB 잠금을 수정 합니다. getCurrentUser ()
    • 매직 바이트를 읽을 때 Avro 판독기의 무한 루프 버그를 수정 합니다.
  • 2020년 10월 13일

    • 운영 체제 보안 업데이트.
    • [SPARK-32999][SQL] TreeNode에서 형식이 잘못 된 클래스 이름이 적중 되지 않도록 유틸리티를 사용 합니다.
    • 잘못 된 XML 문자가 포함 된 파일 이름을 포함 하는 퓨즈 탑재의 나열 된 디렉터리 수정
    • 퓨즈 마운트가 더 이상 ListMultipartUploads를 사용 하지 않습니다.
  • 9 월 29 일, 2020

    • [SPARK-28863][SQL] [WARMFIX] AlreadyOptimized를 도입 하 여 V1FallbackWriters의 분석을 방지 합니다.
    • [SPARK-32635][SQL] 폴딩 가능 전파를 수정 합니다.
    • 새 구성을 추가 spark.shuffle.io.decoder.consolidateThreshold 합니다. 구성 값을로 설정 하 여 Long.MAX_VALUE 코너 사례를 방지 하는 netty 프레임 버퍼의 통합을 건너뜁니다 java.lang.IndexOutOfBoundsException .
  • 2020 년 9 월 24 일

    • [SPARK-32764][SQL]-0.0은 0.0와 같아야 합니다.
    • [SPARK-32753][SQL] 계획을 변환할 때 태그가 없는 노드에서만 태그를 복사 합니다.
    • [SPARK-32659][SQL] 비 원자성 유형에 서 삽입 된 동적 파티션 정리의 데이터 문제를 해결 합니다.
    • 운영 체제 보안 업데이트.
  • 2020년 9월 8일

    • Azure Synapse Analytics에 대해 새 매개 변수를 만들었습니다 maxbinlength . 이 매개 변수는 BinaryType 열의 열 길이를 제어 하는 데 사용 되며로 변환 됩니다 VARBINARY(maxbinlength) . 을 사용 하 여 설정할 수 있습니다 .option("maxbinlength", n) . 여기서 0 < n < = 8000입니다.
  • 8 월 25 일, 2020

    • [SPARK-32159][SQL]와 간의 통합을 수정 합니다. UnresolvedMapObjects
    • [SPARK-32559][SQL]에서 ’ 비 ASCII 문자를 올바르게 처리 하는 트리밍 논리를 수정 합니다.
    • [SPARK-32543][R] SparkR에서 사용 제거
    • [SPARK-32091][코어] 손실 된 실행자에서 블록을 제거 하는 경우 시간 초과 오류 무시
    • MSI 자격 증명을 사용 하 여 Azure Synapse 커넥터에 영향을 주는 문제 해결
    • 자체 병합에서 모호한 특성 확인을 수정 했습니다.
  • 8 월 18 일, 2020

    • [SPARK-32594][SQL] Hive 테이블에 삽입 된 날짜의 serialization을 수정 합니다.
    • [SPARK-32237][SQL] CTE의 Resolve 힌트
    • [SPARK-32431][SQL] 빌드된 데이터 원본에서 읽은 중첩 열을 확인 합니다.
    • [SPARK-32467][UI] HTTPS 리디렉션의 URL을 두 번 인코딩하지 않습니다.
    • 트리거를 사용할 때 AQS 커넥터에서 경합 상태를 수정 했습니다.
  • 2020년 8월 11일

    • [spark-32280][spark-32372][SQL] ResolveReferences는 충돌 계획의 상위 노드에 대 한 특성만 다시 작성 해야 합니다.
    • [spark-32234][SQL] ORC 테이블을 선택 하는 동안 spark SQL 명령이 실패 합니다.
  • 8 월 3 일, 2020

    • 이제 통과 사용 클러스터에서 LDA transform 함수를 사용할 수 있습니다.

Databricks Runtime 7.0 (지원 되지 않음)

Databricks Runtime 7.0 (지원 되지 않음)을 참조 하세요.

  • 2 월 4 일, 2021

    • 클러스터 환경 변수 구성에 잘못 된 bash 구문이 포함 된 경우 DBFS 퓨즈를 시작 하지 못하는 재발 문제를 수정 했습니다.
  • 1 월 20 일, 2021

    • 2021 년 1 월 12 일에 잘못 된 AnalysisException를 발생 시킬 수 있으며 자체 조인에서 열이 모호한 것으로 표시 되는 재발 문제를 수정 했습니다. 사용자가 다음 조건에 따라 파생 된 데이터 프레임 (데이터 프레임)와 함께 사용자를 조인할 때이 재발이 발생 합니다.
      • 이러한 두 데이터 프레임에는 공통 열이 있지만 자체 조인의 출력에는 공통 열이 없습니다. 예를 들어 df.join(df.select($"col" as "new_col"), cond)
      • 파생 된 데이터 프레임는 select, groupBy 또는 window를 통해 일부 열을 제외 합니다.
      • 조인 조건 또는 조인 된 데이터 프레임 뒤의 다음 변환은 비 공통 열을 참조 합니다. 예를 들어 df.join(df.drop("a"), df("a") === 1)
  • 2021년 1월 12일

    • 운영 체제 보안 업데이트.
    • [SPARK-33593][SQL] 벡터 판독기에서 이진 파티션 값이 잘못 된 데이터를 가져왔습니다.
    • [SPARK-33677][SQL] 패턴에 escapeChar이 있는 경우 Skip LikeSimplification rule
    • [spark-33071][spark-33536] [SQL] join ()의 logicalplan dataset_id를 중단 하지 않도록 변경 하지 않습니다. DetectAmbiguousSelfJoin
  • 2020년 12월 8일

    • [SPARK-27421][SQL] 파티션 열을 정리할 때 int 열 및 값 클래스에 대 한 필터를 수정 합니다.
    • [SPARK-33404][SQL] 식에서 잘못 된 결과 수정
    • [SPARK-33339][PYTHON] Pyspark 응용 프로그램은 예외가 아닌 오류로 인해 중단 됩니다.
    • [SPARK-33183][SQL] 최적화 프로그램 규칙 EliminateSorts을 수정 하 고 중복 된 정렬을 제거 하는 실제 규칙을 추가 합니다.
    • [SPARK-33391][SQL]은 (는) 하나의 기반 인덱스를 따르지 않는 createarray element_at.
    • 운영 체제 보안 업데이트.
  • 2020 년 12 월 1 일

    • 날짜를 문자열로 캐스팅할 때 [SPARK-33306][SQL] 표준 시간대가 필요 합니다.
  • 2020 년 11 월 3 일

    • Java 버전을 1.8.0 _252에서 1.8.0 _252로 업그레이드 했습니다.
    • UserGroupInformation과 관련 하 여 ABFS 및 WASB 잠금을 수정 합니다. getCurrentUser ()
    • 매직 바이트를 읽을 때 Avro 판독기의 무한 루프 버그를 수정 합니다.
  • 2020년 10월 13일

    • 운영 체제 보안 업데이트.
    • [SPARK-32999][SQL] TreeNode에서 형식이 잘못 된 클래스 이름이 적중 되지 않도록 유틸리티를 사용 합니다.
    • 잘못 된 XML 문자가 포함 된 파일 이름을 포함 하는 퓨즈 탑재의 나열 된 디렉터리 수정
    • 퓨즈 마운트가 더 이상 ListMultipartUploads를 사용 하지 않습니다.
  • 9 월 29 일, 2020

    • [SPARK-28863][SQL] [WARMFIX] AlreadyOptimized를 도입 하 여 V1FallbackWriters의 분석을 방지 합니다.
    • [SPARK-32635][SQL] 폴딩 가능 전파를 수정 합니다.
    • 새 구성을 추가 spark.shuffle.io.decoder.consolidateThreshold 합니다. 구성 값을로 설정 하 여 Long.MAX_VALUE 코너 사례를 방지 하는 netty 프레임 버퍼의 통합을 건너뜁니다 java.lang.IndexOutOfBoundsException .
  • 2020 년 9 월 24 일

    • [SPARK-32764][SQL]-0.0은 0.0와 같아야 합니다.
    • [SPARK-32753][SQL] 계획을 변환할 때 태그가 없는 노드에서만 태그를 복사 합니다.
    • [SPARK-32659][SQL] 비 원자성 유형에 서 삽입 된 동적 파티션 정리의 데이터 문제를 해결 합니다.
    • 운영 체제 보안 업데이트.
  • 2020년 9월 8일

    • Azure Synapse Analytics에 대해 새 매개 변수를 만들었습니다 maxbinlength . 이 매개 변수는 BinaryType 열의 열 길이를 제어 하는 데 사용 되며로 변환 됩니다 VARBINARY(maxbinlength) . 을 사용 하 여 설정할 수 있습니다 .option("maxbinlength", n) . 여기서 0 < n < = 8000입니다.
  • 8 월 25 일, 2020

    • [SPARK-32159][SQL]와 간의 통합을 수정 합니다. UnresolvedMapObjects
    • [SPARK-32559][SQL]에서 ’ 비 ASCII 문자를 올바르게 처리 하는 트리밍 논리를 수정 합니다.
    • [SPARK-32543][R] SparkR에서 사용 제거
    • [SPARK-32091][코어] 손실 된 실행자에서 블록을 제거 하는 경우 시간 초과 오류 무시
    • MSI 자격 증명을 사용 하 여 Azure Synapse 커넥터에 영향을 주는 문제 해결
    • 자체 병합에서 모호한 특성 확인을 수정 했습니다.
  • 8 월 18 일, 2020

    • [SPARK-32594][SQL] Hive 테이블에 삽입 된 날짜의 serialization을 수정 합니다.
    • [SPARK-32237][SQL] CTE의 Resolve 힌트
    • [SPARK-32431][SQL] 빌드된 데이터 원본에서 읽은 중첩 열을 확인 합니다.
    • [SPARK-32467][UI] HTTPS 리디렉션의 URL을 두 번 인코딩하지 않습니다.
    • 트리거를 사용할 때 AQS 커넥터에서 경합 상태를 수정 했습니다.
  • 2020년 8월 11일

    • [spark-32280][spark-32372][SQL] ResolveReferences는 충돌 계획의 상위 노드에 대 한 특성만 다시 작성 해야 합니다.
    • [spark-32234][SQL] ORC 테이블을 선택 하는 동안 spark SQL 명령이 실패 합니다.
    • 이제 통과 사용 클러스터에서 LDA transform 함수를 사용할 수 있습니다.

Databricks Runtime 6.6 (지원 되지 않음)

Databricks Runtime 6.6 (지원 되지 않음)을 참조 하세요.

  • 2020 년 12 월 1 일

    • [SPARK-33260][SQL] sortOrder가 Stream 일 때 sortexec에서 잘못 된 결과를 수정 합니다.
    • [SPARK-32635][SQL] 폴딩 가능 전파를 수정 합니다.
  • 2020 년 11 월 3 일

    • Java 버전을 1.8.0 _252에서 1.8.0 _252로 업그레이드 했습니다.
    • UserGroupInformation과 관련 하 여 ABFS 및 WASB 잠금을 수정 합니다. getCurrentUser ()
    • 매직 바이트를 읽을 때 Avro 판독기의 무한 루프 버그를 수정 합니다.
  • 2020년 10월 13일

    • 운영 체제 보안 업데이트.
    • [SPARK-32999][SQL] [2.4] TreeNode에서 형식이 잘못 된 클래스 이름이 적중 되지 않도록 유틸리티를 사용 합니다.
    • 잘못 된 XML 문자가 포함 된 파일 이름을 포함 하는 퓨즈 탑재의 나열 된 디렉터리 수정
    • 퓨즈 마운트가 더 이상 ListMultipartUploads를 사용 하지 않습니다.
  • 2020 년 9 월 24 일

    • 운영 체제 보안 업데이트.
  • 2020년 9월 8일

    • Azure Synapse Analytics에 대해 새 매개 변수를 만들었습니다 maxbinlength . 이 매개 변수는 BinaryType 열의 열 길이를 제어 하는 데 사용 되며로 변환 됩니다 VARBINARY(maxbinlength) . 을 사용 하 여 설정할 수 있습니다 .option("maxbinlength", n) . 여기서 0 < n < = 8000입니다.
    • Azure Storage SDK를 8.6.4로 업데이트 하 고 WASB 드라이버에서 만든 연결에서 TCP 연결 유지를 사용 하도록 설정 합니다.
  • 8 월 25 일, 2020

    • 자체 병합에서 모호한 특성 확인을 수정 했습니다.
  • 8 월 18 일, 2020

    • [SPARK-32431][SQL] 빌드된 데이터 원본에서 읽은 중첩 열을 확인 합니다.
    • 트리거를 사용할 때 AQS 커넥터에서 경합 상태를 수정 했습니다.
  • 2020년 8월 11일

    • [SPARK-28676][코어] contextcleaner의 과도 한 로깅 방지
    • [SPARK-31967][UI] vis.js 4.21.0으로 다운 그레이드 하 여 작업 UI 로드 시간 회귀를 수정 합니다.
  • 8 월 3 일, 2020

    • 이제 통과 사용 클러스터에서 LDA transform 함수를 사용할 수 있습니다.
    • 운영 체제 보안 업데이트.

Databricks Runtime 6.5 (지원 되지 않음)

Databricks Runtime 6.5 (지원 되지 않음)을 참조 하세요.

  • 2020 년 9 월 24 일
    • 표준 클러스터의 통과에서 사용자가 사용 하는 파일 시스템 구현을 제한 하는 이전 제한 사항을 수정 했습니다. 이제 사용자는 제한 없이 로컬 파일 시스템에 액세스할 수 있습니다.
    • 운영 체제 보안 업데이트.
  • 2020년 9월 8일
    • Azure Synapse Analytics에 대해 새 매개 변수를 만들었습니다 maxbinlength . 이 매개 변수는 BinaryType 열의 열 길이를 제어 하는 데 사용 되며로 변환 됩니다 VARBINARY(maxbinlength) . 을 사용 하 여 설정할 수 있습니다 .option("maxbinlength", n) . 여기서 0 < n < = 8000입니다.
    • Azure Storage SDK를 8.6.4로 업데이트 하 고 WASB 드라이버에서 만든 연결에서 TCP 연결 유지를 사용 하도록 설정 합니다.
  • 8 월 25 일, 2020
    • 자체 병합에서 모호한 특성 확인을 수정 했습니다.
  • 8 월 18 일, 2020
    • [SPARK-32431][SQL] 빌드된 데이터 원본에서 읽은 중첩 열을 확인 합니다.
    • 트리거를 사용할 때 AQS 커넥터에서 경합 상태를 수정 했습니다.
  • 2020년 8월 11일
    • [SPARK-28676][코어] contextcleaner의 과도 한 로깅 방지
  • 8 월 3 일, 2020
    • 이제 통과 사용 클러스터에서 LDA transform 함수를 사용할 수 있습니다.
    • 운영 체제 보안 업데이트.
  • 2020 년 7 월 7 일
    • Java 버전을 1.8.0 _242에서 1.8.0 _242로 업그레이드 했습니다.
  • 4 월 21 일, 2020
    • [SPARK-31312][SQL] HiveFunctionWrapper의 UDF 인스턴스에 대 한 캐시 클래스 인스턴스

Databricks Runtime 6.3 (지원 되지 않음)

Databricks Runtime 6.3 (지원 되지 않음)을 참조 하세요.

  • 2020 년 7 월 7 일
    • Java 버전을 1.8.0 _232에서 1.8.0 _232로 업그레이드 했습니다.
  • 4 월 21 일, 2020
    • [SPARK-31312][SQL] HiveFunctionWrapper의 UDF 인스턴스에 대 한 캐시 클래스 인스턴스
  • 4 월 7 일, 2020
    • PyArrow 0.15.0 이상에서 작동 하지 않는 pandas udf와 관련 된 문제를 해결 하기 위해 ARROW_PRE_0_15_IPC_FORMAT=1 해당 버전의 PyArrow에 대 한 지원을 사용 하도록 환경 변수 ()를 추가 했습니다. [SPARK-29367]의 지침을 참조 하세요.
  • 2020년 3월 10일
    • Databricks Runtime에 포함 된 눈송이 커넥터 ( spark-snowflake_2.11 )는 버전 2.5.9로 업데이트 됩니다. snowflake-jdbc 3.12.0 버전으로 업데이트 됩니다.
  • 2020 년 2 월 18 일
    • ADLS 클라이언트 프리페치를 사용 하는 경우 잘못 된 스레드 로컬 처리로 인해 ADLS Gen2 자격 증명 통과로 인해 성능이 저하 됩니다. 이 릴리스에서는 적절 한 수정이 있을 때까지 자격 증명 통과를 사용 하는 경우 ADLS Gen2 프리페치를 사용 하지 않도록 설정 합니다.
  • 2020년 2월 11일
    • [spark-24783][SQL] SPARK.. x x = 0은 예외를 throw 해야 합니다.
    • [SPARK-30447][SQL] 일정 전파 null 허용 여부 문제
    • [SPARK-28152][SQL] 이전 MsSqlServerDialect 숫자 매핑에 대 한 레거시 회의를 추가 합니다.
    • 허용 되는는 MLModels에서 Mlmodels를 확장 하 여 함수를 호출할 수 있도록 overwrite 함수를 나열 합니다.

Databricks Runtime 6.2 (지원 되지 않음)

Databricks Runtime 6.2 (지원 되지 않음)을 참조 하세요.

  • 4 월 21 일, 2020
    • [SPARK-31312][SQL] HiveFunctionWrapper의 UDF 인스턴스에 대 한 캐시 클래스 인스턴스
  • 4 월 7 일, 2020
    • PyArrow 0.15.0 이상에서 작동 하지 않는 pandas udf와 관련 된 문제를 해결 하기 위해 ARROW_PRE_0_15_IPC_FORMAT=1 해당 버전의 PyArrow에 대 한 지원을 사용 하도록 환경 변수 ()를 추가 했습니다. [SPARK-29367]의 지침을 참조 하세요.
  • 3 월 25 일, 2020
    • Stdout으로 내보내는 로그 출력과 같은 작업 출력에는 20MB 크기 제한이 적용 됩니다. 전체 출력의 크기가 더 큰 경우 실행이 취소 되 고 실패로 표시 됩니다. 이 제한이 발생 하지 않도록 하려면 Spark 구성을로 설정 하 여 stdout이 드라이버에서로 반환 되는 것을 방지할 수 있습니다 spark.databricks.driver.disableScalaOutputtrue . 기본적으로 플래그 값은 false 입니다. 플래그는 Scala JAR 작업 및 Scala 노트북에 대 한 셀 출력을 제어 합니다. 플래그를 사용 하는 경우 Spark는 작업 실행 결과를 클라이언트에 반환 하지 않습니다. 플래그는 클러스터 로그 파일에 기록 되는 데이터에 영향을 주지 않습니다 ’ . 이 플래그를 설정 하는 것은 노트북 결과를 사용 하지 않도록 설정 하므로 JAR 작업의 자동화 된 클러스터에만 권장 됩니다.
  • 2020년 3월 10일
    • Databricks Runtime에 포함 된 눈송이 커넥터 ( spark-snowflake_2.11 )는 버전 2.5.9로 업데이트 됩니다. snowflake-jdbc 3.12.0 버전으로 업데이트 됩니다.
  • 2020 년 2 월 18 일
    • [spark-24783][SQL] SPARK.. x x = 0은 예외를 throw 해야 합니다.
    • ADLS 클라이언트 프리페치를 사용 하는 경우 잘못 된 스레드 로컬 처리로 인해 ADLS Gen2 자격 증명 통과로 인해 성능이 저하 됩니다. 이 릴리스에서는 적절 한 수정이 있을 때까지 자격 증명 통과를 사용 하는 경우 ADLS Gen2 프리페치를 사용 하지 않도록 설정 합니다.
  • 1 월 28 일, 2020
    • allowlisted 모델 작성기 ’ 는 자격 증명 통과에 대해 설정 된 클러스터에 대해 함수를 덮어쓰기 때문에 모델 저장에서 자격 증명 통과 클러스터에 덮어쓰기 모드를 사용할 수 있습니다.
    • [SPARK-30447][SQL] 일정 전파 null 허용 여부 문제입니다.
    • [SPARK-28152][SQL] 이전 MsSqlServerDialect 숫자 매핑에 대 한 레거시 회의를 추가 합니다.
  • 2020년 1월 14일
    • Java 버전을 1.8.0 _222에서 1.8.0 _222로 업그레이드 했습니다.
  • 2019년 12월 10일
    • [SPARK-29904][SQL] JSON/CSV 데이터 원본으로 마이크로초 precision의 타임 스탬프를 구문 분석 합니다.

Databricks Runtime 6.1 (지원 되지 않음)

Databricks Runtime 6.1 (지원 되지 않음)을 참조 하세요.

  • 4 월 7 일, 2020
    • PyArrow 0.15.0 이상에서 작동 하지 않는 pandas udf와 관련 된 문제를 해결 하기 위해 ARROW_PRE_0_15_IPC_FORMAT=1 해당 버전의 PyArrow에 대 한 지원을 사용 하도록 환경 변수 ()를 추가 했습니다. [SPARK-29367]의 지침을 참조 하세요.
  • 3 월 25 일, 2020
    • Stdout으로 내보내는 로그 출력과 같은 작업 출력에는 20MB 크기 제한이 적용 됩니다. 전체 출력의 크기가 더 큰 경우 실행이 취소 되 고 실패로 표시 됩니다. 이 제한이 발생 하지 않도록 하려면 Spark 구성을로 설정 하 여 stdout이 드라이버에서로 반환 되는 것을 방지할 수 있습니다 spark.databricks.driver.disableScalaOutputtrue . 기본적으로 플래그 값은 false 입니다. 플래그는 Scala JAR 작업 및 Scala 노트북에 대 한 셀 출력을 제어 합니다. 플래그를 사용 하는 경우 Spark는 작업 실행 결과를 클라이언트에 반환 하지 않습니다. 플래그는 클러스터 로그 파일에 기록 되는 데이터에 영향을 주지 않습니다 ’ . 이 플래그를 설정 하는 것은 노트북 결과를 사용 하지 않도록 설정 하므로 JAR 작업의 자동화 된 클러스터에만 권장 됩니다.
  • 2020년 3월 10일
    • Databricks Runtime에 포함 된 눈송이 커넥터 ( spark-snowflake_2.11 )는 버전 2.5.9로 업데이트 됩니다. snowflake-jdbc 3.12.0 버전으로 업데이트 됩니다.
  • 2020 년 2 월 18 일
    • [spark-24783][SQL] SPARK.. x x = 0은 예외를 throw 해야 합니다.
    • ADLS 클라이언트 프리페치를 사용 하는 경우 잘못 된 스레드 로컬 처리로 인해 ADLS Gen2 자격 증명 통과로 인해 성능이 저하 됩니다. 이 릴리스에서는 적절 한 수정이 있을 때까지 자격 증명 통과를 사용 하는 경우 ADLS Gen2 프리페치를 사용 하지 않도록 설정 합니다.
  • 1 월 28 일, 2020
    • [SPARK-30447][SQL] 일정 전파 null 허용 여부 문제입니다.
    • [SPARK-28152][SQL] 이전 MsSqlServerDialect 숫자 매핑에 대 한 레거시 회의를 추가 합니다.
  • 2020년 1월 14일
    • Java 버전을 1.8.0 _222에서 1.8.0 _222로 업그레이드 했습니다.
  • 2019 년 11 월 7 일
  • 11 월 5 일, 2019
    • 해당 경로에 있는 탑재 지점이 처리 되도록 DBFS 퓨즈의 버그를 수정 // 했습니다.
    • [SPARK-29081] 더 빠른 구현으로 속성에 대 한 호출을 SerializationUtils로 바꾸기
    • [SPARK-29244][코어] BytesToBytesMap의 해제 한 페이지를 다시 사용 하지 않음
    • (6.1 ML) 라이브러리 mkl 2019.4 버전이 예기치 않게 설치 되었습니다. Anaconda 배포 2019.03과 일치 하도록 mkl 버전 2019.3으로 다운 그레이드 했습니다.

Databricks Runtime 6.0 (지원 되지 않음)

Databricks Runtime 6.0 (지원 되지 않음)을 참조 하세요.

  • 3 월 25 일, 2020
    • Stdout으로 내보내는 로그 출력과 같은 작업 출력에는 20MB 크기 제한이 적용 됩니다. 전체 출력의 크기가 더 큰 경우 실행이 취소 되 고 실패로 표시 됩니다. 이 제한이 발생 하지 않도록 하려면 Spark 구성을로 설정 하 여 stdout이 드라이버에서로 반환 되는 것을 방지할 수 있습니다 spark.databricks.driver.disableScalaOutputtrue . 기본적으로 플래그 값은 false 입니다. 플래그는 Scala JAR 작업 및 Scala 노트북에 대 한 셀 출력을 제어 합니다. 플래그를 사용 하는 경우 Spark는 작업 실행 결과를 클라이언트에 반환 하지 않습니다. 플래그는 클러스터 로그 파일에 기록 되는 데이터에 영향을 주지 않습니다 ’ . 이 플래그를 설정 하는 것은 노트북 결과를 사용 하지 않도록 설정 하므로 JAR 작업의 자동화 된 클러스터에만 권장 됩니다.
  • 2020 년 2 월 18 일
    • ADLS 클라이언트 프리페치를 사용 하는 경우 잘못 된 스레드 로컬 처리로 인해 ADLS Gen2 자격 증명 통과로 인해 성능이 저하 됩니다. 이 릴리스에서는 적절 한 수정이 있을 때까지 자격 증명 통과를 사용 하는 경우 ADLS Gen2 프리페치를 사용 하지 않도록 설정 합니다.
  • 2020년 2월 11일
    • [spark-24783][SQL] SPARK.. x x = 0은 예외를 throw 해야 합니다.
  • 1 월 28 일, 2020
    • [SPARK-30447][SQL] 일정 전파 null 허용 여부 문제입니다.
    • [SPARK-28152][SQL] 이전 MsSqlServerDialect 숫자 매핑에 대 한 레거시 회의를 추가 합니다.
  • 2020년 1월 14일
    • Java 버전을 1.8.0 _222에서 1.8.0 _222로 업그레이드 했습니다.
  • 2019 년 11 월 19 일
    • [SPARK-29743] [SQL]는 자식 s needCopyResult이 true 인 경우 needCopyResult를 true로 설정 해야 합니다.
  • 11 월 5 일, 2019
    • dbutils.tensorboard.start() 이제 TensorBoard 2.0 (수동으로 설치 된 경우)을 지원 합니다.
    • 해당 경로에 있는 탑재 지점이 처리 되도록 DBFS 퓨즈의 버그를 수정 // 했습니다.
    • [SPARK-29081] 더 빠른 구현으로 속성에 대 한 호출을 SerializationUtils로 바꾸기
  • 10 월 23 일, 2019
    • [SPARK-29244][코어] BytesToBytesMap의 해제 한 페이지를 다시 사용 하지 않음
  • 2019년 10월 8일
    • Simba Apache Spark ODBC 드라이버가 다시 연결 하 고 결과를 가져오는 동안 연결 오류가 발생 한 후 계속할 수 있도록 서버 쪽이 변경 되었습니다 ( Simba APACHE SPARK odbc 드라이버 버전 2.6.10필요).
    • Optimize테이블 ACL 사용 클러스터와 함께 명령을 사용 하는 것에 영향을 주는 문제가 해결 되었습니다.
    • pyspark.ml테이블 ACL 및 자격 증명 통과 사용 클러스터에 대 한 SCALA UDF 사용 권한 오류로 인해 라이브러리가 실패 하는 문제가 해결 되었습니다.
    • 자격 증명 통과에 대해 allowlisted/SerDeUtil 메서드가 나열 됩니다.
    • WASB 클라이언트에서 오류 코드를 확인할 때 NullPointerException을 수정 했습니다.
    • 사용자 자격 증명이에서 만든 작업에 전달 되지 않는 문제를 해결 했습니다 dbutils.notebook.run() .

Databricks Runtime 5.4 ML (지원 되지 않음)

Machine Learning Databricks Runtime 5.4 (지원 되지 않음)을참조 하세요.

  • 2019년 6월 18일
    • Hyperopt 통합에서 MLflow 활성 실행의 향상 된 처리
    • Hyperopt의 향상 된 메시지
    • markdown3.1에서 3.1.1로 업데이트 된 패키지

Databricks Runtime 5.4 (지원 되지 않음)

Databricks Runtime 5.4 (지원 되지 않음)을 참조 하세요.

  • 2019 년 11 월 19 일
    • [SPARK-29743] [SQL]는 자식 s needCopyResult이 true 인 경우 needCopyResult를 true로 설정 해야 합니다.
  • 2019년 10월 8일
    • 결과를 인출 하는 동안 연결 오류가 발생 한 후 Simba Apache Spark ODBC 드라이버가 다시 연결 하 고 계속할 수 있도록 서버 쪽이 변경 되었습니다 (Simba Apache Spark ODBC driver update to version 2.6.10).
    • WASB 클라이언트에서 오류 코드를 확인할 때 NullPointerException을 수정 했습니다.
  • 9 월 10 일, 2019
    • BytesToBytesMap에 스레드 안전 반복기 추가
    • 특정 전역 집계 쿼리에 영향을 주는 버그를 수정 했습니다.
    • [SPARK-27330][SS] foreach writer에서 작업 중단을 지원 합니다.
    • [SPARK-28642] SHOW CREATE TABLE 자격 증명 숨기기
    • [SPARK-28699][SQL] 다시 분할 사례에서 ShuffleExchangeExec에 대한 radix 정렬 사용 안 함
    • [SPARK-28699][CORE] 확정하지 않은 단계를 중단하기 위한 모퉁이 케이스 수정
  • 2019년 8월 27일
    • 특정 식에 영향을 주는 문제를 transform 해결했습니다.
  • 2019년 8월 13일
    • 델타 스트리밍 원본은 테이블의 최신 프로토콜을 확인해야 합니다.
    • [SPARK-28489][SS]KafkaOffsetRangeCalculator.getRanges가 오프셋을 삭제할 수 있는 버그 수정
  • 2019년 7월 30일
    • [SPARK-28015][SQL] stringToDate()가 yyyy 및 yy-[m] m 형식에 대한 전체 입력을 사용하는지 확인합니다.
    • [SPARK-28308] [CORE]CalendarInterval 하위 초 부분은 구문 분석 전에 패딩해야 합니다.
    • [SPARK-27485] EnsureRequirements.reorder는 중복 식을 정상적으로 처리해야 함
  • 2019년 7월 2일
    • snappy-java를 1.1.7.1에서 1.1.7.3으로 업그레이드했습니다.
  • 2019년 6월 18일
    • MLlib 통합에서 MLflow 활성 실행 처리 개선
    • 델타 캐시 사용과 관련된 Databricks Advisor 메시지 개선
    • 더 높은 순서의 함수를 사용하는 데 영향을 주는 버그 수정
    • 델타 메타데이터 쿼리에 영향을 주는 버그 수정

Databricks Runtime 5.3(지원되지 않는 경우)

Databricks Runtime 5.3(지원되지 않는) 을참조하세요.

  • 2019년 11월 7일
    • [SPARK-29743][SQL] 샘플은 자식의 needCopyResult가 true인 경우 needCopyResult를 true로 설정해야 합니다.
  • 2019년 10월 8일
    • 결과를 가져오는 동안 Simba Apache Spark ODBC 드라이버가 연결 실패 후 다시 연결하고 계속할 수 있도록 서버 쪽이 변경되었습니다(Simba Apache Spark ODBC 드라이버를 버전 2.6.10으로 업데이트해야 합니다).
    • WASB 클라이언트에서 오류 코드를 확인할 때 NullPointerException이 수정되었습니다.
  • 2019년 9월 10일
    • BytesToBytesMap에 스레드 안전 반복기 추가
    • 특정 글로벌 집계 쿼리에 영향을 주는 버그가 수정되었습니다.
    • [SPARK-27330][SS] foreach 기록기에서 작업 중단 지원
    • [SPARK-28642] SHOW CREATE TABLE 자격 증명 숨기기
    • [SPARK-28699][SQL] 다시 분할 사례에서 ShuffleExchangeExec에 대한 radix 정렬 사용 안 함
    • [SPARK-28699][CORE] 확정하지 않은 단계를 중단하기 위한 모퉁이 케이스 수정
  • 2019년 8월 27일
    • 특정 식에 영향을 주는 문제를 transform 해결했습니다.
  • 2019년 8월 13일
    • 델타 스트리밍 원본은 테이블의 최신 프로토콜을 확인해야 합니다.
    • [SPARK-28489][SS]KafkaOffsetRangeCalculator.getRanges가 오프셋을 삭제할 수 있는 버그 수정
  • 2019년 7월 30일
    • [SPARK-28015][SQL] stringToDate()가 yyyy 및 yy-[m] m 형식에 대한 전체 입력을 사용하는지 확인합니다.
    • [SPARK-28308] [CORE]CalendarInterval 하위 초 부분은 구문 분석 전에 패딩해야 합니다.
    • [SPARK-27485] EnsureRequirements.reorder는 중복 식을 정상적으로 처리해야 함
  • 2019년 6월 18일
    • 델타 캐시 사용과 관련된 Databricks Advisor 메시지 개선
    • 더 높은 순서의 함수를 사용하는 데 영향을 주는 버그 수정
    • 델타 메타데이터 쿼리에 영향을 주는 버그 수정
  • 2019년 5월 28일
    • 델타의 안정성 향상
    • Delta LAST_CHECKPOINT 파일을 읽을 때 IOExceptions 허용
      • 실패한 라이브러리 설치에 복구 추가
  • 2019년 5월 7일
    • Azure Data Lake Storage Gen2 커넥터로 HADOOP-15778 포트(ABFS: 읽기에 대한 클라이언트 쪽 제한 수정)
    • HADOOP-16040(ABFS: tolerateOobAppends 구성에 대한 버그 수정)을 Azure Data Lake Storage Gen2 커넥터로 포트
    • 테이블 ACL에 영향을 주는 버그 수정
    • 델타 로그 체크섬 파일을 로드할 때 경합 상태가 수정됨
    • “삽입 + 덮어쓰기를 순수 추가 ”“” 작업으로 식별하지 않는 델타 충돌 검색 논리 수정
    • 테이블 ACL을 사용하는 경우 델타 캐시가 비활성화되지 않았는지 확인합니다.
    • [SPARK-27494] [SS] ’Kafka 원본 v2에서 Null 키/값이 작동하지 않습니다.
    • [SPARK-27446] [R] 사용 가능한 경우 기존 spark conf를 사용합니다.
    • [SPARK-27454] [SPARK-27454] [ML][SQL] 일부 잘못된 이미지가 발견되면 Spark 이미지 데이터 원본이 실패합니다.
    • [SPARK-27160] [SQL] orc 필터를 빌드할 때 DecimalType 수정
    • [SPARK-27338] [CORE] UnsafeExternalSorter와 TaskMemoryManager 간의 교착 상태 수정

Databricks Runtime 5.2(지원되지 않는 경우)

Databricks Runtime 5.2(지원되지 않는) 를참조하세요.

  • 2019년 9월 10일
    • BytesToBytesMap에 스레드 안전 반복기 추가
    • 특정 글로벌 집계 쿼리에 영향을 주는 버그가 수정되었습니다.
    • [SPARK-27330][SS] foreach 기록기에서 작업 중단 지원
    • [SPARK-28642] SHOW CREATE TABLE 자격 증명 숨기기
    • [SPARK-28699][SQL] 다시 분할 사례에서 ShuffleExchangeExec에 대한 radix 정렬 사용 안 함
    • [SPARK-28699][CORE] 확정하지 않은 단계를 중단하기 위한 모퉁이 케이스 수정
  • 2019년 8월 27일
    • 특정 식에 영향을 주는 문제를 transform 해결했습니다.
  • 2019년 8월 13일
    • 델타 스트리밍 원본은 테이블의 최신 프로토콜을 확인해야 합니다.
    • [SPARK-28489][SS]KafkaOffsetRangeCalculator.getRanges가 오프셋을 삭제할 수 있는 버그 수정
  • 2019년 7월 30일
    • [SPARK-28015][SQL] stringToDate()가 yyyy 및 yy-[m] m 형식에 대한 전체 입력을 사용하는지 확인합니다.
    • [SPARK-28308] [CORE]CalendarInterval 하위 초 부분은 구문 분석 전에 패딩해야 합니다.
    • [SPARK-27485] EnsureRequirements.reorder는 중복 식을 정상적으로 처리해야 함
  • 2019년 7월 2일
    • Delta LAST_CHECKPOINT 파일을 읽을 때 IOExceptions 허용
  • 2019년 6월 18일
    • 델타 캐시 사용과 관련된 Databricks Advisor 메시지 개선
    • 더 높은 순서의 함수를 사용하는 데 영향을 주는 버그 수정
    • 델타 메타데이터 쿼리에 영향을 주는 버그 수정
  • 2019년 5월 28일
    • 실패한 라이브러리 설치에 복구 추가
  • 2019년 5월 7일
    • Azure Data Lake Storage Gen2 커넥터로 HADOOP-15778 포트(ABFS: 읽기에 대한 클라이언트 쪽 제한 수정)
    • HADOOP-16040(ABFS: tolerateOobAppends 구성에 대한 버그 수정)을 Azure Data Lake Storage Gen2 커넥터로 포트
    • 델타 로그 체크섬 파일을 로드할 때 경합 상태가 수정됨
    • “삽입 + 덮어쓰기를 순수 추가 ”“” 작업으로 식별하지 않는 델타 충돌 검색 논리 수정
    • 테이블 ACL을 사용하는 경우 델타 캐시가 비활성화되지 않았는지 확인합니다.
    • [SPARK-27494] [SS] ’Kafka 원본 v2에서 Null 키/값이 작동하지 않습니다.
    • [SPARK-27454] [SPARK-27454] [ML][SQL] 일부 잘못된 이미지가 발견되면 Spark 이미지 데이터 원본이 실패합니다.
    • [SPARK-27160] [SQL] orc 필터를 빌드할 때 DecimalType 수정
    • [SPARK-27338] [CORE] UnsafeExternalSorter와 TaskMemoryManager 간의 교착 상태 수정
  • 2019년 3월 26일
    • 플랫폼 종속 오프셋을 전체 단계 생성 코드에 문자 그대로 포함하지 마십시오.
    • [SPARK-26665][CORE] Blocktrtrit 서비스의 버그를 수정 합니다. fetchBlockSync가 영원히 중단 될 수 있습니다.
    • [SPARK-27134][SQL] array_distinct 함수는 배열 배열을 포함 하는 열에서 제대로 작동 하지 않습니다.
    • [SPARK-24669][SQL] DROP DATABASE CASCADE의 경우 테이블을 무효화 합니다.
    • [SPARK-26572][SQL] 집계 codegen 결과 계산을 수정 합니다.
    • 특정 PythonUDFs에 영향을 주는 버그를 수정 했습니다.
  • 2 월 26 일 2019
    • [SPARK-26864][SQL] python udf가 왼쪽 세미 조인 조건으로 사용 되는 경우 쿼리는 잘못 된 결과를 반환할 수 있습니다.
    • [SPARK-26887][PYTHON] 중간 데이터로 datetime64을 만드는 대신 직접 날짜/시간을 만듭니다.
    • JDBC/ODBC 서버에 영향을 주는 버그를 수정 했습니다.
    • PySpark에 영향을 주는 버그를 수정 했습니다.
    • HadoopRDD를 빌드할 때 숨겨진 파일을 제외 합니다.
    • Serialization 문제를 일으킨 델타에서 버그를 수정 했습니다.
  • 2 월 12 일, 2019
    • Azure ADLS Gen2 탑재 지점과 델타 사용에 영향을 주는 문제를 수정 했습니다.
    • 암호화가 설정 된 경우 (가 true로 설정 된 경우) 대량 RPC 오류 메시지를 보낼 때 Spark 하위 수준 네트워크 프로토콜이 중단 될 수 있는 문제를 해결 spark.network.crypto.enabled 했습니다.
  • 1 월 30 일 2019
    • 캐시 된 관계에 기울이기 조인 힌트를 넣을 때 StackOverflowError이 수정 되었습니다.
    • SQL 캐시의 ’ 캐시 된 rdd와 해당 물리적 계획의 불일치를 수정 하 여 잘못 된 결과를 발생 시킵니다.
    • [SPARK-26706][SQL] ByteType에 대 한 수정입니다.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery는 빈 레코드를 올바르게 처리 하지 않습니다.
    • CSV/JSON 데이터 원본은 스키마를 유추 하는 경우 와일드 카드 사용 경로를 피해 야 합니다.
    • 창 연산자에 대 한 제약 조건 유추를 수정 했습니다.
    • 테이블 ACL을 사용 하는 클러스터를 사용 하 여 알 라이브러리 설치에 영향을 주는 문제를 해결 했습니다.

Databricks Runtime 5.1 (지원 되지 않음)

Databricks Runtime 5.1 (지원 되지 않음)을 참조 하세요.

  • 2019년 8월 13일
    • 델타 스트리밍 원본이 테이블의 최신 프로토콜을 확인 해야 합니다.
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator에서 오프셋을 삭제할 수 있는 버그를 수정 합니다.
  • 2019 년 7 월 30 일
    • [SPARK-28015][SQL] 확인 stringtodate ()은 yyyy 및 yyyy-[m] m 형식에 대 한 전체 입력을 사용 합니다.
    • [SPARK-28308][코어] calendarinterval 하위 초 부분은 구문 분석 전에 패딩 되어야 합니다.
    • [SPARK-27485] EnsureRequirements는 중복 식을 정상적으로 처리 해야 합니다.
  • 7 월 2 일, 2019
    • 델타 LAST_CHECKPOINT 파일을 읽을 때 IOExceptions 허용
  • 2019년 6월 18일
    • 고차 함수 사용에 영향을 주는 버그 수정
    • 델타 메타 데이터 쿼리에 영향을 주는 버그 수정
  • 2019년 5월 28일
    • 실패 한 라이브러리 설치에 대 한 복구 추가 됨
  • 2019년 5월 7일
    • 포트 HADOOP-15778 (abfs: 읽기에 대 한 클라이언트 쪽 제한 수정) Azure Data Lake Storage Gen2 커넥터
    • Azure Data Lake Storage Gen2 커넥터에 대 한 포트 HADOOP-16040 (abfs: tolerateOobAppends 구성에 대 한 버그 수정)
    • 델타 로그 체크섬 파일을 로드할 때 경합 상태를 수정 했습니다.
    • “Insert + overwrite를 ” 순수 “ 추가 ” 작업으로 식별 하지 않도록 델타 충돌 검색 논리를 수정 했습니다.
    • [SPARK-27494] SS Kafka 원본 v2에서 Null 키/값이 작동 하지 않습니다. ’
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] 일부 잘못 된 이미지를 발견 하면 Spark 이미지 datasource가 실패 함
    • [SPARK-27160] [SQL] orc 필터를 빌드할 때 DecimalType 수정
    • [SPARK-27338] CORE UnsafeExternalSorter 및 TaskMemoryManager 간의 교착 상태 수정
  • 3 월 26 일, 2019
    • 전체 단계에서 생성 된 코드에 플랫폼 종속 오프셋을 그대로 포함 하지 않습니다.
    • 특정 PythonUDFs에 영향을 주는 버그를 수정 했습니다.
  • 2 월 26 일 2019
    • [SPARK-26864][SQL] python udf가 왼쪽 세미 조인 조건으로 사용 되는 경우 쿼리는 잘못 된 결과를 반환할 수 있습니다.
    • JDBC/ODBC 서버에 영향을 주는 버그를 수정 했습니다.
    • HadoopRDD를 빌드할 때 숨겨진 파일을 제외 합니다.
  • 2 월 12 일, 2019
    • 테이블 ACL을 사용 하는 클러스터를 사용 하 여 알 라이브러리 설치에 영향을 주는 문제를 해결 했습니다.
    • SQL 캐시의 ’ 캐시 된 rdd와 해당 물리적 계획의 불일치를 수정 하 여 잘못 된 결과를 발생 시킵니다.
    • [SPARK-26706][SQL] ByteType에 대 한 수정입니다.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery는 빈 레코드를 올바르게 처리 하지 않습니다.
    • 창 연산자에 대 한 제약 조건 유추를 수정 했습니다.
    • 암호화가 설정 된 경우 (가 true로 설정 된 경우) 대량 RPC 오류 메시지를 보낼 때 Spark 하위 수준 네트워크 프로토콜이 중단 될 수 있는 문제를 해결 spark.network.crypto.enabled 했습니다.
  • 1 월 30 일 2019
    • df.rdd.count()UDT가 특정 사례에 대해 잘못 된 대답을 반환 하도록 할 수 있는 문제를 해결 했습니다.
    • Wheelhouses 설치에 영향을 주는 문제를 수정 했습니다.
    • [SPARK-26267] Kafka에서 잘못 된 오프셋을 검색할 때 다시 시도 합니다.
    • 스트리밍 쿼리에서 여러 파일 스트림 원본에 영향을 주는 버그를 수정 했습니다.
    • 캐시 된 관계에 기울이기 조인 힌트를 넣을 때 StackOverflowError이 수정 되었습니다.
    • SQL 캐시의 ’ 캐시 된 rdd와 해당 물리적 계획의 불일치를 수정 하 여 잘못 된 결과를 발생 시킵니다.
  • 2019 년 1 월 8 일
    • 오류를 발생 시키는 문제를 해결 했습니다 org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • [SPARK-26352]조인 다시 정렬에서는 출력 특성의 순서를 변경 하지 않아야 합니다.
    • [SPARK-26366] ReplaceExceptWithFilter는 NULL을 False로 간주 해야 합니다.
    • 델타 Lake의 안정성 향상.
    • 델타 Lake를 사용 합니다.
    • Azure Data Lake Storage Gen1에 대해 Azure AD 자격 증명 통과를 사용 하는 경우 실패 한 Azure Data Lake Storage Gen2 액세스를 야기 하는 문제를 해결 했습니다.
    • 이제 Databricks IO 캐시가 모든 가격 책정 계층에 대 한 Ls series worker 인스턴스 유형에 사용할 수 있습니다.

Databricks Runtime 5.0 (지원 되지 않음)

Databricks Runtime 5.0 (지원 되지 않음)을 참조 하세요.

  • 2019년 6월 18일
    • 고차 함수 사용에 영향을 주는 버그 수정
  • 2019년 5월 7일
    • 델타 로그 체크섬 파일을 로드할 때 경합 상태를 수정 했습니다.
    • “Insert + overwrite를 ” 순수 “ 추가 ” 작업으로 식별 하지 않도록 델타 충돌 검색 논리를 수정 했습니다.
    • [SPARK-27494] SS Kafka 원본 v2에서 Null 키/값이 작동 하지 않습니다. ’
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] 일부 잘못 된 이미지를 발견 하면 Spark 이미지 datasource가 실패 함
    • [SPARK-27160] [SQL] orc 필터를 빌드할 때 DecimalType 수정
      • [SPARK-27338] CORE UnsafeExternalSorter 및 TaskMemoryManager 간의 교착 상태 수정
  • 3 월 26 일, 2019
    • 전체 단계에서 생성 된 코드에 플랫폼 종속 오프셋을 그대로 포함 하지 않습니다.
    • 특정 PythonUDFs에 영향을 주는 버그를 수정 했습니다.
  • 3 월 12 일, 2019
    • [SPARK-26864][SQL] python udf가 왼쪽 세미 조인 조건으로 사용 되는 경우 쿼리는 잘못 된 결과를 반환할 수 있습니다.
  • 2 월 26 일 2019
    • JDBC/ODBC 서버에 영향을 주는 버그를 수정 했습니다.
    • HadoopRDD를 빌드할 때 숨겨진 파일을 제외 합니다.
  • 2 월 12 일, 2019
    • SQL 캐시의 ’ 캐시 된 rdd와 해당 물리적 계획의 불일치를 수정 하 여 잘못 된 결과를 발생 시킵니다.
    • [SPARK-26706][SQL] ByteType에 대 한 수정입니다.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery는 빈 레코드를 올바르게 처리 하지 않습니다.
    • 창 연산자에 대 한 제약 조건 유추를 수정 했습니다.
    • 암호화가 설정 된 경우 (가 true로 설정 된 경우) 대량 RPC 오류 메시지를 보낼 때 Spark 하위 수준 네트워크 프로토콜이 중단 될 수 있는 문제를 해결 spark.network.crypto.enabled 했습니다.
  • 1 월 30 일 2019
    • df.rdd.count()UDT가 특정 사례에 대해 잘못 된 대답을 반환 하도록 할 수 있는 문제를 해결 했습니다.
    • [SPARK-26267] Kafka에서 잘못 된 오프셋을 검색할 때 다시 시도 합니다.
    • 스트리밍 쿼리에서 여러 파일 스트림 원본에 영향을 주는 버그를 수정 했습니다.
    • 캐시 된 관계에 기울이기 조인 힌트를 넣을 때 StackOverflowError이 수정 되었습니다.
    • SQL 캐시의 ’ 캐시 된 rdd와 해당 물리적 계획의 불일치를 수정 하 여 잘못 된 결과를 발생 시킵니다.
  • 2019 년 1 월 8 일
    • 오류를 발생 시킨 문제를 해결 했습니다 org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • [SPARK-26352]조인 다시 정렬에서는 출력 특성의 순서를 변경 하지 않아야 합니다.
    • [SPARK-26366] ReplaceExceptWithFilter는 NULL을 False로 간주 해야 합니다.
    • 델타 Lake의 안정성 향상.
    • 델타 Lake를 사용 합니다.
    • 이제 Databricks IO 캐시가 모든 가격 책정 계층에 대 한 Ls series worker 인스턴스 유형에 사용할 수 있습니다.
  • 2018 년 12 월 18 일
    • [SPARK-26293] 하위 쿼리에 Python UDF를 포함 하는 경우 캐스트 예외
    • 조인 및 제한을 사용 하 여 특정 쿼리에 영향을 주는 문제를 수정 했습니다.
    • Spark UI에서 RDD 이름의 자격 증명 교정 된
  • 2018 년 12 월 6 일
    • OrderBy를 사용할 때 잘못 된 쿼리 결과가 발생 하는 문제를 수정 했습니다 .이 경우 group by 키를 기준으로 정렬 기준 키의 선행 부분으로 groupBy를 즉시 수행 합니다.
    • 2.4.9.2-spark_2 .4...0 _pre_l에서 2.4.10로 Spark 용 눈송이 커넥터를 업그레이드 했습니다.
    • spark.sql.files.ignoreCorruptFiles또는 플래그를 사용 하는 경우 하나 이상의 재시도 후에 손상 된 파일만 무시 spark.sql.files.ignoreMissingFiles 합니다.
    • 특정 self union 쿼리에 영향을 주는 문제를 수정 했습니다.
    • Thrift 서버를 사용 하 여 버그를 수정 했습니다 .이 경우 세션은 취소 될 때 손실 됩니다.
    • [SPARK-26307] Hive SerDe를 사용 하 여 분할 된 테이블을 삽입 하는 경우 CTAS를 수정 했습니다.
    • [SPARK-26147] 조인의 한 쪽 에서만 열을 사용 하는 경우에도 join 조건의 Python Udf가 실패 함
    • [SPARK-26211] Null을 사용 하 여 이진, 구조체 및 배열에 대 한 삽입을 수정 합니다.
    • [SPARK-26181] 의 메서드가 ColumnStatsMap 올바르지 않습니다.
    • 인터넷에 액세스 하지 않고 환경에서 Python 휠 설치에 영향을 주는 문제를 해결 했습니다.
  • 2018년 11월 20일
    • 스트리밍 쿼리를 취소 한 후 노트북을 사용할 수 없게 하는 문제를 해결 했습니다.
    • 창 함수를 사용 하 여 특정 쿼리에 영향을 주는 문제를 수정 했습니다.
    • 여러 스키마 변경을 사용 하 여 델타에서 스트림에 영향을 주는 문제를 수정 했습니다.
    • 왼쪽 반/앤티 조인이 있는 특정 집계 쿼리에 영향을 주는 문제를 수정 했습니다.

Databricks Runtime 4.3 (지원 되지 않음)

Databricks Runtime 4.3 (지원 되지 않음)을 참조 하세요.

  • 4 월 9 일, 2019

    • [SPARK-26665][CORE] BlockTransferService를 발생 시킬 수 있는 버그를 수정 합니다. fetchBlockSync가 영원히 중단 됩니다.
    • [SPARK-24669][SQL] DROP DATABASE CASCADE의 경우 테이블을 무효화 합니다.
  • 3 월 12 일, 2019

    • 코드 생성에 영향을 주는 버그를 수정 했습니다.
    • 델타에 영향을 주는 버그를 수정 했습니다.
  • 2 월 26 일 2019

    • JDBC/ODBC 서버에 영향을 주는 버그를 수정 했습니다.
  • 2 월 12 일, 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery는 빈 레코드를 올바르게 처리 하지 않습니다.
    • HadoopRDD를 빌드할 때 숨겨진 파일을 제외 합니다.
    • 해당 값이 비어 있는 경우 IN 조건자에 대 한 Parquet 필터 변환을 수정 했습니다.
    • 암호화가 설정 된 경우 (가 true로 설정 된 경우) 대량 RPC 오류 메시지를 보낼 때 Spark 하위 수준 네트워크 프로토콜이 중단 될 수 있는 문제를 해결 spark.network.crypto.enabled 했습니다.
  • 1 월 30 일 2019

    • df.rdd.count()UDT가 특정 사례에 대해 잘못 된 대답을 반환 하도록 할 수 있는 문제를 해결 했습니다.
    • SQL 캐시의 ’ 캐시 된 rdd와 해당 물리적 계획의 불일치를 수정 하 여 잘못 된 결과를 발생 시킵니다.
  • 2019 년 1 월 8 일

    • 오류를 발생 시키는 문제를 해결 했습니다 org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • Spark UI에서 RDD 이름의 자격 증명 교정 된
    • [SPARK-26352]조인 다시 정렬에서는 출력 특성의 순서를 변경 하지 않아야 합니다.
    • [SPARK-26366] ReplaceExceptWithFilter는 NULL을 False로 간주 해야 합니다.
    • 델타 Lake를 사용 합니다.
    • 이제 Databricks IO 캐시가 모든 가격 책정 계층에 대 한 Ls series worker 인스턴스 유형에 사용할 수 있습니다.
  • 2018 년 12 월 18 일

    • [SPARK-25002] Avro: 출력 레코드 네임 스페이스를 수정 합니다.
    • 조인 및 제한을 사용 하 여 특정 쿼리에 영향을 주는 문제를 수정 했습니다.
    • [SPARK-26307] Hive SerDe를 사용 하 여 분할 된 테이블을 삽입 하는 경우 CTAS를 수정 했습니다.
    • spark.sql.files.ignoreCorruptFiles또는 플래그를 사용 하는 경우 하나 이상의 재시도 후에 손상 된 파일만 무시 spark.sql.files.ignoreMissingFiles 합니다.
    • [SPARK-26181] 의 메서드가 ColumnStatsMap 올바르지 않습니다.
    • 인터넷에 액세스 하지 않고 환경에서 Python 휠 설치에 영향을 주는 문제를 해결 했습니다.
    • 쿼리 분석기의 성능 문제를 수정 했습니다.
    • PySpark에서 연결 거부 오류로 인해 데이터 프레임 작업이 실패 하는 문제를 수정 했습니다 “” .
    • 특정 self union 쿼리에 영향을 주는 문제를 수정 했습니다.
  • 2018년 11월 20일

    • [Spark-17916][spark-25241]nullvalue가 설정 된 경우 null로 구문 분석 되는 빈 문자열을 수정 합니다.
    • [SPARK-25387] 잘못 된 CSV 입력으로 인 한 NPE을 수정 합니다.
    • 왼쪽 반/앤티 조인이 있는 특정 집계 쿼리에 영향을 주는 문제를 수정 했습니다.
  • 2018 년 11 월 6 일

    • [SPARK-25741] 긴 Url은 웹 UI에서 제대로 렌더링 되지 않습니다.
    • [SPARK-25714] 최적화 프로그램 규칙 BooleanSimplification에서 Null 처리를 수정 합니다.
    • Synapse Analytics 커넥터에서 임시 개체 정리에 영향을 주는 문제를 수정 했습니다.
    • [SPARK-25816] 중첩 된 추출기 특성 확인을 수정 합니다.
  • Oct 16, 2018

    • 델타 테이블에서 실행 되는의 출력에 영향을 주는 버그를 수정 SHOW CREATE TABLE 했습니다.
    • 작업에 영향을 주는 버그를 수정 Union 했습니다.
  • 2018 년 9 월 25 일

    • [SPARK-25368][SQL] 잘못 된 제약 조건 유추가 잘못 된 결과를 반환 합니다.
    • [SPARK-25402][SQL] BooleanSimplification에서 Null 처리를 처리 합니다.
    • NotSerializableExceptionAvro 데이터 원본에서 수정 되었습니다.
  • 9 월 11 일, 2018

    • [SPARK-25214][SS] Kafka v2 원본에서 중복 된 레코드를 반환할 수 있는 문제를 해결 합니다.
    • [SPARK-24987][SS] articlePartition에 대 한 새 오프셋이 없으면 Kafka 소비자 누수를 수정 합니다.
    • 필터 축소는 null 값을 올바르게 처리 해야 합니다.
    • 실행 엔진의 안정성이 향상 되었습니다.
  • 8 월 28 일, 2018

    • 조건이 null로 평가 되는 행을 잘못 삭제 하는 델타 Lake Delete 명령의 버그를 수정 했습니다.
    • [SPARK-25142] Python worker에서 소켓을 열 수 없는 경우 오류 메시지를 추가 합니다.
  • 8 월 23 일, 2018

    • [SPARK-23935]mapentry가 throw 됩니다.
    • Parquet reader에서 nullable 맵 문제를 수정 했습니다.
    • [SPARK-25051][SQL] fixnullability 허용은 AnalysisBarrier에서 중지 하면 안 됩니다.
    • [SPARK-25081] 분산에서 메모리를 할당 하지 못할 때 ShuffleExternalSorter가 해제 된 메모리 페이지에 액세스할 수 있는 버그를 수정 했습니다.
    • 일시적인 읽기 오류를 일으킬 수 있는 Databricks Delta와 Pyspark 간의 상호 작용을 수정 했습니다.
    • [SPARK-25084] 여러 ” 열(대괄호로 묶음)에서 에 의해 배포하면 codegen 문제가 발생할 수 있습니다.
    • [SPARK-25096] 캐스트가 force-nullable인 경우 느슨한 nullability입니다.
    • Delta Lake Optimize 명령에서 사용하는 기본 스레드 수를 줄여 메모리 오버헤드를 줄이고 데이터를 더 빠르게 커밋합니다.
    • [SPARK-25114] 두 단어 사이의 빼기가 Integer.MAX_VALUE 나눌 때 RecordBinaryComparator를 수정합니다.
    • 명령이 부분적으로 성공하는 경우 비밀 관리자 편집이 수정되었습니다.

Databricks Runtime 4.2(지원되지 않는 경우)

Databricks Runtime 4.2(지원되지 않는) 를참조하세요.

  • 2019년 2월 26일

    • JDBC/ODBC 서버에 영향을 주는 버그가 수정되었습니다.
  • 2019년 2월 12일

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery가 빈 레코드를 올바르게 처리하지 않습니다.
    • HadoopRDD를 빌드할 때 숨겨진 파일 제외
    • 값이 비어 있는 경우 IN predicate에 대한 Parquet 필터 변환이 수정되었습니다.
    • 암호화가 설정된 큰 RPC 오류 메시지를 보낼 때 Spark 낮은 수준 네트워크 프로토콜이 끊어질 수 있는 문제를 해결했습니다(가 spark.network.crypto.enabled true로 설정된 경우).
  • 2019년 1월 30일

    • df.rdd.count()UDT에서 특정 사례에 대해 잘못된 답변을 반환할 수 있는 문제를 해결했습니다.
  • 2019년 1월 8일

    • 오류를 발생시키는 문제를 org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted 해결했습니다.
    • Spark UI의 RDD 이름에서 자격 증명 수정
    • [SPARK-26352]조인 다시 정렬은 출력 특성의 순서를 변경하지 않아야 합니다.
    • [SPARK-26366] ReplaceExceptWithFilter는 NULL을 False로 간주해야 합니다.
    • Delta Lake를 사용할 수 있습니다.
    • 이제 모든 가격 책정 계층에 대해 Ls 시리즈 작업자 인스턴스 유형에 Databricks IO Cache를 사용할 수 있습니다.
  • 2018년 12월 18일

    • [SPARK-25002] Avro: 출력 레코드 네임스페이스를 수정합니다.
    • 조인 및 제한을 사용하여 특정 쿼리에 영향을 주는 문제를 해결했습니다.
    • [SPARK-26307] Hive SerDe를 사용하여 분할된 테이블을 삽입할 때 CTAS가 수정되었습니다.
    • 또는 플래그를 사용하도록 설정한 경우 하나 이상의 재시도 후 손상된 파일만 spark.sql.files.ignoreCorruptFilesspark.sql.files.ignoreMissingFiles 무시합니다.
    • [SPARK-26181]ColumnStatsMap 메서드가 올바르지 않습니다.
    • 인터넷에 액세스할 수 없는 환경에서 Python 휠을 설치하는 데 영향을 주는 문제를 해결했습니다.
    • 쿼리 분석기에서 성능 문제가 해결되었습니다.
    • 연결 거부 오류로 인해 DataFrame 작업이 실패하는 PySpark 문제를 “” 해결했습니다.
    • 특정 자체 공용 쿼리에 영향을 주는 문제를 해결했습니다.
  • 2018년 11월 20일

    • [SPARK-17916][SPARK-25241]nullValue를 설정할 때 null로 구문 분석되는 빈 문자열을 수정합니다.
    • 왼쪽 세미/앤티 조인을 통해 특정 집계 쿼리에 영향을 주는 문제를 해결했습니다.
  • 2018년 11월 6일

    • [SPARK-25741] 긴 URL은 웹 UI에서 제대로 렌더링되지 않습니다.
    • [SPARK-25714] 최적화 프로그램 규칙 BooleanSimplification에서 Null 처리를 수정합니다.
  • 2018년 10월 16일

    • 델타 테이블에서 실행 중인 의 출력에 영향을 주는 SHOW CREATE TABLE 버그가 수정되었습니다.
    • 작업에 영향을 주는 버그가 Union 수정되었습니다.
  • 2018년 9월 25일

    • [SPARK-25368][SQL] 잘못된 제약 조건 유추가 잘못된 결과를 반환합니다.
    • [SPARK-25402][SQL] BooleanSimplification의 Null 처리입니다.
    • NotSerializableExceptionAvro 데이터 원본에서 수정되었습니다.
  • 2018년 9월 11일

    • [SPARK-25214][SS] Kafka v2 원본이 인 경우 중복 레코드를 반환할 수 있는 문제를 해결합니다.
    • [SPARK-24987][SS] articlePartition에 대한 새 오프셋이 없을 때 Kafka 소비자 누수 문제를 해결합니다.
    • 필터 감소는 null 값을 올바르게 처리해야 합니다.
  • 2018년 8월 28일

    • 조건이 null로 평가되는 행을 잘못 삭제하는 Delta Lake Delete 명령의 버그가 수정되었습니다.
  • 2018년 8월 23일

    • 델타 스냅샷에 대한 NoClassDefError 수정
    • [SPARK-23935]mapEntry가 을 throw합니다.
    • [SPARK-24957][SQL] 10진수 뒤에 집계가 있는 평균은 잘못된 결과를 반환합니다. AVERAGE의 잘못된 결과가 반환될 수 있습니다. Divide의 결과가 캐스팅되는 형식과 동일한 경우 Average 연산자에서 추가된 CAST는 무시됩니다.
    • [SPARK-25081] Spilling이 메모리를 할당하지 못할 때 ShuffleExternalSorter가 해제된 메모리 페이지에 액세스할 수 있는 버그가 수정되었습니다.
    • 일시적인 읽기 실패를 일으킬 수 있는 Databricks Delta와 Pyspark 간의 상호 작용을 수정했습니다.
    • [SPARK-25114] 두 단어 사이의 빼기가 Integer.MAX_VALUE 나눌 때 RecordBinaryComparator를 수정합니다.
    • [SPARK-25084] 여러 ” 열(대괄호로 묶음)에서 에 의해 배포하면 codegen 문제가 발생할 수 있습니다.
    • [SPARK-24934][SQL] 메모리 내 파티션 정리를 위해 상한/하한에서 지원되는 형식을 명시적으로 허용 목록에 추가합니다. 캐시된 데이터에 대한 쿼리 필터에서 복합 데이터 형식을 사용하는 경우 Spark는 항상 빈 결과 집합을 반환합니다. null은 복합 형식의 상한/하한에 대해 설정되므로 메모리 내 통계 기반 정리는 잘못된 결과를 생성합니다. 복잡한 형식에 메모리 내 통계 기반 정리를 사용하지 않는 것이 해결되었습니다.
    • 명령이 부분적으로 성공하는 경우 비밀 관리자 편집이 수정되었습니다.
    • Parquet 판독기에서 nullable 맵 문제가 해결되었습니다.
  • 2018년 8월 2일

    • Python에서 writeStream.table API가 추가되었습니다.
    • 델타 검사점에 영향을 주는 문제를 해결했습니다.
    • [SPARK-24867][SQL] DataFrameWriter에 AnalysisBarrier를 추가합니다. SQL Cache는 DataFrameWriter를 사용하여 UDF를 사용하여 DataFrame을 작성할 때 사용되지 않습니다. 모든 분석기 규칙이 idempotent인 것은 아니므로 AnalysisBarrier에서 변경한 내용으로 인해 발생하는 회귀입니다.
    • 명령이 잘못된 결과를 생성할 수 있는 문제를 mergeInto 해결했습니다.
    • Azure Data Lake Storage Gen1에 액세스하는 안정성이 향상되었습니다.
    • [SPARK-24809] 실행기에서 LongHashedRelation을 직렬화하면 데이터 오류가 발생할 수 있습니다.
    • [SPARK-24878][SQL] null을 포함하는 기본 형식의 배열 형식에 대한 역방향 함수를 수정합니다.
  • 2018년 7월 11일

    • 일부 경우에는 정밀도가 다른 소수 열의 집계가 잘못된 결과를 반환하도록 하는 쿼리 실행 버그가 수정되었습니다.
    • NullPointerException그룹화 집합과 같은 고급 집계 작업 중에 throw된 버그를 수정했습니다.

Databricks Runtime 4.1 ML(지원되지 않는 경우)

Databricks Runtime 4.1 ML(지원되지 않는)를 참조하세요.

  • 2018년 7월 31일
    • ML 런타임 4.1에 Azure Synapse Analytics 추가
    • 예측에 사용된 파티션 열의 이름이 테이블 스키마에 있는 해당 열의 경우와 다른 경우 잘못된 쿼리 결과를 발생시킬 수 있는 버그가 수정되었습니다.
    • Spark SQL 실행 엔진에 영향을 주는 버그가 수정되었습니다.
    • 코드 생성에 영향을 주는 버그가 수정되었습니다.
    • java.lang.NoClassDefFoundErrorDelta Lake에 영향을 주는 버그()를 수정했습니다.
    • Delta Lake의 오류 처리가 향상되었습니다.
    • 32자 이상 문자열 열에 대해 잘못된 데이터 건너뛰기 통계가 수집되는 버그가 수정되었습니다.

Databricks Runtime 4.1(지원되지 않는 경우)

Databricks Runtime 4.1(지원되지 않는) 을참조하세요.

  • 2019년 1월 8일

    • [SPARK-26366] ReplaceExceptWithFilter는 NULL을 False로 간주해야 합니다.
    • Delta Lake를 사용할 수 있습니다.
  • 2018년 12월 18일

    • [SPARK-25002] Avro: 출력 레코드 네임스페이스를 수정합니다.
    • 조인 및 제한을 사용하여 특정 쿼리에 영향을 주는 문제를 해결했습니다.
    • [SPARK-26307] Hive SerDe를 사용하여 분할된 테이블을 삽입할 때 CTAS가 수정되었습니다.
    • 또는 플래그를 사용하도록 설정한 경우 하나 이상의 재시도 후 손상된 파일만 spark.sql.files.ignoreCorruptFilesspark.sql.files.ignoreMissingFiles 무시합니다.
    • 인터넷에 액세스할 수 없는 환경에서 Python 휠을 설치하는 데 영향을 주는 문제를 해결했습니다.
    • 연결 거부 오류로 인해 DataFrame 작업이 실패하는 PySpark 문제를 “” 해결했습니다.
    • 특정 자체 공용 쿼리에 영향을 주는 문제를 해결했습니다.
  • 2018년 11월 20일

    • [SPARK-17916][SPARK-25241]nullValue를 설정할 때 null로 구문 분석되는 빈 문자열을 수정합니다.
    • 왼쪽 세미/앤티 조인을 통해 특정 집계 쿼리에 영향을 주는 문제를 해결했습니다.
  • 2018년 11월 6일

    • [SPARK-25741] 긴 URL은 웹 UI에서 제대로 렌더링되지 않습니다.
    • [SPARK-25714] 최적화 프로그램 규칙 BooleanSimplification에서 Null 처리를 수정합니다.
  • 2018년 10월 16일

    • 델타 테이블에서 실행 중인 의 출력에 영향을 주는 SHOW CREATE TABLE 버그가 수정되었습니다.
    • 작업에 영향을 주는 버그가 Union 수정되었습니다.
  • 2018년 9월 25일

    • [SPARK-25368][SQL] 잘못된 제약 조건 유추가 잘못된 결과를 반환합니다.
    • [SPARK-25402][SQL] BooleanSimplification의 Null 처리입니다.
    • NotSerializableExceptionAvro 데이터 원본에서 수정되었습니다.
  • 2018년 9월 11일

    • [SPARK-25214][SS] Kafka v2 원본이 인 경우 중복 레코드를 반환할 수 있는 문제를 해결합니다.
    • [SPARK-24987][SS] articlePartition에 대한 새 오프셋이 없을 때 Kafka 소비자 누수 문제를 해결합니다.
    • 필터 감소는 null 값을 올바르게 처리해야 합니다.
  • 2018년 8월 28일

    • 조건이 null로 평가되는 행을 잘못 삭제하는 Delta Lake Delete 명령의 버그가 수정되었습니다.
    • [SPARK-25084] 여러 ” 열(대괄호로 묶음)에서 에 의해 배포하면 codegen 문제가 발생할 수 있습니다.
    • [SPARK-25114] 두 단어 사이의 빼기가 Integer.MAX_VALUE 나눌 때 RecordBinaryComparator를 수정합니다.
  • 2018년 8월 23일

    • 델타 스냅샷에 대한 NoClassDefError가 수정되었습니다.
    • [SPARK-24957][SQL] 10진수 뒤에 집계가 있는 평균은 잘못된 결과를 반환합니다. AVERAGE의 잘못된 결과가 반환될 수 있습니다. Divide의 결과가 캐스팅되는 형식과 동일한 경우 Average 연산자에서 추가된 CAST는 무시됩니다.
    • Parquet 판독기에서 nullable 맵 문제가 해결되었습니다.
    • [SPARK-24934][SQL] 메모리 내 파티션 정리를 위해 상한/하한에서 지원되는 형식을 명시적으로 허용 목록에 추가합니다. 캐시된 데이터에 대한 쿼리 필터에서 복합 데이터 형식을 사용하는 경우 Spark는 항상 빈 결과 집합을 반환합니다. null은 복합 형식의 상한/하한에 대해 설정되므로 메모리 내 통계 기반 정리는 잘못된 결과를 생성합니다. 복잡한 형식에 메모리 내 통계 기반 정리를 사용하지 않는 것이 해결되었습니다.
    • [SPARK-25081] Spilling이 메모리를 할당하지 못할 때 ShuffleExternalSorter가 해제된 메모리 페이지에 액세스할 수 있는 버그가 수정되었습니다.
    • 일시적인 읽기 실패를 일으킬 수 있는 Databricks Delta와 Pyspark 간의 상호 작용을 수정했습니다.
    • 명령이 부분적으로 성공하는 경우 비밀 관리자 수정 수정
  • 2018년 8월 2일

    • [SPARK-24613][SQL] UDF가 있는 캐시를 후속 종속 캐시와 일치시킬 수 없습니다. 계획이 다시 분석되지 않도록 CacheManager에서 실행 계획 컴파일을 위해 AnalysisBarrier를 사용하여 논리 계획을 래핑합니다. 이는 Spark 2.3의 회귀이기도합니다.
    • DateType 데이터를 쓰기 위한 시간대 변환에 영향을 주는 Synapse Analytics 커넥터 문제가 해결되었습니다.
    • 델타 검사점에 영향을 주는 문제를 해결했습니다.
    • 명령이 잘못된 결과를 생성할 수 있는 문제를 mergeInto 해결했습니다.
    • [SPARK-24867][SQL] DataFrameWriter에 AnalysisBarrier를 추가합니다. SQL Cache는 DataFrameWriter를 사용하여 UDF를 사용하여 DataFrame을 작성하는 경우 사용되지 않습니다. 모든 분석기 규칙이 idempotent인 것은 아니므로 AnalysisBarrier에서 변경한 내용으로 인해 발생하는 회귀입니다.
    • [SPARK-24809] 실행기에서 LongHashedRelation을 직렬화하면 데이터 오류가 발생할 수 있습니다.
  • 2018년 7월 11일

    • 일부 경우에는 정밀도가 다른 소수 열의 집계가 잘못된 결과를 반환하도록 하는 쿼리 실행 버그가 수정되었습니다.
    • NullPointerException그룹화 집합과 같은 고급 집계 작업 중에 throw된 버그를 수정했습니다.
  • 2018년 6월 28일

    • 예측에 사용된 파티션 열의 이름이 테이블 스키마에 있는 해당 열의 경우와 다른 경우 잘못된 쿼리 결과를 발생시킬 수 있는 버그가 수정되었습니다.
  • 2018년 6월 7일

    • Spark SQL 실행 엔진에 영향을 주는 버그가 수정되었습니다.
    • 코드 생성에 영향을 주는 버그가 수정되었습니다.
    • java.lang.NoClassDefFoundErrorDelta Lake에 영향을 주는 버그()를 수정했습니다.
    • Delta Lake의 오류 처리가 향상되었습니다.
  • 2018년 5월 17일

    • 32자 이상 문자열 열에 대해 잘못된 데이터 건너뛰기 통계가 수집되는 버그가 수정되었습니다.

Databricks Runtime 4.0(지원되지 않는 경우)

Databricks Runtime 4.0(지원되지 않는) 을참조하세요.

  • 2018년 11월 6일

    • [SPARK-25714] 최적화 프로그램 규칙 BooleanSimplification에서 Null 처리를 수정합니다.
  • 2018년 10월 16일

    • 작업에 영향을 주는 버그가 Union 수정되었습니다.
  • 2018년 9월 25일

    • [SPARK-25368][SQL] 잘못된 제약 조건 유추가 잘못된 결과를 반환합니다.
    • [SPARK-25402][SQL] BooleanSimplification의 Null 처리입니다.
    • NotSerializableExceptionAvro 데이터 원본에서 수정되었습니다.
  • 2018년 9월 11일

    • 필터 감소는 null 값을 올바르게 처리해야 합니다.
  • 2018년 8월 28일

    • 조건이 null로 평가되는 행을 잘못 삭제하는 Delta Lake Delete 명령의 버그가 수정되었습니다.
  • 2018년 8월 23일

    • Parquet 판독기에서 nullable 맵 문제가 해결되었습니다.
    • 명령이 부분적으로 성공하는 경우 비밀 관리자 수정 수정
    • 일시적인 읽기 실패를 일으킬 수 있는 Databricks Delta와 Pyspark 간의 상호 작용을 수정했습니다.
    • [SPARK-25081] Spilling이 메모리를 할당하지 못할 때 ShuffleExternalSorter가 해제된 메모리 페이지에 액세스할 수 있는 버그가 수정되었습니다.
    • [SPARK-25114] 두 단어 사이의 빼기가 Integer.MAX_VALUE 나눌 때 RecordBinaryComparator를 수정합니다.
  • 2018년 8월 2일

    • [SPARK-24452] int add 또는 multiple에서 가능한 오버플로를 방지합니다.
    • [SPARK-24588] 스트리밍 조인에는 자식의 HashClusteredPartitioning이 필요합니다.
    • 명령이 잘못된 결과를 생성할 수 있는 문제를 mergeInto 해결했습니다.
    • [SPARK-24867][SQL] DataFrameWriter에 AnalysisBarrier를 추가합니다. SQL Cache는 DataFrameWriter를 사용하여 UDF를 사용하여 DataFrame을 작성하는 경우 사용되지 않습니다. 모든 분석기 규칙이 idempotent인 것은 아니므로 AnalysisBarrier에서 변경한 내용으로 인해 발생하는 회귀입니다.
    • [SPARK-24809] 실행기에서 LongHashedRelation을 직렬화하면 데이터 오류가 발생할 수 있습니다.
  • 2018년 6월 28일

    • 예측에 사용된 파티션 열의 이름이 테이블 스키마에 있는 해당 열의 경우와 다른 경우 잘못된 쿼리 결과를 발생시킬 수 있는 버그가 수정되었습니다.
  • 2018년 6월 7일

    • Spark SQL 실행 엔진에 영향을 주는 버그가 수정되었습니다.
    • Delta Lake의 오류 처리가 향상되었습니다.
  • 2018년 5월 17일

    • Databricks 비밀 관리에 대한 버그 수정
    • Azure Data Lake Store 저장된 데이터를 읽을 때의 안정성이 향상되었습니다.
    • RDD 캐싱에 영향을 주는 버그가 수정되었습니다.
    • Spark SQL Null 안전 Equal에 영향을 주는 버그가 수정되었습니다.
  • 2018년 4월 24일

    • Azure Data Lake Store SDK를 2.0.11에서 2.2.8로 업그레이드하여 Azure Data Lake Store 대한 액세스 안정성을 개선했습니다.
    • 가 일 때 분할된 Hive 테이블에 덮어쓰기를 삽입하는 데 영향을 주는 spark.databricks.io.hive.fastwriter.enabled 버그가 false 수정되었습니다.
    • 태스크 serialization에 실패한 문제를 해결했습니다.
    • Delta Lake 안정성이 향상되었습니다.
  • 2018년 3월 14일

    • Delta Lake에 쓸 때 불필요한 메타데이터 업데이트를 방지합니다.
    • 드문 경우에서 일부 출력 파일이 손실되는 경합 상태로 인해 발생하는 문제가 해결되었습니다.

Databricks Runtime 3.5 LTS(지원되지 않는)

Databricks Runtime 3.5 LTS(지원되지 않는)를 참조하세요.

  • 2019년 11월 7일

    • [SPARK-29743][SQL] 샘플은 자식의 needCopyResult가 true인 경우 needCopyResult를 true로 설정해야 합니다.
  • 2019년 10월 8일

    • 결과를 가져오는 동안 Simba Apache Spark ODBC 드라이버가 연결 실패 후 다시 연결하고 계속할 수 있도록 서버 쪽이 변경되었습니다(Simba Apache Spark ODBC 드라이버를 버전 2.6.10으로 업데이트해야 합니다).
  • 2019년 9월 10일

    • [SPARK-28699][SQL] 다시 분할 사례에서 ShuffleExchangeExec에 대한 radix 정렬 사용 안 함
  • 2019년 4월 9일

    • [SPARK-26665] [CORE]BlockTransferService.fetchBlockSync가 계속 중단되는 버그를 수정합니다.
  • 2019년 2월 12일

    • 암호화가 설정된 큰 RPC 오류 메시지를 보낼 때 Spark 낮은 수준 네트워크 프로토콜이 끊어질 수 있는 문제를 해결했습니다(가 spark.network.crypto.enabled true로 설정된 경우).
  • 2019년 1월 30일

    • df.rdd.count()UDT에서 특정 사례에 대해 잘못된 답변을 반환할 수 있는 문제를 해결했습니다.
  • 2018년 12월 18일

    • 또는 플래그를 사용하도록 설정한 경우 하나 이상의 재시도 후 손상된 파일만 spark.sql.files.ignoreCorruptFilesspark.sql.files.ignoreMissingFiles 무시합니다.
    • 특정 자체 공용 쿼리에 영향을 주는 문제를 해결했습니다.
  • 2018년 11월 20일

    • [SPARK-25816] 중첩된 추출기의 특성 확인이 수정되었습니다.
  • 2018년 11월 6일

    • [SPARK-25714] 최적화 프로그램 규칙 BooleanSimplification에서 Null 처리를 수정합니다.
  • 2018년 10월 16일

    • 작업에 영향을 주는 버그가 Union 수정되었습니다.
  • 2018년 9월 25일

    • [SPARK-25402][SQL] BooleanSimplification의 Null 처리입니다.
    • NotSerializableExceptionAvro 데이터 원본에서 수정되었습니다.
  • 2018년 9월 11일

    • 필터 감소는 null 값을 올바르게 처리해야 합니다.
  • 2018년 8월 28일

    • 조건이 null로 평가되는 행을 잘못 삭제하는 Delta Lake Delete 명령의 버그가 수정되었습니다.
    • [SPARK-25114] 두 단어 사이의 빼기가 Integer.MAX_VALUE 나눌 때 RecordBinaryComparator를 수정합니다.
  • 2018년 8월 23일

    • [SPARK-24809] 실행기에서 LongHashedRelation을 직렬화하면 데이터 오류가 발생할 수 있습니다.
    • Parquet 판독기에서 nullable 맵 문제가 해결되었습니다.
    • [SPARK-25081] Spilling이 메모리를 할당하지 못할 때 ShuffleExternalSorter가 해제된 메모리 페이지에 액세스할 수 있는 버그가 수정되었습니다.
    • 일시적인 읽기 실패를 일으킬 수 있는 Databricks Delta와 Pyspark 간의 상호 작용을 수정했습니다.
  • 2018년 6월 28일

    • 예측에 사용된 파티션 열의 이름이 테이블 스키마에 있는 해당 열의 경우와 다른 경우 잘못된 쿼리 결과를 발생시킬 수 있는 버그가 수정되었습니다.
  • 2018년 6월 28일

    • 예측에 사용된 파티션 열의 이름이 테이블 스키마에 있는 해당 열의 경우와 다른 경우 잘못된 쿼리 결과를 발생시킬 수 있는 버그가 수정되었습니다.
  • 2018년 6월 7일

    • Spark SQL 실행 엔진에 영향을 주는 버그가 수정되었습니다.
    • Delta Lake의 오류 처리가 향상되었습니다.
  • 2018년 5월 17일

    • Azure Data Lake Store 저장된 데이터를 읽을 때의 안정성이 향상되었습니다.
    • RDD 캐싱에 영향을 주는 버그가 수정되었습니다.
    • Spark SQL Null 안전 Equal에 영향을 주는 버그가 수정되었습니다.
    • 스트리밍 쿼리의 특정 집계에 영향을 주는 버그가 수정되었습니다.
  • 2018년 4월 24일

    • Azure Data Lake Store SDK를 2.0.11에서 2.2.8로 업그레이드하여 Azure Data Lake Store 대한 액세스 안정성을 개선했습니다.
    • 가 일 때 분할된 Hive 테이블에 덮어쓰기를 삽입하는 데 영향을 주는 spark.databricks.io.hive.fastwriter.enabled 버그가 false 수정되었습니다.
    • 태스크 serialization에 실패한 문제를 해결했습니다.
  • 2018년 3월 9일

    • 드문 경우에서 일부 출력 파일이 손실되는 경합 상태로 인해 발생하는 문제가 해결되었습니다.
  • 2018년 3월 1일

    • 중지하는 데 시간이 오래 걸릴 수 있는 스트림 처리의 효율성이 향상되었습니다.
    • Python 자동 완성에 영향을 주는 문제를 해결했습니다.
    • 적용된 Ubuntu 보안 패치.
    • PythonUDF 및 창 함수를 사용하여 특정 쿼리에 영향을 주는 문제를 해결했습니다.
    • 테이블 액세스 제어를 사용하도록 설정된 클러스터에서의UDF 사용에 영향을 주는 문제를 해결했습니다.
  • 2018년 1월 29일

    • Azure Blob Storage에 저장된 테이블 조작에 영향을 주는 문제를 해결했습니다.
    • 빈 DataFrame에서 dropDuplicates 후 집계가 수정되었습니다.

Databricks Runtime 3.4(지원되지 않는 경우)

Databricks Runtime 3.4(지원되지 않는) 를참조하세요.

  • 2018년 6월 7일

    • Spark SQL 실행 엔진에 영향을 주는 버그가 수정되었습니다.
    • Delta Lake의 오류 처리가 향상되었습니다.
  • 2018년 5월 17일

    • Azure Data Lake Store 저장된 데이터를 읽을 때의 안정성이 향상되었습니다.
    • RDD 캐싱에 영향을 주는 버그가 수정되었습니다.
    • Spark SQL Null 안전 Equal에 영향을 주는 버그가 수정되었습니다.
  • 2018년 4월 24일

    • 가 일 때 분할된 Hive 테이블에 덮어쓰기를 삽입하는 데 영향을 주는 spark.databricks.io.hive.fastwriter.enabled 버그가 false 수정되었습니다.
  • 2018년 3월 9일

    • 드문 경우에서 일부 출력 파일이 손실되는 경합 상태로 인해 발생하는 문제가 해결되었습니다.
  • 2017년 12월 13일

    • Scala의UDF에 영향을 주는 문제를 해결했습니다.
    • DBFS가 아닌 경로에 저장된 데이터 원본 테이블에서 데이터 건너뛰기 인덱스 사용에 영향을 주는 문제를 해결했습니다.
  • 2017년 12월 7일

    • 순서 섞기 안정성이 향상되었습니다.

지원되지 않는 Databricks Runtime 릴리스

원래 릴리스 정보인 경우 하위 헤더 아래의 링크를 따릅니다.