2023년 8월

  • 아티클

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2023년 8월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 작업 영역은 초기 릴리스 날짜 이후 일주일 이상까지 업데이트되지 않을 수 있습니다.

2023년 8월 31일

이제 Unity 카탈로그에 등록된 테이블이 위쪽 표시줄의 탐색 검색에 표시됩니다. 작업 영역 개체 검색을 참조 하세요.

Databricks CLI가 버전 0.203.3으로 업데이트됨(공개 미리 보기)

2023년 8월 30일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.203.3으로 업데이트되었습니다. 자세한 내용은 버전 0.203.3의 변경 로그를 참조하세요.

Databricks JDBC 드라이버 2.6.34

2023년 8월 30일

Databricks JDBC 드라이버 버전 2.6.34(다운로드)를 릴리스했습니다. 이 릴리스는 타사 라이브러리를 업그레이드하여 여러 취약성 문제를 해결합니다. 또한 이 릴리스는 다음 문제를 해결합니다.

  • 쿼리가 서버에 연결하지 못하면 스레드가 누출됩니다.
  • 테이블 메타데이터의 열에 REMARKS 주석이 없습니다.
  • 결과 집합 닫기 작업이 오류를 반환하는 경우 커넥터는 하트비트 스레드에서 작업 핸들 항목을 클린 않습니다.

또한 이 릴리스는 서버의 오류 코드를 적용하고 SQLState 서버 프로토콜 버전을 올바르게 검사 오류 메시지 처리를 개선합니다.

Go용 Databricks SDK가 버전 0.18.0(베타)으로 업데이트됨

2023년 8월 29일

Databricks SDK for Go 버전 0.18.0에는 17개의 호환성이 손상되는 API 변경 내용이 도입되고 30개의 API가 추가되며 약 12개의 필드가 추가됩니다. 자세한 내용은 버전 0.18.0의 변경 로그를 참조하세요.

Python용 Databricks SDK가 버전 0.7.0(베타)으로 업데이트됨

2023년 8월 29일

Python 용 Databricks SDK 버전 0.7.0에는 파일 API에 대한 호환성이 손상되는 변경과 17개의 추가 호환성이 손상되는 변경이 도입되었습니다. 또한 이 릴리스에서는 14개의 필드를 추가하고 27개의 데이터 클래스를 추가합니다. 자세한 내용은 버전 0.7.0의 변경 로그를 참조하세요.

Databricks Terraform 공급자가 버전 1.24.1로 업데이트됨

2023년 8월 29일

Databricks Terraform 공급자 버전 1.24.1에는 작업 영역 연결 가능성을 확인하는 수정 사항이 포함되어 있습니다. 자세한 내용은 버전 1.24.1의 변경 로그를 참조하세요.

DBFS 수명 종료에 대한 초기화 스크립트가 2023년 12월 1일로 연장되었습니다.

2023년 8월 29일

Databricks는 이전에 DBFS의 init 스크립트가 2023년 9월 1일에 수명이 종료될 것이라고 발표했습니다. 수명 종료 날짜는 2023년 12월 1일로 연장되었습니다.

Databricks Runtime 14.0(베타)

2023년 8월 29일

이제 Databricks Runtime 14.0 및 Databricks Runtime 14.0 ML을 베타 릴리스로 사용할 수 있습니다.

Machine Learning용 Databricks Runtime 14.0(지원되지 않음) 및 Databricks Runtime 14.0(지원되지 않음)을 참조하세요.

통합 탐색 환경은 GA입니다.

2023년 8월 28일

이제 통합 Azure Databricks 탐색 환경을 일반 공급할 수 있습니다. 사용자는 더 이상 클래식 탐색 환경에 되돌리기 수 없습니다. 자세한 내용은 작업 영역 탐색을 참조 하세요.

Databricks Terraform 공급자가 버전 1.24.0으로 업데이트됨

2023년 8월 25일

Databricks Terraform 공급자 버전 1.24.0은 Unity 카탈로그 개체에 대한 계정 수준 API 지원을 추가하고 여러 데이터 원본에 추가 acl_principal_id 합니다. 자세한 내용은 버전 1.24.0의 변경 로그를 참조하세요.

작업 영역 관리자 설정 페이지에서 제거된 Genomics용 Databricks 런타임 설정

2023년 8월 25일

작업 영역 관리자는 작업 영역 관리자 설정 페이지 또는 작업 영역 구성 API에서 Genomics용 Databricks Runtime을 더 이상 사용하거나 사용하지 않도록 설정할 수 없습니다. Databricks Genomics 런타임은 더 이상 사용되지 않으며 Genomics용 Databricks 런타임에 대한 지원은 2022년 9월 24일에 제거되었습니다.

Databricks Genomics 런타임은 더 이상 사용되지 않습니다. 동등한 오픈 소스에 대해서는 genomics-pipelines 및 Glow에 대한 리포지토리를 참조하세요. 런타임의 일부였던 생물정보학 라이브러리는 ProjectGlow Dockerhub 페이지에서 가져올 수 있는 Docker 컨테이너로 릴리스되었습니다.

Databricks 런타임 사용 중단 정책 및 일정에 대한 자세한 내용은 지원되는 Databricks 런타임 LTS 릴리스를 참조 하세요.

작업 영역 관리자 설정 페이지에서 제거된 Container Services 설정

2023년 8월 25일

작업 영역 관리자는 더 이상 작업 영역 관리자 설정 페이지에서 Container Services를 사용하거나 사용하지 않도록 설정할 수 없습니다. Container Services를 사용하면 클러스터에서 고객 컨테이너를 사용할 수 있습니다. 기본적으로 모든 새 작업 영역에서 사용하도록 설정됩니다. 작업 영역 구성 API를 사용하여 Container Services를 계속 사용하거나 사용하지 않도록 설정할 수 있습니다. 자세한 내용은 Container Services 사용을 참조 하세요.

Databricks CLI가 버전 0.203.2로 업데이트됨(공개 미리 보기)

2023년 8월 24일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.203.2로 업데이트되었습니다. 자세한 내용은 버전 0.203.2의 변경 로그를 참조하세요.

Python Notebook의 함수 및 변수에 대한 정의로 이동

2023년 8월 24일

Databricks Runtime 12.2 LTS 이상에서 Python Notebook이 클러스터에 연결되면 해당 Notebook에 정의된 변수 또는 함수의 정의로 자동으로 이동할 수 있습니다. 자세한 내용은 정의로 이동을 참조하세요.

통합 스키마 브라우저는 GA입니다.

2023년 8월 24일

통합 스키마 브라우저는 이제 카탈로그 탐색기, SQL 편집기 및 Notebook에서 일반적으로 사용할 수 있습니다. 카탈로그 탐색기란?을 참조하세요.

Databricks Runtime 13.3 LTS는 GA입니다.

2023년 8월 22일

이제 Databricks Runtime 13.3 LTS 및 Databricks Runtime 13.3 LTS ML이 일반 공급됩니다.

Machine Learning용 Databricks Runtime 13.3 LTS 및 Databricks Runtime 13.3 LTS를 참조하세요.

Unity 카탈로그를 사용하여 태그 소개

2023년 8월 22일

이제 Unity 카탈로그의 보안 개체에 태그를 적용할 수 있습니다. 태그를 사용하면 보안 개체를 구성하고 데이터 자산의 검색 및 검색을 간소화할 수 있습니다. 태그 적용을 참조 하세요.

Unity 카탈로그 공유 클러스터의 init 스크립트, JAR 및 Maven 좌표에 대한 허용 목록은 공개 미리 보기로 제공됩니다.

2023년 8월 23일

이제 Unity 카탈로그 allowlist 를 사용하여 Databricks Runtime 13.3 이상을 실행하는 공유 액세스 모드를 사용하여 컴퓨팅에서 init 스크립트, JAR 및 Maven 좌표의 설치를 제어할 수 있습니다. 공유 컴퓨팅의 허용 목록 라이브러리 및 초기화 스크립트를 참조 하세요.

init 스크립트 및 JAR에 대한 볼륨 지원은 공개 미리 보기로 제공됩니다.

2023년 8월 23일

이제 Unity 카탈로그 볼륨을 사용하여 Databricks Runtime 13.3 이상을 실행하는 할당되거나 공유된 액세스 모드를 사용하여 컴퓨팅에 init 스크립트 및 JAR을 저장할 수 있습니다. 볼륨에서 클러스터 범위 라이브러리 및 설치 라이브러리를 참조하세요.

더 쉬운 Databricks Repos .ipynb 파일 출력 커밋

2023년 8월 21일

Databricks Repos에는 .ipynb 파일 출력 커밋을 더 쉽게 제어하고 볼 수 있는 기능이 추가되었습니다.

  • 리포지토리는 commit_output 구성 파일을 만들 수 있습니다.
  • UI의 알림을 통해 출력 커밋의 상태 알 수 있습니다.
  • 파일 메뉴에서 noteook 출력이 커밋되는지 여부를 제어할 수 있습니다.

.ipynb Notebook 출력 커밋 제어를 참조 하세요.

Databricks Repos의 IPYNB Notebook 지원은 GA입니다.

2023년 8월 21일

Databricks Repos의 IPYNB Notebook 파일 지원은 GA입니다. Repos에 대한 자세한 내용은 다음을 참조하세요.

Go용 Databricks SDK가 버전 0.17.0(베타)으로 업데이트됨

2023년 8월 18일

Databricks SDK for Go 버전 0.17.0은 30개 이상의 API를 추가하고 약 10개의 API 이름을 바꿉니다. 자세한 내용은 버전 0.17.0의 변경 로그를 참조하세요.

Python용 Databricks SDK가 버전 0.6.0(베타)으로 업데이트됨

2023년 8월 18일

Python 버전 0.6.0용 Databricks SDK는 약 20개의 데이터 클래스를 추가하고, 약 10개의 API를 추가하며, 약 20개의 이름을 포함합니다. 자세한 내용은 버전 0.6.0의 변경 로그를 참조하세요.

Databricks CLI가 버전 0.203.1로 업데이트됨(공개 미리 보기)

2023년 8월 16일

Databricks 명령줄 인터페이스(Databricks CLI)가 버전 0.203.1로 업데이트되었습니다. 자세한 내용은 버전 0.203.1의 변경 로그를 참조하세요.

통합 스키마 브라우저는 이제 GA입니다.

2023년 8월 16일

이제 다음과 같은 새로운 기능을 포함하여 Notebook, SQL 편집기 및 카탈로그 탐색기에서 데이터를 탐색하는 통합된 방법을 사용할 수 있습니다.

  • 트리의 압축된 버전입니다.
  • 필터링할 때 스키마 수준에서 Unity 카탈로그 개체 수를 표시합니다.
  • 마우스 오른쪽 단추로 메뉴를 클릭하여 작업을 봅니다.

스크립트 또는 템플릿에서 ID를 인코딩하는 경우 서버리스 서브넷 변경 내용이 영향을 줄 수 있습니다.

2023년 8월 15일

Azure Storage 방화벽을 사용하는 경우 8월 말까지 일부 서브넷 ID가 변경됩니다. Azure는 기존 스토리지 방화벽 규칙에서 서브넷 ID를 자동으로 마이그레이션하기 때문에 대부분의 고객에게는 영향을 주지 않습니다. 이 마이그레이션 은 기존 워크로드에 영향을 주지 않습니다.

Azure Storage 방화벽 규칙을 업데이트하는 템플릿 또는 스크립트에서 서버리스 서브넷 목록을 인코딩하는 경우 규칙을 업데이트하기 전에 최신 서브넷 ID 목록을 가져와야 합니다. 각 지역에 대한 최신 ID는 Azure Databricks 지역을 참조 하세요.

Go용 Databricks SDK가 버전 0.16.0(베타)으로 업데이트됨

2023년 8월 14일

Go 버전 0.16.0용 Databricks SDK는 약 12개의 필드를 추가하고, 약 12개의 필드를 제거하고, 약 12개의 API의 서명을 변경합니다. 자세한 내용은 버전 0.16.0의 변경 로그를 참조하세요.

파트너 커넥트 인구 조사를 지원합니다.

2023년 8월 14일

이제 파트너 커넥트 사용하여 Azure Databricks 작업 영역을 Census에 연결할 수 있습니다. 자세한 내용은 인구 조사에 대한 커넥트 참조하세요.

이제 고객 관리형 키에 대해 지원되는 Azure Key Vault 관리형 HSM 키

2023년 8월 14일

일부 Azure Databricks 서비스 및 데이터는 암호화된 데이터에 대한 액세스를 보호하고 제어하는 데 도움이 되는 고객 관리형 키 추가를 지원합니다. Azure Databricks에는 다양한 유형의 데이터와 위치를 포함하는 세 가지 고객 관리형 주요 기능이 있습니다. 이러한 세 가지 기능은 이제 Azure Key Vault 자격 증명 모음과 함께 Azure Key Vault 관리형 HSM(하드웨어 보안 모듈)의 고객 관리형 키를 지원합니다. 암호화에 대한 고객 관리형 키를 참조하세요.

Python용 Databricks SDK가 버전 0.5.0(베타)으로 업데이트됨

2023년 8월 11일

Python 버전 0.5.0용 Databricks SDK는 반다스 API의 서명을 변경하고, 12개의 필드를 추가하고, 반다스 필드를 제거하고, 몇 개의 데이터 클래스를 추가합니다. 자세한 내용은 버전 0.5.0의 변경 로그를 참조하세요.

작업 영역 파일에 대한 프로그래밍 방식 쓰기 지원

2023년 8월 11일

Databricks Runtime 11.2 이상을 사용하는 클러스터는 작업 영역 파일에 쓰기를 지원합니다. 작업 영역 내에서 파일 및 디렉터리를 프로그래밍 방식으로 만들고, 업데이트하고, 삭제할 수 있습니다.

Databricks CLI가 버전 0.203.0으로 업데이트됨(공개 미리 보기)

2023년 8월 10일

Databricks 명령줄 인터페이스(Databricks CLI) 버전 0.203.0은 명령 등을 향상시킵니다auth login. 자세한 내용은 버전 0.203.0의 변경 로그를 참조하세요.

Databricks Terraform 공급자가 버전 1.23.0으로 업데이트됨

2023년 8월 9일

Databricks Terraform 공급자 버전 1.23.0은 지원되는 추가 필드databricks_job로 확장 RunJobTask 되고, 내보내기 지원이 databricks_model_serving추가됩니다. 자세한 내용은 버전 1.23.0의 변경 로그를 참조하세요.

이제 그룹의 이름을 바꿀 수 있습니다.

2023년 8월 8일

이제 기존 계정 그룹 및 작업 영역-로컬 그룹의 이름을 바꿀 수 있습니다. 그룹 이름 변경을 참조하세요.

Go용 Databricks SDK가 버전 0.15.0(베타)으로 업데이트됨

2023년 8월 7일

Databricks SDK for Go 버전 0.15.0은 사용 권한 관련 API를 리팩터하여 더 이해하기 쉽고 쉽게 사용할 수 있도록 합니다. 자세한 내용은 버전 0.15.0의 변경 로그를 참조하세요.

Python용 Databricks SDK가 버전 0.4.0(베타)으로 업데이트됨

2023년 8월 7일

Python 용 Databricks SDK 버전 0.4.0은 사용 권한 관련 API를 리팩터하여 더 이해하기 쉽고 쉽게 사용할 수 있도록 합니다. 자세한 내용은 버전 0.4.0의 변경 로그를 참조하세요.

타사 iFraming 방지 구성 설정이 제거되었습니다.

2023년 8월 7일

Azure Databricks는 적절한 HTTP 헤더를 추가하여 iFraming Azure Databricks에서 타사 do기본s의 위험을 줄입니다. 타사 iFraming 방지는 기본적으로 계속 사용하도록 설정되어 있지만 Azure Databricks는 이를 사용하지 않도록 설정하기 위해 작업 영역 관리자 설정을 제거했습니다. 이전에 작업 영역에 대해 타사 iFraming을 사용하지 않도록 설정한 경우 해당 작업 영역에 대해 기능이 계속 비활성화됩니다. 타사 iFraming을 다시 사용하도록 설정하려면 Azure Databricks 계정 팀에 문의하세요.

Visual Studio Code용 Databricks 확장이 버전 1.1.1로 업데이트됨

2023년 8월 4일

Visual Studio Code 버전 1.1.1용 Databricks 확장은 Windows에서 환경 변수를 HOME 올바르게 처리하는 등의 몇 가지 사소한 수정 사항을 제공합니다. 자세한 내용은 버전 1.1.1의 변경 로그를 참조하세요.

LangChain은 13.1 이상에서 사용할 수 있습니다.

2023년 8월 4일

LangChain은 LangChain 고객이 Azure Databricks 환경에서 직접 MLflow의 강력한 도구 및 실험 추적 기능을 활용할 수 있도록 하는 실험적 MLflow 버전으로 제공됩니다.

LangChain은 LLM(대규모 언어 모델)을 활용하고 외부 데이터와 결합하여 LLM에 대한 학습 컨텍스트를 더 많이 가져오는 애플리케이션을 만들 수 있도록 설계된 소프트웨어 프레임워크입니다.

Machine Learning 용 Databricks Runtime은 Databricks Runtime 13.1 ML 이상에 포함됩니다 langchain .

Unity 카탈로그의 기능 엔지니어링은 공개 미리 보기입니다.

2023년 8월 3일

Unity 카탈로그의 기능 엔지니어링을 사용하면 Unity 카탈로그가 기능 저장소가 됩니다. 모델 학습 또는 유추를 위한 기능 테이블로 기본 키가 있는 델타 테이블을 사용할 수 있습니다. Unity 카탈로그는 기능 검색 및 거버넌스를 제공합니다.

반복되는 연속 작업 오류에 대한 오류 처리 개선

2023년 8월 3일

연속 실패에 대한 임계값을 초과하는 연속 작업은 이제 지수 백오프 체계를 사용하여 작업 실행을 효율적으로 다시 시도하고 일시적인 문제에서 작업을 복구할 수 있습니다. 이전에는 실패 임계값을 초과하는 연속 작업이 일시 중지되고 다시 시도되지 않았습니다.

서버리스 SQL 웨어하우스는 이제 추가 지역에서 사용할 수 있습니다.

2023년 8월 3일

서버리스 SQL 웨어하우스는 오스트레일리아 동부, 캐나다 중부, 미국 서부 2, 미국 중남부 및 동남 아시아의 추가 지역에서 사용할 수 있습니다. Azure Databricks 지역을 참조 하세요.

Azure Storage 방화벽을 사용하려는 경우 서버리스 SQL 웨어하우스 서브넷에서 액세스할 수 있도록 방화벽을 구성합니다. Azure Databricks 지역을 참조 하세요.

델타 공유를 사용하여 스키마 공유(공개 미리 보기)

2023년 8월 2일

이제 델타 공유를 사용하여 전체 스키마를 공유할 수 있으며, 나중에 스키마에 추가되는 테이블 및 뷰와 함께 공유되는 시점에 스키마의 모든 테이블 및 뷰에 대한 액세스 권한을 받는 사람에게 부여할 수 있습니다. SQL 명령을 사용하여 공유에 스키마를 추가하려면 SQL 웨어하우스 또는 Databricks Runtime 13.2 이상을 실행하는 클러스터가 필요합니다. 카탈로그 탐색기를 사용하여 동일한 작업을 수행해도 컴퓨팅 요구 사항이 없습니다. 공유에 스키마 추가를 참조하세요.

Azure Databricks 작업에서 조건부로 작업 실행

2023년 8월 2일

새 Run if 조건을 사용하여 작업 종속성의 상태 따라 작업 작업을 실행하여 Azure Databricks 작업으로 워크플로를 구현할 때 더 많은 유연성을 제공할 수 있습니다. 예를 들어 작업의 종속성 중 일부 또는 전부가 실패한 경우 조건을 사용하여 Run if 작업을 실행할 수 있습니다. Azure Databricks 작업에서 조건부로 작업 실행을 참조 하세요.

Databricks Terraform 공급자가 버전 1.22.0으로 업데이트됨

2023년 8월 1일

Databricks Terraform 공급자 버전 1.22.0은 databricks_access_control_rule_set 리소스, 추가 databricks_metastore 및 databricks_metastore 데이터 원본 등을 추가합니다. 자세한 내용은 버전 1.22.0의 변경 로그를 참조하세요.

향상된 보안 및 규정 준수 기능

2023년 8월 1일

작업 영역에서 추가 모니터링, 강화된 컴퓨팅 이미지 및 기타 기능을 제공하는 규정 준수 보안 프로필을 사용하도록 설정할 수 있습니다. 규정 준수 보안 프로필은 Azure Databricks를 사용하여 PCI-DSS에서 규제하는 데이터를 처리하는 데 필요하지만 이러한 데이터를 처리하지 않는 경우 프로필을 사용하도록 선택할 수 있습니다. 귀하는 모든 관련 법률 및 규정을 자체적으로 준수할 책임이 있습니다.

또는 추가 모니터링 및 강화된 컴퓨팅 이미지를 제공하는 향상된 보안 모니터링을 별도로 사용하도록 설정할 수 있습니다.

두 기능 모두 새로운 추가 기능의 향상된 보안 및 규정 준수의 일부로 사용할 수 있습니다. 작업 영역에서 이러한 기능 중 하나를 사용하도록 설정하면 가격 책정 페이지에 설명된 대로 새 추가 기능에 대한 요금이 청구됩니다. 두 기능 모두 프리미엄 가격 책정 계층이 필요합니다.

Lakehouse 모니터링은 공개 미리 보기입니다.

2023년 8월 1일

Databricks Lakehouse 모니터링 은 데이터 및 모델 품질 모니터링을 Databricks 플랫폼에 통합합니다. 요약 통계, 시간에 따른 분포 변경, 공정성 및 바이어스를 포함한 모델 성능과 같은 기본 품질 메트릭을 제공합니다. Lakehouse 모니터링은 시간이 지남에 따라 데이터 품질을 시각화하는 데 도움이 되는 요약 대시보드를 자동으로 생성합니다. 데이터를 기반으로 경고를 설정할 수도 있습니다.

Databricks Runtime 13.3 LTS(베타)

2023년 8월 1일

이제 Databricks Runtime 13.3 LTS 및 Databricks Runtime 13.3 LTS ML을 베타 릴리스로 사용할 수 있습니다.

Machine Learning용 Databricks Runtime 13.3 LTS 및 Databricks Runtime 13.3 LTS를 참조하세요.

새 Git 작업은 일반적으로 사용할 수 있습니다. 분기 병합, 재지정 및 충돌 해결을 사용하여 끌어오기

2023년 8월 1일

이제 Databricks Repos에서 다음 Git 작업을 일반적으로 사용할 수 있습니다.

  • 병합 및 다시베이스: 이제 Azure Databricks에서 두 분기를 직접 병합 하거나 다시베이스 할 수 있습니다. 이렇게 하면 분기를 결합하는 프로세스가 간소화되고 작업 중에 발생하는 충돌을 해결할 수 있습니다.
  • 충돌 해결을 사용하여 끌어오기: 이제 Databricks Repos를 사용하여 Azure Databricks를 사용하여 원격 Git 리포지토리에서 끌어올 때 발생하는 충돌을 관리하고 해결할 수 있습니다.

이러한 강력한 새로운 충돌 해결 도구를 사용하면 Databricks Repos를 사용하여 코드에 대한 공동 작업을 훨씬 더 간소화하고 효율적으로 수행할 수 있습니다.