2023년 11월

  • 아티클

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2023년 11월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 작업 영역은 초기 릴리스 날짜 이후 일주일 이상까지 업데이트되지 않을 수 있습니다.

Databricks Vector Search는 공개 미리 보기입니다.

2023년 11월 30일

Azure Databricks Vector Search는 메타데이터를 포함한 데이터의 벡터 표현을 벡터 데이터베이스에 저장할 수 있는 서버리스 유사성 검색 엔진입니다. 이 기능의 일부로 Unity 카탈로그의 데이터에서 자동 업데이트 벡터 검색 인덱스를 만들고 간단한 API를 사용하여 쿼리하여 RAG 워크플로의 일부로 가장 유사한 벡터를 반환할 수 있습니다. Databricks Vector Search를 참조하세요.

액세스 제어 목록을 더 이상 사용하지 않도록 설정할 수 없습니다.

2023년 11월 29일

다음 설정은 모든 프리미엄 계획 작업 영역에서 사용하도록 설정되며 작업 영역 관리자 설정 페이지 또는 작업 영역 Conf API에서 더 이상 사용하지 않도록 설정할 수 없습니다.

  • 작업 영역 액세스 제어: 사용자가 작업 영역 개체에 대한 권한을 구성할 수 있습니다.
  • 클러스터, 풀, 작업 액세스 제어: 사용자가 클러스터, 풀 및 작업에 대한 권한을 구성할 수 있습니다.
  • 클러스터 표시 유형 제어: 클러스터에 대한 권한이 없는 사용자가 클러스터를 볼 수 없도록 합니다.
  • 작업 표시 유형 제어: 권한이 없는 사용자에게 작업이 표시되지 않도록 합니다.
  • 작업 영역 표시 유형 제어 설정: 전자 필기장 및 폴더에 대한 권한이 없는 사용자가 볼 수 없도록 합니다.

액세스 제어 설정은 2018년 3월부터 기본적으로 새 작업 영역에서 사용하도록 설정되었으며, 2020년 12월부터 기본적으로 표시 유형 제어 설정이 사용하도록 설정되었습니다.

자세한 내용은 액세스 제어 목록을 참조 하세요.

볼륨에 대한 카탈로그 탐색기의 새 동작 및 작업

2023년 11월 22일

이제 업로드에서 볼륨 UI로의 볼륨이 없는 경우 대상 스키마에 새 볼륨 을 만들 수 있습니다. Unity 카탈로그 볼륨에 파일 업로드를 참조 하세요.

파일 삭제 및 파일 다운로드와 같은 작업이 볼륨의 파일에 대해 카탈로그 탐색기에 추가되었습니다.

Databricks Runtime 14.2는 GA입니다.

2023년 11월 22일

이제 Databricks Runtime 14.2 및 Databricks Runtime 14.2 ML을 일반 공급합니다.

Machine Learning용 Databricks Runtime 14.2 및 Databricks Runtime 14.2를 참조하세요.

Python 버전 3.0.0용 Databricks SQL 커넥트or

2023년 11월 17일

이제 실행할 pip install databricks-sql-connector==3.0.0수 있습니다.

이 릴리스는 다음과 같습니다.

  • Python 3.7에 대한 지원을 제거합니다.
  • 네이티브 매개 변수가 있는 SQL 쿼리에 대한 지원을 추가합니다. DBR 14.2 이상이 필요합니다. 자세한 내용은 databricks-sql-python GitHub 리포지토리에서 네이티브 매개 변수 사용을 참조하세요.
  • 완전히 다시 작성된 SQLAlchemy 방언을 포함합니다.
    • SQLAlchemy >= 2.0에 대한 지원을 추가하고 SQLAlchemy 1.x에 대한 지원을 삭제합니다.
    • 지원되는 모든 기능의 전체 엔드 투 엔드 테스트 검사
    • 여기에서 사용할 수 있는 자세한 사용 현황 정보
    • 다음을 지원합니다.
      • 새 형식: TIME, TIMESTAMP, TIMESTAMP_NTZTINYINT
      • Numeric 형식 배율 및 정밀도(예: Numeric(10,2)
      • 읽기 및 쓰기 PrimaryKeyConstraint 및 ForeignKeyConstraint
      • 복합 키 읽기 및 쓰기
      • 보기에서 읽기 및 쓰기
      • 테이블에 쓰기 Identity (기본 키 자동 증가)
      • LIMIT 및 OFFSET 결과를 통한 페이징
      • 메타데이터 호출 캐싱
  • 기본적으로 Cloud Fetch를 사용하도록 설정합니다. 사용하지 않도록 설정하려면 빌드databricks.sql.client할 때 설정합니다use_cloud_fetch=False.
  • Azure Databricks Unity 카탈로그 볼륨 수집 쿼리에 대한 통합 테스트 추가
  • 재시도:
    • 구성 추가 _retry_max_redirects
    • 사용자가 재정의하는 경우 설정하고 _enable_v3_retries=True 경고합니다.
  • 보안: 최소 pyarrow 버전을 14.0.1로 범프(CVE-2023-47248)

격리되지 않은 공유 클러스터에서 지원되는 작업 영역 파일의 라이브러리

2023년 11월 15일

이제 Databricks Runtime 14.1 이상에서 격리되지 않은 공유 액세스 모드로 구성된 컴퓨팅에 작업 영역 파일로 저장된 라이브러리를 설치할 수 있습니다.

작업 영역 라이브러리 사용 중단

2023년 11월 15일

이제 작업 영역 라이브러리는 더 이상 사용되지 않으며 새 작업 영역 라이브러리를 만들 수 없습니다. 기존 작업 영역 라이브러리는 계속 작동합니다. 라이브러리를 작업 영역 파일로 저장하는 것은 작업 영역 라이브러리와는 별개이며 여전히 완전히 지원됩니다. 작업 영역 파일로 저장된 라이브러리를 직접 설치하여 컴퓨팅 또는 작업 작업을 수행할 수 있습니다. 라이브러리를 참조 하세요.

Azure 기밀 컴퓨팅 VM 유형에 대한 지원은 이제 GA입니다.

2023년 11월 15일

Azure 기밀 컴퓨팅 VM 유형에 대한 Azure Databricks 지원이 이제 일반 공급됩니다. Azure 기밀 컴퓨팅은 클라우드 공급자가 중요한 데이터에 액세스할 수 없도록 사용 중인 데이터를 보호하는 데 도움이 됩니다. Azure 기밀 컴퓨팅 VM을 참조 하세요.

2023년 11월 13일

이제 Azure Databricks 작업 영역 UI의 전역 검색 표시줄을 사용하여 Databricks Marketplace에서 데이터 세트, AI 모델 및 Databricks 솔루션 가속기를 찾을 수 있습니다. Databricks Marketplace란? 및 작업 영역 개체 검색을 참조하세요.

외부 플랫폼을 사용하여 Databricks Marketplace에서 데이터 제품 사용

2023년 11월 10일

Unity 카탈로그 사용 Azure Databricks 작업 영역이 없는 소비자는 이제 Databricks Marketplace의 데이터 제품에 액세스할 수 있습니다. 델타 공유 개방형 공유 커넥터를 사용하여 Microsoft Power BI, Microsoft Excel, pandas, Apache Spark 및 비 Unity 카탈로그 Databricks 작업 영역을 비롯한 다양한 공통 플랫폼을 사용하여 Marketplace 데이터에 액세스할 수 있습니다. 테이블 형식 데이터 집합만 외부 플랫폼에서 사용할 수 있습니다(예: Databricks Notebook 또는 모델 아님). 외부 플랫폼을 사용하여 Databricks Marketplace에서 요청 및 액세스 데이터 제품을 참조 하세요.

여러 Azure 지역에 대해 추가된 서버리스 SQL 웨어하우스 지원

2023년 11월 9일

다음 Azure 지역은 이제 서버리스 SQL 웨어하우스를 지원합니다.

  • 브라질 남부(브라질)
  • 인도 중부(중앙 인도)
  • 일본 동부(일본 동부)
  • 미국 중북부(중북부)
  • 영국 남부(uksouth)

Azure Databricks 지역 및 서버리스 SQL 웨어하우스 사용을 참조하세요.

새 작업 영역에 대한 Unity 카탈로그 자동 사용

2023년 11월 9일

Databricks는 새 작업 영역에 대해 Unity 카탈로그를 자동으로 사용하도록 설정하기 시작했습니다. 이렇게 하면 작업 영역을 만든 후 계정 관리자가 Unity 카탈로그를 구성할 필요가 없습니다. 롤아웃은 계정 간에 점진적으로 진행됩니다. Unity 카탈로그의 자동 사용 기능을 참조하세요.

Databricks Runtime 14.2(베타)

2023년 11월 8일

이제 Databricks Runtime 14.2 및 Databricks Runtime 14.2 ML을 베타 릴리스로 사용할 수 있습니다.

Machine Learning용 Databricks Runtime 14.2 및 Databricks Runtime 14.2를 참조하세요.

Databricks Marketplace에는 Databricks 솔루션 가속기가 포함되어 있습니다.

2023년 11월 7일

이제 Databricks Marketplace는 Azure Databricks에서 널리 사용되는 많은 사용 사례를 사용하여 신속하게 설정할 수 있도록 완벽하게 작동하는 Notebook, 모범 사례 지침 및 샘플 데이터를 제공하는 Databricks 솔루션 가속기, 용도에 맞게 작성된 가이드에 액세스할 수 있습니다. Databricks 솔루션 가속기에 대한 액세스 권한을 참조 하세요.

레이크 하우스 페더레이션 구글 빅 쿼리에 대 한 지원을 추가

2023년 11월 3일

이제 커넥터 유형을 사용하여 페더레이션된 쿼리를 실행하도록 Lakehouse Federation을 BigQuery 구성할 수 있습니다. 새로운 BigQuery 커넥터는 Pro 및 서버리스 SQL 웨어하우스 및 Databricks Runtime 13.3 LTS 이상에서 지원됩니다. Google BigQuery에서 페더레이션된 쿼리 실행을 참조하세요.