2021년 5월

  • 아티클

해당 기능 및 Azure Databricks 플랫폼 개선 사항은 2021년 5월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일 이상까지 업데이트되지 않을 수 있습니다.

Databricks Machine Learning: 전체 ML 수명 주기에 대한 데이터 기본 및 협업 솔루션

2021년 5월 27일

Azure Databricks UI의 사이드바에서 선택할 수 있는 새로운 Machine Learning 가상 사용자는 퍼블릭 미리 보기의 모델 레지스트리 및 4가지 새로운 기능을 포함하여 ML용으로 특별히 제작된 새로운 환경에 쉽게 액세스할 수 있도록 합니다.

  • 편리한 리소스, 최근 항목, 시작하기 링크가 있는 새로운 대시보드 페이지.
  • 실험 검색 및 관리를 중앙 집중화하는 새로운 실험 페이지.
  • AutoML은 데이터에서 ML 모델을 자동으로 생성하고 프로덕션 경로를 가속화하는 방법입니다.
  • 기능 저장소는 ML 기능을 카탈로그로 처리하고 학습 및 제공에 사용할 수 있도록 하여 재사용을 늘리는 방법입니다. 자동으로 기록된 데이터 원본을 활용하는 데이터 계보 기반 기능 검색을 사용하면 클라이언트 애플리케이션을 변경할 필요가 없는 간소화된 모델 배포를 학습하고 제공하는 데 사용할 수 있는 기능을 만들 수 있습니다.

자세한 내용은 Databricks의 AI 및 Machine Learning을 참조 하세요.

SQL Analytics의 이름이 Databricks SQL로 바뀝니다.

2021년 5월 27일

SQL Analytics의 이름이 Databricks SQL로 바뀝니다. 자세한 내용은 Databricks SQL 릴리스 정보를 참조하세요.

Delta Live Tables를 사용하여 ETL 파이프라인 만들기 및 관리(공개 미리 보기)

2021년 5월 26일

Databricks는 ETL(추출, 변환 및 로드) 개발을 간단하고 안정적이며 스케일링 가능하게 하는 클라우드 서비스인 Delta Live Tables를 도입하게 되어 기쁘게 생각합니다. Delta Live Tables:

  • 파이프라인을 빌드하는 직관적이고 친숙한 선언적 인터페이스를 제공합니다.
  • 데이터 처리 파이프라인을 모니터링하고, 종속성을 시각화하고, 다양한 환경에서 파이프라인 및 종속성을 관리할 수 있습니다.
  • 테스트 기반 개발, 데이터 품질 제약 조건 적용, 일관적인 데이터 오류 처리 정책 적용 사용
  • 데이터를 쉽게 업그레이드, 롤백, 증분 방식으로 다시 처리할 수 있도록 데이터 처리 파이프라인의 배포를 자동화합니다.

자세한 내용은 델타 라이브 테이블이란?

Azure Spot VM은 GA입니다.

2021년 5월 24일

이제 Azure Spot Virtual Machines를 사용하여 Azure Databricks 클러스터를 만드는 기능이 출시됩니다. 이제 훨씬 저렴한 Azure 스폿 인스턴스의 혜택을 받고 Azure Databricks의 TCO(총 소유 비용)를 절감할 수 있습니다. 다음과 같은 경우 Azure 스폿 인스턴스를 사용하도록 선택할 수 있습니다.

사용자 고유의 키를 사용하여 Databricks SQL 쿼리 및 쿼리 기록 암호화(공개 미리 보기)

2021년 5월 20일

자세한 내용은 Databricks SQL 릴리스 정보를 참조하세요.

종료된 다목적 클러스터 수에 대한 제한 증가

2021년 5월 18일: 버전 3.46

이제 Azure Databricks 작업 영역에서 종료된 다목적 클러스터를 최대 150개까지 가질 수 있습니다. 이전에는 한도가 120이었습니다. 자세한 내용은 컴퓨팅 종료를 참조 하세요. 클러스터 API 요청에서 반환된 종료된 다목적 클러스터 수에 대한 제한도 이제 150개입니다.

고정된 클러스터 수 제한 증가

2021년 5월 18일: 버전 3.46

이제 Azure Databricks 작업 영역에 최대 70개의 고정된 클러스터를 포함할 수 있습니다. 이전에는 한도가 50이었습니다. 자세한 내용은 컴퓨팅 고정을 참조 하세요.

Notebook 결과가 저장되는 위치 관리(공개 미리 보기)

2021년 5월 18일: 버전 3.46

이제 크기나 실행 유형에 관계없이 모든 Notebook 결과를 루트 Azure Storage 인스턴스에 저장하도록 선택할 수 있습니다. 기본적으로 대화형 Notebook에 대한 일부 결과는 Azure Databricks에 저장됩니다. 새 구성을 사용하면 사용자 계정의 루트 Azure Storage 인스턴스에 이러한 구성을 저장할 수 있습니다. 자세한 내용은 Notebook 결과 스토리지 위치 구성을 참조 하세요.

이 기능은 결과가 항상 루트 Azure Storage 인스턴스에 저장되는 작업으로 실행되는 Notebook에 영향을 미치지 않습니다.

사용자 고유의 키를 사용하여 컨트롤 플레인의 Notebook 및 비밀 데이터 암호화(공개 미리 보기)

2021년 5월 10일

Azure Databricks 작업 영역은 Azure Databricks 관리 구독에서 호스트되는 컨트롤 플레인과 Azure 구독에 배포된 컴퓨팅 평면으로 구성됩니다. 컨트롤 플레인은 Notebook 명령, 비밀, 기타 작업 영역 구성 데이터를 포함하는 관리형 서비스 데이터를 저장합니다. 기본적으로 이 데이터는 Azure Databricks 관리형 키로 암호화되지만 이제 Azure Key Vault 인스턴스의 키를 추가하여 이 데이터를 암호화할 수 있습니다. 관리되는 서비스에 대한 고객 관리형 키 사용을 참조 하세요.

Databricks Runtime 7.4 시리즈 지원 종료

2021년 5월 3일

Databricks Runtime 7.4, Machine Learning Databricks Runtime 74, Genomics용 Databricks Runtime 7.4에 대한 지원은 5월 3일에 종료되었습니다. Databricks Runtime 지원 수명 주기를 참조하세요.

이제 리포지토리 사용자가 개인용 액세스 토큰을 사용하여 Azure DevOps와 통합할 수 있습니다.

2021년 5월 3~10일: 버전 3.45

Microsoft Entra ID 액세스 토큰 외에도 개인 액세스 토큰을 사용하여 Azure DevOps로 인증할 수 있습니다. 자세한 내용은 Databricks Git 폴더 설정(Repos)을 참조하세요.