2019년 10월

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2019년 10월에 릴리스되었습니다.

참고

릴리스가 준비됩니다. Azure Databricks 계정은 초기 릴리스 날짜 이후 최대 1주일까지 업데이트되지 않을 수 있습니다.

Azure Event Hubs로 이동된 지원 가능성 메트릭

2019년 10월 22-29일

클러스터 상태를 모니터링하는 Azure Databricks 지원하는 지원 가능성 메트릭이 Azure Blob Storage에서 Event Hub 엔드포인트로 마이그레이션되었습니다. 이렇게 하면 Azure Databricks 고객 인시던트 해결을 위해 대기 시간 응답을 낮출 수 있습니다. VNet 삽입 작업 영역의 경우 서비스 엔드포인트에 대한 네트워크 보안 그룹에 추가 규칙을 추가했습니다. 자세한 내용은 네트워크 보안 그룹 규칙 테이블에서 확인할 수 있습니다. 서비스의 지속적인 가용성을 위해 필요한 작업은 없습니다.

지역별 엔드포인트에 Event Hubs Azure Databricks 지원 가능성 메트릭 목록은 Metastore, 아티팩트 Blob Storage, 로그 Blob Storage 및 Event Hub 엔드포인트 IP 주소를 참조하세요.

표준 클러스터 및 Scala의 Azure Data Lake Storage 자격 증명 통과가 GA임

2019년 10월 22일 - 29일: 버전 3.5

Databricks Runtime 6.0 이상에서 SparkR뿐만 아니라 Databricks Runtime 5.5 이상을 실행하는 표준 클러스터의 Python, SQL 및 Scala에 대한 자격 증명 통과는 일반적으로 사용할 수 있습니다. 표준 클러스터에 대해 Azure Data Lake Storage 자격 증명 통과 사용을참조하세요.

Genomics GA용 Databricks Runtime 6.1

2019년 10월 22일

Genomics용 Databricks Runtime 6.1이 일반 제공됩니다. Genomics에 대한 Databricks Runtime(사용되지 않습니다)를참조하세요.

Machine Learning GA용 Databricks Runtime 6.1

2019년 10월 22일

Databricks Runtime 6.1 ML 일반 제공됩니다. 여기에는 GPU 클러스터에 대한 지원 및 다음 기계 학습 라이브러리로의 업그레이드가 포함됩니다.

  • TensorFlow에서 1.14.0으로
  • PyTorch에서 1.2.0으로
  • 0.4.0으로의 조정
  • MLflow에서 1.3.0으로

자세한 내용은 전체 Databricks Runtime 6.1 for Machine Learning(지원되지 않는) 릴리스 정보를 참조하세요.

MLflow API 호출은 이제 속도가 제한됨

2019년 10월 22일 - 29일: 버전 3.5

부하가 높은 서비스 품질을 보장하기 위해 이제 Azure Databricks 모든 MLflow API 호출에 대해 API 속도 제한을 적용합니다. 이 제한은 작업 영역을 공유하는 모든 조직에 대해 공평한 사용량 및 고가용성을 보장하기 위해 계정별로 설정됩니다.

자동 재시도를 가진 MLflow 클라이언트는 MLflow 1.3.0에서 사용할 수 있으며 Machine Learning(지원되지 않는) 에 대해 Databricks Runtime 6.1에있습니다. 모든 고객은 최신 MLflow 클라이언트 버전으로 전환하는 것이 좋습니다.

자세한 내용은 MLflow API 2.0을 참조하세요.

빠른 클러스터 실행을 위한 인스턴스 풀은 일반적으로 사용할 수 있음

2019년 10월 22일 - 29일: 버전 3.5

이제 미리 정의된 유휴 인스턴스 풀에 클러스터를 연결할 수 있도록 지원하는 Azure Databricks 기능을 일반적으로 사용할 수 있습니다.

인스턴스가 풀에서 유휴 상태일 때에는 Azure Databricks에서 DBU에 대한 요금이 부과되지 않습니다. 인스턴스 공급자 요금이 적용됩니다. 가격 책정을 참조하세요.

자세한 내용은 풀을 참조하세요.

Databricks Runtime 6.1 GA

2019년 10월 16일

Databricks Runtime 6.1은 Delta Lake에 몇 가지 향상된 기능을 제공합니다.

  • 테이블을 Delta Lake 형식으로 쉽게 변환
  • 델타 테이블용 Python API(공개 미리 보기)
  • 기본적으로 사용하도록 설정된 DFP(동적 파일 정리)

Databricks Runtime 6.1에서는 자격 증명 통과의 몇 가지 제한 사항도 제거됩니다.

참고

6.1 릴리스부터 Databricks Runtime CPU 클러스터만 지원합니다. GPU 클러스터를 사용하려면 Databricks Runtime ML 사용해야 합니다.

자세한 내용은 전체 Databricks Runtime 6.1(지원되지 않는) 릴리스 정보를 참조하세요.

Genomics GA용 Databricks Runtime 6.0

2019년 10월 16일

genomics용 Databricks Runtime(Databricks Runtime Genomics)는 게놈 및 생명 공학 데이터 작업에 최적화된 Databricks Runtime 변형입니다. 릴리스 6.0부터 Genomics용 Databricks Runtime(사용되지 않습니다)가 일반 제공됩니다.

Azure Databricks 작업 영역을 사용자 고유의 가상 네트워크에 배포하는 기능(VNet 삽입이라고도 함) - GA

2019년 10월 9일

VNet 삽입이라고도 하는 사용자 고유의 가상 네트워크에 Azure Databricks 작업 영역을 배포하는 기능의 GA를 발표하게 되어 매우 기쁘게 생각합니다. 이 옵션은 네트워크 사용자 지정이 필요하므로 표준 방식으로 Azure Databricks 작업 영역을 배포할 때 생성되는 기본 VNet을 사용하지 않으려는 사용자용입니다. VNet 삽입을 사용하면 다음을 수행할 수 있습니다.

사용자 고유의 가상 네트워크에 Azure Databricks 배포하면 유연한 CIDR 범위를 활용할 수 있습니다(가상 네트워크의 경우 /16-/24 사이, 서브넷의 경우 최대 /26).

Azure Portal UI를 사용하는 구성은 빠르고 쉽습니다. 작업 영역을 만들 때 Virtual Network Azure Databricks 작업 영역 배포를선택하고, 가상 네트워크를 선택하고, 두 서브넷에 대한 CIDR 범위를 제공합니다. Azure Databricks 두 개의 새 서브넷 및 네트워크 보안 그룹을 사용하여 가상 네트워크를 업데이트하고, 인바운드 및 아웃바운드 서브넷 트래픽에 대한 액세스를 허용하고, 업데이트된 가상 네트워크에 작업 영역을 배포합니다.

작업 영역 배포에서 VNet 삽입

VNet 삽입을 위해 가상 네트워크를 직접 구성하려는 경우(예: 기존 서브넷을 사용하거나, 기존 네트워크 보안 그룹을 사용하거나, 고유한 보안 규칙을 만들려는 경우) 포털 UI 대신 Azure-Databricks 제공 ARM 템플릿을 사용할 수 있습니다.

참고

VNet 삽입 미리 보기에 참여한 경우 지원을 계속 받으려면 미리 보기 작업 영역을 2020년 1월 31일 이전의 GA 버전으로 업그레이드해야 합니다. VNet 삽입 미리 보기 작업 영역을 GA로 업그레이드를 참조하세요.

자세한 내용은 Azure 가상 네트워크에 Azure Databricks 배포(VNet 삽입)Azure Databricks 작업 영역을 온-프레미스 네트워크에 커넥트.

관리자가 아닌 Azure Databricks 사용자는 SCIM API를 사용하여 사용자 및 그룹의 이름과 ID를 읽을 수 있음

2019년 10월 8일 - 15일: 버전 3.4

관리자가 아닌 사용자는 이제 SCIM API 2.0 사용자 가져오기 및 그룹 가져오기 엔드포인트를 호출하여 사용자 및 그룹 표시 이름 및 ID만 읽을 수 있습니다. 다른 모든 SCIM API 작업에는 관리자 액세스 권한이 계속 필요합니다.

작업 영역 API에서 Notebook 및 폴더 개체 ID를 반환함

2019년 10월 8일 - 15일: 버전 3.4

get-status이제 list 작업 영역 get-status 및 엔드포인트는 Notebook 및 폴더 개체 ID를 반환하여 다른 API 호출에서 해당 개체를 참조하는 기능을 제공합니다.

Databricks Runtime 6.0 ML GA

2019년 10월 4일

Databricks Runtime 6.0 ML 다음과 같은 업데이트가 포함되어 있습니다.

  • MLflow
    • MLflow 실험에 대한 새 Spark 데이터 원본은 이제 MLflow 실험 실행 데이터를 로드하는 표준 API를 제공합니다.
    • MLflow Java 클라이언트 추가
    • MLflow는 이제 최상위 계층 라이브러리로 승격됩니다.
  • Hyperopt GA - 공개 미리 보기 이후 주목할 만한 개선 사항은 Spark 작업자에 대한 MLflow 로깅 지원, PySpark 브로드캐스트 변수의 올바른 처리 및 Hyperopt를 사용한 모델 선택에 대한 새로운 가이드입니다.
  • Horovod 및 MLflow 라이브러리 및 Anaconda 배포가 업그레이드되었습니다.

참고

이 릴리스에서는 CPU 클러스터만 지원됩니다.

자세한 내용은 Machine Learning(지원되지 않는) 릴리스 정보에 대한 전체 Databricks Runtime 6.0을 참조하세요.

새 지역: 브라질 남부 및 프랑스 중부

2019년 10월 1일

Azure Databricks는 이제 브라질 남부 (상 Paolo 주) 및 프랑스 중부 (파리)에서 사용할 수 있습니다.

Databricks Runtime 6.0 GA

2019년 10월 1일

Databricks Runtime 6.0는 다음과 같은 여러 라이브러리 업그레이드 및 새로운 기능을 제공 합니다.

  • 델타 및 기록 유틸리티 명령 뿐만 아니라 델타 Lake DML 명령에 대 한 새로운 Scala 및 Java Api.
  • 모델 학습 중에 보다 빠르고 안정적으로 읽기 및 쓰기를 위해 향상 된 DBFS 퓨즈 클라이언트입니다.
  • 노트북 셀 당 여러 matplotlib 플롯 지원.
  • 업데이트 된 numpy, pandas, matplotlib 및 기타 라이브러리 뿐만 아니라 Python 3.7으로 업데이트 합니다.
  • Python 2 지원의 일몰

참고

이 릴리스에서는 CPU 클러스터만 지원 됩니다.

자세한 내용은 전체 Databricks Runtime 6.0 (지원 되지 않음) 릴리스 정보를 참조 하세요.