2020년 9월

이러한 기능 및 Azure Databricks 플랫폼 향상은 9 월 2020에 출시 되었습니다.

참고

릴리스가 준비 됩니다. 최초 릴리스 날짜 이후 최대 1 주일까지 Azure Databricks 계정을 업데이트할 수 없습니다.

Databricks Runtime 7.3, 7.3 ML 및 7.3 Genomics는 이제 GA입니다.

2020 년 9 월 24 일

Databricks Runtime 7.3, Machine Learning Databricks Runtime 7.3 및 Genomics에 대 한 Databricks Runtime 7.3는 이제 일반 공급 됩니다. 다음을 포함 하 여 많은 기능과 향상 된 기능을 제공 합니다.

  • 델타 Lake 성능 최적화는 오버 헤드를 크게 줄입니다.
  • 메트릭 복제
  • 델타 Lake MERGE INTO 개선
  • 델타 Lake 구조적 스트리밍의 초기 위치를 지정 합니다.
  • 자동 로더 기능 향상
  • 적응 쿼리 실행
  • Azure Synapse Analytics 커넥터 열 길이 제어
  • 의 향상 된 동작 dbutils.credentials.showRoles
  • Spark 데이터 프레임 변환에 대 한 단순화 된 pandas
  • maxResultSize호출의 toPandas()
  • 자세한 of pandas and PySpark Udf
  • (ML에만 해당) 작업자에 대 한 Conda 활성화
  • (Genomics에만 해당) 압축 되지 않은 또는 zstd 압축 된 genotypes를 사용 하 여 BGEN 파일 읽기 지원
  • 라이브러리 업그레이드

자세한 내용은 Databricks Runtime 7.3 lts, Databricks Runtime 7.3 lts for Machine LearningDatabricks Runtime 7.3 lts for Genomics 릴리스 정보를 참조 하세요.

단일 노드 클러스터(공개 미리 보기)

9 월 23-29, 2020: 버전 3.29

단일 노드 클러스터는 spark 드라이버로 구성 된 클러스터 이며 Spark 작업자는 없습니다. 반면, 표준 모드 클러스터는 Spark 작업을 실행 하는 데 하나 이상의 Spark worker가 필요 합니다. 단일 노드 모드 클러스터는 다음과 같은 경우에 유용 합니다.

  • 데이터를 로드 하 고 저장 하기 위해 Spark가 필요한 단일 노드 machine learning 작업 실행
  • 경량의 경량 데이터 분석 (.EDA)

자세한 내용은 단일 노드 클러스터를 참조 하세요.

DBFS REST API 속도 제한

9 월 23-29, 2020: 버전 3.29

부하가 높은 상태에서 높은 서비스 품질을 보장 하기 위해 이제 Dbfs api 호출에 대 한 API 요율 제한을 적용 Azure Databricks 합니다. 한도는 공평 사용량과 고가용성을 보장 하기 위해 작업 영역 당 설정 됩니다. 자동 재시도는 Databricks CLI version 0.12.0 이상을 사용 하 여 사용할 수 있습니다. 모든 고객에 게 최신 Databricks CLI 버전으로 전환 하는 것을 권장 합니다.

새로운 사이드바 아이콘

9 월 23-29, 2020

Azure Databricks 작업 영역 UI에서 사이드바를 업데이트 했습니다. 큰 문제가 없지만 새 아이콘이 매우 유용 하다 고 생각 합니다.

sidebar

실행 중인 작업 제한 증가

9 월 23-29, 2020: 버전 3.29

작업 영역 당 동시 실행 중인 작업 실행 한도가 150에서 1000로 증가 했습니다. 더 이상 150 보다 더 이상 실행 되지 않으며 보류 중 상태로 큐에 대기 됩니다. 동시 실행 위의 실행 요청에 대 한 큐 대신 429 Too Many Requests 즉시 시작할 수 없는 실행을 요청할 때 응답이 반환 됩니다. 이 제한은 점진적으로 출시 되었으며 이제 모든 지역의 모든 작업 영역에서 사용할 수 있습니다.

MLflow의 아티팩트 액세스 제어 목록(ACL)

9 월 23-29, 2020: 버전 3.29

MLflow 실험 권한은 이제 MLflow 추적의 아티팩트에 적용 되므로 모델, 데이터 집합 및 기타 파일에 대 한 액세스를 쉽게 제어할 수 있습니다. 기본적으로 새 실험을 만들 때 이제 해당 실행 아티팩트가 MLflow 관리 위치에 저장 됩니다. 다음과 같이 mlflow 관리 되는 위치에 저장 된 아티팩트를 실행 하는 데4 개의 mlflow 실험 권한 수준이 자동으로 적용 됩니다.

  • 실행 아티팩트를 실험에 기록 하려면 사용 권한을 편집 하거나 관리할 수 있어야 합니다.
  • 실험에서 실행 아티팩트를 나열 하 고 다운로드 하려면 읽기 권한이 필요 합니다.

자세한 내용은 Mlflow 아티팩트 권한을 참조 하세요.

MLflow 유용성 향상

9 월 23-29, 2020: 버전 3.29

이 릴리스에는 다음과 같은 MLflow 유용성 향상 기능이 포함 되어 있습니다.

  • 이제 MLflow 실험등록 된 모델 페이지에 새 사용자가 시작 하는 데 도움이 되는 팁이 있습니다.
  • 모델 버전 테이블은 이제 모델 버전에 대 한 설명 텍스트를 표시 합니다. 새 열은 설명의 처음 32 문자 또는 첫 번째 줄 (둘 중 더 짧은 수)을 표시 합니다.

새 Azure Databricks Power BI 커넥터 (공개 미리 보기)

2020년 9월 22일

Power BI Desktop 버전 2.85.681.0에는 Azure Databricks와 Power BI 훨씬 더 원활 하 고 안정적으로 통합 하는 새로운 Azure Databricks Power BI 커넥터가 포함 되어 있습니다. 새 커넥터는 다음과 같은 향상 된 기능을 제공 합니다.

  • 간단한 연결 구성: 새 Power BI Azure Databricks 커넥터는 Power BI에 통합되어 있으며, 몇 번의 클릭으로 간단한 대화 상자를 사용하여 구성합니다.
  • Azure Active Directory 자격 증명을 기반으로 하는 인증 — 더 이상 관리자가 PAT 토큰을 구성할 필요가 없습니다.
  • 상당한 성능 향상과 함께 제공되는 새로운 Azure Databricks ODBC 드라이버 덕분에 더 빠른 가져오기 및 최적화된 메타데이터 호출이 가능합니다.
  • Power BI를 통한 Azure Databricks 데이터에 대한 액세스는 Azure AD ID와 연결된 Azure Databricks 테이블 액세스 제어 및 Azure Storage 계정 권한을 따릅니다.

자세한 내용은 Power BI를 참조하세요.

DBFS 루트에 대해 고객 관리형 키 사용(공개 미리 보기)

2020 년 9 월 15 일

이제 Azure Key Vault에서 사용자 고유의 암호화 키를 사용 하 여 DBFS 저장소 계정을 암호화할 수 있습니다. DBFS 루트에 대해 고객 관리형 키 구성을 참조하세요.

새 JDBC 및 ODBC 드라이버는 대기 시간 BI가 더 빠르고 낮음

2020 년 9 월 15 일

다음 개선 사항으로 새 버전의 Databricks JDBC 및 ODBC 드라이버 (다운로드) 를 출시 했습니다.

  • 성능: 연결 감소 및 짧은 쿼리 대기 시간, Apache 화살표 직렬화 및 향상 된 메타 데이터 검색 성능을 기반으로 하는 향상 된 결과 전송 속도입니다.
  • 사용자 환경: Azure AD OAuth2 액세스 토큰을 사용 하 여 인증 하 고, 종료 클러스터에 연결할 때 향상 된 오류 메시지를 자동으로 다시 시도 하 고, 일시적인 네트워크 오류에 대 한 재시도를 더욱 강력 하 게 처리 합니다.
  • HTTP 프록시를 사용 하 여 연결을 지원 합니다.

JDBC 및 ODBC를 사용 하 여 BI 도구에 연결 하는 방법에 대 한 자세한 내용은 odbc 및 jdbc 드라이버 Databricks를 참조 하세요.

MLflow 모델 서비스 제공(공개 미리 보기)

9 월 9-15, 2020: 버전 3.28

MLflow 모델 서비스는 이제 공개 미리 보기로 제공 됩니다. MLflow 모델 서비스를 사용 하면 Azure Databricks에서 호스트 하 고 관리 하는 REST API 끝점으로 모델 레지스트리에 등록 된 MLflow 모델을 배포할 수 있습니다. 등록 된 모델에 대 한 모델 처리를 사용 하도록 설정 하면 Azure Databricks에서 클러스터를 만들고 해당 모델의 보관 되지 않은 모든 버전을 배포 합니다.

표준 Azure Databricks 인증을 사용 하 여 요청을 REST API 하 여 모든 모델 버전을 쿼리할 수 있습니다. 모델 액세스 권한은 모델 레지스트리에서 상속 되며, 등록 된 모델에 대 한 읽기 권한이 있는 사용자는 모든 사용자가 배포 된 모델 버전을 쿼리할 수 있습니다. 이 서비스는 미리 보기 상태 이지만 낮은 처리량 및 중요 하지 않은 응용 프로그램에 사용 하는 것이 좋습니다.

자세한 내용은 Azure Databricks에서 제공 하는 Mlflow 모델을 참조 하세요.

클러스터 UI 개선

9 월 9-15, 2020: 버전 3.28

이제 클러스터 페이지 에는 모든 용도의 클러스터작업 클러스터에 대 한 별도의 탭이 있습니다. 이제 각 탭의 목록에 페이지가 매겨집니다. 또한 클러스터를 만들고 UI에서 볼 수 있도록 하는 동안 때때로 발생 하는 지연이 수정 되었습니다.

작업, 클러스터, Notebook 및 기타 작업 영역 개체에 대한 가시성 컨트롤

9 월 9-15, 2020: 버전 3.28

기본적으로 모든 사용자는 해당 개체에 대 한 액세스 제어를 사용 하도록 설정 되어 있고 사용자에 게 해당 개체에 대 한 권한이 없는 경우에도 Azure Databricks UI에 표시 되는 작업 영역에서 모든 작업, 클러스터, 전자 필기장 및 폴더를 볼 수 있으며, Databricks API를 사용 하 여 나열할 수 있습니다.

이제 모든 Azure Databricks 관리자가 노트북 및 폴더 (작업 영역 개체), 클러스터 및 작업에 대 한 표시 유형 컨트롤을 사용 하도록 설정 하 여 사용자가 작업 영역, 클러스터 또는 작업 액세스 제어를 통해 액세스 권한이 부여 된 개체만 볼 수 있도록 할 수 있습니다.

참조

토큰을 만드는 기능은 기본적으로 더 이상 허용되지 않음

9 월 9-15, 2020: 버전 3.28

Azure Databricks platform 버전 3.28 이후 생성 된 작업 영역의 경우 사용자는 기본적으로 개인용 액세스 토큰을 생성할 수 없습니다. 관리자는 전체 users 그룹이 나 사용자별 또는 그룹별 기준으로 해당 권한을 명시적으로 부여 해야 합니다. 3.28 이전에 만들어진 작업 영역은 이미 있는 사용 권한을 유지 관리 합니다.

개인 액세스 토큰 관리를 참조 하세요.

MLflow 모델 레지스트리는 작업 영역에서 모델 공유를 지원합니다.

2020 년 9 월 9 일

Azure Databricks는 이제 여러 작업 영역에서 모델 레지스트리에 대 한 액세스를 지원 합니다. 이제 모델을 등록 하 고, 모델 실행을 추적 하 고, 작업 영역 간에 모델을 로드할 수 있습니다. 이제 여러 팀이 모델에 대 한 액세스를 공유할 수 있으며, 조직은 여러 작업 영역을 사용 하 여 다양 한 개발 단계를 처리할 수 있습니다. 자세한 내용은 작업 영역에서 모델 공유를 참조 하세요.

이 기능을 사용 하려면 MLflow Python 클라이언트 버전 1.11.0 이상이 필요 합니다.

Databricks Runtime 7.3(베타)

2020 년 9 월 3 일

Databricks Runtime 7.3, Machine Learning Databricks Runtime 7.3 및 Genomics에 대 한 Databricks Runtime 7.3은 이제 베타 릴리스로 제공 됩니다.

자세한 내용은 Databricks Runtime 7.3 lts, Databricks Runtime 7.3 lts for Machine LearningDatabricks Runtime 7.3 lts for Genomics 릴리스 정보를 참조 하세요.

Azure Databricks 워크로드 유형 이름 변경

2020 년 9 월 1 일

클러스터에서 사용 하는 작업 유형의 이름이 변경 되었습니다.

  • 데이터 엔지니어링- > 작업 계산
  • 데이터 엔지니어링 경량- > 작업 라이트 계산
  • 데이터 분석- > 모든 용도의 계산

이러한 새 이름은 청구서 및 EA 포털에서 가격 책정 계획과 함께 표시 됩니다 (예: "Premium-작업 계산-d bu"). 자세한 내용은 Azure Databricks 미터를 참조 하세요.

사용자 인터페이스도 플랫폼 버전 3.27에서 변경 되었습니다 (준비 된 릴리스 대상: 8 월 25 일-9 월 3 일).

클러스터 페이지에서 목록 머리글이 변경 되었습니다.

  • 대화형 클러스터- > All-Purpose 클러스터
  • 자동화 된 클러스터- > 작업 클러스터

작업에 대 한 클러스터를 구성할때 클러스터 유형 옵션이 다음과 같이 변경 되었습니다.

  • 새 자동화 된 클러스터- > 새 작업 클러스터
  • 기존 대화형 클러스터- > 기존 All-Purpose 클러스터