2020년 9월

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2020년 9월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 최초 릴리스 날짜 이후 최대 일주일까지 업데이트되지 않을 수 있습니다.

Databricks Runtime 7.3, 7.3 ML 및 7.3 Genomics는 이제 GA입니다.

2020년 9월 24일

Databricks Runtime 7.3, Machine Learning용 Databricks Runtime 7.3 및 Genomics용 Databricks Runtime 7.3이 이제 일반 공급됩니다. 다음과 같은 다양한 기능과 향상된 기능을 제공합니다.

• Delta Lake 성능 최적화로 오버헤드 크게 감소
• 복제본 메트릭
• Delta Lake MERGE INTO 개선 사항
• Delta Lake 구조적 스트리밍의 초기 위치 지정
• 자동 로더 개선 사항
• 적응 쿼리 실행
• Azure Synapse Analytics 커넥터 열 길이 제어
• dbutils.credentials.showRoles의 동작 개선
• pandas에서 Spark DataFrame으로의 변환 간소화
• toPandas() 호출의 새로운 maxResultSize 설정
• pandas 및 PySpark UDF의 디버깅 기능
• (ML만 해당) 작업자의 Conda 활성화
• (Genomics만 해당) 압축되지 않은 또는 zstd 압축된 genotype을 사용하여 BGEN 파일 읽기 지원
• 라이브러리 업그레이드

자세한 내용은 Databricks Runtime 7.3 LTS(지원되지 않음) 및 Machine Learning용 Databricks Runtime 7.3 LTS(지원되지 않음)를 참조하세요.

단일 노드 클러스터(공개 미리 보기)

2020년 9월 23~29일: 버전 3.29

단일 노드 클러스터는 Spark 작업자 없이 Spark 드라이버로 구성된 클러스터입니다. 반면, 표준 모드 클러스터는 Spark 작업을 실행하기 위해 하나 이상의 Spark 작업자가 필요합니다. 단일 노드 모드 클러스터는 다음과 같은 경우에 유용합니다.

• 데이터를 로드하고 저장하는 데 Spark가 필요한 단일 노드 기계 학습 워크로드 실행
• 간단한 EDA(예비 데이터 분석)

자세한 내용은 단일 노드 또는 다중 노드 컴퓨팅을 참조 하세요.

DBFS REST API 속도 제한

2020년 9월 23~29일: 버전 3.29

과부하 상태에서도 고품질 서비스를 보장하기 위해 Azure Databricks는 이제 DBFS API 호출에 대한 API 속도 제한을 적용합니다. 공정한 사용과 고가용성을 보장하기 위해 작업 영역별로 제한이 설정됩니다. 자동 다시 시도는 Databricks CLI 버전 0.12.0 이상을 사용하여 사용할 수 있습니다. 모든 고객은 최신 Databricks CLI 버전으로 전환하는 것이 좋습니다.

새로운 사이드바 아이콘

2020년 9월 23~29일

Azure Databricks 작업 영역 UI의 사이드바를 업데이트했습니다. 크게 다른 점은 없지만 새로운 아이콘이 꽤 근사합니다.

실행 중인 작업 제한 증가

2020년 9월 23~29일: 버전 3.29

작업 영역당 동시 실행 작업 실행 제한이 150에서 1000으로 증가했습니다. 더 이상 150개가 넘는 실행이 보류 중인 상태로 큐에서 대기하지 않습니다. 즉시 시작할 수 없는 실행을 요청하면 동시 실행을 초과하는 실행 요청에 대한 큐 대신 429 Too Many Requests 응답이 반환됩니다. 이 제한 증가는 점진적으로 롤아웃되었으며 이제 모든 지역의 모든 작업 영역에서 사용할 수 있습니다.

MLflow의 ACL(아티팩트 액세스 제어 목록)

2020년 9월 23~29일: 버전 3.29

이제 MLflow 실험 권한이 MLflow Tracking의 아티팩트에 적용되어 모델, 데이터 세트 및 기타 파일에 대한 액세스를 쉽게 제어할 수 있습니다. 기본적으로 새 실험을 만들면 해당 실행 아티팩트가 MLflow 관리 위치에 저장됩니다. 4개의 MLflow 실험 사용 권한 수준(사용 권한 없음, 읽기 가능, 편집 가능 및 관리 가능)은 다음과 같이 MLflow 관리 위치에 저장된 아티팩트 실행에 자동으로 적용됩니다.

• 실행 아티팩트를 실험에 기록하려면 CAN EDIT 또는 CAN MANAGE 권한이 필요합니다.
• CAN READ 권한은 실험에서 실행 아티팩트를 나열하고 다운로드하는 데 필요합니다.

자세한 내용은 MLFlow 실험 ACL을 참조 하세요.

MLflow 유용성 향상

2020년 9월 23~29일: 버전 3.29

이 릴리스에는 다음과 같은 MLflow 유용성 개선 사항이 포함되어 있습니다.

• 이제 MLflow 실험 및 등록된 모델 페이지에 새 사용자가 시작하는 데 도움이 되는 팁이 있습니다.
• 이제 모델 버전 표에 모델 버전에 대한 설명 텍스트가 표시됩니다. 새 열에는 설명의 처음 32자 또는 첫 번째 줄(더 짧은 쪽)이 표시됩니다.

새 Azure Databricks Power BI 커넥터(공개 미리 보기)

2020년 9월 22일

Power BI Desktop 버전 2.85.681.0에는 Azure Databricks와 Power BI 간의 통합을 훨씬 더 원활하고 안정적으로 만드는 새로운 Azure Databricks Power BI 커넥터가 포함되어 있습니다. 새 커넥터에는 다음과 같은 향상된 기능이 함께 제공됩니다.

• 간단한 연결 구성: 새 Power BI Azure Databricks 커넥터가 Power BI에 통합되어 있으며, 몇 번의 클릭으로 간단한 대화 상자를 사용하여 구성합니다.
• Microsoft Entra ID 자격 증명을 기반으로 하는 인증 - 관리자가 PAT 토큰을 구성할 필요가 없습니다.
• 새로운 Azure Databricks ODBC 드라이버 덕분에 메타데이터 호출을 빠르게 가져오고 최적화할 수 있으며, 성능이 크게 향상되었습니다.
• Power BI를 통해 Azure Databricks 데이터에 액세스하는 것은 Microsoft Entra ID ID와 연결된 Azure Databricks 테이블 액세스 제어 및 Azure Storage 계정 권한을 존중합니다.

자세한 내용은 Power BI에서 Azure Databricks로 커넥트 참조하세요.

DBFS 루트에 고객 관리형 키 사용(공개 미리 보기)

2020년 9월 15일

이제 Azure Key Vault에서 사용자 고유의 암호화 키를 사용하여 DBFS 스토리지 계정을 암호화할 수 있습니다. DBFS 루트에 대한 고객 관리형 키를 참조하세요.

새로운 JDBC 및 ODBC 드라이버는 더 빠르고 짧은 대기 시간 BI를 가져옵니다.

2020년 9월 15일

다음과 같은 향상된 기능을 제공하는 새 버전의 Databricks JDBC 및 ODBC 드라이버(다운로드)를 출시했습니다.

• 성능: 연결 감소 및 짧은 쿼리 대기 시간, Apache Arrow 직렬화에 따른 결과 전송 속도 향상 및 메타데이터 검색 성능 향상.
• 사용자 환경: Microsoft Entra ID OAuth2 액세스 토큰을 사용한 인증, 종료 클러스터에 연결할 때 향상된 오류 메시지 및 자동 재시도, 간헐적인 네트워크 오류에 대한 재시도의 보다 강력한 처리.
• HTTP 프록시를 사용한 연결 지원.

JDBC 및 ODBC를 사용하여 BI 도구에 연결하는 방법에 대한 자세한 내용은 Databricks ODBC 및 JDBC 드라이버를 참조 하세요.

MLflow 모델 서비스(공개 미리 보기)

2020년 9월 9~15일: 버전 3.28

MLflow 모델 서비스 제공이 이제 공개 미리 보기로 제공됩니다. MLflow 모델 서비스 제공을 사용하면 모델 레지스트리에 등록된 MLflow 모델을 Azure Databricks에서 호스트 및 관리하는 REST API 엔드포인트로 배포할 수 있습니다. 등록된 모델에 대해 모델 서비스 제공을 사용하도록 설정하면 Azure Databricks에서 클러스터를 만들고 해당 모델의 보관되지 않은 모든 버전을 배포합니다.

표준 Azure Databricks 인증을 사용하여 REST API 요청을 통해 모든 모델 버전을 쿼리할 수 있습니다. 모델 액세스 권한은 모델 레지스트리에서 상속됩니다. 등록된 모델에 대한 읽기 권한이 있는 모든 사용자는 배포된 모델 버전을 쿼리할 수 있습니다. 이 서비스가 미리 보기 상태에 있는 동안에는 처리량이 낮고 중요하지 않은 애플리케이션에 사용하는 것이 좋습니다.

자세한 내용은 Azure Databricks에서 제공하는 레거시 MLflow 모델을 참조 하세요.

클러스터 UI 개선 사항

2020년 9월 9~15일: 버전 3.28

이제 클러스터 페이지에 다목적 클러스터 및 작업 클러스터에 대한 별도의 탭이 있습니다. 이제 각 탭의 목록에 페이지가 매겨집니다. 또한 클러스터를 만들고 UI에서 볼 수 있게 되기까지 가끔 발생하는 지연을 수정했습니다.

작업, 클러스터, Notebook 및 기타 작업 영역 개체에 대한 표시 유형 컨트롤

2020년 9월 9~15일: 버전 3.28

기본적으로 모든 사용자는 Azure Databricks UI에 표시되는 작업 영역의 모든 작업, 클러스터, Notebook 및 폴더를 볼 수 있으며, 이러한 개체에 대한 액세스 제어가 사용하도록 설정되어 있고, 사용자에게 해당 개체에 대한 권한이 없는 경우에도 Databricks API를 사용하여 해당 개체를 나열할 수 있습니다.

이제 모든 Azure Databricks 관리자는 Notebook 및 폴더(작업 영역 개체), 클러스터 및 작업에 대한 표시 유형 제어를 사용하도록 설정하여 사용자가 작업 영역, 클러스터 또는 작업 액세스 제어를 통해 액세스 권한이 부여된 개체만 볼 수 있도록 할 수 있습니다.

액세스 제어 목록을 더 이상 사용하지 않도록 설정할 수 없음을 참조하세요.

토큰을 만드는 기능은 기본적으로 더 이상 허용되지 않습니다.

2020년 9월 9~15일: 버전 3.28

Azure Databricks 플랫폼 버전 3.28 릴리스 이후에 만든 작업 영역의 경우 기본적으로 사용자는 더 이상 개인용 액세스 토큰을 생성할 수 없습니다. 관리자는 전체 users 그룹에 대해 또는 사용자별 또는 그룹별로 이러한 권한을 명시적으로 부여해야 합니다. 3.28이 릴리스되기 전에 만들어진 작업 영역은 이미 있는 권한을 유지합니다.

개인용 액세스 토큰 모니터링 및 관리를 참조 하세요.

MLflow 모델 레지스트리는 작업 영역에서 모델 공유를 지원합니다.

2020년 9월 9일

이제 Azure Databricks는 여러 작업 영역에서 모델 레지스트리에 대한 액세스를 지원합니다. 이제 모델을 등록하고, 모델 실행을 추적하고, 작업 영역에서 모델을 로드할 수 있습니다. 이제 여러 팀이 모델에 대한 액세스를 공유할 수 있으며, 조직은 여러 작업 영역을 사용하여 다양한 개발 단계를 처리할 수 있습니다. 자세한 내용은 작업 영역에서 모델 공유를 참조하세요.

이 기능을 사용하려면 MLflow Python 클라이언트 버전 1.11.0 이상이 필요합니다.

Databricks Runtime 7.3(베타)

2020년 9월 3일

Databricks Runtime 7.3, Machine Learning용 Databricks Runtime 7.3 및 Genomics용 Databricks Runtime 7.3이 이제 베타 릴리스로 공급됩니다.

자세한 내용은 Databricks Runtime 7.3 LTS(지원되지 않음) 및 Machine Learning용 Databricks Runtime 7.3 LTS(지원되지 않음)를 참조하세요.

Azure Databricks 워크로드 유형 이름 변경

2020년 9월 1일

클러스터에서 사용하는 워크로드 유형의 이름이 변경되었습니다.

• Data Engineering -> Jobs Compute
• Data Engineering Light -> Jobs Light Compute
• Data Analytics -> All-Purpose Compute

이러한 새 이름은 청구서 및 EA 포털에서 가격 책정 계획과 함께 표시됩니다(예: “Premium - Jobs Compute - DBU”). 자세한 내용은 Azure Databricks 미터를 참조하세요.

플랫폼 버전 3.27에서도 사용자 인터페이스가 변경되었습니다(8월 25일~9월 3일 사이에 스테이징된 릴리스 대상).

클러스터 페이지에서 목록 제목이 변경되었습니다.

• 대화형 클러스터 -> 다목적 클러스터
• 자동화된 클러스터 -> 작업 클러스터

작업에 대한 클러스터를 구성할 때 클러스터 유형 옵션이 변경되었습니다.

• 새 자동화된 클러스터 -> 새 작업 클러스터
• 기존 대화형 클러스터 -> 기존 다목적 클러스터