2021년 7월

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2021년 7월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일 이상까지 업데이트되지 않을 수 있습니다.

Databricks REST API를 사용하여 MLflow 실험 권한 관리

2021년 7월 29일 - 8월 2일: 버전 3.51

이제 Databricks REST API의 사용 권한 API를 사용하여 MLflow 실험을 읽고 편집하거나 관리할 수 있는 사용자를 관리할 수 있습니다. 권한 API를 참조하세요.

Azure Databricks 웹 인터페이스는 포르투갈어 및 프랑스어로 지역화됩니다(공개 미리 보기).

2021년 7월 29일

이제 프랑스어와 포르투갈어로 Azure Databricks를 사용할 수 있으며 다음 분기에 더 많은 언어로 제공될 예정입니다. 웹 UI의 오른쪽 위 메뉴에서 설정 이동하여 기본 설정 탭을 클릭하여 언어를 변경합니다.

Machine Learning용 Databricks Runtime 5.5 LTS 지원 종료, 확장 지원 버전으로 대체

2021년 7월 27일

Databricks Runtime 5.5 ML LTS 지원은 2021년 7월 27일에 종료되었지만 새로운 Databricks Runtime 5.5 ML 확장 지원(지원되지 않음) 은 2021년 말까지 지원됩니다. Databricks Runtime 5.5 ML 추가 지원은 원래 Databricks Runtime 5.5 ML LTS에서 사용되지 않는 Ubuntu 16.04.6 LTS 배포 대신 Ubuntu 18.04.5 LTS를 사용합니다. Ubuntu 16.04.6 LTS 지원은 2021년 4월 1일에 중단되었습니다. Databricks Runtime 5.5 확장 지원과 Databricks Runtime 5.5 LTS 간의 차이점에 대한 자세한 내용은 Databricks Runtime 5.5 ML 확장 지원(지원되지 않음)을 참조하세요.

Databricks Light 2.4 지원이 9월 5일에 종료되고 확장 지원 버전으로 대체됨

2021년 7월 27일

원래 Databricks Light 2.4에 대한 지원은 2021년 9월 5일에 종료되지만 2021년, 새로운 Databricks Light 2.4 확장 지원(지원되지 않음) 은 2022년 7월 27일까지 지원됩니다. Databricks Light 2.4 추가 지원은 원래 Databricks Light 2.4에서 사용되지 않는 Ubuntu 16.04.6 LTS 배포 대신 Ubuntu 18.04.5 LTS를 사용합니다. Ubuntu 16.04.6 LTS 지원은 2021년 4월 1일에 중단되었습니다. Databricks는 가능한 한 빨리 Light 워크로드를 추가 지원 버전으로 마이그레이션하는 것이 좋습니다.

새 Azure 지역: 독일 중서부

2021년 7월 27일

Azure Databricks는 이제 독일 중서부 지역에서 사용할 수 있습니다.

Databricks 기능 저장소 UI에서 사용할 수 있는 기능 새로 고침 정보(공개 미리 보기)

2021년 7월 26일 - 8월 2일: 버전 3.51

이제 Databricks 기능 저장소 UI에 데이터가 기능 테이블에 마지막으로 기록된 시간이 표시됩니다. 또한 기능 테이블이 예약된 작업에 의해 업데이트되었는지 여부와 업데이트된 경우 작업의 일정 및 상태도 표시됩니다.

최대 10,000개의 결과 행 표시

2021년 7월 26일 - 8월 2일: 버전 3.51

이전에는 Notebook에 최대 1,000개의 행이 표시되었습니다. 이제 테이블이 1000개가 넘는 행을 반환하는 경우 쿼리를 다시 실행하고 최대 10,000개의 행을 표시하도록 선택할 수 있습니다. Databricks Runtime 8.4 이상이 필요합니다. 자세한 내용은 결과 표시를 참조하세요.

폴더의 Notebook을 원본 파일로 대량 가져오기 및 내보내기

2021년 7월 26일 - 8월 2일: 버전 3.51

이제 작업 영역 폴더에 있는 모든 Notebook에 대한 원본을 ZIP 보관 파일로 내보낼 수 있습니다. ZIP 보관 파일을 다른 작업 영역이나 동일한 작업 영역의 다른 폴더로 가져와서 내보낸 모든 Notebook을 그곳에서 다시 만들 수 있습니다. Notebook의 원본 파일은 Notebook의 기본 언어로 되어 있습니다. 예를 들어, Python Notebook의 원본은 Python 파일입니다.

Notebook 원본 파일은 Notebook 명령 결과를 포함하지 않으며 CI/CD 파이프라인에서 사용하기에 적합합니다. 이전에는 Notebook 편집기 내에서 한 번에 하나의 Notebook에 대한 원본만 내보내거나 폴더의 모든 Notebook을 HTML 파일 또는 Databricks 보관 파일(확장명 .dbc)로 내보낼 수 있었습니다. 이러한 파일은 Notebook을 내보내기 전에 지우지 않으면 Notebook 명령 결과를 포함합니다.

Notebook 가져오기 및 내보내기에 대한 자세한 내용은 Notebook 관리를 참조하세요.

SQL Notebook의 자동 완성은 이제 SQL 키워드(keyword) 대해 all-caps를 사용합니다.

2021년 7월 26일 - 8월 2일: 버전 3.51

TAB을 사용하여 Notebook에서 SQL 키워드를 자동으로 완성하면 자동 완성된 결과가 이제 대문자로 표시됩니다. 예를 들어, select가 아니라 SELECT가 표시됩니다. SQL 키워드는 대/소문자를 구분하지 않으므로 쿼리에 영향을 주지 않습니다.

Notebook에서 순서를 변경하고 크기 조정 가능한 위젯

2021년 7월 26일 - 8월 2일: 버전 3.51

이제 Notebook의 위젯 표시줄을 클릭하여 Notebook에서 Databricks 위젯의 순서와 크기를 변경할 수 있습니다. 위젯 설정 구성을 참조하세요.

Azure Databricks UI 유용성 수정

2021년 7월 26일 - 8월 2일: 버전 3.51

이 릴리스는 ESC 키를 사용하여 Azure Databricks UI에서 다음을 포함한 일부 대화 상자를 닫지 못하는 문제를 해결합니다.

• 작업 UI의 JSON 보기 대화 상자.
• 작업 UI의 일정 편집 대화 상자.
• 관리 UI의 단일 로그아웃 구성 대화 상자.
• Notebook 만들기 대화 상자.

새 Delta Live Tables 파이프라인을 만들 때 파이프라인 설정을 빠르게 정의

2021년 7월 26일 - 8월 2일: 버전 3.51

새 파이프라인을 만들 때 이제 Delta Live Tables 사용자 인터페이스의 파이프라인 만들기 대화 상자에서 직접 설정을 정의할 수 있습니다.

Databricks Runtime 8.4 및 8.4 ML은 GA입니다. 8.4 Photon은 공개 미리 보기 상태입니다.

2021년 7월 20일

이제 Databricks Runtime 8.4 및 8.4 ML이 일반 공급됩니다. 8.4 Photon은 공개 미리 보기로 제공됩니다.

자세한 내용은 Databricks Runtime 8.4(지원되지 않음) 및 ML용 Databricks Runtime 8.4(지원되지 않음)의 전체 릴리스 정보를 참조하세요.

Delta Live Tables Python API와 함께 Spark SQL 사용

2021년 7월 12~19일: 버전 3.50

이제 Delta Live Tables Python API에서 다음 함수를 사용할 수 있습니다.

• 파이프라인에 정의된 데이터 세트에서 일괄 처리 읽기를 수행하는 spark.table 함수입니다.
• 데이터 세트를 정의하기 위해 SQL 쿼리를 사용하는 spark.sql 함수입니다. SQL 쿼리는 LIVE 키워드를 사용하는 내부 데이터 세트에 대한 참조 및 STREAM 키워드를 사용하는 증분 읽기를 포함하여 Delta Live Tables 관련 기능을 사용할 수 있습니다.

자세한 내용은 Python 언어 참조를 참조하세요.

Azure Databricks 작업을 통해 향상된 데이터 처리 및 분석(공개 미리 보기)

2021년 7월 12~19일: 버전 3.50

Databricks는 여러 태스크를 사용하여 작업을 오케스트레이션하고 실행할 수 있는 Azure Databricks 작업에 대한 업데이트를 발표하게 되어 기쁘게 생각합니다. 이를 사용하여 작업 종속성의 DAG(방향성 비순환 그래프)를 정의하여 신뢰할 수 있는 데이터 및 기계 학습 워크플로를 보다 쉽게 빌드하고 모니터링할 수 있습니다. 이 기능은 공개 미리 보기로 제공되며 기본적으로 사용하지 않도록 설정됩니다.

Important

이 기능을 사용하도록 설정하면 사용하지 않도록 설정할 수 없습니다.

자세한 내용은 Azure Databricks 작업 만들기 및 실행을 참조하세요.

Delta Live Tables 기본 클러스터에 대한 비용 절감(공개 미리 보기)

2021년 7월 12~19일: 버전 3.50

비용을 제어하기 위해 Delta Live Tables 기본 클러스터가 다음과 같이 변경되었습니다.

• 기본 인스턴스 유형을 Standard_F8s로 변경합니다.
• 최소 작업자가 1명이고 최대 작업자가 5명인 경우 자동 크기 조정을 기본적으로 사용하도록 설정합니다.

Delta Live Tables UI에서 이름으로 파이프라인 정렬(공개 미리 보기)

2021년 7월 12~19일: 버전 3.50

이제 Delta Live Tables 사용자 인터페이스에서 이름 열 머리글을 클릭하여 파이프라인을 오름차순(A - Z) 또는 내림차순(Z ->> A)으로 정렬할 수 있습니다.

컴퓨팅 페이지 변경 사항

2021년 7월 12~19일: 버전 3.50

컴퓨팅 페이지에서 라이브러리, 작업 실행, Spark UI 및 로그 링크가 제거되었습니다. 라이브러리에 대한 정보를 보거나 Spark UI 및 로그를 보려면 클러스터 세부 정보 페이지에서 해당 탭을 사용합니다. 작업 실행에 대한 정보를 보려면 해당 페이지에서 작업 실행으로 이동을 클릭합니다.

Databricks Runtime 5.5 LTS 지원 종료, 2021년 말까지 Databricks Runtime 5.5 확장 지원으로 대체

2021년 7월 9일

Databricks Runtime 5.5 LTS 및 Machine Learning용 Databricks Runtime 5.5 LTS에 대한 지원은 7월 10일에 종료됩니다. Databricks Runtime 지원 수명 주기를 참조하세요.

Databricks Runtime 5.5 추가 지원은 2021년 말까지 지원됩니다. Databricks Runtime 5.5 추가 지원은 원래 Databricks Runtime 5.5 LTS에서 사용되지 않는 Ubuntu 16.04.6 LTS 배포 대신 Ubuntu 18.04.5 LTS를 사용합니다. Ubuntu 16.04.6 LTS 지원은 2021년 4월 1일에 중단되었습니다. Databricks Runtime 5.5 확장 지원과 Databricks Runtime 5.5 LTS 간의 차이점에 대한 자세한 내용은 Databricks Runtime 5.5 확장 지원(지원되지 않음)을 참조하세요.

Repos API(공개 미리 보기)

2021년 7월 6일

이제 프로그래밍 방식으로 Azure Databricks 리포지토리를 특정 Git 분기의 최신 버전 또는 새 Repos API를 사용하는 태그로 업데이트할 수 있습니다. 자세한 내용은 Repos API를 참조하세요.

Databricks Runtime 8.4(베타)

2021년 7월 1일

Databricks Runtime 8.4 및 Databricks Runtime 8.4 ML은 이제 베타 릴리스로 사용할 수 있습니다.

자세한 내용은 Databricks Runtime 8.4(지원되지 않음) 및 ML용 Databricks Runtime 8.4(지원되지 않음)의 전체 릴리스 정보를 참조하세요.