2022년 2월

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2022년 2월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 일주일 이상까지 업데이트되지 않을 수 있습니다.

Delta Live Tables 파이프라인을 더 쉽게 예약(공개 미리 보기)

2022년 2월 28일 - 3월 2일

이제 Delta Live Tables UI에서 직접 트리거된 파이프라인에 대해 예약된 Azure Databricks 작업을 만들 수 있습니다. 이전에는 작업 UI에서 작업을 실행하는 작업 및 일정을 만들어야 했습니다.

Delta Live Tables 파이프라인 업데이트의 기록을 쉽게 찾아보기(공개 미리 보기)

2022년 2월 28일 - 3월 2일

이제 Delta Live Tables UI에서 업데이트 기록 드롭다운을 사용하여 업데이트 상태, 세부 정보 및 이벤트를 포함한 파이프라인 업데이트 기록을 볼 수 있습니다.

작업 API 실행에 대한 작업 멱등성 지금 요청 확인

2022년 2월 22~28일: 버전 3.66

이제 작업 API idempotency_token실행 작업과 함께 선택적 매개 변수를 사용하여 정확히 하나의 작업 실행이 시작되도록 할 수 있습니다. 이전에는 동일한 작업에 대해 여러 Run now 요청을 제출하면 둘 이상의 실행이 시작될 수도 있었습니다.

작업 멱등성에 대한 자세한 내용은 작업에 대한 멱등성을 보장하는 방법을 참조하세요.

작업 서비스 안정성 및 확장성 향상

2022년 2월 22~28일: 버전 3.66

다음 변경 내용은 작업 서비스의 안정성과 확장성을 향상시킵니다.

• 각 새 작업에는 더 길고, 고유하며, 숫자이며, 순차적이지 않은 식별자가 할당됩니다. Jobs API를 사용하고 고정 식별자 길이나 순차 또는 단조 증가하는 식별자에 의존하는 클라이언트는 더 길고 비순차적이며 순서가 없는 식별자를 허용하도록 수정되어야 합니다. int64의 식별자 유형은 변경되지 않고 IEEE 754 64비트 부동 소수점 숫자를 사용하는 클라이언트(예: JavaScript 클라이언트)에 대해 호환성이 유지됩니다.
• 일부 Jobs API 요청에 대한 응답에 포함된 number_in_job 필드의 값은 이제 run_id와 동일한 값으로 설정됩니다.

다양한 실험에서 MLflow 실행 비교

2022년 2월 22~28일: 버전 3.66

이제 여러 실험의 실행을 표시하고 비교할 수 있습니다. 여러 실험에서 실행 비교를 참조하세요.

MLflow 비교 실행 디스플레이 개선 사항

2022년 2월 22~28일: 버전 3.66

비교 실행 표시가 향상되었습니다. 이제 시각화가 페이지 맨 위에 표시됩니다. 이제 실행 정보, 매개 변수 및 메트릭을 표시하는 테이블을 스크롤하거나 축소할 수 있습니다. 이제 실행에 따라 달라지지 않는 매개 변수 및 메트릭을 숨겨 표시를 간소화할 수도 있습니다.

실행 비교 페이지에 대한 자세한 내용은 실행 비교를 참조하세요. 실행을 비교하는 방법에 대한 지침은 실행 비교를 참조하세요.

클러스터 UI에서 작업 실행 소유자에 대한 가시성 향상

2022년 2월 22~28일: 버전 3.66

작업 소유자 대신 작업 실행을 사용자로 표시하도록 컴퓨팅 UI의 작업 클러스터 탭이 업데이트되었습니다. 이 업데이트는 작업 권한 모델의 변경 내용을 기반으로 하며 작업 실행 소유자에 대한 향상된 가시성을 제공합니다. 컴퓨팅 보기를 참조 하세요.

AutoML에서 데이터 세트 열 삭제

2022년 2월 22~28일: 버전 3.66

Databricks Runtime 10.3 ML 이상에서 분류 및 회귀 문제에 대해 이제 AutoML이 학습에 사용하지 않아야 하는 데이터 세트의 열을 지정할 수 있습니다. 분류 및 회귀 매개 변수를 참조하세요.

실험 페이지는 GA임

2022년 2월 22~28일: 버전 3.66

이제 실험 페이지가 일반 제공됩니다.

Delta Live Tables Python 인터페이스의 임시 테이블 지원

2022년 2월 22~28일: 버전 3.66

이제 Delta Live Tables Python 인터페이스를 사용하여 테이블을 선언할 때 temporary 속성을 사용할 수 있습니다. 임시 테이블을 정의하면 Delta Live Tables가 테이블에 대한 메타데이터를 유지하지 않도록 지시하고 target 설정이 구성되면 테이블 게시를 방지합니다. Python 테이블 정의에 대한 정보는 Python 사양을 참조하세요.

Delta Live Tables의 사용자 인터페이스 개선 사항(공개 미리 보기)

2022년 2월 22~28일: 버전 3.66

이 릴리스에는 Delta Live Tables UI에 대한 다음과 같은 개선 사항이 포함되어 있습니다.

• 이제 Delta Live Tables UI의 설정 대화 상자에서 파이프라인 설정을 편집하여 사용자에게 친숙한 인터페이스를 제공할 수 있습니다. 이전에는 JSON 사양을 편집하여 설정을 변경하는 것으로 제한되었습니다. 파이프라인 설정을 편집할 UI 또는 JSON 보기를 선택하려면 설정 대화 상자에서 UI 또는 JSON 단추를 클릭합니다.
• 파이프라인 세부 정보 페이지의 이벤트 로그에서 이제 오류 레코드가 강조 표시되므로 파이프라인에서 오류를 보다 쉽게 식별하고 해결할 수 있습니다.
• 실행 중인 파이프라인의 진행률 표시가 향상되었습니다. 이제 파이프라인에 대한 그래프를 볼 때 RUNNING 상태의 노드에서 가장자리와 위쪽 테두리가 애니메이션으로 처리되어 있습니다.

Databricks Runtime 9.0 시리즈 지원 종료

2022년 2월 17일

Databricks Runtime 9.0 및 Machine Learning용 Databricks Runtime 9.0에 대한 지원이 2월 17일에 종료되었습니다. Databricks Runtime 지원 수명 주기를 참조하세요.

데이터 과학 및 엔지니어링 방문 페이지 업데이트

2022년 2월 10일

데이터 과학 & 엔지니어링 방문 페이지의 모양과 느낌을 업데이트했습니다. 일부 링크가 변경되었지만 다른 주목할 만한 기능은 변경되지 않습니다.

Databricks Repos는 이제 Git 통합을 위한 AWS CodeCommit 지원

2022년 2월 7~14일: 버전 3.65

이제 Databricks Repos와 함께 AWS CodeCommit 리포지토리를 사용할 수 있습니다.

Delta Live Tables 파이프라인에 대한 개선된 시각화(퍼블릭 미리 보기)

2022년 2월 7~14일: 버전 3.65

파이프라인 DAG 시각화는 유용성과 탐색을 개선하기 위해 다시 디자인되었습니다. 개선 사항에는 파이프라인 실행을 보다 직관적으로 볼 수 있도록 그래프를 위에서 아래가 아닌 왼쪽에서 오른쪽으로 표시하는 변경이 포함됩니다.

업데이트된 Markdown 파서

2022년 2월 7~14일: 버전 3.65

Azure Databricks Notebooks에서 사용되는 Markdown 파서가 업데이트되었습니다. 이전 업데이트에서 언급된 일부 문제가 수정되었습니다. 특히 해시태그와 제목 텍스트 사이에 더 이상 공백을 둘 필요가 없으며 공백이 있는 링크가 이제 올바르게 렌더링됩니다.

Delta Live Tables는 이제 변경 데이터 캡처 처리를 지원(퍼블릭 미리 보기)

2022년 2월 7~14일: 버전 3.65

이제 Delta Live Tables 파이프라인에서 변경 데이터 캡처(CDC) 처리를 구현할 수 있습니다. CDC 처리는 SQL 및 Python 인터페이스에서 지원됩니다. APPLY CHANGES API: Delta Live Tables에서 변경 데이터 캡처 간소화를 참조하세요.

이제 여러 지역에서 추가 메타스토어 사용 가능

2022년 2월 8일

이제 다음 지역에서 다음 메타스토어를 사용할 수 있습니다.

brazilsouth:

• consolidated-brazilsouth-prod-metastore.mysql.database.azure.com

centralus:

• consolidated-centralus-prod-metastore-addl-2.mysql.database.azure.com
• consolidated-centralus-prod-metastore-addl-3.mysql.database.azure.com

eastus:

• consolidated-eastus-prod-metastore-addl-2.mysql.database.azure.com
• consolidated-eastus-prod-metastore-addl-3.mysql.database.azure.com
• consolidated-eastus-prod-metastore-addl-4.mysql.database.azure.com

eastus2

• consolidated-eastus2-prod-metastore-addl-2.mysql.database.azure.com
• consolidated-eastus2-prod-metastore-addl-3.mysql.database.azure.com

francecentral

• consolidated-francecentral-prod-metastore.mysql.database.azure.com

northeurope

• consolidated-northeurope-prod-metastore-addl-2.mysql.database.azure.com
• consolidated-northeurope-prod-metastore-addl-3.mysql.database.azure.com

southeastasia

• consolidated-southeastasia-prod-metastore-addl-1.mysql.database.azure.com

switzerlandnorth

• consolidated-switzerlandnorth-prod-metastore-0.mysql.database.azure.com

switzerlandwest

• consolidated-switzerlandwest-prod-metastore-0.mysql.database.azure.com

uksouth

• consolidated-uksouth-prod-metastore-addl-1.mysql.database.azure.com

westeurope

• consolidated-westeurope-prod-metastore-addl-2.mysql.database.azure.com
• consolidated-westeurope-prod-metastore-addl-3.mysql.database.azure.com

UDR(사용자 정의 경로)에서 사용하는 각 지역에 대한 모든 관련 호스트 이름을 항상 포함해야 합니다. Azure Databricks에 대한 사용자 정의 경로 설정을 참조하세요.

AutoML과 함께 사용할 알고리즘 프레임워크 선택

2022년 2월 7~14일: 버전 3.65

Databricks Runtime 10.3 ML 이상에서는 AutoML이 모델을 개발할 때 고려해서는 안 되는 알고리즘 프레임워크(예: scikit-learn)를 지정할 수 있습니다. 기본적으로 AutoML은 분류 및 회귀 문제의 경우 scikit-learn, XGBoost 및 LightGBM의 모델을 고려하고 문제 예측의 경우 Prophet 및 Auto-ARIMA의 모델을 고려합니다. 분류 및 회귀 매개 변수를 참조하세요.

Databricks 호스팅 MLflow 모델은 이제 온라인 상점에서 기능을 조회할 수 있음

2022년 2월 3일

Feature Store 메타데이터로 패키지된 모델은 제공 시 온라인 상점에서 자동으로 특성 값을 조회할 수 있습니다.

Databricks Runtime 10.3 및 10.3 ML은 GA입니다. 10.3 Photon은 공개 미리 보기 상태입니다.

2022년 2월 2일

이제 Databricks Runtime 10.3 및 Databricks Runtime 10.3 ML이 일반 공급됩니다. Databricks Runtime 10.3 Photon은 공개 미리 보기 상태입니다.