태그를 사용하여 사용량 모니터링

비용을 모니터링하고 Azure Databricks 사용량을 조직의 사업부 및 팀(예: 차지백)에 정확하게 특성화하려면 작업 영역(리소스 그룹)에 태그를 지정하고 리소스를 계산할 수 있습니다. 이러한 태그는 Azure Portal에서 액세스할 수 있는 자세한 비용 분석 보고서에 전파됩니다.

다음은 Azure Portal의 비용 분석 청구서 세부 정보 보고서로, 1개월 동안 태그별로 clusterid 비용을 자세히 설명합니다.

태그가 지정된 개체 및 리소스

Object	태그 지정 인터페이스(UI)	태그 지정 인터페이스(API)
작업 영역	Azure Portal	Azure Resources API
풀	Azure Databricks 작업 영역의 풀 UI	인스턴스 풀 API
다목적 및 작업 컴퓨팅	Azure Databricks 작업 영역의 컴퓨팅 UI	클러스터 API
SQL 웨어하우스	Azure Databricks 작업 영역의 SQL Warehouse UI	Warehouses API

Warning

Name 키가 있는 사용자 지정 태그를 클러스터에 할당하지 마세요. 모든 클러스터에는 Azure Databricks에서 값을 설정하는 Name 태그가 있습니다. Name 키와 연결된 값을 변경하면 Azure Databricks에서 클러스터를 더 이상 추적할 수 없습니다. 따라서 유휴 상태가 되면 클러스터가 종료되지 않을 수 있으며 사용 비용이 계속 발생합니다.

기본 태그

Azure Databricks는 다목적 컴퓨팅에 다음 기본 태그를 추가합니다.

태그 키	값
Vendor	상수 값: Databricks
ClusterId	클러스터의 Azure Databricks 내부 ID
ClusterName	클러스터의 이름
Creator	클러스터를 만든 사용자의 사용자 이름(이메일 주소)

작업 클러스터에 있는 Azure Databricks에는 다음의 기본 태그도 적용됩니다.

태그 키	값
RunName	작업 이름
JobId	작업 ID

Azure Databricks는 모든 풀에 다음 기본 태그를 추가합니다.

태그 키	값
Vendor	상수 값: Databricks
DatabricksInstancePoolCreatorId	풀을 만든 사용자의 Azure Databricks 내부 ID
DatabricksInstancePoolId	풀의 Azure Databricks 내부 ID

Lakehouse 모니터링에서 사용하는 컴퓨팅에서 Azure Databricks는 다음 태그도 적용합니다.

태그 키	값
LakehouseMonitoring	true
LakehouseMonitoringTableId	모니터링되는 테이블의 ID
LakehouseMonitoringWorkspaceId	모니터를 만든 작업 영역의 ID
LakehouseMonitoringMetastoreId	모니터링되는 테이블이 있는 메타스토어의 ID

태그 전파

작업 영역, 풀 및 클러스터 태그는 Azure Databricks에 의해 집계되고 비용 분석 보고를 위해 Azure VM으로 전파됩니다. 하지만 풀 및 클러스터 태그는 서로 다르게 전파됩니다.

작업 영역과 풀 태그는 풀을 호스트하는 Azure VM의 리소스 태그로 집계되고 할당됩니다.

작업 영역과 클러스터 태그는 클러스터를 호스트하는 Azure VM의 리소스 태그로 집계되고 할당됩니다.

클러스터가 풀에서 만들어지면 작업 영역 태그와 풀 태그만 VM에 전파됩니다. 클러스터 태그는 풀 클러스터 시작 성능을 유지하기 위해 전파되지 않습니다.

태그 충돌 해결

사용자 지정 클러스터 태그, 풀 태그 또는 작업 영역 태그의 이름이 Azure Databricks 기본 클러스터 또는 풀 태그와 x_ 동일한 경우 사용자 지정 태그는 전파될 때 접두사가 지정됩니다.

예를 들어 작업 영역에 vendor = Azure Databricks로 태그가 지정되면 해당 태그가 vendor = Databricks 기본 클러스터 태그와 충돌합니다. 이에 따라 태그는 x_vendor = Azure Databricks 및 vendor = Databricks로 전파됩니다.

제한 사항

• 변경 후 사용자 지정 작업 영역 태그가 Azure Databricks에 전파되는 데 최대 1시간이 걸릴 수 있습니다.
• Azure 리소스에는 50개 이하의 태그를 할당할 수 있습니다. 집계된 태그의 전체 수가 이 제한을 초과하면 x_ 접두사가 있는 태그가 사전순으로 평가되고 제한을 초과하는 태그는 무시됩니다. x_ 접두사가 있는 태그를 무시해도 개수가 한도를 초과하면 나머지 태그가 사전순으로 평가되고 제한을 초과하는 태그는 무시됩니다.
• 태그 키와 값은 ISO 8859-1(latin1) 집합의 문자만 포함할 수 있습니다. 다른 문자를 포함하는 태그는 무시됩니다.
• 태그 키 이름 또는 값을 변경하는 경우 클러스터를 다시 시작하거나 풀을 확장한 후에만 이러한 변경 사항이 적용됩니다.
• 클러스터의 사용자 지정 태그가 풀의 사용자 지정 태그와 충돌하는 경우 클러스터를 만들 수 없습니다.

정책을 사용하여 태그 적용

컴퓨팅 정책을 사용하여 클러스터에 태그를 적용할 수 있습니다. 자세한 내용은 사용자 지정 태그 적용을 참조하세요.