Monitorizar a utilização com etiquetas

Para monitorar o custo e atribuir com precisão o uso do Azure Databricks às unidades de negócios e equipes da sua organização (para estornos, por exemplo), você pode marcar espaços de trabalho (grupos de recursos) e recursos de computação. Estas etiquetas são propagadas para relatórios de análise de custos detalhados aos quais pode aceder no portal do Azure.

Aqui está um relatório de detalhes da fatura de análise de custos no portal do Azure que detalha o custo por clusterid tag durante um período de um mês:

Objetos e recursos com etiquetas

Object	Interface de marcação (UI)	Interface de marcação (API)
Área de trabalho	Portal do Azure	API de Recursos do Azure
Conjunto	Interface do usuário de pools no espaço de trabalho do Azure Databricks	API do pool de instâncias
Computação polivalente e de trabalho	Interface do usuário de computação no espaço de trabalho do Azure Databricks	API de Clusters
Armazém SQL	Interface do usuário do SQL warehouse no espaço de trabalho do Azure Databricks	API de Armazéns

Aviso

Não atribua uma tag personalizada com a chave Name a um cluster. Cada cluster tem uma marca Name cujo valor é definido pelo Azure Databricks. Se você alterar o valor associado à chave Name, o cluster não poderá mais ser rastreado pelo Azure Databricks. Como consequência, o cluster pode não ser encerrado depois de ficar ocioso e continuará a incorrer em custos de uso.

Tags padrão

O Azure Databricks adiciona as seguintes marcas padrão à computação para todos os fins:

Tecla de etiqueta	Value
Vendor	Valor constante: Databricks
ClusterId	ID interna do Azure Databricks do cluster
ClusterName	Nome do cluster
Creator	Nome de usuário (endereço de e-mail) do usuário que criou o cluster

Em clusters de trabalho, o Azure Databricks também aplica as seguintes tags padrão:

Tecla de etiqueta	Value
RunName	Nome da tarefa
JobId	ID da tarefa

O Azure Databricks adiciona as seguintes marcas padrão a todos os pools:

Tecla de etiqueta	Value
Vendor	Valor constante: Databricks
DatabricksInstancePoolCreatorId	ID interna do Azure Databricks do usuário que criou o pool
DatabricksInstancePoolId	ID interna do Azure Databricks do pool

Na computação usada pelo Lakehouse Monitoring, o Azure Databricks também aplica as seguintes tags:

Tecla de etiqueta	Value
LakehouseMonitoring	verdadeiro
LakehouseMonitoringTableId	ID da tabela monitorada
LakehouseMonitoringWorkspaceId	ID do espaço de trabalho onde o monitor foi criado
LakehouseMonitoringMetastoreId	ID do metastore onde a tabela monitorada existe

Propagação de etiquetas

As tags de espaço de trabalho, pool e cluster são agregadas pelo Azure Databricks e propagadas para VMs do Azure para relatórios de análise de custos. Mas as tags de pool e cluster são propagadas de forma diferente uma da outra.

As tags de espaço de trabalho e pool são agregadas e atribuídas como marcas de recursos das VMs do Azure que hospedam os pools.

As etiquetas da área de trabalho e do cluster são agregadas e atribuídas como etiquetas de recursos das VMs do Azure que alojam os clusters.

Quando os clusters são criados a partir de conjuntos, apenas as etiquetas da área de trabalho e as etiquetas de conjunto são propagadas para as VMs. As tags de cluster não são propagadas para preservar o desempenho de inicialização do cluster de pool.

Resolução de conflitos de tags

Se uma marca de cluster personalizada, uma tag de pool ou uma tag de espaço de trabalho tiver o mesmo nome que uma tag de cluster ou pool padrão do Azure Databricks, a marca personalizada será prefixada com uma x_ quando for propagada.

Por exemplo, se um espaço de trabalho estiver marcado com vendor = Azure Databricks, essa tag entrará em conflito com a tag vendor = Databricksde cluster padrão. As tags serão, portanto, propagadas como x_vendor = Azure Databricks e vendor = Databricks.

Limitações

• As etiquetas de área de trabalho personalizadas podem demorar até uma hora a ser propagadas para o Azure Databricks após qualquer alteração.
• Não podem ser atribuídas mais de 50 etiquetas a um recurso do Azure. Se a contagem geral de etiquetas agregadas exceder este limite, x_as etiquetas com prefixo são avaliadas por ordem alfabética e as que excedem o limite serão ignoradas. Se todas as x_etiquetas com prefixo forem ignoradas e a contagem continuar a ultrapassar o limite, as restantes etiquetas serão avaliadas por ordem alfabética e as que excederem o limite serão ignoradas.
• As teclas de etiqueta e os valores só podem conter carateres do conjunto ISO 8859-1 (latin1). As etiquetas que contêm outros carateres são ignoradas.
• Se alterar os nomes ou valores das chaves de etiqueta, estas alterações aplicam-se apenas após o reinício do cluster ou a expansão do conjunto.
• Se as etiquetas personalizadas do cluster entrarem em conflito com as etiquetas personalizadas de um conjunto, não é possível criar o cluster.

Aplicação de tags com políticas

Você pode impor tags em clusters usando políticas de computação. Para obter mais informações, consulte Imposição de tags personalizadas.