Monitorování využití pomocí značek

Pokud chcete monitorovat náklady a přesně přiřazovat využití Azure Databricks k obchodním jednotkám a týmům vaší organizace (například pro vracení peněz), můžete označit pracovní prostory (skupiny prostředků) a výpočetní prostředky. Tyto značky se šíří do podrobných sestav analýzy nákladů, ke kterým máte přístup v portálu Azure.

Tady je sestava podrobností faktury analýzy nákladů na webu Azure Portal, která podrobně popisuje náklady podle značky clusterid za jednoměsíční období:

Analýza nákladů podle ID clusteru

Označené objekty a prostředky

Object Rozhraní označování (UI) Rozhraní API (Tagging Interface)
Pracovní prostor Azure Portal Rozhraní API pro prostředky Azure
Fond Uživatelské rozhraní fondů v pracovním prostoru Azure Databricks Rozhraní API fondu instancí
Výpočetní prostředky pro všechny účely a úlohy Výpočetní uživatelské rozhraní v pracovním prostoru Azure Databricks Rozhraní API pro clustery
SQL Warehouse Uživatelské rozhraní SQL Warehouse v pracovním prostoru Azure Databricks Rozhraní API skladů

Upozorňující

Nepřiřazujte vlastní značku s klíčem Name ke clusteru. Každý cluster má značku Name , jejíž hodnota je nastavená službou Azure Databricks. Pokud změníte hodnotu přidruženou ke klíči Name, azure Databricks už cluster nemůže sledovat. V důsledku toho se cluster nemusí po nečinnosti ukončit a bude nadále vyžadovat náklady na využití.

Výchozí značky

Azure Databricks přidá do výpočetních prostředků pro všechny účely následující výchozí značky:

Klíč značky Hodnota
Vendor Konstantní hodnota: Databricks
ClusterId Interní ID clusteru v Azure Databricks
ClusterName Název clusteru
Creator Uživatelské jméno (e-mailová adresa) uživatele, který cluster vytvořil

V clusterech úloh používá Azure Databricks také následující výchozí značky:

Klíč značky Hodnota
RunName Název úlohy
JobId ID úlohy

Azure Databricks přidá do všech fondů následující výchozí značky:

Klíč značky Hodnota
Vendor Konstantní hodnota: Databricks
DatabricksInstancePoolCreatorId Interní ID uživatele, který fond vytvořil, v Azure Databricks
DatabricksInstancePoolId Interní ID fondu v Azure Databricks

Na výpočetních prostředcích používaných monitorováním Lakehouse používá Azure Databricks také následující značky:

Klíč značky Hodnota
LakehouseMonitoring true
LakehouseMonitoringTableId ID monitorované tabulky
LakehouseMonitoringWorkspaceId ID pracovního prostoru, ve kterém byl monitor vytvořen
LakehouseMonitoringMetastoreId ID metastoru, kde existuje monitorovaná tabulka

Šíření značek

Značky pracovních prostorů, fondů a clusterů jsou agregované službou Azure Databricks a šíří se do virtuálních počítačů Azure pro vytváření sestav analýzy nákladů. Značky fondů a clusterů se ale šíří odlišně od sebe.

Hierarchie označování objektů Databricks

Značky pracovního prostoru a fondu se agregují a přiřazují jako značky prostředků virtuálních počítačů Azure, které hostují fondy.

Značky pracovního prostoru a clusteru se agregují a přiřazují jako značky prostředků virtuálních počítačů Azure, které jsou hostiteli clusterů.

Při vytváření clusterů z fondů se na virtuální počítače rozšíří jenom značky pracovních prostorů a značky fondu. Značky clusteru se nerozšírují, aby se zachoval výkon spouštění clusteru fondu.

Řešení konfliktů značek

Pokud má vlastní značka clusteru, značku fondu nebo značku pracovního prostoru stejný název jako výchozí značka clusteru nebo fondu Azure Databricks, má vlastní značka předponu x_ při šíření.

Pokud je například pracovní prostor označený vendor = Azure Databricks, bude tato značka v konfliktu s výchozí značkou vendor = Databricksclusteru . Značky se proto rozšíří jako x_vendor = Azure Databricks a vendor = Databricks.

Omezení

  • Rozšíření vlastních značek pracovních prostorů do Azure Databricks po jakékoli změně může trvat až jednu hodinu.
  • Prostředku Azure je možné přiřadit maximálně 50 značek. Pokud celkový počet agregovaných značek překročí tento limit, x_vyhodnocují se značky s předponou v abecedním pořadí a značky, které limit překračují, se ignorují. Pokud jsou všechny značky s předponou x_ ignorovány a počet překročí limit, zbývající značky se vyhodnocují v abecedním pořadí a značky, které tento limit překračují, se ignorují.
  • Klíče a hodnoty značek můžou obsahovat pouze znaky ze sady ISO 8859-1 (latin1). Značky obsahující jiné znaky se ignorují.
  • Pokud změníte názvy klíčů nebo hodnoty značek, projeví se tyto změny až po restartování clusteru nebo rozšíření fondu.
  • Pokud jsou vlastní značky clusteru v konfliktu s vlastními značkami fondu, cluster nejde vytvořit.

Vynucování značek pomocí zásad

Značky v clusterech můžete vynutit pomocí zásad výpočetních prostředků. Další informace najdete v tématu Vynucení vlastních značek.