Мониторинг потребления с помощью тегов

Чтобы отслеживать затраты и точно атрибутировать использование Azure Databricks бизнес-подразделениям и командам вашей организации (например, для возвратных платежей), можно добавить настраиваемые теги в рабочие области и вычислительные ресурсы. Azure Databricks рекомендует использовать системные таблицы (общедоступная предварительная версия) для просмотра данных об использовании. См . справочник по системной таблице с выставлением счетов.

Чтобы отслеживать затраты и точно атрибутировать использование Azure Databricks бизнес-подразделениям и командам вашей организации (например, для возвратных платежей), можно пометить рабочие области (группы ресурсов) и вычислительные ресурсы. Эти теги распространяются на подробные отчеты по анализу затрат, которые можно получить в портал Azure и в оплачиваемую системную таблицу использования. См . справочник по системной таблице с выставлением счетов.

Ниже приведен отчет об анализе затрат на счет в портал Azure, который содержит сведения о затратах по clusterid тегам за один месяц:

Cost analysis by cluster ID

Объекты и ресурсы с тегами

Object Интерфейс тегов (пользовательский интерфейс) Интерфейс тегов (API)
Рабочая область портале Azure API ресурсов Azure
Пул Пользовательский интерфейс пулов в рабочей области Azure Databricks API пула экземпляров
Вычисления всех целей и заданий Пользовательский интерфейс вычислений в рабочей области Azure Databricks API кластеров
Хранилище SQL Пользовательский интерфейс хранилища SQL в рабочей области Azure Databricks API складов

Предупреждение

Не назначайте пользовательский тег с ключом Name для кластера. Каждый кластер имеет тег Name, значение которого задается в Azure Databricks. Если изменить значение, связанное с ключом Name, Azure Databricks больше не будет отслеживать этот кластер. Как следствие, работа кластера может не завершиться после того, как он станет неактивным, и плата за его использование будет взиматься далее.

Теги по умолчанию

Azure Databricks добавляет следующие теги по умолчанию в вычислительные ресурсы для всех целей:

Ключ тега Значение
Vendor Значение константы: Databricks
ClusterId Внутренний идентификатор кластера Azure Databricks
ClusterName Имя кластера
Creator Имя (адрес электронной почты) пользователя, создавшего кластер

В кластерах заданий Azure Databricks также применяет следующие теги по умолчанию:

Ключ тега Значение
RunName Имя задания
JobId Идентификатор задания

Azure Databricks добавляет следующие теги по умолчанию ко всем пулам:

Ключ тега Значение
Vendor Значение константы: Databricks
DatabricksInstancePoolCreatorId Внутренний идентификатор Azure Databricks пользователя, создавшего пул
DatabricksInstancePoolId Внутренний идентификатор пула Azure Databricks

Для вычислений, используемых мониторингом Lakehouse, Azure Databricks также применяет следующие теги:

Ключ тега Значение
LakehouseMonitoring true
LakehouseMonitoringTableId Идентификатор отслеживаемой таблицы
LakehouseMonitoringWorkspaceId Идентификатор рабочей области, в которой был создан монитор
LakehouseMonitoringMetastoreId Идентификатор хранилища метаданных, где существует отслеживаемая таблица

Распространение тегов

Для составления отчетов по анализу затрат теги рабочих областей, пулов и кластеров агрегируются Azure Databricks и распространяются на виртуальные машины Azure. Но теги пулов и кластеров распространяются по-разному.

Databricks object tagging hierarchy

Теги рабочей области и пулов объединяются и назначаются в виде тегов ресурсов виртуальных машин Azure, на которых размещены пулы.

Теги рабочей области и кластеров объединяются и назначаются в виде тегов ресурсов виртуальных машин Azure, на которых размещены кластеры.

При создании кластеров из пулов в виртуальные машины распространяются только теги рабочих областей и теги пулов. Теги кластеров не распространяются, чтобы сохранить высокую производительность при запуске кластера пула.

Устранение конфликтов тегов

Если тег настраиваемого кластера, тег пула или тег рабочей области имеет то же имя, что и кластер Azure Databricks по умолчанию или тег пула, то настраиваемый тег префиксируется при x_ распространении.

Например, если рабочая область помечена тегом vendor = Azure Databricks, этот тег будет конфликтовать с тегом кластера по умолчанию vendor = Databricks. Таким образом, теги будут распространяться в виде x_vendor = Azure Databricks и vendor = Databricks.

Ограничения

  • Распространение настраиваемых тегов рабочей области в Azure Databricks после любого изменения может занять до часа.
  • Ресурсу Azure можно назначить не более 50 тегов. Если общее число агрегированных тегов превышает это ограничение, то теги с префиксом x_ анализируются в алфавитном порядке, а те, для которых ограничение превышается, игнорируются. Если все теги с префиксами x_ игнорируются, а количество все равно превышает предел, оставшиеся теги анализируются в алфавитном порядке, а те, для которых ограничение превышается, игнорируются.
  • Ключи и значения тегов могут содержать только символы из набора ISO 8859-1 (latin1). Теги, содержащие другие символы, игнорируются.
  • При изменении имен или значений ключей тегов эти изменения применяются только после перезапуска кластера или расширения пула.
  • Если пользовательские теги кластера конфликтуют с пользовательскими тегами пула, кластер не может быть создан.

Применение тегов с помощью политик

Теги можно применять в кластерах с помощью политик вычислений. Дополнительные сведения см. в разделе "Применение пользовательских тегов".