Partager via

Référence de table système d’utilisation facturable

  • Article

Important

Cette fonctionnalité est disponible en préversion publique.

Cet article fournit une présentation de la table système d’utilisation facturable, comprenant le schéma et des exemples de requêtes. Avec les tables système, les données d'utilisation facturables de votre compte sont centralisées et acheminées vers toutes les régions, afin que vous puissiez visualiser l'utilisation globale de votre compte depuis la région dans laquelle se trouve votre espace de travail.

Schéma du tableau d'utilisation facturable

La table système des utilisations facturables se trouve à system.billing.usage et utilise le schéma suivant :

Nom de la colonne Type de données Description Exemple :
record_id string ID unique pour cet enregistrement 11e22ba4-87b9-4cc2-9770-d10b894b7118
account_id string ID du compte pour lequel ce rapport a été généré 23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id string ID de l'espace de travail auquel cette utilisation était associée 1234567890123456
sku_name string Nom du SKU STANDARD_ALL_PURPOSE_COMPUTE
cloud string Cloud pour lequel cette utilisation est pertinente. Les valeurs possibles sont AWS, AZURE et GCP. AWS, AZURE ou GCP
usage_start_time timestamp L'heure de début pertinente pour cet enregistrement d'utilisation 2023-01-09 10:00:00.000
usage_end_time timestamp L'heure de fin pertinente pour cet enregistrement d'utilisation 2023-01-09 11:00:00.000
usage_date Date Date de l'enregistrement d'utilisation, ce champ peut être utilisé pour une agrégation plus rapide par date 2023-01-01
custom_tags map Tags appliqués par les utilisateurs à cet usage { “env”: “production” }
usage_unit string Unité dans laquelle cette utilisation est mesurée. Les valeurs possibles incluent les DBU. DBU
usage_quantity Décimal Nombre d'unités consommées pour cet enregistrement. 259.2958
usage_metadata struct Métadonnées fournies par le système sur l'utilisation, y compris les ID des ressources de calcul et des tâches (le cas échéant). Consultez Analyser les métadonnées d’utilisation. {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null}
identity_metadata struct Métadonnées fournies par le système sur les identités impliquées dans l’utilisation. Consultez Analyser les métadonnées d’identité. {run_as: example@email.com}
record_type string Indique si l’enregistrement est une correction. Les valeurs possibles sont ORIGINAL, RETRACTION et RESTATEMENT. ORIGINAL
ingestion_date date Date à laquelle l’enregistrement a été ingéré dans la table usage. 2024-01-01
billing_origin_product string Produit à l’origine de l’utilisation. Certains produits peuvent être facturés comme références SKU différentes. Pour connaître les valeurs possibles, consultez Afficher des informations sur le produit associé à l’utilisation. JOBS
product_features struct Détails sur les fonctionnalités de produit spécifiques utilisées. Pour connaître les valeurs possibles, consultez Fonctionnalités du produit.
usage_type string Type d’utilisation attribué au produit ou à la charge de travail à des fins de facturation. Les valeurs possibles sont COMPUTE_TIME, COMPUTE_SLOT, STORAGE_SPACE, NETWORK_BYTES, API_CALLS, TOKEN, ou GPU_TIME. STORAGE_SPACE

Analyser les métadonnées d’utilisation.

Les valeurs de usage_metadata vous indiquent les ressources impliquées dans l’enregistrement d’utilisation.

Valeur Type de données Description
cluster_id string ID du cluster associé à l’enregistrement d’utilisation
instance_pool_id string ID du pool d’instances associé à l’enregistrement d’utilisation
node_type string Type d’instance de la ressource de calcul
job_id string ID du travail associé à l’enregistrement d’utilisation
job_run_id string ID de l’exécution de travail associée à l’enregistrement d’utilisation
notebook_id string ID du notebook associé à l’utilisation. Retourne uniquement une valeur pour le calcul serverless pour l’utilisation du notebook, sinon retourne NULL.
dlt_pipeline_id string ID du pipeline Delta Live Tables associé à l’enregistrement d’utilisation

Remarque

Dans de rares cas, job_run_id n’est pas rempli pour les travaux de longue durée dont le calcul a commencé à s’exécuter avant qu’Azure Databricks ne commence à capturer les métadonnées job_run_id. Redémarrez le calcul du travail pour commencer à enregistrer le job_run_id.

Recherchez un travail ou un notebook dans l’interface utilisateur à l’aide du job_id ou du notebook_id

Ces instructions expliquent comment extraire un travail ou un notebook spécifique dans l’interface utilisateur en fonction de son ID.

Pour trouver un travail dans l’interface utilisateur en fonction de son job_id :

  1. Copiez le job_id à partir de l’enregistrement d’utilisation. Pour cet exemple, supposons que l’ID est 700809544510906.
  2. Accédez à l’interface utilisateur de Flux de travail dans le même espace de travail Azure Databricks que le travail.
  3. Vérifiez que le filtre Uniquement les travaux qui m’appartiennent est désactivé.
  4. Collez l’ID (700809544510906) dans la barre de recherche Filtrer les travaux.

Pour rechercher un notebook dans l’interface utilisateur en fonction de son notebook_id, utilisez les instructions suivantes :

  1. Copiez le notebook_id à partir de l’enregistrement d’utilisation. Pour cet exemple, supposons que l’ID est 700809544510906.
  2. Accédez à l’interface utilisateur de Espace de travail dans le même espace de travail Azure Databricks que le notebook.
  3. cliquez sur n’importe quel notebook que vous voyez.
  4. Une fois que vous avez ouvert le notebook, examinez l’URL dans la barre d’adresses du navigateur. Il doit ressembler à https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>.
  5. Dans la barre d’adresses du navigateur, remplacez l’ID de notebook par l’ID que vous avez copié à la première étape, puis supprimez tout ce qui suit l’ID du notebook. Il doit ressembler à https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906.
  6. Après avoir extrait le notebook, vous pouvez cliquer sur le bouton Partager pour afficher le propriétaire du notebook.

Analyser les métadonnées d’identité

La colonne identity_metadata peut vous aider à identifier qui est responsable d’un enregistrement de facturation serverless. La colonne inclut une valeur run_as qui attribue l’utilisation à une identité. L’identité enregistrée dans identity_metadata.run_as dépend du produit associé à l’utilisation.

Référencez le tableau suivant pour le comportement identity_metadata.run_as :

Type de charge de travail Identité de run_as
Calcul serverless pour les flux de travail L’utilisateur ou le principal de service défini dans le paramètre d’exécution. Par défaut, les travaux s’exécutent en tant qu’identité du propriétaire du travail, mais les administrateurs peuvent le modifier comme un autre utilisateur ou principal de service.
Calcul serverless pour les notebooks Utilisateur qui a exécuté les commandes du notebook (en particulier, l’utilisateur qui a créé la session de notebook). Pour les notebooks partagés, cela inclut l’utilisation par d’autres utilisateurs partageant la même session de notebook.

Afficher des informations sur le produit associé à l’utilisation

Certains produits Databricks sont facturés sous la même référence SKU partagée. Pour vous aider à différencier l’utilisation, les colonnes billing_origin_product et product_features fournissent plus d’informations sur le produit et les fonctionnalités spécifiques associés à l’utilisation.

La colonne billing_origin_product affiche le produit Databricks associé à l’enregistrement d’utilisation. Les valeurs incluent :

  • JOBS
  • DLT
  • SQL
  • ALL_PURPOSE
  • MODEL_SERVING
  • INTERACTIVE
  • MANAGED_STORAGE
  • VECTOR_SEARCH
  • LAKEHOUSE_MONITORING
  • PREDICTIVE_OPTIMIZATION
  • ONLINE_TABLES

La colonne product_features est un objet contenant des informations sur les fonctionnalités de produit spécifiques utilisées et inclut les paires clé/valeur suivantes :

  • jobs_tier : les valeurs incluent LIGHT, CLASSIC ou null
  • sql_tier : les valeurs incluent CLASSIC, PRO ou null
  • dlt_tier : les valeurs incluent CORE, PRO, ADVANCED ou null
  • is_serverless : les valeurs incluent true ou false, ou null
  • is_photon : les valeurs incluent true ou false, ou null
  • serving_type : les valeurs incluent MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATUREou null

Utilisation du calcul serverless

Pour connaître les stratégies d’analyse de l’utilisation serverless, consultez Surveiller le coût de calcul serverless.

Exemples de requêtes

Vous pouvez utiliser les exemples de requêtes suivants pour répondre aux questions courantes sur l'utilisation facturable :

Quelle est la tendance quotidienne de la consommation de DBU ?

SELECT usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
  FROM system.billing.usage
WHERE sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY usage_date
ORDER BY usage_date ASC

Combien de DBU de chaque SKU ont été utilisés tout au long de ce mois ?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs`
    FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY sku_name, usage_date

Quelle quantité de chaque SKU un espace de travail a-t-il utilisée le 1er juin ?

Assurez-vous de le remplacer par workspace_id avec votre ID d'espace de travail réel.

SELECT sku_name, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE workspace_id = 1234567890123456
AND usage_date = "2023-06-01"
GROUP BY sku_name

Remarque

Cette requête renvoie une ligne par ID SKU unique utilisé dans l'espace de travail à la date choisie.

Quelles tâches ont consommé le plus de DBU ?

SELECT usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE usage_metadata.job_id IS NOT NULL
GROUP BY `Job ID`
ORDER BY `DBUs` DESC

Quelle utilisation peut être attribuée aux ressources présentant une certaine balise ?

Vous pouvez répartir les coûts de différentes manières. Cet exemple vous montre comment répartir les coûts par balise personnalisée. Assurez-vous de remplacer la clé et la valeur de la balise personnalisée dans la requête.

SELECT sku_name, usage_unit, SUM(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

Montrez-moi les SKU dont l'utilisation augmente

SELECT after.sku_name, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT sku_name, sum(usage_quantity) as before_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY sku_name) as before
JOIN
(SELECT sku_name, sum(usage_quantity) as after_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-05-01" and "2023-05-30"
GROUP BY sku_name) as after
where before.sku_name = after.sku_name
SORT by growth_rate DESC

Quelle est la tendance d’utilisation de All Purpose Compute (Photon) ?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs consumed`
    FROM system.billing.usage
WHERE year(usage_date) = year(CURRENT_DATE)
AND sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND usage_date > "2023-04-15"
GROUP BY sku_name, usage_date

Quelle est la consommation DBU d’une vue matérialisée ou d’une table de diffusion en continu ?

Pour déterminer l’utilisation et la référence SKU DBU d’une vue matérialisée ou d’une table de diffusion en continu spécifique, vous avez besoin de l’ID de pipeline associé (dlt_pipeline_id). Recherchez l’ID de pipeline sous l’onglet Détails lors de l’affichage de la vue matérialisée ou de la table de diffusion en continu pertinente dans l’Explorateur de catalogues.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "113739b7-3f45-4a88-b6d9-e97051e773b9"
  AND usage_start_time > "2023-05-30"
GROUP BY
  ALL