Superviser l’ingestion, les commandes, les requêtes et les tables Azure Data Explorer à l’aide des journaux de diagnostic

  • Article

Azure Data Explorer est un service d’analytique données rapide et complètement managé pour l’analyse en temps réel de gros volumes de données diffusées en continu par des applications, des sites web, des appareils IoT, etc. Les journaux de diagnostic Azure Monitor fournissent des données sur les opérations effectuées sur des ressources Azure. Azure Data Explorer utilise les journaux de diagnostic pour obtenir des insights sur l’ingestion, les commandes, les requêtes et les tables. Vous pouvez exporter les journaux des opérations vers Stockage Azure, Event Hubs ou Log Analytics afin de superviser l’ingestion, les commandes et l’état des requêtes. Les journaux de Stockage Azure et d’Azure Event Hubs peuvent être routés vers une table de votre cluster Azure Data Explorer pour une analyse plus poussée.

Important

Les données des journaux de diagnostic peuvent contenir des données sensibles. Limitez les autorisations de la destination des journaux en fonction de vos besoins de supervision.

Notes

Dans le portail Azure, les données de métriques brutes des pages Métriques et Insights sont stockées dans Azure Monitor. Les requêtes sur ces pages interrogent directement les données de métriques brutes pour fournir les résultats les plus précis. Lorsque vous utilisez la fonctionnalité de paramètres de diagnostic, vous pouvez migrer les données de métriques brutes vers l’espace de travail Log Analytics. Pendant la migration, certaines précisions de données peuvent être perdues en raison de l’arrondi ; par conséquent, les résultats de requête peuvent varier légèrement des données d’origine. La marge d’erreur est inférieure à 1 %.

Prérequis

Configurer les journaux de diagnostic pour un cluster Azure Data Explorer

Vous pouvez utiliser les journaux de diagnostic pour configurer la collecte des données de journal suivantes :

Notes

  • Les journaux d’ingestion sont pris en charge pour l’ingestion en file d’attente vers l’URI d’ingestion de données à l’aide des bibliothèques clientes Kusto et des connecteurs de données.
  • Les journaux d’ingestion ne sont pas pris en charge pour l’ingestion en streaming, l’ingestion directe vers l’URI de cluster, l’ingestion à partir de la requête ou .set-or-append les commandes.

Notes

L’échec des journaux d’ingestion est signalé uniquement pour l’état final d’une opération d’ingestion, contrairement à la métrique Résultat de l’ingestion, qui est émise pour les échecs temporaires retentés en interne.

  • Opérations d’ingestion réussies : Ces journaux contiennent des informations sur les opérations d’ingestion terminées avec succès.
  • Opérations d’ingestion ayant échoué : Ces journaux contiennent des informations détaillées sur les échecs d’opérations d’ingestion, notamment les détails des erreurs.
  • Opérations de traitement par lot de l’ingestion : ces journaux contiennent des statistiques détaillées sur les lots prêts pour l’ingestion (durée, taille du lot, nombre d’objets blob et types de traitement par lot).

Vous pouvez choisir d’envoyer les données de journal à un espace de travail Log Analytics, à un compte de stockage ou de les diffuser en continu vers un hub d’événements.

Activer les journaux de diagnostic

Les journaux de diagnostic sont désactivés par défaut. Procédez comme suit pour activer les journaux de diagnostic pour votre cluster :

  1. Dans le Portail Azure, sélectionnez la ressource de cluster que vous souhaitez surveiller.

  2. Sous Supervision, sélectionnez Paramètres de diagnostic.

    Ajouter des journaux de diagnostic.

  3. Sélectionnez Ajouter le paramètre de diagnostic.

  4. Dans la fenêtre Paramètres de diagnostic :

    Capture d’écran de l’écran Paramètres de diagnostic, dans lequel vous configurez les données de surveillance à collecter pour votre cluster Azure Data Explorer.

    1. Entrez un nom dans Nom du paramètre de diagnostic.
    2. Sélectionnez une ou plusieurs cibles de destination : un espace de travail Log Analytics, un compte de stockage ou un hub d’événements.
    3. Sélectionnez les journaux à collecter : Ingestion réussie, Ingestion ayant échoué, Traitement par lot d’ingestion, Commande, Requête, Statistiques d’utilisation des tables, Détails de la table ou Journal.
    4. Sélectionnez les métriques à collecter (facultatif).
    5. Sélectionnez Enregistrer pour enregistrer les nouveaux paramètres et métriques des journaux de diagnostic.

Une fois les paramètres prêts, les journaux commencent à apparaître dans les cibles de destination configurées (un compte de stockage, un hub d’événements ou un espace de travail Log Analytics).

Notes

Si vous envoyez des journaux à un espace de travail Log Analytics, les SucceededIngestionjournaux , QueryIngestionBatchingFailedIngestionTableUsageStatisticsCommand, TableDetails, et Journal seront stockés dans des tables Log Analytics nommées respectivement : SucceededIngestion, ADXIngestionBatchingFailedIngestion, ADXQueryADXCommand, , ADXTableUsageStatistics, , ADXTableDetailset .ADXJournal

Schéma des journaux de diagnostic

Tous les journaux de diagnostic Azure Monitor partagent un schéma de niveau supérieur commun. Les événements Azure Data Explorer ont leurs propres propriétés uniques qui sont décrites dans les références de schéma suivantes :

Contenu connexe