Créer une connexion de données Event Hubs pour Azure Data Explorer

Azure Data Explorer offre une ingestion à partir d’Event Hubs, une plateforme de streaming Big Data et un service d’ingestion d’événements. Event Hubs peut traiter des millions d’événements par seconde en quasi-temps réel.

Dans cet article, vous vous connectez à un hub d’événements et vous allez ingérer des données dans Azure Data Explorer. Pour obtenir une vue d’ensemble de l’ingestion à partir d’Event Hubs, consultez Azure Event Hubs connexion de données.

Pour savoir comment créer la connexion à l’aide des Kits de développement logiciel (SDK) Kusto, consultez Créer une connexion de données Event Hubs avec des kits SDK.

Pour obtenir des exemples de code basés sur des versions précédentes du Kit de développement logiciel (SDK), consultez l’article archivé.

Créer une connexion de données event hub

Dans cette section, vous allez établir une connexion entre le hub d’événements et votre table azure Data Explorer. Tant que cette connexion est en place, les données sont transmises à partir du hub d’événements dans votre table cible. Si le hub d’événements est déplacé vers une autre ressource ou un autre abonnement, vous devez mettre à jour ou recréer la connexion.

Obtenir des données

Prérequis

• Un compte Microsoft ou une identité d’utilisateur Microsoft Entra. Un abonnement Azure n’est pas requis.
• Un cluster et une base de données Azure Data Explorer. Créez un cluster et une base de données.
• L’ingestion de streaming doit être configurée sur votre cluster Azure Data Explorer.

Obtenir des données

1. Dans le menu de gauche, sélectionnez Requête.

2. Cliquez avec le bouton droit sur la base de données dans laquelle vous souhaitez ingérer les données. Sélectionnez Obtenir des données.

   

Source

Dans la fenêtre Obtenir des données , l’onglet Source est sélectionné.

Sélectionnez la source de données dans la liste disponible. Dans cet exemple, vous ingérez des données à partir d’Event Hubs.

Configurer

1. Sélectionnez une base de données et une table cibles. Si vous souhaitez ingérer des données dans une nouvelle table, sélectionnez + Nouvelle table et entrez un nom de table.

   Notes

   Les noms de table peuvent avoir jusqu’à 1 024 caractères, y compris des espaces, des alphanumériques, des traits d’union et des traits de soulignement. Les caractères spéciaux ne sont pas pris en charge.

   

2. Remplissez les champs suivants :

   Paramètre	Description du champ
   Abonnement	ID d’abonnement où se trouve la ressource de hub d’événements.
   Espace de noms du hub d’événements	Nom unique qui permet d’identifier votre espace de noms.
   Event Hub	Le hub d’événements que vous souhaitez
   Groupe de consommateurs	Groupe de consommateurs défini dans votre événement
   Nom de la connexion de données	Nom qui permet d’identifier votre connexion de données.
   Filtres avancés
   Compression	Type de compression de la charge utile des messages du hub d’événements.
   Propriétés du système d’événements	Les propriétés système du hub d’événements. S’il existe plusieurs enregistrements par message d’événement, les propriétés système sont ajoutées au premier enregistrement. Lors de l’ajout des propriétés système, créez ou mettez à jour le schéma de table et le mappage pour inclure les propriétés sélectionnées.
   Date de début de la récupération d’événement	La connexion de données récupère les événements Event Hubs existants créés après la date de début de la récupération d’événements. Seuls les événements conservés par la période de rétention d’Event Hubs peuvent être récupérés. Si la date de début de la récupération d’événements n’est pas spécifiée, l’heure par défaut est l’heure à laquelle la connexion de données est créée.

3. Sélectionnez Suivant.

Inspecter

L’onglet Inspecter s’ouvre avec un aperçu des données.

Pour terminer le processus d’ingestion, sélectionnez Terminer.

Éventuellement :

• Si les données que vous voyez dans la fenêtre d’aperçu ne sont pas complètes, vous aurez peut-être besoin de plus de données pour créer une table avec tous les champs de données nécessaires. Utilisez les commandes suivantes pour récupérer de nouvelles données auprès de votre hub d’événements :

  • Ignorer et extraire de nouvelles données : ignore les données présentées et recherche de nouveaux événements.

  • Récupérer plus de données : recherche d’autres événements, en plus de ceux déjà trouvés.

    Notes

    Pour vous permettre de voir un aperçu de vos données, votre hub d’événements doit envoyer des événements.

• Sélectionnez Visionneuse de commandes pour afficher et copier les commandes automatiques générées à partir de vos entrées.

• Utilisez la liste déroulante Fichier de définition de schéma pour modifier le fichier à partir duquel le schéma est déduit.

• Modifiez le format des données déduites automatiquement en sélectionnant le format souhaité dans la liste déroulante. Consultez Formats de données pris en charge par Azure Data Explorer pour l’ingestion.

• Modifier des colonnes.

• Explorez les options avancées en fonction du type de données.

Modifier les colonnes

Notes

• Pour les formats tabulaires (CSV, TSV, PSV), vous ne pouvez pas mapper une colonne deux fois. Pour effectuer un mappage à une colonne existante, commencez par supprimer la nouvelle colonne.
• Vous ne pouvez pas changer un type de colonne existant. Si vous essayez de mapper à une colonne avec un format différent, vous risquez de vous retrouver avec des colonnes vides.

Les modifications que vous pouvez apporter dans une table dépendent des paramètres suivants :

• Si le type de la table est nouveau ou existant
• Si le type du mappage est nouveau ou existant

Type de la table	Type de mappage	Ajustements disponibles
Nouvelle table	Nouveau mappage	Renommer une colonne, modifier le type de données, modifier la source de données, la transformation de mappage, ajouter une colonne, supprimer une colonne
Table existante	Nouveau mappage	Ajouter une colonne (sur laquelle vous pouvez ensuite modifier le type de données, renommer et mettre à jour)
Table existante	Mappage existant	aucun

Mappage des transformations

Certains mappages de format de données (Parquet, JSON et Avro) prennent en charge des transformations simples au moment de l’ingestion. Pour appliquer des transformations de mappage, créez ou mettez à jour une colonne dans la fenêtre Modifier les colonnes .

Les transformations de mappage peuvent être effectuées sur une colonne de type chaîne ou datetime, la source ayant le type de données int ou long. Les transformations de mappage prises en charge sont :

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Options avancées basées sur le type de données

Tabulaire (CSV, TSV, PSV) :

• Si vous ingérez des formats tabulaires dans une table existante, vous pouvez sélectionner Avancé>Conserver le schéma de table actuel. Les données tabulaires n’incluent pas nécessairement les noms de colonnes utilisés pour mapper les données sources aux colonnes existantes. Lorsque cette option est activée, le mappage est effectué par ordre et le schéma de table reste le même. Si cette option est décochée, de nouvelles colonnes sont créées pour les données entrantes, quelle que soit la structure des données.

• Pour utiliser la première ligne comme noms de colonne, sélectionnez Avancé>La première ligne est l’en-tête de colonne.

  

JSON :

• Pour déterminer la division des colonnes des données JSON, sélectionnez Niveaux imbriqués avancés>, de 1 à 100.

• Si vous sélectionnez Avancé>Ignorer les erreurs de format de données, les données sont ingérées au format JSON. Si vous laissez cette case à cocher désactivée, les données sont ingérées au format multijson.

  

Résumé

Dans la fenêtre Préparation des données, les trois étapes sont marquées par des marques de case activée vertes lorsque l’ingestion des données se termine correctement. Vous pouvez afficher les commandes utilisées pour chaque étape, ou sélectionner un carte pour interroger, visualiser ou supprimer les données ingérées.

Portail - Page Data Explorer Azure

Prérequis

• Un abonnement Azure. Créez un compte Azure gratuit.
• Un cluster et une base de données Azure Data Explorer. Créez un cluster et une base de données.
• Table de destination. Créez une table ou utilisez une table existante.
• Mappage d’ingestion pour la table.
• Un hub d’événements avec des données pour l’ingestion.

Obtenir des données

1. Dans le Portail Azure, accédez à votre cluster et sélectionnez Bases de données. Sélectionnez ensuite la base de données qui contient votre table cible.

   

2. Dans le menu de gauche, sélectionnez Ingestion des données. Ensuite, dans la barre supérieure, sélectionnez Ajouter une connexion de données.

3. Remplissez le formulaire avec les informations suivantes, puis sélectionnez Créer.

   Paramètre	Valeur suggérée	Description du champ
   Nom de la connexion de données	test-hub-connection	Nom de la connexion que vous souhaitez créer dans l’Explorateur de données Azure.
   Abonnement		ID d’abonnement où se trouve la ressource de hub d’événements.
   Espace de noms du hub d’événements	Nom unique de l’espace de noms	Nom choisi précédemment qui identifie votre espace de noms.
   Event Hub	test-hub	Hub d’événements que vous avez créé.
   Groupe de consommateurs	test-group	Groupe de consommateurs défini dans le hub d’événements que vous avez créé.
   Propriétés du système d’événements	Sélectionner les propriétés pertinentes	Les propriétés système du hub d’événements. S’il existe plusieurs enregistrements par message d’événement, les propriétés système sont ajoutées au premier enregistrement. Lors de l’ajout des propriétés système, créez ou mettez à jour le schéma de table et le mappage pour inclure les propriétés sélectionnées.
   Compression	Aucun	Type de compression de la charge utile des messages du hub d’événements. Types de compression pris en charge : Aucun, GZip.
   Identité managée (recommandé)	Attribué par le système	Identité managée utilisée par le cluster Data Explorer pour l’accès en lecture à partir du hub d’événements. Nous vous recommandons d’utiliser des identités managées pour contrôler l’accès à votre hub d’événements. Remarque : Quand la connexion de données est créée : * Les identités affectées par le système sont automatiquement créées si elles n’existent pas * L’identité managée reçoit automatiquement le rôle Récepteur de données Azure Event Hubs et est ajoutée à votre cluster Data Explorer. Nous vous recommandons de vérifier que le rôle a été attribué et que l’identité a été ajoutée au cluster.

   Notes

   Si vous avez une connexion de données qui n’utilise pas les identités managées, nous vous recommandons de la mettre à jour pour les utiliser.

Portail - page Azure Event Hubs

Prérequis

• Un abonnement Azure. Créez un compte Azure gratuit.
• Un cluster et une base de données Azure Data Explorer. Créez un cluster et une base de données.
• Table de destination. Créez une table ou utilisez une table existante.
• Mappage d’ingestion pour la table.
• Un hub d’événements avec des données pour l’ingestion.

Obtenir des données

1. Dans le Portail Azure, accédez à votre instance Event Hubs.

2. Dans le menu latéral Fonctionnalités , sélectionnez Analyser les données avec Kusto.

3. Sélectionnez Démarrer pour ouvrir l’Assistant Ingestion sur Azure Data Explorer.

   

   Notes

   • Vous devez disposer au moins des autorisations Utilisateur de base de données .
   • Pour activer l’accès entre un cluster et un compte de stockage sans accès public, consultez Créer un point de terminaison privé managé.
   • Le cluster et le hub d’événements doivent être associés aux mêmes locataires. Si ce n’est pas le cas, utilisez l’une des options du Kit de développement logiciel (SDK), comme C# ou Python.

4. Le volet côté Ingérer des données s’ouvre avec l’onglet Destination sélectionné. Sélectionnez les champs Cluster et Base de données dans les listes déroulantes. Veillez à sélectionner un cluster en cours d’exécution. Sinon, vous ne pourrez pas sélectionner Base de données et poursuivre le processus d’ingestion.

5. Sous Table, sélectionnez Nouvelle table et entrez un nom pour la nouvelle table. Vous pouvez également utiliser une table existante.

6. Sélectionnez Suivant : Source.

7. Sous Type de source, le type et les détails d’Event Hub sont renseignés automatiquement en fonction de l’instance Event Hubs à partir de laquelle vous avez démarré.

8. Sous Connexion de données, renseignez les champs suivants et sélectionnez Suivant : Schéma.

   Paramètre	Valeur suggérée	Description du champ
   Abonnement		ID d’abonnement où se trouve la ressource de hub d’événements.
   Espace de noms du hub d’événements		Nom unique qui permet d’identifier votre espace de noms.
   Event Hub		Hub d’événements que vous souhaitez utiliser.
   Nom de la connexion de données	TestDataConnection	Nom qui permet d’identifier votre connexion de données.
   Groupe de consommateurs		Groupe de consommateurs défini dans votre hub d’événements.
   Compression		Type de compression de la charge utile des messages du hub d’événements.
   Propriétés du système d’événements	Sélectionner les propriétés pertinentes	Les propriétés système du hub d’événements. S’il existe plusieurs enregistrements par message d’événement, les propriétés système sont ajoutées au premier enregistrement. Lors de l’ajout des propriétés système, créez ou mettez à jour le schéma de table et le mappage pour inclure les propriétés sélectionnées.
   Date de début de la récupération d’événement	temps universel (UTC, Universal Time Coordinated)	La connexion de données récupère les événements Event Hubs existants créés après la date de début de la récupération d’événements. Seuls les événements conservés par la période de rétention d’Event Hubs peuvent être récupérés. Si la date de début de la récupération d’événements n’est pas spécifiée, l’heure par défaut est l’heure à laquelle la connexion de données est créée.

9. Si la diffusion en continu est activée pour le cluster, vous pouvez sélectionner Ingestion de streaming. Si la diffusion en continu n’est pas activée pour le cluster, définissez la latence de traitement par lots des données. Pour Event Hubs, la durée recommandée de traitement par lots est de 30 secondes.

   

10. Sélectionnez le format de données. Pour les données au format CSV, ignorez le premier enregistrement pour ignorer la ligne de titre du fichier. Pour les données au format JSON, sélectionnez Ignorer les erreurs de format de données pour ingérer les données au format JSON ou laissez les données non sélectionnées pour ingérer les données au format multijson. Sélectionnez les niveaux imbriqués pour déterminer la division des données de colonne de table.

11. Si les données que vous voyez dans la fenêtre d’aperçu ne sont pas terminées, vous aurez peut-être besoin de plus de données pour créer une table avec tous les champs de données nécessaires. Utilisez les commandes suivantes pour récupérer de nouvelles données auprès de votre hub d’événements :

    • Ignorer et récupérer de nouvelles données : ignore les données présentées et recherche les nouveaux événements.
    • Récupérer plus de données : recherche d’autres événements, en plus de ceux déjà trouvés.

    Notes

    Pour vous permettre de voir un aperçu de vos données, votre hub d’événements doit envoyer des événements.

12. Sélectionnez Suivant : Résumé.

13. Dans la fenêtre ingestion continue à partir d’Event Hub établie, toutes les étapes sont marquées par des marques vertes case activée lorsque l’établissement se termine correctement.

Modèle ARM

Prérequis

• Un abonnement Azure. Créez un compte Azure gratuit.
• Un cluster et une base de données Azure Data Explorer. Créez un cluster et une base de données.
• Table de destination. Créez une table ou utilisez une table existante.
• Mappage d’ingestion pour la table.
• Un hub d’événements avec des données pour l’ingestion.

Modèle ARM

L’exemple suivant montre un modèle Azure Resource Manager pour ajouter une connexion de données Event Hubs. Vous pouvez modifier et déployer le modèle dans le portail Azure en utilisant le formulaire.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Supprimer une connexion de données event hub

Obtenir des données

Supprimez la connexion de données via le Portail Azure comme expliqué dans l’onglet portail.

Portail

Pour supprimer la connexion event hub du Portail Azure, procédez comme suit :

1. Accédez à votre cluster. Dans le menu de gauche, sélectionnez Bases de données. Ensuite, sélectionnez la base de données qui contient la table cible.
2. Dans le menu de gauche, sélectionnez Connexions de données. Ensuite, cochez la case en regard de la connexion de données du hub d’événements appropriée.
3. Dans la barre de menus supérieure, sélectionnez Supprimer.

Contenu connexe

• Vérifier la connexion avec l’exemple d’application de message Event Hub
• Interroger des données dans l’interface utilisateur web