Traiter des données de votre instance Event Hub avec Azure Stream Analytics
Le service Azure Stream Analytics facilite l'ingestion, le traitement et l'analyse des données de streaming Azure Event Hubs, et offre de précieux insights permettant des actions en temps réel. Vous pouvez utiliser le portail Azure pour visualiser les données entrantes et écrire une requête Stream Analytics. Une fois votre requête prête, vous pouvez la déplacer en production en quelques clics.
Principaux avantages
Voici les principaux avantages de l’intégration d’Azure Event Hubs et d'Azure Stream Analytics :
- Aperçu des données : vous pouvez afficher un aperçu des données entrantes à partir d’un Event Hub dans le portail Azure.
- Tester votre requête : préparez une requête de transformation et testez-la directement dans le portail Azure. Pour la syntaxe du langage de requête, consultez la documentation Langage de requête Stream Analytics.
- Déployer votre requête en production : vous pouvez déployer la requête en production en créant et en démarrant un travail Azure Stream Analytics.
Flux de bout en bout
Important
Si vous n’êtes pas membre du rôle propriétaire ou contributeur au niveau de l’abonnement Azure, vous devez être membre du rôle Testeur de requêtes Stream Analytics au niveau de l’abonnement Azure pour pouvoir effectuer les étapes de cette section. Ce rôle vous permet d’effectuer des requêtes de test sans créer d’abord de tâche Stream Analytics. Pour obtenir des instructions sur l’attribution d’un rôle à un utilisateur, consultez Affecter des rôles AD aux utilisateurs.
Connectez-vous au portail Azure.
Accédez à votre espace de noms Event Hubs, puis au Event Hub contenant les données entrantes.
Sélectionnez Traiter des données dans la page du hub d’événements ou sélectionnez Traiter des données dans le menu de gauche.
Sélectionnez Démarrer sur la vignette Activer des insights en temps réel à partir d’événements.
Une page de requête contenant les valeurs déjà définies pour les champs suivants s'affiche :
Votre Event Hub en tant qu’entrée pour la requête.
Un exemple de requête SQL avec l’instruction SELECT.
Un alias de sortie pour référencer vos résultats de test de requête.
Notes
La première fois que vous utilisez cette fonctionnalité, cette page vous demande l'autorisation de créer un groupe de consommateurs et une stratégie pour permettre à votre Event Hub d'afficher un aperçu des données entrantes.
Sélectionnez Créer dans le volet Aperçus des données entrantes comme illustré sur l'image précédente.
Vous voyez immédiatement une capture instantanée des dernières données entrantes dans cet onglet.
Le type de sérialisation de vos données est automatiquement détecté (JSON ou CSV). Vous pouvez le remplacer manuellement par JSON/CSV/AVRO.
Vous pouvez afficher un aperçu des données entrantes au format tableau ou au format brut.
Si les données qui apparaissent ne sont pas à jour, sélectionnez Actualiser pour afficher les événements les plus récents.
Voici un exemple de données au format table :
Voici un exemple de données au format brut :
Sélectionnez Tester la requête pour afficher l’instantané des résultats du test de votre requête dans l'onglet Résultats des tests. Vous pouvez également télécharger les résultats.
Écrivez votre propre requête de transformation des données. Consultez Référence sur le langage de requête Stream Analytics.
Une fois la requête testée, pour la déplacer en production, sélectionnez Créer un travail Stream Analytics.
Sur la page Nouveau travail Stream Analytics, procédez comme suit :
Donnez un nom au travail.
Sélectionnez votre Abonnement Azure dans lequel vous souhaitez créer le travail.
Sélectionnez le groupe de ressources pour la ressource de travail Stream Analytics.
Sélectionnez un emplacement pour le travail.
Pour le Nom de la stratégie Event Hubs, créez une stratégie ou sélectionnez une stratégie existante.
Pour le Groupe de consommateurs Event Hubs, créez un groupe de consommateurs ou sélectionnez un groupe de consommateurs existant.
Sélectionnez Créer pour créer le travail Stream Analytics.
Notes
Nous vous recommandons de créer un groupe de consommateurs et une stratégie pour chaque nouveau travail Azure Stream Analytics que vous créez à partir de la page Event Hubs. Les groupes de consommateurs autorisent uniquement cinq lecteurs simultanés et dès lors, fournir un groupe de consommateurs dédié pour chaque travail permet d’éviter les erreurs liées à un dépassement de cette limite. Une stratégie dédiée vous permet de faire pivoter votre clé ou de révoquer des autorisations sans affecter d’autres ressources.
Votre travail Stream Analytics est maintenant créé dans le même contexte que celui où vous avez testé votre requête, et l’entrée correspond à votre Event Hub.
Ajoutez une sortie de votre choix.
Revenez à la page du travail Stream Analytics en cliquant sur le nom du travail dans le lien de navigation.
Sélectionnez Modifier une requête au-dessus de la fenêtre Requête.
Mettez à jour
[OutputAlias]avec votre nom de sortie, puis sélectionnez le lien Enregistrer une requête au-dessus de la requête. Fermez la page Requête en sélectionnant X dans le coin supérieur droit.Maintenant, dans la page du travail Stream Analytics, sélectionnez Démarrer dans la barre d’outils pour démarrer le travail.
Accès
Problème : l’utilisateur ne peut pas accéder à l’aperçu des données, car il ne dispose pas des autorisations appropriées sur l’abonnement.
Option 1 : l’utilisateur qui veut afficher un aperçu des données entrantes doit être ajouté en tant que Contributeur sur l’abonnement.
Option 2 : l’utilisateur doit être ajouté en tant que rôle Testeur de requête Stream Analytics sur l’abonnement. Accédez au contrôle d’accès pour l’abonnement. Ajoutez une nouvelle attribution de rôle pour l’utilisateur en tant que rôle « Testeur de requête Stream Analytics ».
Option 3 : l’utilisateur peut créer un travail Azure Stream Analytics. Définissez l’entrée comme ce hub d’événements, puis accédez à « Interroger » pour afficher un aperçu des données entrantes provenant de ce hub d’événements.
Option 4 : l’administrateur peut créer un rôle personnalisé sur l’abonnement. Ajoutez les autorisations suivantes au rôle personnalisé, puis ajoutez l’utilisateur au nouveau rôle personnalisé.
Unités de diffusion en continu
Votre travail Azure Stream Analytics affiche par défaut trois unités de streaming. Pour ajuster ce paramètre, sélectionnez Mettre à l’échelledans le menu de gauche de la page Travail Stream Analytics du portail Azure. Pour plus d’informations sur les unités de streaming, consultez Comprendre et ajuster les unités de streaming.
Étapes suivantes
Pour plus d'informations sur les requêtes Stream Analytics, consultez Langage de requête Stream Analytics