Partage via

Utiliser Azure Data Factory pour ingérer des données dans un produit de données Azure Operator Insights

  • Article

Cet article explique comment configurer Azure Data Factory pour écrire des données dans un produit de données Azure Operator Insights. Pour plus d’informations sur Azure Data Factory, consultez Qu’est-ce qu’Azure Data Factory ?.

Avertissement

Les produits de données ne prennent pas en charge les liaisons privées. Il n’est pas possible de configurer une liaison privée entre un produit de données et Azure Data Factory.

Prérequis

  • Un produit de données déployé : consultez Créer un produit de données Azure Operator Insights.
  • Autorisation d’ajouter des attributions de rôles à l’instance Azure Key Vault pour le produit de données.
    • Pour trouver le coffre de clés, recherchez un groupe de ressources avec un nom commençant par <data-product-name>-HostedResources-. Le coffre de clés se trouve dans ce groupe de ressources.
  • Une instance Azure Data Factory déployée.
  • Le rôle Contributeur Data Factory sur l’instance Data Factory.

Créer un service lié Key Vault

Pour connecter Azure Data Factory à un autre service Azure, vous devez créer un service lié. Tout d’abord, créez un service lié pour connecter Azure Data Factory au coffre de clés du produit de données.

  1. Dans le Portail Azure, recherchez la ressource Azure Data Factory.
  2. Dans le volet Vue d’ensemble, lancez le studio Azure Data Factory.
  3. Accédez à l’affichage Gérer, puis recherchez Connexions et sélectionnez Services liés.
  4. Créez un service lié à l’aide du bouton Nouveau.
    1. Sélectionnez le type Azure Key Vault.
    2. Définissez la cible sur le coffre de clés du produit de données (le coffre de clés se trouve dans le groupe de ressources avec le nom commençant par <data-product-name>-HostedResources- et est nommé aoi-<uid>-kv).
    3. Définissez la méthode d’authentification sur Identité managée affectée par le système.
  5. Accordez des autorisations Azure Data Factory sur la ressource Key Vault.
    1. Accédez au coffre de clés du produit de données dans le Portail Azure.
    2. Dans le volet Access Control (IAM), ajoutez une nouvelle attribution de rôle.
    3. Donnez à l’identité managée Data Factory (elle porte le même nom que la ressource Data Factory) le rôle Utilisateur de secrets Key Vault.

Créer un service lié Stockage Blob

Les produits de données exposent un point de terminaison de Stockage Blob pour l’ingestion de données. Utilisez le service lié Key Vault nouvellement créé pour connecter Azure Data Factory au point de terminaison d’ingestion du produit de données.

  1. Dans le Portail Azure, recherchez la ressource Azure Data Factory.
  2. Dans le volet Vue d’ensemble, lancez le studio Azure Data Factory.
  3. Accédez à l’affichage Gérer, puis recherchez Connexions et sélectionnez Services liés.
  4. Créez un service lié à l’aide du bouton Nouveau.
    1. Sélectionnez le type Stockage Blob Azure.
    2. Définissez le type d’authentification sur URI SAP.
    3. Choisissez Azure Key Vault comme source.
    4. Sélectionnez le service lié Key Vault que vous avez créé dans Créer un service lié Key Vault.
    5. Définissez le nom du secret sur input-storage-sas.
    6. Laissez la version de secret sur la valeur par défaut (Dernière version).

À présent, Data Factory est connecté au point de terminaison d’ingestion du produit de données.

Créer des jeux de données de Stockage Blob

Pour utiliser le produit de données comme récepteur pour un pipeline Data Factory, vous devez créer un jeu de données récepteur.

  1. Dans le Portail Azure, recherchez la ressource Azure Data Factory.
  2. Dans le volet Vue d’ensemble, lancez le studio Azure Data Factory.
  3. Accédez à la vue Auteur -> Ajouter une ressource -> Jeu de données.
  4. Créez un jeu de données Stockage Blob Azure.
    1. Sélectionnez votre type de sortie.
    2. Définissez le service lié sur le service lié d’ingestion du produit de données, que vous avez créé dans Créer un service lié de Stockage Blob.
    3. Définissez le nom du conteneur sur le nom du type de données auquel le jeu de données est associé.
      • Ces informations sont disponibles dans la section Configuration requise pour l’ingestion de la documentation de votre produit de données.
      • Par exemple, consultez Configuration requise pour l’ingestion pour le produit de données Monitoring – MCC.
    4. Vérifiez que le chemin d’accès au dossier comprend au moins un répertoire. Les fichiers copiés à la racine du conteneur ne seront pas ingérés correctement.
    5. Définissez les autres champs selon les besoins de vos données.
  5. Suivez la documentation Azure Data Factory (par exemple, Création d’un pipeline avec l’interface utilisateur) pour créer un pipeline avec ce nouveau jeu de données en tant que récepteur.

Répétez cette étape pour tous les jeux de données requis.

Important

Le produit de données peut utiliser le préfixe de dossier ou le préfixe de nom de fichier (cela peut être défini dans le cadre du pipeline, par exemple dans l’activité de copie) pour déterminer comment traiter un fichier ingéré. Pour connaître les exigences de votre produit de données pour les préfixes de dossier ou les préfixes de nom de fichier, consultez la section Configuration requise pour l’ingestion de la documentation du produit de données. Par exemple, consultez Configuration requise pour l’ingestion pour le produit de données Monitoring – MCC.

Créer des pipelines de données

Votre Azure Data Factory est maintenant configuré pour se connecter à votre produit de données. Pour ingérer des données à l’aide de cette configuration, vous devez suivre la documentation Data Factory.

  1. Configurez une connexion dans Azure Data Factory au service contenant les données sources.
  2. Configurez des pipelines dans Azure Data Factory pour copier des données de la source dans votre produit de données à l’aide des jeux de données créés à la dernière étape.

Contenu connexe

Découvrez comment :