Intégrer vos données dans Microsoft Dataverse
L’intégrateur de données (pour les administrateurs) est un service d’intégration point à point utilisé pour intégrer des données dans Dataverse. Il prend en charge l’intégration des données entre les applications de finances et d’opérations et Dataverse. Il gère également l’intégration de données dans les applications de finances et d’opérations et Dynamics 365 Sales. Ce service est généralement disponible depuis juillet 2017.
Note
Nous recommandons fortement aux clients de commencer à utiliser la double écriture qui fournit une intégration bidirectionnelle étroitement couplée entre les applications de finances et d’opérations et Dataverse. Toute modification de données dans les applications de finances et d’opérations génère des écritures dans Dataverse et toute modification de données dans Dataverse génère des écritures dans les applications de finances et d’opérations. Ce flux de données automatisé offre une expérience utilisateur intégrée à travers les applications.
Pourboire
Consulter le blog : Mises à jour de l’intégrateur de données – nouvelles fonctionnalités avec une interface utilisateur intuitive fournissant une expérience fluide.
Comment utiliser l’intégrateur de données pour votre entreprise ?
Data Integrator (pour les administrateurs) prend également en charge les scénarios d’intégration basée sur les processus, comme Prospect to Cash, qui fournissent une synchronisation directe entre les applications de finances et d’opérations et Dynamics 365 Sales. Les modèles Du prospect à l’encaissement disponibles avec la fonctionnalité d’intégration de données activent le flux de données pour les comptes, les contacts, les produits, les devis de vente, les commandes client et les factures client entre les applications financières et opérationnelles et Sales. Même si les données circulent entre les applications de finances et d’opérations et Sales, vous pouvez réaliser des activités de vente et marketing dans Sales, et vous pouvez gérer la réalisation de commande en utilisant la gestion des stocks dans les applications de finances et d’opérations.
L’intégration de prospect à disponibilités permet aux commerciaux de gérer et de surveiller leurs processus de vente avec la puissance de Dynamics 365 Sales, tandis que tous les aspects du traitement et de la facturation se produisent à l’aide de la fonctionnalité enrichie dans les applications de finances et d’opérations. Avec l’intégration de prospect en disponibilités de Microsoft Dynamics 365, vous obtenez la puissance combinée des deux systèmes.
Pour plus d’informations sur l’intégration du prospect en disponibilités, voir la documentation sur la Solution Prospect en disponibilités.
Nous prenons également en charge l’intégration de Field Service et l’intégration de PSA (Project Service Automation) dans les applications de finances et d’opérations.
Plateforme de l’intégrateur de données
Data Integrator (pour les administrateurs) se compose de la plateforme d’intégration des données, de modèles prêts à l’emploi fournis par nos équipes d’applications (par exemple, les applications de finances et d’opérations et Dynamics 365 Sales) et de modèles personnalisés créés par nos clients et nos partenaires. Nous avons créé une plateforme sans application spécifiée qui peut évoluer dans plusieurs sources. En son sein, vous créez des connexions (à des points de terminaison d’intégration), choisissez un des modèles personnalisables avec les mappages prédéfinis (que vous pouvez personnaliser davantage), créez et lancez le projet d’intégration de données.
Les modèles d’intégration servent de blueprint avec les entités prédéfinies et les mappages de champ pour activer le flux des données de la source à la destination. Elle fournit également la possibilité de transformer les données avant de les importer. Bien souvent, le schéma entre les applications sources et de destination peut être très différent et un modèle avec les entités prédéfinies et les mappages de champs sert de formidable point de départ pour un projet d’intégration.
Comment configurer un projet d’intégration de données
Trois principales étapes :
Créer une connexion (fournissez les informations d’identification aux sources de données).
Créer un ensemble de connexion (identifiez les environnements des connexions créées à l’étape précédente).
Créer un projet d’intégration de données à l’aide d’un modèle (créez ou utilisez les mappages prédéfinis pour une ou plusieurs entités).
Après avoir créé un projet d’intégration, vous obtenez l’option d’exécuter la gestion du projet manuellement et de configurer également une actualisation basée sur une planification pour l’avenir. Le reste de cet article examine ces trois étapes.
Note
L’interface utilisateur pour la gestion de projet Data Integrator est hébergée sur https://dataintegrator.trafficmanager.net. Les règles de votre organisation peuvent nécessiter l’ajout de ce site à votre liste d’autorisation pour accéder à l’interface.
Création d’une connexion
Avant de pouvoir créer un projet d’intégration de données, vous devez configurer une connexion pour chaque système que vous avez l’intention d’utiliser avec le portail Microsoft Power Apps. Réfléchissez à ces connexions en tant que vos points d’intégration.
Pour créer une connexion
Accéder à Power Apps.
Sous Données, sélectionnez Connexions, puis Nouvelle connexion.
Vous pouvez sélectionner une connexion dans la liste des connexions ou rechercher votre connexion.
Une fois que vous sélectionnez votre connexion, sélectionnez Créer. Vous serez ensuite invité à renseigner les informations d’identification.
Une fois que vous fournissez les informations d’identification, la connexion est répertoriée sous vos connexions.
Note
Vérifiez que le compte que vous spécifiez pour chaque connexion a accès à des entités pour les applications correspondantes. En outre, le compte de chaque connexion peut être dans un client différent.
Création d’un ensemble de connexion
Les ensembles de connexion est un ensemble de deux connexions, d’environnements de connexions, d’informations de mappage d’organisation et de clés d’intégration pouvant être réutilisés entre des projets. Vous pouvez commencer à utiliser un ensemble de connexions pour le développement puis basculer vers un autre pour la production. Une information clé stockée dans un ensemble de connexions est les mappages d’unité d’organisation, par exemple, les mappages entre l’entité juridique des applications de finances et d’opérations (ou la société) ou les divisions et l’organisation Dynamics 365 Sales. Vous pouvez stocker plusieurs mappages d’organisation dans un ensemble de connexions.
Pour créer un ensemble de connexions
Accédez au centre d’administration de Power Apps.
Sélectionnez l’onglet Intégration de données dans le volet de navigation de gauche.
Sélectionnez l’onglet Ensembles de connexions, puis Nouvel ensemble de connexions.
Fournissez un nom pour votre ensemble de connexion.
Choisissez les connexions que vous avez créées précédemment et sélectionnez l’environnement approprié.
Répétez les étapes en choisissant votre prochaine connexion (pensez-y comme source et destination dans aucun ordre spécifique).
Spécifiez le mappage d’une organisation vers une division (si vous intégrez entre les systèmes des applications de finances et d’opérations et Sales).
Note
Vous pouvez spécifier plusieurs mappages pour chaque ensemble de connexion.
Une fois que vous avez renseigné tous les champs, sélectionnez Créer.
Vous verrez le nouvel ensemble de connexion nouvellement créé sous la page de liste des ensembles de connexion.
Votre ensemble de connexion est prêt à être utilisé dans différents projets d’intégration.
Comment créer un projet d’intégration de données
Les projets activent les flux de données entre systèmes. Un projet contient les mappages d’un ou de plusieurs entités. Les mappages indiquent quel champ mapper à quel autre champ.
Pour créer un projet d’intégration de données
Accédez au centre d’administration de Power Apps.
Sélectionnez l’onglet Intégration de données dans le volet de navigation de gauche.
Sous l’onglet Projets, sélectionnez Nouveau projet dans l’angle supérieur droit.
Fournissez un nom pour votre projet d’intégration.
Sélectionnez l’un des modèles disponibles (ou créez votre propre modèle). Dans le cas présent, nous déplaçons l’entité Produits des applications de finances et d’opérations vers Sales.
Sélectionnez Suivant et choisissez une connexion créée précédemment (ou créez un ensemble de connexions).
Assurez-vous d’avoir choisi la bonne en confirmant les noms de la connexion et de l’environnement.
Sélectionnez Suivant puis choisissez l’entité juridique des mappages de division.
Lisez et acceptez l’avis de confidentialité et donnez votre consentement à l’écran suivant.
Continuez à créer le projet puis exécutez-le afin d’exécuter le projet.
Sur cet écran, vous remarquerez plusieurs onglets, Planification et Historique d’exécution, avec certains boutons, Ajouter une tâche, Actualiser les entités, Requête avancée, qui seront décrits plus loin dans cet article.
Historique d’exécution
L’historique d’exécution affiche l’historique de toutes les exécutions de projet avec le nom du projet, l’horodatage de l’exécution du projet, et le statut de l’exécution ainsi que t le nombre d’upserts et/ou d’erreurs.
Exemple d’historique de réalisation du projet.
Exemple d’exécution réussie, affichant le statut comme terminé avec # upserts. (Mise à jour ou Insertion est une logique pour mettre à jour l’enregistrement, s’il existe déjà, ou insérer un nouvel enregistrement.)
Pour les échecs d’exécution, vous pouvez explorer pour identifier la cause majeure.
Voici un exemple d’échec avec des erreurs de validation de projet. Dans ce cas, l’erreur de validation de projet provient des champs sources absents dans les mappages d’entités.
Si l’exécution du projet est dans l’état de « ERREUR », il réessayera de s’exécuter à la prochaine exécution prévue.
Si l’exécution du projet est dans un état d’« AVERTISSEMENT », vous devez résoudre les problèmes sur la source. Il réessayera l’exécution à la prochaine exécution prévue.
Dans les deux cas, vous pouvez également choisir « une nouvelle exécution manuelle ».
Note
Lorsque vous exécutez un projet, manuellement ou basée sur une planification, cela génère un journal détaillé qui affiche le nom du projet, le dernier horodatage mis à jour et le statut. Vous pouvez afficher cela sous l’historique d’exécution de chaque projet. L’historique d’exécution du projet est tenu à jour pendant 45 jours après quoi il est automatiquement vidé.
Comment configurer une actualisation basée sur une planification
Nous prenons en charge deux types d’exécutions/écritures aujourd’hui :
Les écritures manuelles (exécuter ou actualiser le projet manuellement)
Les écritures basées sur une planification (actualisation automatique)
Après avoir créé un projet d’intégration, vous avez l’option de l’exécuter manuellement ou de configurer des écritures basées sur une planification, ce qui vous permet de configurer l’actualisation automatique de vos projets.
Pour configurer des écritures basées sur une planification
Accédez au centre d’administration de Power Apps.
Vous planifier les projets de deux manières.
Soit en sélectionnant le projet et en sélectionnant l’onglet Planification, soit en exécutant le planificateur de la page de la liste de projets en cliquant sur le bouton de sélection en regard de le nom du projet.
Sélectionnez Tous les et une fois que vous avez terminé tous les champs, sélectionnez Enregistrer la planification.
Vous pouvez définir une fréquence aussi rapide que 1 minute ou la faire se reproduire un certain nombre d’heures, de jours, de semaines, ou mois. Notez que la prochaine actualisatoin ne commencera pas tant que la tâche du projet précédent n’aura pas terminé son exécution.
Notez également que sous Notifications, vous pouvez accepter les notifications d’alerte par e-mail, qui vous alertent des exécutions de tâches terminées avec des avertissements et/ou ayant échoué en raison d’erreurs. Vous pouvez fournir plusieurs destinataires, notamment des groupes séparés par des virgules.
Note
- Actuellement, nous prenons en charge la planification de 50 projets d’intégration à tout moment par client payé. Toutefois, vous pouvez créer plus de projets et les exécuter en mode interactif. Pour les clients d’évaluation, nous avons une limite supplémentaire afin qu’un projet planifié s’exécute uniquement pour les 50 premières exécutions.
- Bien que nous prenions en charge la planification de projets chaque minute, n’oubliez pas que cela peut mettre nécessiter beaucoup d’effort pour vos applications et à son tour affecter les performances globales. Nous encourageons vivement les utilisateurs à tester des exécutions de projets dans de véritables conditions de charge et d’optimiser les performances avec des actualisations moins fréquentes. Dans les environnements de production, nous vous conseillons de ne pas exécuter plus de 5 projets par minute par client.
- Afin d’optimiser les performances et ne pas surcharger les applications, nous limitons actuellement les exécutions de projet à 500 000 lignes par exécution par projet.
- Lorsque vous exécutez un projet, manuellement ou basée sur une planification, cela génère un journal détaillé qui affiche le nom du projet, le dernier horodatage mis à jour et le statut. Vous pouvez afficher cela sous l’historique d’exécution de chaque projet. L’historique d’exécution du projet est tenu à jour pendant 45 jours après quoi il est automatiquement vidé.
Personnalisation de projets, de modèles, et de mappages
Vous utilisez un modèle pour créer un projet d’intégration de données. Un modèle facilité le déplacement des données ce qui permet ensuite à un utilisateur professionnel ou à un administrateur d’accélérer l’intégration des données à partir de sources dans la destination et de réduire la charge globale et le coût. Un utilisateur professionnel ou un administrateur peuvent commencer avec un modèle prêt à l’emploi publié par Microsoft ou son partenaire et le personnaliser encore avant de créer un projet. Vous pouvez ensuite enregistrer le projet comme modèle et partager avec votre organisation et/ou créer un projet.
Un modèle vous fournit la source, la destination et la direction du flux de données. Vous devez conserver cela à l’esprit lors de la personnalisation et/ou création de votre propre modèle.
Vous pouvez personnaliser des projets et des modèles des façons suivantes :
Personnaliser les mappages de champs.
Personnaliser un modèle en ajoutant une entité de votre choix.
Personnalisation des mappages de champs
Pour créer un ensemble de connexions
Accédez au centre d’administration de Power Apps.
Sélectionnez le projet pour lequel vous souhaitez personnaliser des mappages de champs puis sélectionnez la flèche entre les champs sources et de destination.
Vous arrivez à l’écran de mappage où vous pouvez ajouter un nouveau mappage en sélectionnant Ajouter un mappage au coin supérieur droit ou Personnaliser les mappages existants dans la liste déroulante.
Une fois que vous avez personnalisé vos mappages de champs, sélectionnez Enregistrer.
Création de votre propre modèle
Pour créer votre propre modèle en modifiant les modèles existants
Accédez au centre d’administration de Power Apps.
Identifiez la source et la destination, et la direction du flux de votre nouveau modèle.
Créez un projet en choisissant un modèle existant qui correspond à votre choix de source et de destination, et de direction du flux.
Créez le projet après avoir choisi la connexion appropriée.
Avant d’enregistrer et/ou d’exécuter le projet, dans le coin supérieur droit, sélectionnez Ajouter une tâche.
Cela lancera la boîte de dialogue Ajouter une tâche.
Spécifiez un nom de tâche significatif et ajoutez les entités sources et de destination de votre choix.
La liste déroulante montre toutes vos entités sources et de destination.
Dans ce cas, une tâche a été créée pour synchroniser l’entité Utilisateur de SalesForce vers l’entité Utilisateurs de Dataverse.
Une fois que vous avez créé la tâche, votre nouvelle tâche est répertoriée et vous pouvez supprimer la tâche d’origine.
Vous venez de créer un modèle, dans le cas présent, un modèle pour récupérer les données de l’entité Utilisateur entre SalesForce et Dataverse. Sélectionnez Enregistrer pour enregistrer votre personnalisation.
Suivez les étapes de personnalisation des mappages de champs pour ce nouveau modèle. Vous pouvez exécuter ce projet et/ou enregistrer le projet comme modèle sur la page Liste de projets.
Spécifiez un nom et une description et/ou partager avec d’autres utilisateurs de votre organisation.
Pour créer votre propre modèle à partir des modèles vides
Accédez au centre d’administration de Power Apps.
Créez un projet d’intégration de données. Sélectionnez l’onglet Intégration de données dans le volet de navigation de gauche.
Sélectionnez Nouveau projet et fournissez un nom à votre projet. Par exemple, « Projet Demo_CreateYourOwnTemplate ».
Dans la page de liste Sélectionner un modèle, choisissez un modèle vide générique. Pour cet exemple, choisissez le modèle Sales to Fin and Ops étant donné que nous souhaitons déplacer des données à partir des applications de finances et d’opérations vers Dynamics 365 Sales.
Suivez les étapes 6 à 9 ici pour terminer de créer un projet d’intégration de données. Sélectionnez Enregistrer.
Vous verrez la page Tâches qui est vide comme il s’agit d’un modèle vide, sans aucune tâche. Sélectionnez Ajouter une tâche pour sélectionner une entité dans la liste déroulante et ajouter une nouvelle tâche. Dans ce cas, à des fins de démonstration, nous allons créer une tâche Activities Sales to Fin and Ops en choisissant l’entité Activités pour les applications de finances et d’opérations et Dynamics 365 Sales. Sélectionnez Créer.
Vous verrez qu’une nouvelle tâche a été ajoutée. Activités de Sales vers Fin and Ops Sélectionnez Enregistrer pour enregistrer vos modifications.
Le projet est créé. Sélectionnez Enregistrer comme modèle sur la page de liste Projets.
Fournissez un nom et une description, puis sélectionnez Enregistrer. En outre, sélectionnez Partager avec tous les membres de mon organisation pour partager ce modèle.
Vous apercevrez le modèle nouvellement créée affiché sur la page de liste Modèles.
En outre, après avoir créé un projet d’intégration, lorsque vous choisissez Sélectionner un modèle vous verrez votre modèle nouvellement créé dans la liste Sélectionner un modèle.
Transformation et filtrage avancés des données
Avec la prise en charge de Power Query, nous proposons le filtrage avancé et la transformation élaborée des données sources. Power Query permet aux utilisateurs de remodeler des données en fonction de leurs besoins, par l’intermédiaire d’une expérience utilisateur sans code, attrayante et simple d’utilisation. Vous pouvez activer cela projet par projet.
Comment activer la requête et le filtrage avancés
Pour configurer le filtrage et la transformation avancés des données
Accédez au centre d’administration de Power Apps.
Sélectionnez le projet où vous souhaitez activer la requête avancée puis sélectionnez Requête avancée.
Vous obtenez un avertissement indiquant qu’activer la requête avancée est une opération unilatérale qui ne peut pas être annulée. Sélectionnez OK pour continuer puis sélectionnez la flèche de mappage source et de destination.
Vous êtes maintenant présenté avec la page de mappage d’entités habituelle avec un lien pour lancer la requête et le filtrage avancés.
Sélectionnez à lier pour lancer l’interface utilisateur de requête et de filtrage avancés, qui vous donne les données de champ source dans des colonnes de type Microsoft Excel.
Dans le menu principal, vous disposez de plusieurs options pour transformer des données, telles que Ajouter une colonne conditionnelle, Dupliquer une colonneet Extraire.
Vous pouvez également cliquez avec le bouton droit sur une colonne pour plus d’options comme Supprimer les colonnes, Supprimer les doublons, Fractionner la colonne.
Vous pouvez également filtrer en cliquant sur chaque colonne et utiliser des filtres de type Excel.
Les transformations de valeurs par défaut peuvent être obtenues à l’aide de la colonne conditionnelle. Pour ce faire, dans la liste déroulante Ajouter une colonne, sélectionnez Ajouter une colonne conditionnelle et entrez le nom de la nouvelle colonne. Renseignez les deux champs Alors et Sinon avec ce qui doit être la valeur par défaut, tout en utilisant un champ et une valeur quelconques pour Si et Est égal à.
Notez la clause chacun dans l’éditeur fx, en haut de la liste.
Résolvez clause chacun dans l’éditeur fx et sélectionnez OK.
Chaque fois que vous apportez une modification, vous appliquez une étape. Vous pouvez voir les étapes appliquées dans le volet droit (défilement vers le bas pour afficher la dernière étape). Vous pouvez annuler une étape à modifier. En outre, vous pouvez accéder à l’Éditeur avancé en cliquant avec le bouton droit sur QrySourceData dans le volet gauche, en haut pour afficher le langage M qui est exécuté en arrière plan, avec les mêmes étapes.
Sélectionnez OK pour fermer l’interface de requête et de filtrage avancés, puis, dans la page de tâches de mappage, choisissez la colonne nouvellement créée comme source pour créer le mappage en conséquence.
Pour en savoir plus sur Power Query, consultez Documentation relative à Power Query.
Note
Une fois que Requête et filtrage avancés est activé, les transformations par le biais de Fn ne sont pas prises en charge et doivent plutôt être définies à l’aide de la requête et du filtrage avancés.
Actuellement, nous ne prenons pas en charge la création de jointures sur plusieurs sources de données (via le bouton Obtenir des données ou requête M) dans Requête et filtrage avancés.
Si vous rencontrez des limites à l’évaluation de Power Query avec l’erreur :
La tâche powerquery a échoué avec l’erreur : Exception ExceptionType:MashupEvaluationException, ExceptionMessage:EvaluationQuotaReached, EvaluationResponse:{"ResultType":"ErrorCode","Code":"EvaluationQuotaReached"
Passez en revue les conseils sur Limites de Power Query Online.
La modification de l’url directement dans l’éditeur d’application web hybride n’est pas prise en charge. Seul le filtre appliqué à l’aide de l’interface utilisateur de l’éditeur d’application web hybride ou spécifié dans le champ d’édition du filtre source sur la page de mappage sera utilisé.
Optimisation des performances
Plusieurs facteurs impactent les performances d’un scénario d’intégration. Les performances dépendent fortement de :
Quelles applications intégrez-vous : applications de finances et d’opérations et Dataverse
Quelles entités sont utilisées : la forme, la validation, et la logique métier des entités (standard et personnalisations)
L’intégrateur de données prend les données de l’application source et les transmet à l’application cible. Les principales considérations en matière de performances sont comment les applications sources et cibles évoluent avec les entités concernées. Il tire parti des meilleures technologies disponibles pour extraire/transmettre des données de manière performante.
Les applications de finances et d’opérations utilisent le cadre de gestion des données qui fournit un moyen d’extraire/pousser les données de la manière la plus performante. L’infrastructure de gestion des données est utilisée pour gérer les entités de données et les packages d’entités de données dans les applications de finances et d’opérations.
Dynamics 365 pour Dataverse utilise des API OData et le parallélisme pour optimiser les performances.
Vous pouvez utiliser les paramètres suivants pour régler les performances des applications de finances et d’opérations en fonction de la charge, de l’entité et des ressources.
Exportation des données depuis les applications de finances et d’opérations :
L’exportation directe (ignorer la progression) Vérifiez que les entités utilisées pour l’exportation directe de la prise en charge de l’intégration (ignorer la progression). Cela permet l’exécution de l’exportation en nombre et la table de mise en lots est contournée. Si vous exécutez avec ignorer la progression, il retombe aux appels ligne par ligne et les données sont insérées dans la table de mise en lots.
Activer le suivi des modifications pour les entités Le suivi des modifications permet l’exportation incrémentielle des données des applications de finances et d’opérations à l’aide de la gestion des données. Dans une exportation incrémentielle, seuls les enregistrements modifiés sont exportés. Pour activer l’exportation incrémentielle, vous devez activer le suivi des modifications sur les entités. Sans le suivi des modifications, vous effectuez des exportations complètes pouvant avoir une incidence sur les performances. Pour les scénarios complexes, utilisez une requête personnalisée pour le suivi des modifications.
Importation des données vers les applications de finances et d’opérations :
Vérifiez que l’entité elle-même est performante. Si possible, créez des entités basées sur des ensembles.
Si le nombre de lignes à importer est élevé et que l’entité ne prend pas en charge les opérations définies : la Gestion des données peut être configurée pour importer l’entité avec des tâches parallèles. Cela peut être configuré dans la gestion des données (paramètres), en configurant les paramètres d’exécution de l’entité. Cela emploierait le cadre du traitement par lots pour créer des tâches parallèles, basé sur la disponibilité des ressources à s’exécuter en parallèle.
Désactivation des validations (facultative) : Lorsque l’intégrateur de données ne contourne pas la logique métier et les validations, vous pouvez éventuellement désactiver celles qui ne sont pas nécessaires pour améliorer les performances.
Prenez en compte les conseils suivants pour garantir les performances lors de l’importation ou de l’exportation de données à partir d’environnements.
Importation/exportation de données vers/depuis les applications d’engagement client
- Vérifiez que les index sont définis pour les clés d’intégration.