Modifier

Share via

Migrer Master Data Services vers Azure avec CluedIn et Azure Purview

Microsoft Purview
Azure Data Factory
Azure SQL Database
Azure Synapse Analytics

L’architecture encapsule de nombreux piliers de la gestion des données de référence (MDM) dans une solution MDM de bout en bout cohérente et homogène. CluedIn a introduit une approche MDM de modélisation nulle dont il est prouvé qu’elle accélère les projets MDM et augmente les taux de réussite des initiatives MDM.

Architecture

Le diagramme suivant illustre la structure architecturale et le flux de données de CluedIn.

Diagramme illustrant la structure architecturale de CluedIn.

Téléchargez un fichier Visio de cette architecture.

Workflow

CluedIn utilise le réseau privé virtuel (VPN) Azure pour vous permettre de vous connecter afin de migrer des instances MDS locales, ou de vous connecter directement à une machine virtuelle SQL hébergée dans le cloud avec une instance MDS hébergée. Il suffit que CluedIn pointe vers le service WCF (Windows Communication Foundation) de MDS pour que le processus de migration des données, des règles, des flux de travail et de tout le reste vers CluedIn ou le service Microsoft correspondant soit automatisé.

Grâce à l’intégration native à Azure Cost Management + Billing, vous pouvez facilement prévoir vos charges de travail MDM pour CluedIn, à mesure que vous opérez la migration de MDS vers CluedIn. CluedIn utilise la fonctionnalité de mise à l’échelle automatique Azure pour mettre à l’échelle l’environnement. CluedIn s’intégrant également en mode natif aux budgets dans Azure, vous pouvez contrôler facilement vos dépenses dans le cloud. Cette intégration élimine le besoin de prévision et de budgétisation fastidieuses, car les coûts deviennent évidents au sein de la plateforme Azure.

Vous pouvez migrer les packages SSIS vers Azure Data Factory afin déplacer tous vos pipelines ETL vers une solution native cloud.

Components

CluedIn fournit une intégration native à 27 services Azure, dont les composants suivants :

Autres solutions

Vous pouvez également étendre la plateforme à des scénarios alternatifs aux fonctionnalités de base de CluedIn.

Dans cette version de CluedIn, l’extension de la plateforme s’effectue entièrement avec des services Azure natifs. Tous les événements sont exposés sur l’Event Hub, afin que vos développeurs puissent interagir avec eux à leur guise. Vous pouvez utiliser Azure Data Factory pour envoyer (push) des données à CluedIn, ce qui permet d’introduire dans CluedIn des données des différents services Azure. Azure Functions vous permet de vous abonner à Event Hubs où vous pouvez créer vos personnalisations dans tout langage pris en charge dans Azure Functions.

Détails du scénario

Les données de référence doivent permettre de résoudre des problèmes de qualité des données, de gouvernance des données et de maîtrise des données commerciales les plus importantes au sein d’une entreprise. Si vous utilisez actuellement une ou plusieurs instances SQL Server Master Data Services hébergées localement ou dans le cloud, le scénario suivant simplifie l’expérience de migration vers une solution de gestion de données de référence Azure native de CluedIn.

CluedIn fournit une parité des fonctionnalités côte à côte pour SQL MDS, qui permet aux gestionnaires de données et aux équipes MDM de se familiariser avec la migration de leurs charges de travail quotidiennes de MDS vers CluedIn. En outre, CluedIn fournit beaucoup d’autres fonctionnalités de référence précieuses pour la gestion des données, dont une base de données prêtes pour l’extraction d’insights dans votre entreprise.

Fonctionnalités de CluedIn

Les services de données de référence contiennent traditionnellement les principales fonctionnalités suivantes :

  • Prise en charge du contrôle de version de modèle
  • Règles d'entreprise
  • Services de qualité des données
  • Workflow
  • Hierarchies
  • Plug-in Excel

CluedIn fournit des fonctionnalités pour tout ce qui précède. En outre, les cas d’utilisation suivants sont également activés :

  • Vous pouvez désormais visualiser les hiérarchies en mode natif dans Power BI.
  • Vous pouvez migrer des flux de travail, ainsi qu’en générer et les étendre directement dans Power Automate.
  • Les règles d’entreprise et les services de qualité des données sont migrés en mode natif vers le moteur de règles CluedIn.
  • CluedIn fournit un enrichissement de données intégré pour vos enregistrements MDS, afin de corriger et de valider automatiquement les adresses, les informations sur les sociétés, etc.
  • Gérez le consentement et les demandes d’accès des personnes concernées.
  • Écrivez en différé dans l’instance MDS si nécessaire.

CluedIn prend également en charge la migration de l’historique des modifications des données, et peut créer automatiquement un historique de la qualité des données à partir de vos instances MDS. Vous pouvez également exécuter une solution MDS et CluedIn en synchronisation si vous ne souhaitez pas désactiver vos instances MDS dès que le processus de migration est terminé.

CluedIn prend en charge en mode natif Common Data Model et Dataverse. Autrement dit, les utilisateurs de Power Apps, de Power Automate, de Power BI, de chatbots virtuels et de Microsoft Dynamics peuvent tous utiliser en mode natif des données de CluedIn sans devoir effectuer une installation ou une intégration supplémentaires.

CluedIn s’intègre en mode natif avec Azure Purview

Azure Purview apporte des fonctionnalités de gouvernance des données au cloud Microsoft Azure, et CluedIn fournit une intégration native à ses fonctionnalités.

  • Le glossaire Azure Purview est disponible directement dans CluedIn, et inversement.
  • CluedIn peut ingérer des ressources qui ont été inscrites dans Purview.
  • CluedIn analyse les informations personnelles provenant d’Azure Purview, et peut identifier un niveau d’enregistrement où se trouvent les données à caractère personnel. Il ajoute également des supports pour informations personnelles dans des données non structurées et semi-structurées, et pas seulement structurées.
  • CluedIn utilise le jeu de schémas dans Purview pour mapper automatiquement des jeux de données dans CluedIn.
  • CluedIn étend la traçabilité de Purview avec des journaux de traitement détaillés.
  • CluedIn peut lancer des analyses Purview avant la planification d’une nouvelle ingestion de données.

L’image suivante montre l’ensemble des fonctionnalités de traçabilité.

Capture d’écran montrant le jeu de fonctionnalités de traçabilité de CluedIn.

Prise en charge d’Azure Data Factory

Azure Data Factory (ADF) prend en charge la connexion à plus de 100 services. Ces données peuvent être livrées directement à CluedIn à l’aide de flux de données d’envoi (push) en direct provenant d’ADF. CluedIn vous permet non seulement de vous connecter à vos instances Master Data Service (MDS), mais aussi de vous connecter à des centaines de sources de données à partir de SAAS, de bases de données, de lacs de données, et bien plus.

Voici les principales fonctionnalités de prise en charge de l’ADF :

  • Vous pouvez le configurer pour écouter les événements d’Event Hub, puis renvoyer les données dans CluedIn.
  • La prise en charge native est disponible directement dans CluedIn pour configurer des points de terminaison spécifiques de l’ADF.
  • Vous pouvez facilement utiliser des pipelines ADF existants avec un nouveau récepteur cible.

Considérations

Ces considérations implémentent les piliers d’Azure Well-Architected Framework qui est un ensemble de principes directeurs qui permettent d’améliorer la qualité d’une charge de travail. Pour plus d'informations, consultez Microsoft Azure Well-Architected Framework.

Modélisation

CluedIn utilisant un processus de modélisation automatique, il n’est pas nécessaire de migrer ou de recréer des modèles de données à partir de Master Data Services (MDS) ou d’autres sources de données, telles que Microsoft Dynamics. Cette fonctionnalité utilise une base de données de graphe pour générer automatiquement un modèle basé sur les données envoyées au système. En passant d’un modèle relationnel traditionnel à un graphe, vous apportez une valeur ajoutée et une flexibilité considérables à vos initiatives de données de référence. L’approche du graphe n’est pas très différente du style relationnel de modélisation.

L’aspect le plus important de cette modélisation est qu’un style relationnel vous offre, ainsi qu’à votre équipe, une méthode flexible pour représenter vos modèles de données de référence dans leurs différentes formes et tailles. Ce style apporte une immense flexibilité lorsque votre entreprise exige que votre modèle de données de référence s’étende pour s’adapter à différents cas d’utilisation et besoins. CluedIn utilise une approche initiale sans schéma pour l’ingestion de données. Vos données ne doivent pas nécessairement s’inscrire dans un schéma strict et rigide à leur entrée dans la plateforme. Cependant, un schéma strict et rigide peut être appliqué à la sortie des données de CluedIn, quand celles-ci sont utilisées dans les différents cas d’utilisation qui appliquent les données de la plateforme CluedIn.

L’illustration suivante montre l’ensemble de fonctionnalités Relations.

Capture d’écran montrant l’ensemble de fonctionnalités Relations de CluedIn.

Disponibilité

Cette solution est hébergée en tant qu’offre d’application managée, et peut être appliquée dans votre propre locataire, où le fournisseur gérera pour vous les mises à niveau, la maintenance, les sauvegardes et bien plus encore.

CluedIn s’intégrant en mode natif dans Azure Service Health et la maintenance planifiée d’Azure, les mises à niveau et les correctifs ressemblent à des annonces Azure natives. Associé à la grande robustesse de l’environnement Azure, CluedIn peut répondre aux exigences les plus strictes en matière de contrats de niveau de service (ANS).

Efficacité des performances

L’efficacité des performances est la capacité de votre charge de travail à s’adapter à la demande des utilisateurs de façon efficace. Pour plus d’informations, consultez Vue d’ensemble du pilier d’efficacité des performances.

CluedIn séparant le stockage du calcul, le traitement des données est totalement sans état. Étant donné que CluedIn est sauvegardé par un bus de service de streaming, il peut adapter son échelle à vos charges de travail. CluedIn prenant en charge les fonctionnalités de mise à l’échelle automatique Azure dans Azure Kubernetes Service (AKS), la mise à l’échelle peut être automatisée. Pour améliorer les performances du traitement des données, vous allouez simplement davantage de pods de traitement à votre cluster Kubernetes, ce qui peut être entièrement automatisé.

Extensibilité

CluedIn prend en charge l’intégration d’autant d’instances MDS que vous le souhaitez. Par exemple, vous pouvez ingérer et gérer 50 instances MDS dans CluedIn. Vous pouvez soit les exécuter de manière mutualisée, soit les fusionner dans le même compte. Une fois votre solution MDS migrée vers CluedIn, il existe de nombreuses façons d’intégrer de nouveaux systèmes et des données de référence, avec différents choix quant au mode de chargement des données.

CluedIn s’exécute dans des conteneurs Docker et utilise Kubernetes pour héberger et orchestrer les différentes parties de l’application. Grâce à cette architecture, CluedIn fonctionne parfaitement dans des environnements élastiques et peut être mis à l’échelle automatiquement en fonction de la taille et de l’infrastructure nécessaires.

Grâce à la prise en charge native de la mise à l’échelle automatique, CluedIn utilise la puissance d’Azure afin de fournir un environnement évolutif pour les charges de travail de données les plus volumineuses. Il n’est pas rare que des comptes CluedIn aient des dizaines, voire des centaines de millions d’enregistrements dans la plateforme.

Sécurité

La sécurité fournit des garanties contre les attaques délibérées, et contre l’utilisation abusive de vos données et systèmes importants. Pour plus d’informations, consultez Vue d’ensemble du pilier Sécurité.

La sécurité CluedIn accorde des autorisations et des contrôles d’accès aux différents services à l’aide de rôles RBAC Azure, du contrôle des clés de sécurité Azure Key Vault ainsi que du suivi et de la journalisation des accès Azure Monitor. En plus des comptes d’utilisateurs authentifiés, CluedIn prend en charge l’authentification unique (SSO) et les frameworks d’identité. Les requêtes envoyées à l’application CluedIn utilisent des jetons d’accès chiffrés qui n’ont aucune corrélation avec l’identité de l’utilisateur. Grâce à la prise en charge native de Microsoft Entra ID, il suffit de connecter vos informations SAML 2.0 à CluedIn pour qu’elles soient immédiatement utilisées pour gérer l’accès des utilisateurs et les rôles à votre nouvelle solution MDM.

Résilience

CluedIn s’exécute en mode haute disponibilité au niveau du magasin de données et de l’application. En raison de la séparation du stockage et du traitement, CluedIn offre une résistance et une tolérance de panne intégrées. Différentes parties de l’application CluedIn peuvent être mises à l’échelle de manière indépendante afin de répondre aux besoins d’un vaste éventail de charges de travail.

Excellence opérationnelle

CluedIn utilise des pipelines d’intégration continue et livraison continue (CI/CD) d’Azure Pipelines pour gérer les déploiements et les mises à jour propagées dans l’environnement AKS. Des clients peuvent également utiliser cette infrastructure pour déployer leurs propres personnalisations sur CluedIn.

Optimisation des coûts

L’optimisation des coûts consiste à examiner les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez Vue d’ensemble du pilier d’optimisation des coûts.

Les coûts de CluedIn sont initialement bas et la tarification est mise à l’échelle en fonction de votre utilisation. Vous pouvez fixer vos budgets directement dans le portail Azure afin de garder le contrôle de vos coûts opérationnels.

Dimensionnement d’Azure et démarrage d’une évaluation

Vous pouvez démarrer une évaluation de CluedIn sur leur site web. Cela peut également vous aider à mesurer vos coûts d’hébergement Azure avec des estimations Azure prédéfinies pour des environnements de différentes tailles.

Déployer ce scénario

Pour déployer CluedIn à des fins de développement et d’évaluation en utilisant Docker, consultez le Guide d'installation locale.

Pour installer CluedIn en production, vous pouvez installer des instances CluedIn directement à partir de la Place de marché Azure dans votre propre locataire Azure.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes