Master data-services migreren naar Azure met CluedIn en Azure Purview

Azure Active Directory
Data Factory
Data Lake Storage Gen2
Databricks
Azure DevOps
DevOps Tool Integrations
Event Hubs
Functions
Key Vault
Monitor
Service Bus
SQL Managed Instance
Synapse Analytics
Power Apps
Power Automate
Power BI

Master Data heeft de taak gekregen om de kwaliteit van gegevens, gegevensgovernance en het beheer van de belangrijkste zakelijke gegevens binnen een bedrijf op te lossen. Als u momenteel een on-premises of in de cloud gehost SQL master data services(MDS)-exemplaar of -exemplaren gebruikt, vereenvoudigt het volgende scenario de ervaring van het verplaatsen naar een systeemeigen Azure-hoofdoplossing voor gegevensbeheer door CluedIn.

De architectuur kapselt veel pijlers van master data management (MDM) in tot een samenhangende, consistente, end-to-end MDM-oplossing. CluedIn heeft een MDM-benadering met nulmodellen geïntroduceerd die is bewezen MDM-projecten te versnellen en het slagingspercentage van de MDM-initiatieven te verhogen.

CluedIn biedt een side-by-side functiepariteit voor SQL MDS waarmee gebruikers vertrouwd zijn met gegevensverdef en MDM-teams om hun dagelijkse workloads eenvoudig te migreren van MDS naar CluedIn. Daarnaast biedt CluedIn veel waardevollere functies voor data master, waaronder een basis van kant-en-klaar-inzicht-gegevens in uw bedrijf.

Architectuur

In het volgende diagram worden de architectuurstructuur en gegevensstroom CluedIn gedemonstreerd.

Diagram met De architectuurstructuur Van CluedIn.

CluedIn maakt gebruik van het virtuele particuliere Azure-netwerk (VPN) zodat u verbinding kunt maken om on-premises MDS-exemplaren te migreren of om rechtstreeks verbinding te maken met een in de cloud gehoste SQL-VM met een gehost MDS-exemplaar. U hoeft alleen maar naar de WCF-service (Windows Communication Foundation) van MDS te wijzen en het proces van het verplaatsen van de gegevens, regels, werkstromen en alle andere gegevens naar CluedIn of de respectieve Microsoft-service te automatiseren.

Met systeemeigen integratie met Azure Cost Management + Billing kunt u eenvoudig uw CluedIn MDM-workloads voorspellen wanneer u van MDS naar CluedIn overstapt. CluedIn maakt gebruik van de azure-functie voor automatisch schalen om de omgeving omhoog en omlaag te kunnen schalen. CluedIn kan ook systeemeigen worden geïntegreerd in budgetten in Azure, zodat u eenvoudig uw uitgaven in de cloud kunt beheren. Deze integratie elimineert de noodzaak van tijdrovende prognoses en budgetten, omdat de kosten duidelijk worden binnen het Azure-platform.

SSIS-pakketten kunnen worden gemigreerd naar Azure Data Factory om al uw ETL-pijplijnen te verplaatsen naar een cloudeigen oplossing.

Onderdelen

CluedIn biedt systeemeigen integratie met 27 Azure-services, waaronder de volgende onderdelen:

Alternatieven

U kunt het platform ook uitbreiden naar alternatieve scenario's naar de kernfuncties van CluedIn.

In deze versie van CluedIn wordt het uitbreiden van het platform allemaal uitgevoerd met native Azure-services. Alle gebeurtenissen worden op de Event Hub getoond, zodat uw ontwikkelaars er op elke manier mee kunnen werken. Azure Data Factory kunnen worden gebruikt om gegevens naar CluedIn te pushen. Dit biedt ondersteuning voor het binnen brengen van gegevens in alle verschillende Azure-services in CluedIn. Azure Functions kunt u zich abonneren op de Event Hubs, waarin u uw aanpassingen kunt maken in een van de ondersteunde talen in Azure Functions.

Functies van CluedIn

Master data services bevatten traditioneel de volgende hoofdfunctionaliteit:

  • Ondersteuning voor modelversies
  • Bedrijfsregels
  • Services voor gegevenskwaliteit
  • Werkstroom
  • Hiërarchieën
  • Excel invoeging

CluedIn biedt functionaliteit voor al het bovenstaande. Bovendien zijn de volgende use-cases ook ingeschakeld:

  • Hiërarchieën kunnen nu in het eigen Power BI.
  • Werkstromen worden gemigreerd en kunnen rechtstreeks in de Power Automate.
  • Bedrijfsregels en services voor gegevenskwaliteit worden standaard gemigreerd naar de Engine voor Aanwijzingenin-regels.
  • CluedIn biedt ingebouwde gegevensverrijking voor uw MDS records, voor het automatisch herstellen en valideren van adressen, bedrijfsgegevens en meer.
  • Toestemming beheren en toegangsaanvragen voor gegevensonderwerpen uitvoeren.
  • Schrijf zo nodig terug naar MDS-instantie.

CluedIn biedt ook ondersteuning voor het migreren van de gegevenswijzigingsgeschiedenis en kan automatisch de geschiedenis van gegevenskwaliteit opbouwen op MDS instanties. U kunt ook een MDS-oplossing en Aanwijzingenin synchroon uitvoeren als u uw MDS-exemplaren niet wilt uitschakelen zodra het migratieproces is voltooid.

CluedIn biedt systeemeigen ondersteuning voor Common Data Model/Dataverse. Met andere woorden, gebruikers van Power Apps, Power Automate, Power BI, virtuele chatbots en Microsoft Dynamics kunnen systeemeigen gebruikmaken van gegevens van CluedIn, zonder dat er extra instellingen of integratie nodig zijn.

CluedIn is systeemeigen geïntegreerd met Azure Purview

Azure Purview brengt mogelijkheden voor gegevensbeheer naar de Microsoft Azure cloud en CluedIn biedt systeemeigen integratie met de functionaliteit.

  • De Azure Purview-woordenlijst is rechtstreeks beschikbaar in CluedIn en vice versa.
  • CluedIn kan assets opnemen die zijn geregistreerd in Purview.
  • CluedIn scant de persoonlijke gegevens van Azure Purview en kan aanwijzen naar een recordniveau waar de persoonlijke gegevens zich zijn. Er wordt ook ondersteuning toegevoegd voor persoonlijke gegevens in ongestructureerde en semi-geïnstrueerde gegevens, niet alleen gestructureerd.
  • CluedIn gebruikt de schemaset in Purview om automatisch gegevenssets toe te wijs aan CluedIn.
  • CluedIn breidt de purview-gegevensverloop uit met gedetailleerde verwerkingslogboeken.
  • CluedIn kan Purview Scans initiëren voordat een nieuwe gegevens opname wordt gepland.

In de volgende afbeelding wordt de set met gegevens van de gegevensset gedemonstreerd.

Schermopname van de functieset CluedIn Lineage.

Azure Data Factory ondersteuning

Azure Data Factory (ADF) biedt ondersteuning voor het maken van verbinding met meer dan 100 services. Deze gegevens kunnen rechtstreeks worden geleverd in CluedIn met behulp van livestreams van pushgegevens van ADF. Met CluedIn kunt u niet alleen verbinding maken met uw MDS-exemplaren (Master Data Service), maar ook met honderden gegevensbronnen vanuit SAAS, databases, data lakes en meer.

Hier volgen enkele belangrijke ADF-ondersteuningsfuncties:

  • U kunt dit instellen om te luisteren naar gebeurtenissen van Event Hub en vervolgens kunt u de gegevens weer in CluedIn zetten.
  • Native ondersteuning is rechtstreeks beschikbaar in CluedIn om ADF-specifieke eindpunten in te stellen.
  • U kunt eenvoudig bestaande ADF-pijplijnen gebruiken met een nieuwe doel-sink.

Overwegingen

Modelleren

CluedIn maakt gebruik van een automatisch modelleringsproces, zodat u geen gegevensmodellen hoeft te migreren of opnieuw te maken vanuit master data services (MDS) of andere gegevensbronnen, zoals Microsoft Dynamics. Deze functie maakt gebruik van een grafiekdatabase om automatisch een model te bouwen op basis van de gegevens die naar het systeem worden verzonden. Als u overstapt van een traditioneel relationeel model naar een grafiek, brengt u enorm veel waarde en flexibiliteit in uw mastergegevensinitiatieven. De graafbenadering verschilt niet zo veel van een relationele stijl van modellering.

Het belangrijkste aspect van deze modellering is dat een relationele stijl u en uw team een flexibele manier biedt om uw hoofdgegevensmodellen weer te geven, in alle verschillende vormen en maten. Deze stijl leidt tot een enorme flexibiliteit, wanneer uw bedrijf vereist dat uw hoofdgegevensmodel wordt aangepast aan verschillende gebruiksgevallen en bedrijfsvereisten. CluedIn maakt gebruik van een schema-minder benadering voor gegevensingestie. Uw gegevens hoeven niet in een nauw en star schema te passen bij de toegang tot het platform. Er kan echter een nauw en star schema worden toegepast op de manier waarop de gegevens uit CluedIn worden gehaald, wanneer het wordt gebruikt in de verschillende gebruiksgevallen waarin de gegevens van het CluedIn-platform worden toegepast.

In de volgende afbeelding ziet u de functieset Relaties.

Schermopname van de functieset CluedIn Relations.

Beschikbaarheid

Deze oplossing wordt gehost als een aanbieding voor beheerde toepassingen en kan worden toegepast in uw eigen tenant, waar de leverancier namens u upgrades, onderhoud, back-ups en meer beheert.

CluedIn kan systeemeigen worden geïntegreerd Azure Service Health en gepland azure-onderhoud, zodat upgrades en patches als systeemeigen Azure-aankondigingen worden gezien. In combinatie met de hoge robuustheid van de Azure-omgeving kan CluedIn voldoen aan de hoogste SLA-vereisten (Service Level Agreement).

Prestaties

Met CluedIn wordt opslag gescheiden van rekenkracht, waardoor de verwerking van gegevens volledig staatloos is. Omdat het wordt geback-upt door een streamingservicebus, betekent dit dat CluedIn omhoog en omlaag kan schalen, zo veel of zo weinig als u nodig hebt, afhankelijk van uw workloads. CluedIn ondersteunt de functies voor automatisch schalen van Azure in Azure Kubernetes Service (AKS), zodat schalen kan worden geautomatiseerd. Als u de prestaties bij de verwerking van gegevens wilt verbeteren, wijst u gewoon meer verwerkingspods toe aan uw Kubernetes-cluster, wat allemaal kan worden geautomatiseerd.

Schaalbaarheid

CluedIn ondersteunt de integratie van zoveel MDS exemplaren als u nodig hebt. U kunt bijvoorbeeld 50 exemplaren van MDS opnemen en beheren in CluedIn. U kunt ze uitvoeren met meerderetenants of allemaal gemengd in hetzelfde account. Zodra uw MDS oplossing is gemigreerd naar CluedIn, zijn er veel manieren om nieuwe systemen en hoofdgegevens te onboarden, met verschillende opties voor het laden van de gegevens.

CluedIn wordt uitgevoerd in Docker-containers en gebruikt Kubernetes om de verschillende onderdelen van de toepassing te hosten en te organiseren. Deze architectuur betekent dat CluedIn goed werkt in elastische omgevingen en automatisch kan worden geschaald naar de benodigde grootten en infrastructuur.

Met systeemeigen ondersteuning voor automatisch schalen maakt CluedIn gebruik van de kracht van Azure om een schaalbare omgeving te bieden voor de grootste gegevensworkloads. Het is niet gebruikelijk dat CluedIn-accounts tientallen miljoenen of honderden miljoenen records op het platform hebben.

Beveiliging

De beveiliging van CluedIn verleent machtigingen en besturingselementen voor toegang tot verschillende services via Azure RBAC, met Azure Key Vault-beveiligingssleutelbeheer en Azure Monitor voor het bijhouden en registreren van toegang. Naast geverifieerde gebruikersaccounts ondersteunt CluedIn ook frameworks voor eenmalige aanmelding (SSO) en identiteit. Aanvragen voor de toepassing CluedIn gebruiken versleutelde toegangstokens die geen correlatie met de gebruikersidentiteit hebben. Met Native Azure Active Directory-ondersteuning kunt u uw SAML 2.0-gegevens eenvoudig invoegen in CluedIn. Deze kan onmiddellijk worden gebruikt voor het beheren van gebruikers- en roltoegang tot uw nieuwe MDM-oplossing.

Flexibiliteit

CluedIn wordt uitgevoerd in een modus voor hoge beschikbaarheid op het niveau van gegevensopslag en toepassing. Vanwege de scheiding van opslag en verwerking heeft CluedIn ingebouwde tolerantie en fouttolerantie. Verschillende onderdelen van de toepassing CluedIn kunnen onafhankelijk omhoog en omlaag worden geschaald om geschikt te zijn voor een breed scala aan workloads.

DevOps

CluedIn maakt gebruik van pijplijnen voor continue integratie en continue levering (CI/CD) van Azure Pipelines om implementaties en rolling updates voor de AKS-omgeving af te handelen. Klanten kunnen deze infrastructuur ook gebruiken om hun eigen aanpassingen te implementeren in CluedIn zelf.

Dit scenario implementeren

Zie CluedIn met Docker als u CluedIn wilt implementeren voor ontwikkelings- en evaluatiedoeleinden met behulp van Docker.

Als u CluedIn in productie wilt installeren, kunnen CluedIn-exemplaren rechtstreeks worden geïnstalleerd vanuit de Azure Marketplace in uw eigen Azure-tenant.

Prijzen

AanwijzingenIn beginnen de kosten laag en worden de prijzen omhoog geschaald op basis van uw gebruik. Budgetten kunnen rechtstreeks in de Azure Portal zodat u de controle over uw operationele kosten kunt houden.

Azure-formaat en een proefversie starten

U kunt een proefversie van CluedIn starten op hun website, die u ook kan helpen bij het bereik van uw Azure-hostingkosten met vooraf gebouwde Azure-schattingen voor omgevingen van verschillende grootte.

Volgende stappen

  • Zie de Website van CluedIn voor meer informatie over CluedIn.
  • Zie de Documentatie van CluedIn voor instructies over het implementeren en gebruiken van CluedIn.
  • CluedIn met Docker