Bewerken

Hoofdgegevensservices migreren naar Azure met CluedIn en Azure Purview

Microsoft Purview
Azure Data Factory
Azure SQL Database
Azure Synapse Analytics

De architectuur omvat veel pijlers van master data management (MDM) in een coherente, consistente, end-to-end MDM-oplossing. CluedIn heeft een zero-modeling MDM-benadering geïntroduceerd die bewezen is om MDM-projecten te versnellen en de slagingspercentages van de MDM-initiatieven te verhogen.

Architectuur

In het volgende diagram ziet u de architectonische structuur en gegevensstroom Van CluedIn.

Diagram showing CluedIn architectural structure.

Een Visio-bestand van deze architectuur downloaden.

Werkstroom

CluedIn maakt gebruik van het vpn (Virtual Private Network) van Azure, zodat u verbinding kunt maken om on-premises MDS-exemplaren te migreren of om rechtstreeks verbinding te maken met een in de cloud gehoste SQL-VM met een gehost MDS-exemplaar. Alle CluedIn-behoeften zijn om te verwijzen naar de WCF-service (Windows Communication Foundation) van MDS en het automatiseert het proces van het verplaatsen van de gegevens, regels, werkstromen en alles anders naar CluedIn of de respectieve Microsoft-service.

Met systeemeigen integratie met Azure Cost Management + Billing kunt u eenvoudig uw CluedIn MDM-workloads voorspellen terwijl u overstapt van MDS naar CluedIn. CluedIn maakt gebruik van de functie Automatische schaalaanpassing van Azure om de omgeving omhoog en omlaag te kunnen schalen. CluedIn integreert ook systeemeigen in budgetten in Azure, zodat u eenvoudig uw uitgaven in de cloud kunt beheren. Deze integratie elimineert de noodzaak van tijdrovende prognoses en budgettering, omdat de kosten duidelijk worden binnen het Azure-platform.

SSIS-pakketten kunnen worden gemigreerd naar Azure Data Factory om al uw ETL-pijplijnen te verplaatsen naar een cloudeigen oplossing.

Onderdelen

CluedIn biedt systeemeigen integratie met 27 Azure-services, waaronder de volgende onderdelen:

Alternatieven

U kunt het platform ook uitbreiden naar alternatieve scenario's naar de belangrijkste functies van CluedIn.

In deze versie van CluedIn wordt het uitbreiden van het platform uitgevoerd met systeemeigen Azure-services. Alle gebeurtenissen worden weergegeven op de Event Hub, zodat uw ontwikkelaars op elke gewenste manier met hen kunnen communiceren. Azure Data Factory kan worden gebruikt om gegevens te pushen naar CluedIn, dat ondersteuning biedt voor het ophalen van gegevens in alle verschillende Azure-services in CluedIn. Azure Functions kan worden gebruikt om u te abonneren op de Event Hubs, waarin u uw aanpassingen kunt maken in een van de ondersteunde talen in Azure Functions.

Scenariodetails

Master Data heeft de taak gekregen om gegevenskwaliteit, gegevensbeheer en mastering van de belangrijkste zakelijke gegevens binnen een bedrijf op te lossen. Als u momenteel een on-premises of in de cloud gehoste MDS-instantie (SQL Master Data Services) of -exemplaren gebruikt, vereenvoudigt het volgende scenario de ervaring van het overstappen op een systeemeigen Azure-hoofdoplossing voor gegevensbeheer door CluedIn.

CluedIn biedt een pariteit van functies naast elkaar voor SQL MDS die gebruikerskennis biedt voor gegevensstewards en MDM-teams om eenvoudig hun dagelijkse workloads te migreren van MDS naar CluedIn. Bovendien biedt CluedIn veel waardevollere functies voor datamasters, waaronder een basis van kant-en-klare gegevens in uw bedrijf.

CluedIn-functies

Hoofdgegevensservices bevatten traditioneel de volgende hoofdfunctionaliteit:

  • Ondersteuning voor modelversiebeheer
  • Bedrijfsregels
  • Services voor gegevenskwaliteit
  • Werkstroom
  • Hiërarchieën
  • Excel-invoegtoepassing

CluedIn biedt functionaliteit voor al het bovenstaande. Daarnaast zijn de volgende use-cases ook ingeschakeld:

  • Hiërarchieën kunnen nu systeemeigen worden gevisualiseerd in Power BI.
  • Werkstromen worden gemigreerd en kunnen rechtstreeks in Power Automate worden gebouwd en uitgebreid.
  • Bedrijfsregels en services voor gegevenskwaliteit worden systeemeigen gemigreerd naar de CluedIn-regelengine.
  • CluedIn biedt ingebouwde gegevensverrijking voor uw MDS-records, om adressen, bedrijfsgegevens en meer automatisch op te lossen en te valideren.
  • Beheer toestemming en voer aanvragen voor toegang van betrokkenen uit.
  • Schrijf zo nodig terug naar het MDS-exemplaar.

CluedIn biedt ook ondersteuning voor het migreren van gegevenswijzigingsgeschiedenis en kan automatisch de geschiedenis van de gegevenskwaliteit van uw MDS-exemplaren opbouwen. U kunt ook een MDS-oplossing en CluedIn in-sync uitvoeren als u uw MDS-exemplaren niet wilt uitschakelen zodra het migratieproces is voltooid.

CluedIn biedt systeemeigen ondersteuning voor het Common Data Model/Dataverse. Met andere woorden, Power Apps, Power Automate, Power BI, virtuele chatbots en Microsoft Dynamics-gebruikers kunnen allemaal systeemeigen gegevens van CluedIn gebruiken, zonder dat er extra instellingen of integratie nodig zijn.

CluedIn integreert systeemeigen met Azure Purview

Azure Purview brengt mogelijkheden voor gegevensbeheer naar de Microsoft Azure-cloud en CluedIn biedt systeemeigen integratie met de functionaliteit ervan.

  • De Azure Purview-woordenlijst is rechtstreeks beschikbaar in CluedIn en vice versa.
  • CluedIn kan assets opnemen die zijn geregistreerd in Purview.
  • CluedIn scant de persoonlijke gegevens van Azure Purview en kan worden ingesteld op een recordniveau waar de persoonlijke gegevens zich bevinden. Het voegt ook ondersteuning toe voor persoonlijke gegevens in ongestructureerde en semi-gestructureerde gegevens, niet alleen gestructureerd.
  • CluedIn gebruikt de schemaset in Purview om automatisch gegevenssets toe te wijzen aan CluedIn.
  • CluedIn breidt de Purview-herkomst uit met gedetailleerde verwerkingslogboeken.
  • CluedIn kan Purview-scans initiëren voordat een nieuwe gegevensopname is gepland.

In de volgende afbeelding ziet u de functieset Herkomst.

Screenshot showing the CluedIn Lineage feature set.

Ondersteuning voor Azure Data Factory

Azure Data Factory (ADF) biedt ondersteuning voor het maken van verbinding met meer dan 100 services. Deze gegevens kunnen rechtstreeks in CluedIn worden geleverd met behulp van livestreams van pushgegevens van ADF. Met CluedIn kunt u niet alleen verbinding maken met uw MDS-exemplaren (Master Data Service), maar ook verbinding maken met honderden gegevensbronnen vanuit SAAS, databases, data lakes en meer.

Hieronder vindt u belangrijke ADF-ondersteuningsfuncties:

  • U kunt deze instellen om naar gebeurtenissen van Event Hub te luisteren en vervolgens kunt u de gegevens rechtstreeks terugsturen naar CluedIn.
  • Systeemeigen ondersteuning is rechtstreeks beschikbaar in CluedIn om ADF-specifieke eindpunten in te stellen.
  • U kunt eenvoudig bestaande ADF-pijplijnen gebruiken met een nieuwe doelsink.

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

Modellen maken

CluedIn maakt gebruik van een automatisch modelleringsproces, dus het is niet nodig om gegevensmodellen te migreren of opnieuw te maken op basis van master data services (MDS) of andere gegevensbronnen, zoals Microsoft Dynamics. Deze functie maakt gebruik van een grafiekdatabase om automatisch een model te bouwen op basis van de gegevens die naar het systeem worden verzonden. Als u overstapt van een traditioneel relationeel model naar een grafiek, brengt u enorme waarde en flexibiliteit met zich mee in uw mastergegevensinitiatieven. De grafiekbenadering is niet zo anders dan een relationele stijl van modellering.

Het belangrijkste aspect van deze modellering is dat een relationele stijl u en uw team een flexibele manier biedt om uw modelmodellen te vertegenwoordigen, in alle verschillende vormen en maten. Deze stijl leidt tot enorme flexibiliteit, wanneer uw bedrijf vereist dat uw mastergegevensmodel wordt uitgerekt om in verschillende gebruiksscenario's en zakelijke vereisten te passen. CluedIn maakt gebruik van een vooraf schemaloze benadering voor gegevensopname. Uw gegevens hoeven niet in een strak en stijf schema te passen bij het invoeren van het platform. Er kan echter een strak en stijf schema worden toegepast op de manier waarop de gegevens worden verwijderd uit CluedIn, wanneer het wordt gebruikt in de verschillende gebruiksvoorbeelden die de gegevens van het CluedIn-platform toepassen.

In de volgende afbeelding ziet u de functieset Relaties.

Screenshot showing the CluedIn Relations feature set.

Beschikbaarheid

Deze oplossing wordt gehost als een aanbieding voor beheerde toepassingen en kan worden toegepast in uw eigen tenant, waarbij de leverancier namens u upgrades, onderhoud, back-ups en meer beheert.

CluedIn integreert systeemeigen onderhoud in Azure Service Health en gepland azure-onderhoud, zodat upgrades en patches lijken op systeemeigen Azure-aankondigingen. In combinatie met de hoge robuustheid in de Azure-omgeving kan CluedIn voldoen aan de hoogste SLA-vereisten (Service Level Agreement).

Prestatie-efficiëntie

Prestatie-efficiëntie is de mogelijkheid om op efficiënte wijze uw werkbelasting te schalen om te voldoen aan de vereisten die gebruikers eraan stellen. Zie overzicht van de pijler Prestatie-efficiëntie voor meer informatie.

CluedIn scheidt de opslag van de berekening, dus de verwerking van gegevens is volledig staatloos. Omdat het wordt ondersteund door een streamingservicebus, betekent dit dat CluedIn omhoog en omlaag kan schalen, zo veel of zo weinig als u nodig hebt, afhankelijk van uw workloads. CluedIn ondersteunt de functies voor automatische schaalaanpassing van Azure in Azure Kubernetes Service (AKS), zodat schalen kan worden geautomatiseerd. Als u de prestaties van de verwerking van gegevens wilt verbeteren, wijst u gewoon meer verwerkingspods toe aan uw Kubernetes-cluster, wat allemaal kan worden geautomatiseerd.

Schaalbaarheid

CluedIn ondersteunt de integratie van zo veel MDS-exemplaren als u nodig hebt. U kunt bijvoorbeeld 50 MDS-exemplaren opnemen en beheren in CluedIn. U kunt ze uitvoeren met meerdere tenants of allemaal in hetzelfde account. Zodra uw MDS-oplossing is gemigreerd naar CluedIn, zijn er veel manieren om nieuwe systemen en hoofdgegevens te onboarden, met verschillende opties voor het laden van de gegevens.

CluedIn wordt uitgevoerd in Docker-containers en gebruikt Kubernetes om de verschillende onderdelen van de toepassing te hosten en te organiseren. Deze architectuur betekent dat CluedIn goed werkt in elastische omgevingen en automatisch kan worden geschaald naar de benodigde grootten en infrastructuur.

Met systeemeigen ondersteuning voor automatisch schalen gebruikt CluedIn de kracht van Azure om een schaalbare omgeving te bieden voor de grootste gegevensworkloads. Het is niet gebruikelijk voor CluedIn-accounts om tientallen miljoenen of honderden miljoenen records in het platform te hebben.

Beveiliging

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Overzicht van de beveiligingspijler voor meer informatie.

CluedIn-beveiliging verleent machtigingen en beheert toegang tot verschillende services via Azure RBAC, met Azure Key Vault-beveiligingssleutelbeheer en Azure Monitor-toegangstracering en logboekregistratie. Naast geverifieerde gebruikersaccounts biedt CluedIn ook ondersteuning voor eenmalige aanmelding (SSO) en identiteitsframeworks. Aanvragen voor de CluedIn-toepassing maken gebruik van versleutelde toegangstokens die geen correlatie hebben met de gebruikersidentiteit. Met systeemeigen Microsoft Entra ID-ondersteuning kunt u eenvoudig uw SAML 2.0-informatie in CluedIn invoegtoepassingen en deze direct gebruiken voor het beheren van gebruikers- en roltoegang tot uw nieuwe MDM-oplossing.

Tolerantie

CluedIn wordt uitgevoerd in een modus met hoge beschikbaarheid op gegevensarchief en toepassingsniveau. Door de scheiding van opslag en verwerking heeft CluedIn ingebouwde weerstand en fouttolerantie. Verschillende onderdelen van de CluedIn-toepassing kunnen onafhankelijk van elkaar worden geschaald om te voorzien in een diverse reeks workloads.

Operationele uitmuntendheid

CluedIn maakt gebruik van pijplijnen voor continue integratie en continue levering (CI/CD) van Azure Pipelines voor het verwerken van implementaties en rolling updates voor de AKS-omgeving. Klanten kunnen deze infrastructuur ook gebruiken om hun eigen aanpassingen in CluedIn zelf te implementeren.

Kostenoptimalisatie

Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.

De kosten van CluedIn beginnen laag en schalen op basis van uw gebruik de prijzen op zodat deze overeenkomen met het gebruik. Budgetten kunnen rechtstreeks in Azure Portal worden ingesteld, zodat u de controle over uw operationele kosten kunt behouden.

De grootte en het starten van een proefversie van Azure

U kunt een proefversie van CluedIn starten op hun website, waarmee u uw Azure-hostingkosten kunt beperken met vooraf samengestelde Azure-schattingen voor omgevingen van verschillende grootten.

Dit scenario implementeren

Als u CluedIn wilt implementeren voor ontwikkelings- en evaluatiedoeleinden met behulp van Docker, raadpleegt u de lokale installatiehandleiding.

Als u CluedIn in productie wilt installeren, kunnen CluedIn-exemplaren rechtstreeks vanuit Azure Marketplace in uw eigen Azure-tenant worden geïnstalleerd.

Bijdragers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen