Huvuddata har fått uppgiften att lösa datakvalitet, datastyrning och mastering av de viktigaste affärsdata i ett företag. Om du för närvarande använder en instans eller instanser av SQL Master Data Services (MDS) lokalt eller i molnet, förenklar följande scenario upplevelsen av att flytta till en ursprunglig Azure-huvuddatahanteringslösning av CluedIn.
Arkitekturen kapslar in många grundpelare för hantering av huvuddata (MDM) i en sammanhängande, konsekvent MDM-lösning från hela lösningen till slutet. CluedIn har infört en mdm-metod med noll modellering som har visat sig påskynda MDM-projekt och öka antalet lyckade MDM-initiativ.
CluedIn ger en funktionsparitet sida vid sida för SQL MDS som gör att datapersonal och MDM-team enkelt kan migrera sina dagliga arbetsbelastningar från MDS till CluedIn. Dessutom ger CluedIn många fler värdefulla funktioner för datahanterare, inklusive en grund för redo för insiktsdata i din verksamhet.
Arkitektur
Följande diagram visar arkitekturstrukturen och dataflödet CluedIn.
CluedIn använder Azures virtuella privata nätverk (VPN) så att du kan ansluta för att migrera lokala MDS-instanser eller ansluta direkt till en molnbaserad SQL VM med en värd MDS-instans. All CluedIn behöver peka på tjänsten Windows Communication Foundation (WCF) för MDS, och den automatiserar processen med att flytta data, regler, arbetsflöden och allt annat till CluedIn eller respektive Microsoft-tjänst.
Med intern integrering Azure Cost Management + Billing kan du enkelt skapa prognoser för dina CluedIn MDM-arbetsbelastningar när du går från MDS till CluedIn. CluedIn använder azure autoskalningsfunktionen för att kunna skala upp och ned miljön. CluedIn integreras också inbyggt i budgetar i Azure, så att du enkelt kan kontrollera dina utgifter i molnet. Den här integreringen eliminerar behovet av tidskrävande prognoser och budgetering, eftersom kostnaderna blir uppenbara inom Azure-plattformen.
SSIS-paket kan migreras till Azure Data Factory för att flytta alla dina ETL-pipelines till en molnbaserad lösning.
Komponenter
CluedIn ger intern integrering till 27 Azure-tjänster, inklusive följande komponenter:
- Azure Data Lake Gen2
- Azure Purview
- Azure Active Directory
- Azure Key Vault
- Azure Event Hubs
- Azure Service Bus
- Azure Monitor
- Azure SQL Managed Instance
- Azure Databricks
- Azure Synapse Analytics
- Microsoft Dataverse
- Azure Functions
- Power Automate
- Power Apps
- Power BI
- Azure Bot Service
- Azure DevOps
- Azure Container Registry
- Azure Data Factory
- Azure Cache for Redis
- Azure Autoscale
Alternativ
Du kan också utöka plattformen till alternativa scenarier till de viktigaste funktionerna i CluedIn.
I den här versionen av CluedIn görs en utökning av plattformen med inbyggda Azure-tjänster. Alla händelser exponeras på händelsehubben så att dina utvecklare kan interagera med dem på det sätt de vill. Azure Data Factory kan användas för att skicka data till CluedIn, som erbjuder stöd för att hämta data över alla olika Azure-tjänster till CluedIn. Azure Functions kan användas för att prenumerera på Event Hubs, där du kan skapa dina anpassningar på något av de språk som stöds i Azure Functions.
CluedIn-funktioner
Huvuddatatjänster innehåller traditionellt följande huvudfunktioner:
- Stöd för modellversionshantering
- Affärsregler
- Datakvalitetstjänster
- Arbetsflöde
- Hierarkier
- Excel plugin-program
CluedIn innehåller funktioner för alla ovanstående. Dessutom är följande användningsfall aktiverade:
- Hierarkier kan nu visualiseras inbyggt i Power BI.
- Arbetsflöden migreras och kan byggas och utökas direkt i Power Automate.
- Affärsregler och tjänster för datakvalitet migreras inbyggt till motorn för CluedIn-regler.
- CluedIn tillhandahåller inbyggd databerikning för dina MDS poster, för att automatiskt åtgärda och verifierade adresser, företagsinformation med mera.
- Hantera medgivande och köra begäranden från dataämnesåtkomst.
- Skriv tillbaka till MDS instansen om det behövs.
CluedIn stöder också migrering av dataändringshistorik och kan automatiskt bygga upp historik för datakvalitet från dina MDS instanser. Du kan också köra en MDS-lösning och CluedIn-synkroniserad om du inte vill stänga av dina MDS-instanser så fort migreringsprocessen har slutförts.
CluedIn har inbyggt stöd för Common Data Model/Dataverse. Med andra ord Power Apps, Power Automate, Power BI, virtuella chattrobotar och Microsoft Dynamics-användare alla använda data från CluedIn inbyggt, utan att behöva någon extra installation eller integrering.
CluedIn integreras inbyggt med Azure Purview
Azure Purview ger datastyrningsfunktioner till Microsoft Azure molnet och CluedIn ger inbyggd integrering till dess funktioner.
- Azure Purview-ordlistan är tillgänglig direkt i CluedIn och vice versa.
- CluedIn kan mata in tillgångar som har registrerats i Purview.
- CluedIn söker igenom personlig information från Azure Purview och kan hitta en postnivå där personliga data finns. Den lägger också till stöd för personlig information i ostrukturerade och halvstrukturerade data, inte bara strukturerade.
- CluedIn använder schemauppsättningen i Purview för att automatiskt mappa datauppsättningar till CluedIn.
- CluedIn utökar Purview-härledning med detaljerade bearbetningsloggar.
- CluedIn kan initiera Purview-genomsökningar innan en ny datainmatning schemaläggs.
Följande bild visar funktionsuppsättningen Härledning.
Azure Data Factory support
Azure Data Factory (ADF) har stöd för anslutning till över 100 tjänster. Dessa data kan levereras direkt till CluedIn med hjälp av liveströmmar av push-data från ADF. CluedIn låter dig inte bara ansluta till dina masterdatatjänstinstanser (MDS), utan även till hundratals datakällor från SAAS, databaser, datasjöar med mera.
Följande är viktiga ADF-stödfunktioner:
- Du kan konfigurera den att lyssna på händelser från Event Hub och sedan kan du mata in data direkt till CluedIn.
- Inbyggt stöd är tillgängligt direkt i CluedIn för att konfigurera ADF-specifika slutpunkter.
- Du kan enkelt använda befintliga ADF-pipelines med en ny mål mottagare.
Överväganden
Modellering
CluedIn använder en automatisk modelleringsprocess, så du behöver inte migrera eller skapa om datamodeller från huvuddatatjänster (MDS) eller andra datakällor, till exempel Microsoft Dynamics. Den här funktionen använder en grafdatabas för att automatiskt skapa en modell som baseras på de data som skickas till systemet. Om du går från en traditionell relationsbaserad modell till en graf får du ett enormt värde och flexibilitet i dina huvuddatainitiativ. Grafen skiljer sig inte så mycket från ett relationsformat för modellering.
Den viktigaste aspekten av den här modellering är att ett relationsformat ger dig och ditt team ett flexibelt sätt att representera dina huvuddatamodeller i alla olika former och storlekar. Det här formatet ger stor flexibilitet när din verksamhet kräver att din huvuddatamodell sträcker sig ut för att passa olika användningsfall och affärskrav. CluedIn använder en uppifrån-schema-mindre metod för datainmatning. Dina data behöver inte passa in i ett strikt och fast schema vid inmatning till plattformen. Ett strikt och fast schema kan dock tillämpas på datans väg utanför CluedIn, när det används i olika användningsfall som tillämpar data från CluedIn-plattformen.
Följande bild visar funktionsuppsättningen Relationer.
Tillgänglighet
Den här lösningen finns som ett erbjudande för hanterade program och kan användas i din egen klientorganisation, där leverantören hanterar uppgraderingar, underhåll, säkerhetskopieringar och mycket mer åt dig.
CluedIn integreras inbyggt i Azure Service Health schemalagt underhåll i Azure, så att uppgraderingar och korrigeringar känns som interna Azure-meddelanden. I kombination med den höga robustheten i Azure-miljön kan CluedIn uppfylla de högsta kraven för serviceavtal (SLA).
Prestanda
CluedIn separerar lagring från beräkning, så bearbetningen av data är helt tillståndslös. Eftersom den backas upp av en strömmande Service Bus innebär det att CluedIn kan skala upp och ned, så mycket eller så lite som du behöver, beroende på dina arbetsbelastningar. CluedIn stöder Funktionerna för automatisk skalning i Azure Azure Kubernetes Service (AKS), så att skalning kan automatiseras. För att öka prestanda vid bearbetning av data allokerar du helt enkelt fler bearbetningspoddar till kubernetes-klustret, som alla kan automatiseras.
Skalbarhet
CluedIn stöder integrering av så många MDS instanser som du behöver. Du kan till exempel mata in och hantera 50 MDS instanser i CluedIn. Du kan antingen köra dem i flera olika program eller alla som blandats i samma konto. När din MDS har migrerats till CluedIn finns det många sätt att registrera nya system och huvuddata, med olika alternativ för att läsa in data.
CluedIn körs i Docker-containrar och använder Kubernetes för att vara värd för och orkestrera de olika delarna i programmet. Den här arkitekturen innebär att CluedIn fungerar bra i elastiska miljöer och automatiskt kan skalas till nödvändiga storlekar och infrastruktur.
Med inbyggt stöd för automatisk skalning använder CluedIn kraften i Azure för att tillhandahålla en skalbar miljö för de största dataarbetsbelastningarna. Det är inte vanligt att CluedIn-konton har tiotals miljoner eller hundratals miljoner poster i plattformen.
Säkerhet
CluedIn-säkerhet ger behörigheter och kontroller åtkomst till olika tjänster via Azure RBAC, med Azure Key Vault kontroll av säkerhetsnyckel och Azure Monitor åtkomstspårning och loggning. Förutom autentiserade användarkonton stöder CluedIn även ramverk för enkel inloggning (SSO) och identitet. Begäranden till Programmet CluedIn använder krypterade åtkomsttoken som inte har någon korrelation med användaridentitet. Med inbyggt Azure Active Directory kan du bara plugin-koppla in din SAML 2.0-information i CluedIn så kan den användas direkt för att hantera användar- och rollåtkomst till din nya MDM-lösning.
Återhämtning
CluedIn körs i ett läge med hög tillgänglighet på datalager- och programnivå. På grund av separationen av lagring och bearbetning har CluedIn inbyggd motståndskraft och feltolerans. Olika delar av Programmet CluedIn kan skalas upp och ned oberoende av varandra för att tillgodose en mängd olika arbetsbelastningar.
DevOps
CluedIn använder Pipelines pipelines för kontinuerlig integrering och kontinuerlig leverans (CI/CD) för att hantera distributioner och löpande uppdateringar till AKS-miljön. Kunder kan också använda den här infrastrukturen för att distribuera sina egna anpassningar till CluedIn.
Distribuera det här scenariot
Om du vill distribuera CluedIn för utveckling och utvärdering med docker, se CluedIn med Docker.
För att installera CluedIn i produktion kan CluedIn-instanser installeras direkt från Azure Marketplace i din egen Azure-klientorganisation.
Prissättning
CluedIn-kostnaderna börjar lågt och, baserat på din användning, skalar upp prissättningen så att den matchar användningen. Budgetar kan anges direkt i Azure Portal så att du kan behålla kontrollen över dina driftskostnader.
Azure-storleksändring och start av en utvärderingsversion
Du kan starta en utvärderingsversion av CluedIn på deras webbplats, som också kan hjälpa dig att begränsa dina Azure-värdkostnader med fördefinierade Azure-uppskattningar för miljöer av olika storlek.
Nästa steg
- Mer information om CluedIn finns på Webbplatsen CluedIn.
- Anvisningar om hur du distribuerar och använder CluedIn finns i Dokumentationen för CluedIn.
- CluedIn med Docker
Relaterade resurser
- Hantering av huvuddata med Azure och CluedIn
- En översikt över Azure-dataarkitekturen finns i Azure Data Architecture Guide (Guide för Azure-dataarkitektur).
- Analys från Azure Synapse