Migrace služeb Master Data Services do Azure pomocí CluedIn a Azure dosah

Azure Active Directory
Data Factory
Data Lake Storage Gen2
Databricks
Azure DevOps
DevOps Tool Integrations
Event Hubs
Functions
Key Vault
Monitor
Service Bus
Spravovaná instance SQL
Synapse Analytics
Power Apps
Power Automate
Power BI

Hlavní data mají za úkol řešit kvalitu dat, zásady správného řízení dat a řízení nejdůležitějších obchodních dat v rámci společnosti. SQL Pokud aktuálně používáte instanci nebo instance hlavních datových služeb (MDS) hostované v místním prostředí nebo v cloudu, následující scénář zjednodušuje přechod do nativního hlavního řešení pro správu dat Azure pomocí CluedIn.

Architektura zapouzdřuje mnoho pilířů správy hlavních dat (MDM) do koherentního, konzistentního a komplexního řešení MDM. CluedIn zavedl přístup MDM s nulovým modelováním, který se osvědčil ke zrychlení projektů MDM a zvýšení úspěšnosti iniciativ MDM.

CluedIn poskytuje paritu funkcí vedle sebe pro SQL MDS, která poskytuje uživatelům známé informace pro správce dat a týmy MDM, aby mohli snadno migrovat své každodenní úlohy z MDS do CluedIn. Kromě toho CluedIn poskytuje mnohem cennější funkce hlavního datového hlavního systému, včetně základu dat připravených k přehledům ve vaší společnosti.

Architektura

Následující diagram znázorňuje architektonickou strukturu CluedIn a tok dat.

Diagram znázorňující architektonickou strukturu CluedIn

CluedIn používá virtuální privátní síť Azure (VPN) k umožnění připojení k migraci místních instancí MDS nebo k přímému připojení k virtuálnímu počítači hostovanému v cloudu SQL s hostovanou instancí MDS. Vše, co CluedIn potřebuje, je odkazovat na službu Windows Communication Foundation (WCF) služby MDS a automatizovat proces přesunu dat, pravidel, pracovních postupů a všeho ostatního do CluedIn nebo příslušné služby Microsoftu.

Díky nativní integraci Azure Cost Management + Billing můžete snadno předpovídat úlohy CluedIn MDM při přechodu z MDS na CluedIn. CluedIn využívá funkci automatického škálování Azure, aby bylo možné škálovat prostředí nahoru a dolů. CluedIn se také nativně integruje do rozpočtů v Azure, abyste mohli snadno řídit útratu v cloudu. Tato integrace eliminuje potřebu časově náročného prognózování a rozpočtování, protože náklady budou v rámci platformy Azure zřejmé.

Balíčky SSIS je možné migrovat Azure Data Factory, aby se všechny kanály ETL přesunuly do nativního cloudového řešení.

Komponenty

CluedIn poskytuje nativní integraci do 27 služeb Azure, včetně následujících komponent:

Alternativy

Platformu můžete také rozšířit na alternativní scénáře na základní funkce CluedIn.

V této verzi cluedIn se rozšíření platformy provádí s nativními službami Azure. Všechny události se vystavují v centru událostí, aby s nimi vývojáři mohli pracovat libovolným způsobem. Azure Data Factory lze použít k nabízení dat do CluedIn, která nabízí podporu pro přenos dat napříč všemi různými službami Azure do CluedIn. Azure Functions můžete použít k přihlášení k odběru Event Hubs, ve kterém můžete vytvářet vlastní nastavení v libovolném podporovaném jazyce v Azure Functions.

Funkce CluedIn

Hlavní datové služby tradičně obsahují následující hlavní funkce:

  • Podpora pro model versioning
  • Obchodní pravidla
  • Služby pro kvalitu dat
  • Pracovní postup
  • Hierarchie
  • Excel modul plug-in

CluedIn poskytuje funkce pro všechny výše uvedené možnosti. Kromě toho jsou povoleny také následující případy použití:

  • Hierarchie je teď možné nativně vizualizovat v Power BI.
  • Pracovní postupy se migrují a lze je vytvořit a rozšířit přímo v Power Automate.
  • Obchodní pravidla a služby kvality dat se nativně migrují do stroje pravidel CluedIn.
  • CluedIn nabízí integrované rozšiřování dat pro MDS záznamů, automatické opravy a ověření adres, informací o společnosti a dalších.
  • Správa souhlasu a spouštění žádostí o přístup subjektu údajů
  • V případě potřeby zapište MDS do instance služby.

CluedIn také podporuje migraci historie změn dat a dokáže automaticky vytvářet historii kvality dat z vašich MDS instancí. Pokud nechcete, aby se instance MDS po dokončení procesu migrace vypnuly, můžete také spustit synchronizované řešení MDS a CluedIn.

CluedIn nativně podporuje Common Data Model / Dataverse. Jinými slovy, Power Apps, Power Automate, Power BI, virtuální chatovací roboti a uživatelé Microsoft Dynamics mohou nativně využívat data z CluedIn, aniž by bylo nutné další nastavení nebo integraci.

CluedIn se nativně integruje s Azure Purview

Azure Purview přináší možnosti zásad správného řízení dat Microsoft Azure cloudu a CluedIn poskytuje nativní integraci do jeho funkcí.

  • Glosář Azure Purview je k dispozici přímo v cluedIn a naopak.
  • CluedIn může ingestovat prostředky, které byly zaregistrovány v Purview.
  • CluedIn prohledá osobní údaje z Azure Purview a může určit úroveň záznamu, kde se osobní údaje nachází. Přidává také podporu osobních údajů v nestrukturovaných a částečně strukturovaných datech, nejen strukturovaných.
  • CluedIn použije sadu schémat v Purview k automatickému mapování datových sad na CluedIn.
  • CluedIn rozšiřuje purview lineage o podrobné protokoly zpracování.
  • CluedIn může zahájit purview scany dříve, než se naplánuje nový příjem dat.

Následující obrázek znázorňuje sadu funkcí Lineage.

Snímek obrazovky zobrazující sadu funkcí CluedIn Lineage

Azure Data Factory podpory

Azure Data Factory (ADF) přináší podporu pro připojení k více než 100 službám. Tato data je možné přímo doručovat do CluedIn pomocí živých datových proudů nabízených oznámení z ADF. CluedIn vám nejen umožňuje připojit se k instancím hlavní datové služby (MDS), ale také se připojuje ke stovkám zdrojů dat z celého SAAS, databází, datových jezer a dalších zdrojů.

Toto jsou klíčové funkce podpory ADF:

  • Můžete ho nastavit tak, aby naslouchal událostem z centra událostí, a pak můžete data vracet zpět do CluedIn.
  • Nativní podpora je dostupná přímo v rámci cluedIn pro nastavení koncových bodů specifických pro ADF.
  • Stávající kanály ADF můžete snadno využít s novou cílovou jímku.

Požadavky

Modelování

CluedIn používá automatický proces modelování, takže není nutné migrovat ani znovu vytvářet datové modely z hlavních datových služeb (MDS) nebo jiných zdrojů dat, jako je Microsoft Dynamics. Tato funkce využívá grafovou databázi k automatickému vytvoření modelu založeného na datech odesílaných do systému. Pokud přechádíte z tradičního relačního modelu na graf, přinesete v hlavních iniciativách dat obrovskou hodnotu a flexibilitu. Grafový přístup se neliší od relačního stylu modelování.

Nejdůležitějším aspektem tohoto modelování je, že relační styl vám a vašemu týmu poskytne flexibilní způsob, jak reprezentovat hlavní datové modely ve všech různých tvarech a velikostech. Tento styl vede k obrovské flexibilitě, když vaše firma vyžaduje, aby se hlavní datový model roztáhl tak, aby se vešel do různých případů použití a obchodních požadavků. CluedIn využívá přístup k příjmu dat bez schématu. Při vstupu do platformy se vaše data nemusí vměšovat do pevného schématu. Při použití v různých případech použití dat z platformy CluedIn je však možné u dat použít přísné a pevné schéma mimo cluedIn.

Následující obrázek ukazuje sadu funkcí Relace.

Snímek obrazovky zobrazující sadu funkcí CluedIn Relations

Dostupnost

Toto řešení je hostované jako nabídka spravovaných aplikací a můžete ho použít ve vlastním tenantovi, kde dodavatel bude spravovat upgrady, údržbu, zálohy a další za vás.

CluedIn se nativně integruje do Azure Service Health a plánované údržby Azure, takže upgrady a opravy jsou jako nativní oznámení Azure. V kombinaci s vysokou odolností prostředí Azure může CluedIn splňovat nejvyšší požadavky na smlouvu o úrovni služeb (SLA).

Výkon

CluedIn odděluje úložiště od výpočetních prostředků, takže zpracování dat je zcela bez stavu. Protože je zálohovaná streamováním sběrnice služby, znamená to, že CluedIn může škálovat nahoru a dolů podle potřeby a záviset na vašich úlohách. CluedIn podporuje funkce automatického škálování Azure uvnitř Azure Kubernetes Service (AKS), aby bylo možné škálování automatizovat. Pokud chcete zvýšit výkon zpracování dat, jednoduše přidělíte clusteru Kubernetes další pody pro zpracování, které je možné automatizovat.

Škálovatelnost

CluedIn podporuje integraci tolika MDS instancí, kolik potřebujete. Můžete například ingestovat a spravovat 50 MDS instancí v CluedIn. Můžete je buď spustit ve vícetenantech, nebo všechny zmíchané ve stejném účtu. Po migraci MDS do cluedIn existuje mnoho způsobů, jak zanést nové systémy a hlavní data s různými volbami, jak data načíst.

CluedIn běží v kontejnerech Dockeru a používá Kubernetes k hostování a orchestraci různých částí aplikace. Tato architektura znamená, že CluedIn funguje dobře v elastických prostředích a může se automaticky škálovat na potřebné velikosti a infrastrukturu.

Díky nativní podpoře automatického škálování využívá CluedIn výkon Azure k poskytování škálovatelného prostředí pro největší datové úlohy. Není běžné, že účty CluedIn mají na platformě desítky milionů nebo stovky milionů záznamů.

Zabezpečení

CluedIn zabezpečení uděluje oprávnění a řídí přístup k různým službám prostřednictvím Azure RBAC Azure Key Vault řízením klíčů zabezpečení a Azure Monitor a protokolováním přístupu. Kromě ověřených uživatelských účtů podporuje CluedIn také jednotné přihlašování (SSO) a architektury identit. Požadavky na aplikaci CluedIn používají šifrované přístupové tokeny, které nemají žádnou korelaci s identitou uživatele. S podporou nativních Azure Active Directory můžete informace SAML 2.0 jednoduše za plug-inovat do CluedIn a je možné je okamžitě použít ke správě přístupu uživatelů a rolí k vašemu novému řešení MDM.

Odolnost

CluedIn běží v režimu vysoké dostupnosti na úrovni úložiště dat a aplikace. Vzhledem k oddělení úložiště a zpracování má CluedIn integrovanou odolnost proti chybám a odolnost proti chybám. Různé části aplikace CluedIn je možné nezávisle škálovat nahoru a dolů, aby bylo možné pracovat s nejrůznějšími úlohami.

DevOps

CluedIn používá Azure Pipelines kontinuální integraci a průběžné doručování (CI/CD) ke zpracování nasazení a postupné aktualizace prostředí AKS. Zákazníci také mohou tuto infrastrukturu využít k nasazení vlastních vlastních nastavení do samotného souboru CluedIn.

Nasazení tohoto scénáře

Pokud chcete pomocí Dockeru nasadit CluedIn pro účely vývoje a vyhodnocení, podívejte se na cluedIn s Dockerem.

Pokud chcete nainstalovat CluedIn do produkčního prostředí, můžete instance CluedIn nainstalovat přímo z Azure Marketplace ve vašem vlastním tenantovi Azure.

Ceny

CluedIn costs start low and, based off your usage, will scale up pricing to match the usage. Rozpočty je možné nastavit přímo v rámci Azure Portal, abyste měli kontrolu nad provozními náklady.

Změna velikosti a spuštění zkušební verze Azure

Na jejich webu můžete začít se zkušební verzí cluedIn, která vám také pomůže nastavit rozsah nákladů na hostování v Azure pomocí předem připravených odhadů Azure pro různá prostředí.

Další kroky