Datahantering över Azure Data Lake med Microsoft Purview

Azure Data Factory
Microsoft Purview
Azure Data Lake Storage
Azure Synapse Analytics
Power BI

Lösningsidéer

Den här artikeln är en lösningsidé. Om du vill att vi ska utöka innehållet med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du meddela oss genom att ge GitHub-feedback.

Den här artikeln beskriver en lösning som använder Azure Purview för att skapa en grund för datastyrning och hantering som kan producera och leverera tillförlitliga data av hög kvalitet.

Arkitektur

Architecture diagram that shows how Azure Purview scans and classifies data.

Diagram som visar hur Azure Purview söker igenom och klassificerar data. Data Lake Storage ansluter till Azure Purview via en modern dataplattform. Azure Purview ansluter också till Power BI. Diagrammet visar också integrering mellan dessa tjänster och Microsoft Entra-ID, Azure Monitor och Azure Key Vault.

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

Azure Purview tillhandahåller en enda, enhetlig datahanteringstjänst för data från alla källor, i datasjön och i slutrapporteringsverktygen.

Scenarier för att ansluta Azure Purview till Data Lake-tjänster:

  1. Azure Purview ger en förbättrad säkerhetsanslutning till dina datasjöinmatnings-, lagrings- och analyspipelines för att automatiskt katalogisera datatillgångar. Den tillhandahåller också ursprung i dessa tjänster. Specifika Azure-tjänster är Data Factory, Data Lake Storage och Azure Synapse Analytics.

  2. Azure Purview ansluter internt med Power BI och andra rapporterings- och visualiseringsverktyg. Den visar ursprunget för data som används i slutrapporter. Den delar också känslighetsinformation från Power BI-tillgångarna för att förhindra felaktig dataanvändning.

Viktigt!

Informationen som överförs från källorna till Azure Purview är metadata som beskriver data i de skannade källorna. Inga faktiska data överförs från källorna till Azure Purview.

Funktioner

  • Katalog. Azure Purview Data Catalog kan automatiskt samla in och beskriva viktiga egenskaper för data i källan, inklusive schema, tekniska egenskaper och plats. Med Azure Purview-ordlistan kan en affärsvänlig definition av data läggas ovanpå för att förbättra sökningen och identifieringen.

  • Klassificering. Azure Purview klassificerar automatiskt datauppsättningar och dataelement med 100 fördefinierade klassificeringar av känsliga data. Du kan också definiera egna anpassade klassificeringsscheman som du kan använda manuellt och automatiskt.

  • Ursprung. Azure Purview-diagram visualiserar ursprung i Data Factory, Azure Synapse Analytics och Power BI-pipelines. Dessa visualiseringar visar dataflödet från slutpunkt till slutpunkt på detaljerad nivå.

  • Åtkomstkontroll. Med åtkomstkontrollprincipen i Azure Purview kan du definiera och bevilja åtkomst till datatillgångar från katalogen direkt på de underliggande källorna.

  • Ägande. Med Azure Purview kan du använda dataägarskap och förvaltning för datatillgångar och ordlisteobjekt i katalogen.

  • Insikt. Insikter i Azure Purview innehåller flera fördefinierade rapporter som hjälper CDO:er, dataproffs och datastyrningspersonal att få en detaljerad förståelse för datalandskapet.

Komponenter

  • Azure Purview är en enhetlig datakatalog som hanterar lokala, multimoln- och saaS-data (programvara som en tjänst). Den här datastyrningstjänsten underhåller datalandskapskartor. Funktionerna omfattar automatiserad dataidentifiering, klassificering av känsliga data och data härkomst.

  • Data Factory är en fullständigt hanterad, serverlös dataintegreringstjänst som hjälper dig att konstruera ETL- och ELT-processer.

  • Data Lake Storage tillhandahåller massivt skalbar, kostnadseffektiv molnlagring med hög säkerhet för arbetsbelastningar med höga prestandaanalyser.

  • Azure Synapse Analytics är en obegränsad analystjänst som sammanför dataintegrering, lagring av företagsdata och stordataanalys.

  • Power BI är en samling programtjänster och appar. Dessa tjänster skapar och delar rapporter som ansluter och visualiserar flera datakällor. När du använder Power BI med Azure Purview kan du katalogisera och klassificera dina data och tillhandahålla detaljerad härkomst som illustreras från slutpunkt till slutpunkt.

  • Azure Private Link tillhandahåller privata anslutningar från ett virtuellt nätverk till PaaS-tjänster (Plattform som en tjänst) i Azure, tjänster som du äger eller Microsofts partnertjänster.

  • Azure Key Vault lagrar och styr åtkomsten till hemligheter som token, lösenord och API-nycklar. Key Vault skapar och styr även krypteringsnycklar och hanterar säkerhetscertifikat.

  • Microsoft Entra ID erbjuder molnbaserade identitets- och åtkomsthanteringstjänster. De här funktionerna är ett sätt för användare att logga in och komma åt resurser.

  • Azure Monitor samlar in och analyserar data om miljöer och Azure-resurser. Dessa data innehåller apptelemetri, till exempel prestandamått och aktivitetsloggar.

Information om scenario

När du läser in mer data i Azure växer även behovet av att styra och hantera dessa data i alla dina datakällor och datakonsumenter.

Om du inte har data av hög kvalitet i din Azure-dataegendom minskar affärsvärdet för Azure. Lösningen är att skapa en grund för datastyrning och hantering som kan producera och leverera tillförlitliga data av hög kvalitet.

Data måste hanteras i stor skala i lokal lagring, i molnet och i flera moln för att säkerställa att de uppfyller efterlevnadskraven för säkerhet, sekretess och användning. Välhanterade data kan också förbättra självidentifiering, datadelning och datakvalitet, vilket förbättrar användningen av data i program och analys.

Azure Purview tillhandahåller styrning för att hitta, klassificera, definiera och framtvinga principer och standarder för data. Du kan använda den för att tillämpa definitioner, klassificeringar och styrningsprocesser på ett enhetligt sätt mellan data. Den katalogiserar alla datakällor, identifierar känslig information och definierar data härkomst. Det ger en central plattform där du kan använda definitioner och ägarskap för data. Med en enda vy över rapporter och insikter kan det hjälpa dig att generera datastandarder som ska tillämpas på dina data.

I samarbete med andra Azure-tjänster kan Azure Purview automatiskt identifiera, katalogisera, klassificera och hantera data i Azure Data Lake-erbjudanden och partnertjänster.

Potentiella användningsfall

Kraven för datahantering skiljer sig åt mellan olika branscher. För alla branscher har behovet av att styra data i stor skala ökat i takt med att data- och dataarkitekturernas storlek och komplexitet växer. Detta är lämpligt för organisationer som skulle dra nytta av följande resultat av välstyrda data:

  • Automatisk identifiering av data för att påskynda molnimplementeringen.
  • Förbättrad datasäkerhet för efterlevnad av datalagar och föreskrifter.
  • Förbättrad åtkomst, identifiering och kvalitet på hanterade data för att förbättra analys.

Deltagare

Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.

Huvudförfattare:

Nästa steg