Gestione dei dati in Azure Data Lake con Microsoft Purview

Questo articolo descrive una soluzione che usa Azure Purview per creare una base per la governance e la gestione dei dati in grado di produrre e distribuire dati attendibili di alta qualità.

Architettura

Scaricare un file di Visio di questa architettura.

Flusso di dati

Azure Purview offre un singolo servizio di gestione dei dati unificato per i dati di tutte le origini, nel data lake e negli strumenti di creazione di report finali.

Scenari per la connessione di Azure Purview ai servizi Data Lake:

1. Azure Purview offre una connessione di sicurezza migliorata alle pipeline di inserimento, archiviazione e analisi di Data Lake per catalogare automaticamente gli asset di dati. Fornisce inoltre la derivazione tra questi servizi. I servizi specifici di Azure includono Data Factory, Data Lake Archiviazione e Azure Synapse Analytics.

2. Azure Purview si connette in modo nativo con Power BI e altri strumenti di creazione di report e visualizzazione. Mostra la derivazione dei dati usati nei report finali. Condivide anche le informazioni di riservatezza degli asset di Power BI per impedire l'uso di dati non corretti.

Funzionalità

• Catalogo. Azure Purview Data Catalog può acquisire e descrivere automaticamente le caratteristiche principali dei dati nell'origine, inclusi schema, proprietà tecniche e posizione. Il glossario di Azure Purview consente di creare un livello superiore per una definizione di dati semplice per l'azienda, per migliorare la ricerca e l'individuazione.

• Classificazione. Azure Purview classifica automaticamente set di dati ed elementi dati con 100 classificazioni predefinite di dati sensibili. Consente inoltre di definire schemi di classificazione personalizzati che è possibile applicare manualmente e automaticamente.

• Derivazione. Azure Purview visualizza in modo diagrammatico la derivazione tra data factory, Azure Synapse Analytics e pipeline di Power BI. Queste visualizzazioni mostrano il flusso end-to-end dei dati a un livello granulare.

• Controllo dell'accesso. I criteri di controllo di accesso di Azure Purview consentono di definire e concedere l'accesso agli asset di dati dal catalogo, direttamente nelle origini sottostanti.

• Titolarità. Azure Purview consente di applicare la proprietà e l'amministrazione dei dati agli asset di dati e agli elementi di glossario nel catalogo.

• Informazioni dettagliate. Informazioni dettagliate in Azure Purview forniscono più report predefiniti per aiutare i professionisti della governance dei dati, i professionisti dei dati e i professionisti della governance dei dati a ottenere una comprensione dettagliata del panorama dei dati.

Componenti

• Azure Purview è un catalogo dati unificato che gestisce i dati SaaS (Software as a Service) locali, multicloud e software as a Service. Questo servizio di governance dei dati gestisce le mappe orizzontale dei dati. Le funzionalità includono l'individuazione automatica dei dati, la classificazione dei dati sensibili e la derivazione dei dati.

• Data Factory è un servizio di integrazione dei dati serverless completamente gestito che consente di creare processi ETL e ELT.

• Data Lake Archiviazione offre un'archiviazione cloud altamente scalabile e a sicurezza elevata e conveniente per carichi di lavoro di analisi ad alte prestazioni.

• Azure Synapse Analytics è un servizio di analisi illimitato che riunisce l'integrazione dei dati, il data warehousing aziendale e l'analisi dei Big Data.

• Power BI è una raccolta di app e servizi software. Questi servizi creano e condividono report che si connettono e visualizzano più origini di dati. Quando si usa Power BI con Azure Purview, è possibile catalogare e classificare i dati e fornire una derivazione granulare illustrata dalla fine alla fine.

• collegamento privato di Azure offre connettività privata da una rete virtuale a servizi PaaS (Platform as a Service) di Azure, servizi di cui si è proprietari o servizi partner Microsoft.

• Azure Key Vault archivia e controlla l'accesso a segreti come token, password e chiavi API. Key Vault crea e controlla anche le chiavi di crittografia e gestisce i certificati di sicurezza.

• Microsoft Entra ID offre servizi di gestione delle identità e degli accessi basati sul cloud. Queste funzionalità consentono agli utenti di accedere e accedere alle risorse.

• Monitoraggio di Azure raccoglie e analizza i dati in ambienti e risorse di Azure. Questi dati includono i dati di telemetria delle app, ad esempio le metriche delle prestazioni e i log attività.

Dettagli dello scenario

Quando si caricano più dati in Azure, aumenta anche la necessità di gestire e gestire correttamente i dati in tutte le origini dati e i consumer di dati.

Se non si dispone di dati di alta qualità nel patrimonio di dati di Azure, il valore aziendale di Azure è diminuito. La soluzione consiste nel creare una base per la governance e la gestione dei dati in grado di produrre e distribuire dati attendibili di alta qualità.

I dati devono essere gestiti su larga scala tra archiviazione locale, cloud e multicloud per garantire che soddisfi i requisiti di conformità per la sicurezza, la privacy e l'utilizzo. I dati ben gestiti possono anche migliorare l'individuazione automatica, la condivisione dei dati e la qualità dei dati, migliorando così l'uso dei dati nelle applicazioni e nell'analisi.

Azure Purview offre la governance per trovare, classificare, definire e applicare criteri e standard tra i dati. È possibile usarlo per applicare definizioni, classificazioni e processi di governance in modo uniforme tra i dati. Cataloga tutte le origini dati, identifica le informazioni riservate e definisce la derivazione dei dati. Offre una piattaforma centrale in cui è possibile applicare definizioni e proprietà ai dati. Con una singola visualizzazione sui report e sulle informazioni dettagliate, è possibile generare standard di dati che devono essere applicati ai dati.

L'uso di altri servizi di Azure, Azure Purview può individuare, catalogare, classificare e gestire automaticamente i dati tra offerte e servizi partner di Azure Data Lake.

Potenziali casi d'uso

I requisiti per la gestione dei dati variano in tutti i settori. Per tutti i settori, la necessità di gestire i dati su larga scala è aumentata man mano che le dimensioni e la complessità dei dati e delle architetture dei dati aumentano. Questa soluzione è appropriata per le organizzazioni che traggono vantaggio dai risultati seguenti dei dati ben regolati:

• Individuazione automatica dei dati per accelerare l'adozione del cloud.
• Maggiore sicurezza dei dati per la conformità alle leggi e alle normative sui dati.
• Miglioramento dell'accesso, dell'individuazione e della qualità dei dati gestiti per migliorare l'analisi.

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

• Isabel Arevalo | Senior Cloud Solution Architect

Passaggi successivi

• Case study sui clienti di Azure Purview
• Documentazione tecnica e procedure consigliate di Microsoft Purview
• Che cos'è Microsoft Purview?
• Che cos'è Power BI?
• Cos'è Microsoft Entra ID?
• Che cos'è Data Factory?
• Introduzione a Data Lake Archiviazione
• Informazioni su Azure Databricks
• Panoramica di Monitoraggio di Azure
• Che cos'è Azure Synapse Analytics?
• Che cos'è Azure Key Vault?

Risorse correlate

• Carichi di lavoro di analisi dei dati per settori regolamentati
• Eseguire query su un data lake o un lakehouse con Azure Synapse serverless
• Scegliere un archivio dati analitici in Azure
• Scegliere una tecnologia di analisi dei dati in Azure