Connettersi e gestire il catalogo Unity di Azure Databricks in Microsoft Purview (anteprima)

Questo articolo illustra come registrare Azure Databricks e come eseguire l'autenticazione e interagire con il catalogo Unity di Azure Databricks in Microsoft Purview. Per altre informazioni su Microsoft Purview, vedere l'articolo introduttivo.

Importante

Al momento questa funzionalità è disponibile in anteprima. Le Condizioni aggiuntive per l'uso per le anteprime di Microsoft Azure includono termini legali aggiuntivi che si applicano alle funzionalità di Azure in versione beta, in anteprima o in altro modo non ancora rilasciate nella disponibilità generale.

Funzionalità supportate

Estrazione dei metadati	Analisi completa	Analisi incrementale	Analisi con ambito	Classificazione	Applicazione di etichette	Criteri di accesso	Lignaggio	Condivisione dei dati	Visualizzazione dinamica
Sì	Sì	No	Sì	No	No	No	No	No	No

Durante l'analisi del catalogo Unity di Azure Databricks, Microsoft Purview supporta:

• Metastore
• Cataloghi
• Schemi
• Tabelle che includono le colonne
• Viste incluse le colonne

Quando si configura l'analisi, è possibile scegliere di analizzare l'intero catalogo Unity o di definire l'ambito dell'analisi in un subset di cataloghi.

Nota

Questo connettore porta i metadati da Azure Databricks Unity Catalog. Per analizzare i metadati con ambito area di lavoro di Azure Databricks, fare riferimento al connettore Metastore Hive di Azure Databricks.

Limitazioni note

• Attualmente, l'analisi non è supportata se l'area di lavoro di Azure Databricks non consente l'accesso dalla rete pubblica o se l'account Purview non abilita l'accesso da tutte le reti. Questo supporto verrà aggiunto a breve.
• Quando l'oggetto viene eliminato dall'origine dati, attualmente l'analisi successiva non rimuove automaticamente l'asset corrispondente in Microsoft Purview.

Prerequisiti

• È necessario avere un account Azure con una sottoscrizione attiva. Creare un account gratuitamente.

• È necessario disporre di un account Microsoft Purview attivo.

• È necessaria una Key Vault di Azure e per concedere a Microsoft Purview le autorizzazioni per accedere ai segreti.

• Sono necessarie le autorizzazioni Amministratore origine dati e Lettore dati per registrare un'origine e gestirla nel portale di governance di Microsoft Purview. Per altre informazioni sulle autorizzazioni, vedere Controllo di accesso in Microsoft Purview.

• Per analizzare il catalogo Unity di Azure Databricks, Microsoft Purview si connette a un SQL Warehouse nell'area di lavoro e usa il token di accesso personale per l'autenticazione. È necessario avere un'area di lavoro di Azure Databricks abilitata e collegata al metastore da analizzare. Nell'area di lavoro di Azure Databricks:

  • Generare un token di accesso personale e archiviarlo come segreto in Azure Key Vault.

    • Per tutti gli oggetti che si desidera inserire in Microsoft Purview, l'utente deve avere almeno il privilegio SELECT per tabelle/viste, USE CATALOG nel catalogo dell'oggetto e USE SCHEMA nello schema dell'oggetto.

    • Per analizzare tutti gli oggetti in un metastore del catalogo Unity, usare un utente con ruolo di amministratore del metastore. Per altre informazioni, vedere Gestire i privilegi in Unity Catalog e i privilegi del catalogo Unity e gli oggetti a protezione diretta.

  • Creare un'istanza di SQL Warehouse. Se applicabile, è possibile usare anche lo starter warehouse creato automaticamente.

    • Prendere nota del percorso HTTP. È possibile trovarlo nell'area di lavoro di Azure Databricks -> SQL Warehouses -> il warehouse -> Dettagli connessione -> Percorso HTTP.

    • Assicurarsi che l'utente disponga dell'autorizzazione Can Use per connettersi al warehouse SQL di Azure Databricks. Altre informazioni sul controllo di accesso di SQL Warehouse.

Registrazione

Questa sezione descrive come registrare un'area di lavoro di Azure Databricks in Microsoft Purview usando il portale di governance di Microsoft Purview.

1. Passare all'account Microsoft Purview.

2. Selezionare Mappa dati nel riquadro sinistro.

3. Selezionare Registra.

4. In Registra origini selezionare Azure Databricks>Continue.

5. Nella schermata Registra origini (Azure Databricks) eseguire le operazioni seguenti:

   1. In Nome immettere un nome che verrà visualizzato da Microsoft Purview come origine dati.

   2. Per la sottoscrizione di Azure e il nome dell'area di lavoro databricks selezionare la sottoscrizione e l'area di lavoro da analizzare dall'elenco a discesa. L'URL dell'area di lavoro di Databricks viene popolato automaticamente.

   3. In Selezionare una raccolta scegliere una raccolta dall'elenco o crearne una nuova. Questo passaggio è facoltativo.

   

6. Seleziona Fine.

Analisi

Consiglio

Per risolvere eventuali problemi relativi all'analisi:

1. Verificare di aver seguito tutti i prerequisiti.
2. Esaminare la documentazione sulla risoluzione dei problemi di analisi.

Usare la procedura seguente per analizzare Azure Databricks per identificare automaticamente gli asset. Per altre informazioni sull'analisi in generale, vedere Analisi e inserimento in Microsoft Purview.

1. Passare a Origini.

2. Selezionare Azure Databricks registrato.

3. Selezionare + Nuova analisi.

4. Quando richiesto, specificare i dettagli seguenti:

   1. Nome: immettere un nome per l'analisi.

   2. Metodo di estrazione: Indicare di estrarre i metadati dal metastore Hive o dal catalogo Unity. Selezionare Catalogo Unity.

   3. Connettersi tramite il runtime di integrazione: scegliere il runtime di integrazione risolto automaticamente predefinito.

   4. Credenziali: selezionare le credenziali per connettersi all'origine dati. Assicurarsi di:

      • Selezionare Autenticazione token di accesso durante la creazione di credenziali.
      • Specificare il nome del segreto del token di accesso personale creato in Prerequisiti nella casella appropriata.

      Per altre informazioni, vedere Credenziali per l'autenticazione di origine in Microsoft Purview.

   5. Percorso HTTP: Specificare il percorso HTTP di SQL Warehouse di Databricks a cui Microsoft Purview si connetterà ed eseguirà l'analisi, ad esempio /sql/1.0/endpoints/xxxxxxxxxxxxxxxx. È possibile trovarlo nell'area di lavoro di Azure Databricks -> SQL Warehouses -> il warehouse -> Dettagli connessione -> Percorso HTTP.

5. Fare clic su Test connessione per convalidare le impostazioni.

   

6. Selezionare Continua.

7. Nella pagina Ambito analisi selezionare i cataloghi da analizzare.

   

8. Per Esegui analisi, scegliere se configurare una pianificazione o eseguire l'analisi una sola volta.

9. Esaminare l'analisi e selezionare Salva ed esegui.

Al termine dell'analisi, vedere come esplorare e cercare gli asset.

Visualizzare le analisi e le esecuzioni di analisi

Per visualizzare le analisi esistenti:

1. Passare al portale di governance di Microsoft Purview. Nel riquadro sinistro selezionare Mappa dati.
2. Selezionare l'origine dati. È possibile visualizzare un elenco di analisi esistenti nell'origine dati in Analisi recenti oppure è possibile visualizzare tutte le analisi nella scheda Analisi .
3. Selezionare l'analisi con i risultati che si desidera visualizzare. Il riquadro mostra tutte le esecuzioni di analisi precedenti, insieme allo stato e alle metriche per ogni esecuzione dell'analisi.
4. Selezionare l'ID di esecuzione per controllare i dettagli dell'esecuzione dell'analisi.

Gestire le analisi

Per modificare, annullare o eliminare un'analisi:

1. Passare al portale di governance di Microsoft Purview. Nel riquadro sinistro selezionare Mappa dati.

2. Selezionare l'origine dati. È possibile visualizzare un elenco di analisi esistenti nell'origine dati in Analisi recenti oppure è possibile visualizzare tutte le analisi nella scheda Analisi .

3. Selezionare l'analisi da gestire. È quindi possibile eseguire automaticamente le seguenti azioni:

   • Modificare l'analisi selezionando Modifica analisi.
   • Annullare un'analisi in corso selezionando Annulla esecuzione analisi.
   • Eliminare l'analisi selezionando Elimina analisi.

Nota

• L'eliminazione dell'analisi non elimina gli asset del catalogo creati dalle analisi precedenti.
• L'asset non verrà più aggiornato con le modifiche dello schema se la tabella di origine è stata modificata e la tabella di origine viene analizzata di nuovo dopo aver modificato la descrizione nella scheda Schema di Microsoft Purview.

Esplorare e cercare gli asset

Dopo aver eseguito l'analisi di Azure Databricks, è possibile esplorare il catalogo dati o cercare il catalogo dati per visualizzare i dettagli dell'asset.

Durante l'esplorazione in base ai tipi di origine, vengono visualizzate due voci rispettivamente per Azure Databricks Unity Catalog e Azure Databricks . Il primo contiene gli artefatti del catalogo Unity, inclusi il metastore e i relativi cataloghi,schemi/tabelle/viste, mentre il secondo contiene l'area di lavoro.

Dall'asset dell'area di lavoro di Azure Databricks è possibile trovare anche il catalogo Unity associato nella scheda Proprietà, invertito.

Passaggi successivi

Dopo aver registrato l'origine, usare le guide seguenti per altre informazioni su Microsoft Purview e sui dati:

• Eseguire ricerche nel catalogo dati
• Data Estate Insights in Microsoft Purview