Connettersi e gestire Snowflake in Microsoft Purview

  • Articolo

Questo articolo illustra come registrare Snowflake e come autenticare e interagire con Snowflake in Microsoft Purview. Per altre informazioni su Microsoft Purview, vedere l'articolo introduttivo.

Funzionalità supportate

Estrazione dei metadati Analisi completa Analisi incrementale Analisi con ambito Classificazione Applicazione di etichette Criteri di accesso Lignaggio Condivisione dei dati Visualizzazione dinamica
Sì Sì No Sì Sì No No Sì No No

Durante l'analisi dell'origine Snowflake, Microsoft Purview supporta:

  • Estrazione di metadati tecnici, tra cui:

    • Server
    • Database
    • Schemi
    • Tabelle che includono colonne, chiavi esterne e vincoli univoci
    • Viste incluse le colonne
    • Stored procedure che includono il set di dati dei parametri e il set di risultati
    • Funzioni che includono il set di dati dei parametri
    • Tubi
    • Fasi
    • Flussi che includono le colonne
    • Attività
    • Sequenze

  • Recupero della derivazione statica sulle relazioni degli asset tra tabelle, viste, flussi e stored procedure.

Per le stored procedure, è possibile scegliere il livello di dettagli da estrarre nelle impostazioni di analisi. La derivazione delle stored procedure è supportata per i linguaggi Snowflake Scripting (SQL) e JavaScript e generata in base alla definizione della procedura.

Quando si configura l'analisi, è possibile scegliere di analizzare uno o più database Snowflake interamente in base ai nomi o ai criteri di nome specificati oppure definire un'ulteriore ambito dell'analisi in un subset di schemi corrispondenti ai nomi o ai criteri di nome specificati.

Limitazioni note

  • Quando l'oggetto viene eliminato dall'origine dati, attualmente l'analisi successiva non rimuove automaticamente l'asset corrispondente in Microsoft Purview.
  • La derivazione delle stored procedure non è supportata per i modelli seguenti:
    • Stored procedure definite nei linguaggi Java, Python e Scala.
    • Stored procedure che usa SQL EXECUTE IMMEDIATE con query SQL statica come variabile.

Prerequisiti

Nota

Se l'archivio dati non è accessibile pubblicamente (se l'archivio dati limita l'accesso dalla rete locale, dalla rete privata o da indirizzi IP specifici e così via), sarà necessario configurare un runtime di integrazione self-hosted per connettersi.

Autorizzazioni necessarie per l'analisi

Microsoft Purview supporta l'autenticazione di base (nome utente e password) per l'analisi di Snowflake. Il ruolo predefinito dell'utente specificato verrà usato per eseguire l'analisi. L'utente snowflake deve disporre dei diritti di utilizzo in un magazzino e nei database da analizzare e dell'accesso in lettura alle tabelle di sistema per accedere ai metadati avanzati.

Ecco una procedura dettagliata di esempio per creare un utente specifico per l'analisi di Microsoft Purview e configurare le autorizzazioni. Se si sceglie di usare un utente esistente, assicurarsi che disponga di diritti adeguati per gli oggetti warehouse e di database.

  1. Configurare un purview_reader ruolo. A tale scopo, sono necessari i diritti ACCOUNTADMIN .

    USE ROLE ACCOUNTADMIN;

--create role to allow read only access - this will later be assigned to the Microsoft Purview user
CREATE OR REPLACE ROLE purview_reader;

--make sysadmin the parent role
GRANT ROLE purview_reader TO ROLE sysadmin;

  2. Creare un magazzino per Microsoft Purview per l'uso e la concessione dei diritti.

    --create warehouse - account admin required
CREATE OR REPLACE WAREHOUSE purview_wh WITH 
    WAREHOUSE_SIZE = 'XSMALL' 
    WAREHOUSE_TYPE = 'STANDARD' 
    AUTO_SUSPEND = 300 
    AUTO_RESUME = TRUE 
    MIN_CLUSTER_COUNT = 1 
    MAX_CLUSTER_COUNT = 2 
    SCALING_POLICY = 'STANDARD';

--grant rights to the warehouse
GRANT USAGE ON WAREHOUSE purview_wh TO ROLE purview_reader;

  3. Creare un utente per l'analisi purview di Microsoft Purview.

    CREATE OR REPLACE USER purview 
    PASSWORD = '<password>'; 

--note the default role will be used during scan
ALTER USER purview SET DEFAULT_ROLE = purview_reader;

--add user to purview_reader role
GRANT ROLE purview_reader TO USER purview;

  4. Concedere diritti di lettura agli oggetti di database.

    GRANT USAGE ON DATABASE <your_database_name> TO purview_reader;

--grant reader access to all the database structures that purview can currently scan
GRANT USAGE ON ALL SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ on ALL STAGES IN DATABASE <your_database_name> TO role purview_reader;

--grant reader access to any future objects that could be created
GRANT USAGE ON FUTURE SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ ON FUTURE STAGES IN DATABASE <your_database_name> TO role purview_reader;

Registrazione

Questa sezione descrive come registrare Snowflake in Microsoft Purview usando il portale di governance di Microsoft Purview.

Passaggi per la registrazione

Per registrare una nuova origine Snowflake nel catalogo dati, seguire questa procedura:

  1. Passare all'account Microsoft Purview nel portale di governance di Microsoft Purview.
  2. Selezionare Mappa dati nel riquadro di spostamento a sinistra.
  3. Selezionare Registra
  4. In Registra origini selezionare Snowflake. Selezionare Continua.

Nella schermata Registra origini (Snowflake) seguire questa procedura:

  1. Immettere un nome in cui l'origine dati verrà elencata all'interno del catalogo.

  2. Immettere l'URL del server usato per connettersi all'account Snowflake sotto forma di <account_identifier>.snowflakecomputing.com, ad esempio orgname-accountname.snowflakecomputing.com. Altre informazioni sull'identificatore dell'account Snowflake.

  3. Selezionare una raccolta o crearne una nuova (facoltativa)

  4. Completare la registrazione dell'origine dati.

    opzioni di registrazione delle origini

Analisi

Seguire la procedura seguente per analizzare Snowflake per identificare automaticamente gli asset. Per altre informazioni sull'analisi in generale, vedere l'introduzione alle analisi e all'inserimento.

Autenticazione per un'analisi

Il tipo di autenticazione supportato per un'origine Snowflake è l'autenticazione di base.

Creare ed eseguire l'analisi

Per creare ed eseguire una nuova analisi, seguire questa procedura:

  1. Se il server è accessibile pubblicamente, passare al passaggio due. In caso contrario, è necessario assicurarsi che il runtime di integrazione self-hosted sia configurato:

    1. Nel portale di governance di Microsoft Purview accedere al Centro gestione e selezionare Runtime di integrazione.
    2. Assicurarsi che sia disponibile un runtime di integrazione self-hosted. Se non è configurato, usare i passaggi indicati qui per configurare un runtime di integrazione self-hosted.

  2. Nel portale di governance di Microsoft Purview passare a Origini.

  3. Selezionare l'origine Snowflake registrata.

  4. Selezionare + Nuova analisi.

  5. Specificare i dettagli seguenti:

    1. Nome: nome dell'analisi

    2. Connettersi tramite il runtime di integrazione: selezionare il runtime di integrazione risolto automaticamente di Azure se il server è accessibile pubblicamente o il runtime di integrazione self-hosted configurato se non è disponibile pubblicamente.

    3. Credenziali: selezionare le credenziali per connettersi all'origine dati. Assicurarsi di:

      • Selezionare Autenticazione di base durante la creazione di credenziali.
      • Specificare il nome utente usato per connettersi a Snowflake nel campo di input Nome utente.
      • Archiviare la password utente usata per connettersi a Snowflake nella chiave privata.

    4. Warehouse: specificare il nome dell'istanza del magazzino usata per consentire l'analisi in maiuscolo. Il ruolo predefinito assegnato all'utente specificato nelle credenziali deve disporre dei diritti USAGE in questo warehouse.

    5. Database: specificare uno o più nomi di istanza di database da importare in maiuscolo. Separare i nomi nell'elenco con un punto e virgola (;). Ad esempio, db1;db2. Il ruolo predefinito assegnato all'utente specificato nelle credenziali deve disporre di diritti adeguati per gli oggetti di database.

      I modelli di nomi di database accettabili che usano la sintassi delle espressioni SQL LIKE includono l'uso di %. Ad esempio: : A%;%B;%C%;D

      • Iniziare con A o
      • Terminare con B o
      • Contengono C o
      • Uguale a D

    6. Schema: elenco di subset di schemi da importare espressi come elenco separato da punto e virgola. Ad esempio, schema1;schema2. Tutti gli schemi utente vengono importati se l'elenco è vuoto. Tutti gli schemi e gli oggetti di sistema vengono ignorati per impostazione predefinita.

      I modelli di nome dello schema accettabili che usano la sintassi delle espressioni SQL LIKE includono l'uso di %. Ad esempio: : A%;%B;%C%;D

      • Iniziare con A o
      • Terminare con B o
      • Contengono C o
      • Uguale a D

      L'utilizzo di NOT e caratteri speciali non è accettabile.

    7. Dettagli stored procedure: controlla il numero di dettagli importati dalle stored procedure:

      • Firma (impostazione predefinita): nome e parametri delle stored procedure.
      • Codice, firma: nome, parametri e codice delle stored procedure.
      • Derivazione, codice, firma: nome, parametri e codice delle stored procedure e derivazione dei dati derivata dal codice.
      • Nessuno: i dettagli della stored procedure non sono inclusi.

      Nota

      Se si usa Integration Runtime self-hosted per l'analisi, l'impostazione personalizzata diversa dalla firma predefinita è supportata dalla versione 5.30.8541.1. Le versioni precedenti estraggono sempre il nome e i parametri delle stored procedure.

    8. Memoria massima disponibile (applicabile quando si usa il runtime di integrazione self-hosted): memoria massima (in GB) disponibile nella macchina virtuale del cliente da usare per l'analisi dei processi. Dipende dalle dimensioni dell'origine Snowflake da analizzare.

      Nota

      Come regola generale, specificare 1 GB di memoria per ogni 1000 tabelle.

      scan Snowflake

  6. Selezionare Test connessione per convalidare le impostazioni (disponibili quando si usa Azure Integration Runtime).

  7. Selezionare Continua.

  8. Selezionare un set di regole di analisi per la classificazione. È possibile scegliere tra i set di regole personalizzati predefiniti del sistema o esistenti oppure creare un nuovo set di regole inline. Per altre informazioni, vedere l'articolo Classificazione .

    Nota

    Se si usa il runtime self-hosted, sarà necessario eseguire l'aggiornamento alla versione 5.26.404.1 o successiva per usare la classificazione Snowflake. La versione più recente di Microsoft Integration Runtime è disponibile qui.

  9. Scegliere il trigger di analisi. È possibile configurare una pianificazione o eseguire l'analisi una sola volta.

  10. Esaminare l'analisi e selezionare Salva ed esegui.

Visualizzare le analisi e le esecuzioni di analisi

Per visualizzare le analisi esistenti:

  1. Passare al portale di governance di Microsoft Purview. Nel riquadro sinistro selezionare Mappa dati.
  2. Selezionare l'origine dati. È possibile visualizzare un elenco di analisi esistenti nell'origine dati in Analisi recenti oppure è possibile visualizzare tutte le analisi nella scheda Analisi .
  3. Selezionare l'analisi con i risultati che si desidera visualizzare. Il riquadro mostra tutte le esecuzioni di analisi precedenti, insieme allo stato e alle metriche per ogni esecuzione dell'analisi.
  4. Selezionare l'ID di esecuzione per controllare i dettagli dell'esecuzione dell'analisi.

Gestire le analisi

Per modificare, annullare o eliminare un'analisi:

  1. Passare al portale di governance di Microsoft Purview. Nel riquadro sinistro selezionare Mappa dati.

  2. Selezionare l'origine dati. È possibile visualizzare un elenco di analisi esistenti nell'origine dati in Analisi recenti oppure è possibile visualizzare tutte le analisi nella scheda Analisi .

  3. Selezionare l'analisi da gestire. È quindi possibile eseguire automaticamente le seguenti azioni:

    • Modificare l'analisi selezionando Modifica analisi.
    • Annullare un'analisi in corso selezionando Annulla esecuzione analisi.
    • Eliminare l'analisi selezionando Elimina analisi.

Nota

  • L'eliminazione dell'analisi non elimina gli asset del catalogo creati dalle analisi precedenti.
  • L'asset non verrà più aggiornato con le modifiche dello schema se la tabella di origine è stata modificata e la tabella di origine viene analizzata di nuovo dopo aver modificato la descrizione nella scheda Schema di Microsoft Purview.

Lignaggio

Dopo aver eseguito l'analisi dell'origine Snowflake, è possibile esplorare il catalogo dati o cercare il catalogo dati per visualizzare i dettagli dell'asset.

Passare alla scheda asset -> derivazione. Se applicabile, è possibile visualizzare la relazione tra asset. Fare riferimento alla sezione relativa alle funzionalità supportate negli scenari di derivazione di Snowflake supportati. Per altre informazioni sulla derivazione in generale, vedere la guida dell'utente alla derivazione e alla derivazione dei dati.

Visualizzazione di derivazione snowflake

Nota

Se una vista è stata creata da tabelle di database diversi, analizzare tutti i database contemporaneamente usando i nomi nel punto e virgola (;) Elenco.

Suggerimenti per la risoluzione dei problemi

  • Controllare l'identificatore dell'account nel passaggio di registrazione dell'origine. Non includere https:// parte nella parte anteriore.
  • Verificare che il nome del magazzino e il nome del database siano maiuscoli nella pagina di configurazione dell'analisi.
  • Controllare l'insieme di credenziali delle chiavi. Assicurarsi che la password non presenti errori di digitazione.
  • Controllare le credenziali configurate in Microsoft Purview. L'utente specificato deve avere un ruolo predefinito con i diritti di accesso necessari sia per il warehouse che per il database che si sta tentando di analizzare. Vedere Autorizzazioni necessarie per l'analisi. USARE DESCRIBE USER; per verificare il ruolo predefinito dell'utente specificato per Microsoft Purview.
  • Usare Cronologia query in Snowflake per verificare se è in arrivo un'attività.
    • Se si verifica un problema con l'identifer o la password dell'account, non verrà visualizzata alcuna attività.
    • Se si verifica un problema con il ruolo predefinito, dovrebbe essere visualizzata almeno un'istruzione USE WAREHOUSE . . . .
    • È possibile usare la funzione di tabella QUERY_HISTORY_BY_USER per identificare il ruolo utilizzato dalla connessione. La configurazione di un utente dedicato di Microsoft Purview semplifica la risoluzione dei problemi.

Passaggi successivi

Dopo aver registrato l'origine, seguire le guide seguenti per altre informazioni su Microsoft Purview e i dati.