Che cos'è Lakehouse Federation

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Questo articolo presenta la federazione di Lakehouse, la piattaforma federativa di query che consente di usare Azure Databricks per eseguire query su più origini dati esterne. Descrive anche come configurare le connessioni Lakehouse Federation e creare cataloghi esterni nel metastore del catalogo Unity.

Che cos'è Lakehouse Federation?

Lakehouse Federation è la piattaforma di federazione delle query per Azure Databricks. Il termine federazione di query descrive una raccolta di funzionalità che consentono a utenti e sistemi di eseguire query su più origini dati senza dover eseguire la migrazione di tutti i dati a un sistema unificato.

Azure Databricks usa Unity Catalog per gestire la federazione delle query. È possibile configurare connessioni di sola lettura alle soluzioni di database più diffuse usando driver inclusi nei cluster Pro SQL Warehouse, SQL Warehouse serverless e Databricks Runtime. Gli strumenti di governance dei dati e derivazione dei dati di Unity Catalog assicurano che l'accesso ai dati sia gestito e controllato per tutte le query federate eseguite dagli utenti nelle aree di lavoro di Azure Databricks.

Perché usare Lakehouse Federation?

Il lakehouse sottolinea l'archiviazione centrale dei dati per ridurre la ridondanza e l'isolamento dei dati. L'organizzazione potrebbe avere numerosi sistemi dati nell'ambiente di produzione e potrebbe essere necessario eseguire query sui dati nei sistemi connessi per diversi motivi:

• Creazione di report ad hoc.
• Lavoro di tipo proof-of-concept.
• Fase esplorativa delle nuove pipeline O report ETL.
• Supporto dei carichi di lavoro durante la migrazione incrementale.

In ognuno di questi scenari, la federazione delle query consente di ottenere informazioni più rapide, perché è possibile eseguire query sui dati sul posto ed evitare l'elaborazione ETL complessa e dispendiosa in termini di tempo.

Lakehouse Federation è destinato ai casi d'uso in cui:

• Non si vogliono inserire dati in Azure Databricks.
• Si vuole che le query sfruttano le risorse di calcolo nel sistema di database esterno.
• Si vogliono ottenere i vantaggi delle interfacce e della governance dei dati di Unity Catalog, tra cui controllo di accesso con granularità fine, derivazione dei dati e ricerca.

Panoramica della configurazione di Lakehouse Federation

Per rendere disponibile un set di dati per l'esecuzione di query di sola lettura tramite Lakehouse Federation, creare quanto segue:

• Una connessione, un oggetto a protezione diretta in Unity Catalog che specifica un percorso e le credenziali per l'accesso a un sistema di database esterno.
• Un catalogo esterno, un oggetto a protezione diretta in Unity Catalog che esegue il mirroring di un database in un sistema dati esterno, consentendo di eseguire query di sola lettura su tale sistema di dati nell'area di lavoro di Azure Databricks, gestendo l'accesso tramite Unity Catalog.

Origini dati supportate

Lakehouse Federation supporta le connessioni ai tipi di database seguenti:

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Google BigQuery
• Databricks

Requisiti di connessione

Requisiti dell'area di lavoro:

• Area di lavoro abilitata per il catalogo Unity.

Requisiti di calcolo:

• Connettività di rete dal cluster di Databricks Runtime o sql warehouse ai sistemi di database di destinazione. Vedere Raccomandazioni sulla rete per la federazione di Lakehouse.
• I cluster di Azure Databricks devono usare Databricks Runtime 13.3 LTS o versione successiva e la modalità di accesso condiviso o utente singolo.
• I warehouse SQL devono essere Pro o Serverless.

Autorizzazioni necessarie:

• Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio per CREATE CONNECTION il metastore del catalogo Unity collegato all'area di lavoro.
• Per creare un catalogo esterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore e essere il proprietario della connessione o avere il CREATE FOREIGN CATALOG privilegio per la connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Creare una connessione

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora cataloghi o il CREATE CONNECTION comando SQL in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Autorizzazioni necessarie: amministratore o utente metastore con il CREATE CONNECTION privilegio .

Esplora cataloghi

1. Nell'area di lavoro di Azure Databricks fare clic su Catalogo.

2. Nel riquadro sinistro espandere il menu Dati esterni e selezionare Connessione ions.

3. Fare clic su Crea connessione.

4. Immettere un nome di Connessione descrittivo.

5. Selezionare il tipo di Connessione ion (provider di database, ad esempio MySQL o PostgreSQL).

6. Immettere le proprietà di connessione, ad esempio informazioni sull'host, percorso e credenziali di accesso.

   Ogni tipo di connessione richiede informazioni di connessione diverse. Vedere l'articolo relativo al tipo di connessione, elencato nel sommario a sinistra.

7. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.

8. (Facoltativo) Aggiungere un commento.

9. Fai clic su Crea.

Sql

Eseguire il comando seguente in un notebook o nell'editor di query SQL di Databricks. Questo esempio riguarda le connessioni a un database PostgreSQL. Le opzioni variano in base al tipo di connessione. Vedere l'articolo relativo al tipo di connessione, elencato nel sommario a sinistra.

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

È consigliabile usare segreti di Azure Databricks anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Per informazioni sulla gestione delle connessioni esistenti, vedere Gestire le connessioni per Lakehouse Federation.

Creare un catalogo esterno

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, usare una connessione all'origine dati già definita.

Per creare un catalogo esterno, è possibile usare Esplora cataloghi o il CREATE FOREIGN CATALOG comando SQL in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Autorizzazioni necessarie:CREATE CATALOG autorizzazione per il metastore e la proprietà della connessione o il CREATE FOREIGN CATALOG privilegio per la connessione.

Esplora cataloghi

1. Nell'area di lavoro di Azure Databricks fare clic su Catalogo.

2. Fare clic sul pulsante Crea catalogo .

3. Nella finestra di dialogo Crea un nuovo catalogo immettere un nome per il catalogo e selezionare un tipo di oggetto esterno.

4. Selezionare il Connessione che fornisce l'accesso al database di cui si vuole eseguire il mirroring come catalogo del catalogo Unity.

5. Immettere il nome del database di cui si desidera eseguire il mirroring come catalogo.

   I requisiti variano a seconda dell'origine dati:

   • MySQL usa uno spazio dei nomi a due livelli e pertanto non richiede un nome di database.
   • Per le connessioni a un catalogo in un'altra area di lavoro di Databricks, immettere il nome del catalogo di Databricks anziché un nome di database.

6. Fai clic su Crea.

Sql

1. Eseguire il comando SQL seguente in un notebook o in un editor SQL di Databricks. Gli elementi tra parentesi quadre sono facoltativi. Sostituire i valori segnaposto:

   • <catalog-name>: nome del catalogo in Azure Databricks.
   • <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
   • <database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks. Non obbligatorio per MySQL, che usa uno spazio dei nomi a due livelli.
   • <external-catalog-name>: solo da Databricks a Databricks : nome del catalogo nell'area di lavoro di Databricks esterna di cui si esegue il mirroring. Vedere Creare un catalogo esterno.

   CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
   OPTIONS (database '<database-name>');
   

Per informazioni sulla gestione e sull'utilizzo di cataloghi stranieri, vedere Gestire e usare cataloghi stranieri.

Federazione lakehouse e viste materializzate

Databricks consiglia di caricare dati esterni usando la federazione lakehouse quando si creano viste materializzate. Vedere Usare viste materializzate in Databricks SQL.

Quando si usa Lakehouse Federation, gli utenti possono fare riferimento ai dati federati come indicato di seguito:

CREATE MATERIALIZED VIEW xyz AS SELECT * FROM federated_catalog.federated_schema.federated_table;

Limiti

• Le query sono di sola lettura.

• La limitazione delle connessioni viene determinata usando il limite di query simultanee di Databricks SQL. Non è previsto alcun limite tra i magazzini per ogni connessione. Vedere Accodamento e scalabilità automatica per i data warehouse SQL classici e pro.

• Le tabelle e gli schemi con nomi non validi nel catalogo unity non sono supportati e vengono ignorati dal catalogo Unity al momento della creazione di un catalogo esterno. Vedere l'elenco delle regole di denominazione e delle limitazioni in Limitazioni del catalogo Unity.

• I nomi delle tabelle e gli schemi vengono convertiti in lettere minuscole nel catalogo unity. Le ricerche devono anche usare nomi minuscoli. Se sono presenti tabelle o schemi con nomi minuscoli duplicati, solo una delle tabelle o degli schemi viene importata nel catalogo esterno.

• Per ogni tabella esterna a cui si fa riferimento, Azure Databricks pianifica una sottoquery nel sistema remoto per restituire un subset di dati da tale tabella e quindi restituisce il risultato a un'attività executor di Azure Databricks su un singolo flusso.

• La modalità di accesso utente singolo è disponibile solo per gli utenti proprietari della connessione.

• Lakehouse Federation non può eseguire la federazione di tabelle esterne con identificatori con distinzione tra maiuscole e minuscole per le connessioni di Azure Synapse o Redshift.