Share via

Eseguire query federate in Amazon Redshift

  • Articolo

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Questo articolo descrive come configurare Lakehouse Federation per eseguire query federate su Esegui query su Dati Amazon Redshift non gestiti da Azure Databricks. Per altre informazioni sulla federazione lakehouse, vedere Che cos'è la federazione lakehouse.

Per connettersi alle query di esecuzione nel database Amazon Redshift tramite Lakehouse Federation, è necessario creare quanto segue nel metastore del catalogo Unity di Azure Databricks:

  • Connessione alle query Di esecuzione nel database Amazon Redshift.
  • Un catalogo esterno che rispecchia le query Di esecuzione nel database Amazon Redshift in Unity Catalog in modo da poter usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso utente di Azure Databricks al database.

Operazioni preliminari

Requisiti dell'area di lavoro:

  • Area di lavoro abilitata per il catalogo Unity.

Requisiti di calcolo:

  • Connettività di rete dal cluster di Databricks Runtime o sql warehouse ai sistemi di database di destinazione. Vedere Raccomandazioni sulla rete per la federazione di Lakehouse.
  • I cluster di Azure Databricks devono usare Databricks Runtime 13.3 LTS o versione successiva e la modalità di accesso condiviso o utente singolo.
  • I warehouse SQL devono essere Pro o Serverless.

Autorizzazioni necessarie:

  • Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio per CREATE CONNECTION il metastore del catalogo Unity collegato all'area di lavoro.
  • Per creare un catalogo esterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore e essere il proprietario della connessione o avere il CREATE FOREIGN CATALOG privilegio per la connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Creare una connessione

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora cataloghi o il CREATE CONNECTION comando SQL in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Autorizzazioni necessarie: amministratore o utente metastore con il CREATE CONNECTION privilegio .

Esplora cataloghi

  1. Nell'area di lavoro di Azure Databricks fare clic su Icona catalogoCatalogo.
  2. Nel riquadro sinistro espandere il menu Dati esterni e selezionare Connessione ions.
  3. Fare clic su Crea connessione.
  4. Immettere un nome di Connessione descrittivo.
  5. Selezionare un tipo di Connessione ion di Redshift.
  6. Immettere le proprietà di connessione seguenti per l'istanza di Redshift.
    • Host: ad esempio, redshift-demo.us-west-2.redshift.amazonaws.com
    • Porta: ad esempio 5439
    • Utente: ad esempio redshift_user
    • Password: ad esempio, password123
  7. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.
  8. (Facoltativo) Aggiungere un commento.
  9. Fai clic su Crea.

Sql

Eseguire il comando seguente in un notebook o nell'editor di query SQL di Databricks.

CREATE CONNECTION <connection-name> TYPE redshift
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

È consigliabile usare segreti di Azure Databricks anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:

CREATE CONNECTION <connection-name> TYPE redshift
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalogo esterno

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, usare una connessione all'origine dati già definita.

Per creare un catalogo esterno, è possibile usare Esplora cataloghi o il CREATE FOREIGN CATALOG comando SQL in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Autorizzazioni necessarie:CREATE CATALOG autorizzazione per il metastore e la proprietà della connessione o il CREATE FOREIGN CATALOG privilegio per la connessione.

Esplora cataloghi

  1. Nell'area di lavoro di Azure Databricks fare clic su Icona catalogoCatalogo.
  2. Fare clic sul pulsante Crea catalogo .
  3. Nella finestra di dialogo Crea un nuovo catalogo immettere un nome per il catalogo e selezionare un tipo di oggetto esterno.
  4. Selezionare il Connessione che fornisce l'accesso al database di cui si vuole eseguire il mirroring come catalogo del catalogo Unity.
  5. Immettere il nome del database di cui si desidera eseguire il mirroring come catalogo.
  6. Fai clic su Crea.

Sql

Eseguire il comando SQL seguente in un notebook o in un editor SQL di Databricks. Gli elementi tra parentesi quadre sono facoltativi. Sostituire i valori segnaposto:

  • <catalog-name>: nome del catalogo in Azure Databricks.
  • <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
  • <database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Pushdown supportati

Sono supportati i pushdown seguenti:

  • Filtri
  • Proiezioni
  • Limite
  • Join
  • Aggregates (Average, Count, Max, Min, StddevPop, StddevSamp, Sum, VarianceSamp)
  • Funzioni (funzioni stringhe e altre funzioni varie, ad esempio Alias, Cast, SortOrder)
  • Ordinamento

I pushdown seguenti non sono supportati:

  • Funzioni di Windows

Mapping di tipi di dati

Quando si legge da Redshift a Spark, i tipi di dati vengono mappati nel modo seguente:

Tipo Redshift Tipo spark
numeric DecimalType
int2, int4 IntegerType
int8, oid, xid LongType
float4 FloatType
precisione doppia, float8, money DoubleType
bpchar, char, character varying, name, super, text, tid, varchar StringType
bytea, geometry, varbyte BinaryType
bit, bool BooleanType
data DateType
tabstime, time, time con fuso orario, timetz, ora senza fuso orario, timestamp con fuso orario, timestamp, timestamptz, timestamp senza fuso orario* TimestampType/TimestampNTZType

*Quando si legge da Redshift, Redshift Timestamp viene mappato a Spark TimestampType se infer_timestamp_ntz_type = false (impostazione predefinita). Redshift Timestamp viene mappato a TimestampNTZType se infer_timestamp_ntz_type = true.