Creare credenziali di archiviazione per la connessione a Cloudflare R2

Articolo
05/03/2024

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Questo articolo descrive come creare credenziali di archiviazione nel catalogo unity per connettersi a Cloudflare R2. L'archiviazione di oggetti R2 cloudflare non comporta costi in uscita. La replica o la migrazione dei dati condivisi in R2 consente di condividere dati tra cloud e aree senza incorrere in costi in uscita.

Nota

Unity Catalog supporta due opzioni di archiviazione cloud per Azure Databricks: contenitori di Azure Data Lake Archiviazione Gen2 e bucket Cloudflare R2. Cloudflare R2 è destinato principalmente ai casi d'uso di condivisione delta in cui si vogliono evitare costi di uscita dei dati del provider di servizi cloud. Azure Data Lake Archiviazione Gen2 è appropriato per la maggior parte degli altri casi d'uso. Vedere Monitorare e gestire i costi di uscita della condivisione delta (per i provider) e Creare credenziali di archiviazione per la connessione ad Azure Data Lake Archiviazione Gen2.

Per usare un bucket R2 come posizione di archiviazione per i dati gestiti da Unity Catalog, è necessario creare una credenziale di archiviazione che autorizza l'accesso al bucket R2 e creare una posizione esterna che faccia riferimento alle credenziali di archiviazione e al percorso del bucket:

Archiviazione credenziali incapsulano una credenziale cloud a lungo termine che fornisce l'accesso all'archiviazione cloud.
Le posizioni esterne contengono un riferimento a una credenziale di archiviazione e a un percorso di archiviazione cloud.

Questo articolo è incentrato sulla creazione di credenziali di archiviazione.

Per altre informazioni, vedere Connessione all'archiviazione di oggetti cloud con Il catalogo unity.

Requisiti

Area di lavoro di Databricks abilitata per Unity Catalog.
Databricks Runtime 14.3 o versione successiva o SQL Warehouse 2024.15 o versione successiva.

Se viene visualizzato il messaggio No FileSystem for scheme "r2”di errore , il calcolo è probabilmente in una versione non supportata.
Account Cloudflare. Vedere https://dash.cloudflare.com/sign-up.
Ruolo Amministrazione cloudflare R2. Vedere la documentazione dei ruoli cloudflare.
CREATE STORAGE CREDENTIAL privilegio nel metastore del catalogo Unity collegato all'area di lavoro. Gli amministratori dell'account e gli amministratori del metastore hanno questo privilegio per impostazione predefinita.

Configurare un bucket R2

Creare un bucket Cloudflare R2.

È possibile usare il dashboard Cloudflare o lo strumento Cloudflare Wrangler.

Vedere la documentazione di Cloudflare R2 "Introduzione" o la documentazione di Wrangler.
Creare un token API R2 e applicarlo al bucket.

Vedere la documentazione sull'autenticazione dell'API Cloudflare R2.

Impostare le proprietà del token seguenti:
- Autorizzazioni: lettura e scrittura dell'oggetto.
  
  Questa autorizzazione concede l'accesso in lettura e scrittura, necessario quando si usa l'archiviazione R2 come destinazione di replica, come descritto in Usare repliche Cloudflare R2 o eseguire la migrazione dell'archiviazione a R2.
  
  Se si vuole applicare l'accesso in sola lettura da Azure Databricks al bucket R2, è invece possibile creare un token che concede l'accesso in sola lettura. Tuttavia, ciò potrebbe non essere necessario, perché è possibile contrassegnare le credenziali di archiviazione come di sola lettura e qualsiasi accesso in scrittura concesso da questa autorizzazione verrà ignorato.
- (Facoltativo) TTL: periodo di tempo in cui si desidera condividere i dati del bucket con i destinatari dei dati.
- (Facoltativo) Filtro indirizzi IP client: selezionare se si vuole limitare l'accesso di rete agli indirizzi IP del destinatario specificati. Se questa opzione è abilitata, è necessario specificare gli indirizzi IP dei destinatari ed è necessario consentire l'elenco dell'indirizzo IP NAT del piano di controllo Databricks per l'area di lavoro.
Vedere Indirizzi del piano di controllo di Azure Databricks.
Copiare i valori del token API R2:
- Chiave di accesso ID
- Chiave di accesso segreta
Importante

I valori del token vengono visualizzati una sola volta.
Nella home page di R2 passare a Dettagli account e copiare l'ID account R2.

Creare le credenziali di archiviazione

In Azure Databricks accedere all'area di lavoro.
Fare clic su Catalogo.
Fare clic sul pulsante +Aggiungi e selezionare Aggiungi credenziali di archiviazione dal menu.

Questa opzione non viene visualizzata se non si dispone del CREATE STORAGE CREDENTIAL privilegio .
Selezionare un tipo di credenziale del token API Cloudflare.
Immettere un nome per le credenziali e i valori seguenti copiati durante la configurazione del bucket R2:
- ID account
- ID chiave di accesso
- Chiave di accesso privata
(Facoltativo) Se si vuole che gli utenti abbiano accesso in sola lettura ai percorsi esterni che usano questa credenziale di archiviazione, in Opzioni avanzate selezionare Sola lettura.

Non selezionare questa opzione se si vuole usare le credenziali di archiviazione per accedere all'archiviazione R2 usata come destinazione di replica, come descritto in Usare repliche Cloudflare R2 o eseguire la migrazione dell'archiviazione a R2.

Per altre informazioni, vedere Contrassegnare le credenziali di archiviazione come di sola lettura.
Fai clic su Crea.
Nella finestra di dialogo Archiviazione credenziali create copiare l'ID esterno.

Passaggio successivo: creare la posizione esterna

Vedere Creare una posizione esterna per connettere l'archiviazione cloud ad Azure Databricks.