Che cos'è Il catalogo Unity?

Questo articolo presenta Unity Catalog, una soluzione di governance unificata per gli asset di dati e intelligenza artificiale nel lakehouse di Databricks.

Panoramica del catalogo unity

Unity Catalog offre funzionalità centralizzate di controllo di accesso, controllo, derivazione e individuazione dei dati nelle aree di lavoro di Azure Databricks.

Le funzionalità principali del catalogo Unity includono:

• Definire una sola volta, proteggere ovunque: Unity Catalog offre un'unica posizione per amministrare i criteri di accesso ai dati che si applicano in tutte le aree di lavoro.
• Modello di sicurezza conforme agli standard: il modello di sicurezza del catalogo Unity si basa su SQL ANSI standard e consente agli amministratori di concedere autorizzazioni nel data lake esistente usando una sintassi familiare, a livello di cataloghi, database (detti anche schemi), tabelle e viste.
• Controllo e derivazione predefiniti: Unity Catalog acquisisce automaticamente i log di controllo a livello di utente che registrano l'accesso ai dati. Unity Catalog acquisisce anche dati di derivazione che tengono traccia del modo in cui vengono creati e usati gli asset di dati in tutti i linguaggi.
• Individuazione dei dati: Unity Catalog consente di contrassegnare e documentare gli asset di dati e fornisce un'interfaccia di ricerca per aiutare i consumer di dati a trovare i dati.
• Tabelle di sistema (anteprima pubblica): Il catalogo unity consente di accedere e eseguire facilmente query sui dati operativi dell'account, inclusi i log di controllo, l'utilizzo fatturabile e la derivazione.

In che modo Unity Catalog regola l'accesso ai dati e agli asset di intelligenza artificiale nell'archiviazione di oggetti cloud?

Databricks consiglia di configurare tutti gli accessi all'archiviazione di oggetti cloud usando Unity Catalog. Vedere Connessione all'archiviazione di oggetti cloud usando il catalogo unity.

Unity Catalog presenta i concetti seguenti per gestire le relazioni tra i dati in Azure Databricks e l'archiviazione di oggetti cloud:

• Archiviazione credenziali incapsulano una credenziale cloud a lungo termine che fornisce l'accesso all'archiviazione cloud. Ad esempio, un'identità gestita di Azure che può accedere a un contenitore azure Data Lake Archiviazione Gen2 o a un token API R2 cloudflare. Vedere Creare credenziali di archiviazione per la connessione ad Azure Data Lake Archiviazione Gen2 e Creare credenziali di archiviazione per la connessione a Cloudflare R2.
• Le posizioni esterne contengono un riferimento a una credenziale di archiviazione e a un percorso di archiviazione cloud. Vedere Creare una posizione esterna per connettere l'archiviazione cloud ad Azure Databricks.
• Le posizioni di archiviazione gestite associano una posizione di archiviazione in un contenitore di Azure Data Lake Archiviazione Gen2 o a un bucket Cloudflare R2 nel proprio account di archiviazione cloud con un metastore, un catalogo o uno schema. I percorsi di archiviazione gestiti vengono usati come percorso di archiviazione predefinito per tabelle gestite e volumi gestiti. Vedere Specificare un percorso di archiviazione gestito nel catalogo unity.
• I volumi forniscono l'accesso ai dati non tabulari archiviati nell'archiviazione di oggetti cloud. Vedere Creare e usare volumi.
• Le tabelle forniscono l'accesso ai dati tabulari archiviati nell'archiviazione di oggetti cloud.

Nota

Lakehouse Federation fornisce integrazioni ai dati in altri sistemi esterni. Questi oggetti non sono supportati dall'archiviazione di oggetti cloud.

Modello a oggetti del catalogo Unity

In Unity Catalog la gerarchia degli oggetti dati primari passa dal metastore alla tabella o al volume:

• Metastore: contenitore di primo livello per i metadati. Ogni metastore espone uno spazio dei nomi a tre livelli (catalog.schema.table) che organizza i dati.
• Catalogo: primo livello della gerarchia di oggetti, usato per organizzare gli asset di dati.
• Schema: noto anche come database, gli schemi sono il secondo livello della gerarchia di oggetti e contengono tabelle e viste.
• Tabelle, viste e volumi: al livello più basso nella gerarchia degli oggetti dati sono tabelle, viste e volumi. I volumi forniscono la governance per i dati non tabulari.
• Modelli: anche se non sono, in senso stretto, gli asset di dati, i modelli registrati possono essere gestiti anche nel catalogo Unity e risiedono al livello più basso nella gerarchia degli oggetti.

Si tratta di una visualizzazione semplificata degli oggetti catalogo Unity a protezione diretta. Per altri dettagli, vedere Oggetti a protezione diretta in Unity Catalog.

È possibile fare riferimento a tutti i dati in Unity Catalog usando uno spazio dei nomi a tre livelli: catalog.schema.asset, dove asset può essere una tabella, una vista, un volume o un modello.

Metastore

Un metastore è il contenitore di primo livello degli oggetti nel catalogo unity. Registra i metadati relativi ai dati e agli asset di intelligenza artificiale e alle autorizzazioni che ne regolano l'accesso. Gli amministratori dell'account Azure Databricks devono creare un metastore per ogni area in cui operano e assegnarli alle aree di lavoro di Azure Databricks nella stessa area. Affinché un'area di lavoro usi il catalogo Unity, deve avere un metastore del catalogo Unity collegato.

Un metastore può essere configurato facoltativamente con una posizione di archiviazione gestita in un contenitore azure Data Lake Archiviazione Gen2 o in un bucket Cloudflare R2 nel proprio account di archiviazione cloud. Vedere Archiviazione gestita.

Nota

Questo metastore è diverso dal metastore Hive incluso nelle aree di lavoro di Azure Databricks non abilitate per Unity Catalog. Se l'area di lavoro include un metastore Hive legacy, i dati in tale metastore saranno comunque disponibili insieme ai dati definiti in Unity Catalog, in un catalogo denominato hive_metastore. Si noti che il hive_metastore catalogo non è gestito da Unity Catalog e non trae vantaggio dallo stesso set di funzionalità dei cataloghi definiti in Unity Catalog.

Vedere Creare un metastore del catalogo Unity.

Cataloghi

Un catalogo è il primo livello dello spazio dei nomi a tre livelli di Unity Catalog. Viene usato per organizzare gli asset di dati. Gli utenti possono visualizzare tutti i cataloghi in cui sono stati assegnati l'autorizzazione USE CATALOGdati.

A seconda della modalità di creazione e abilitazione dell'area di lavoro per Il catalogo Unity, gli utenti possono disporre delle autorizzazioni predefinite per i cataloghi di cui è stato eseguito automaticamente il provisioning, incluso il main catalogo o il catalogo dell'area di lavoro (<workspace-name>). Per altre informazioni, vedere Privilegi utente predefiniti.

Vedere Creare e gestire cataloghi.

Schemi

Uno schema (detto anche database) è il secondo livello dello spazio dei nomi a tre livelli di Unity Catalog. Uno schema organizza tabelle e viste. Gli utenti possono visualizzare tutti gli schemi in cui sono stati assegnati l'autorizzazione USE SCHEMA , insieme all'autorizzazione USE CATALOG per il catalogo padre dello schema. Per accedere o elencare una tabella o una vista in uno schema, gli utenti devono disporre SELECT anche dell'autorizzazione per la tabella o la vista.

Se l'area di lavoro è stata abilitata manualmente per Unity Catalog, include uno schema predefinito denominato default nel catalogo accessibile a tutti gli utenti dell'area main di lavoro. Se l'area di lavoro è stata abilitata automaticamente per Unity Catalog e include un <workspace-name> catalogo, tale catalogo contiene uno schema denominato default accessibile a tutti gli utenti dell'area di lavoro.

Vedere Creare e gestire schemi (database).

Tabelle

Una tabella si trova nel terzo livello dello spazio dei nomi a tre livelli di Unity Catalog. Contiene righe di dati. Per creare una tabella, gli utenti devono disporre CREATE di autorizzazioni e USE SCHEMA per lo schema e devono disporre dell'autorizzazione per il USE CATALOG catalogo padre. Per eseguire query su una tabella, gli utenti devono disporre dell'autorizzazione SELECT per la tabella, dell'autorizzazione USE SCHEMA per lo schema padre e dell'autorizzazione per il USE CATALOG catalogo padre.

Una tabella può essere gestita o esterna.

Tabelle gestite

Le tabelle gestite rappresentano il modo predefinito per creare tabelle nel catalogo unity. Unity Catalog gestisce il ciclo di vita e il layout dei file per queste tabelle. Non è consigliabile usare strumenti esterni ad Azure Databricks per modificare direttamente i file in queste tabelle. Le tabelle gestite usano sempre il formato di tabella Delta .

Per le aree di lavoro abilitate manualmente per Unity Catalog, le tabelle gestite vengono archiviate nel percorso di archiviazione radice configurato durante la creazione di un metastore. Facoltativamente, è possibile specificare percorsi di archiviazione tabelle gestite a livello di catalogo o schema, sostituendo il percorso di archiviazione radice.

Per le aree di lavoro abilitate automaticamente per Unity Catalog, il percorso di archiviazione radice del metastore è facoltativo e le tabelle gestite vengono in genere archiviate a livello di catalogo o schema.

Quando una tabella gestita viene eliminata, i dati sottostanti vengono eliminati dal tenant cloud entro 30 giorni.

Vedere Tabelle gestite.

Tabelle esterne

Le tabelle esterne sono tabelle il cui ciclo di vita dei dati e il layout dei file non sono gestiti da Unity Catalog. Usare tabelle esterne per registrare grandi quantità di dati esistenti in Unity Catalog o se è necessario l'accesso diretto ai dati usando strumenti esterni ai cluster di Azure Databricks o databricks SQL Warehouse.

Quando si elimina una tabella esterna, Unity Catalog non elimina i dati sottostanti. È possibile gestire i privilegi per le tabelle esterne e usarli nelle query nello stesso modo delle tabelle gestite.

Le tabelle esterne possono usare i formati di file seguenti:

• DELTA
• CSV
• JSON
• AVRO
• PARQUET
• ORC
• TEXT

Vedere Tabelle esterne.

Visualizzazioni

Una vista è un oggetto di sola lettura creato da una o più tabelle e viste in un metastore. Si trova nel terzo livello dello spazio dei nomi a tre livelli di Unity Catalog. È possibile creare una vista da tabelle e altre viste in più schemi e cataloghi. È possibile creare viste dinamiche per abilitare le autorizzazioni a livello di riga e colonna.

Vedere Creare una visualizzazione dinamica.

Volumi

Un volume si trova nel terzo livello dello spazio dei nomi a tre livelli di Unity Catalog. I volumi sono di pari livello a tabelle, viste e altri oggetti organizzati in uno schema in Unity Catalog.

I volumi contengono directory e file per i dati archiviati in qualsiasi formato. I volumi forniscono accesso non tabulare ai dati, ovvero i file nei volumi non possono essere registrati come tabelle.

• Per creare un volume, gli utenti devono disporre CREATE VOLUME di autorizzazioni e USE SCHEMA per lo schema e devono disporre dell'autorizzazione per il USE CATALOG catalogo padre.
• Per leggere file e directory archiviati all'interno di un volume, gli utenti devono disporre dell'autorizzazione READ VOLUME , dell'autorizzazione USE SCHEMA per lo schema padre e dell'autorizzazione per il USE CATALOG catalogo padre.
• Per aggiungere, rimuovere o modificare file e directory archiviati all'interno di un volume, gli utenti devono disporre WRITE VOLUME dell'autorizzazione, dell'autorizzazione USE SCHEMA per lo schema padre e dell'autorizzazione per il USE CATALOG catalogo padre.

Un volume può essere gestito o esterno.

Nota

Quando si definisce un volume, l'accesso URI cloud ai dati nel percorso del volume è regolato dalle autorizzazioni del volume.

Volumi gestiti

I volumi gestiti sono una soluzione pratica quando si vuole effettuare il provisioning di una posizione regolamentata per l'uso di file non tabulari.

I volumi gestiti archiviano i file nel percorso di archiviazione predefinito del catalogo Unity per lo schema in cui sono contenuti. Per le aree di lavoro abilitate manualmente per Unity Catalog, i volumi gestiti vengono archiviati nel percorso di archiviazione radice configurato quando si crea un metastore. Facoltativamente, è possibile specificare percorsi di archiviazione del volume gestito a livello di catalogo o schema, sostituendo il percorso di archiviazione radice. Per le aree di lavoro abilitate automaticamente per Unity Catalog, il percorso di archiviazione radice del metastore è facoltativo e i volumi gestiti vengono in genere archiviati a livello di catalogo o schema.

La precedenza seguente determina la posizione usata per un volume gestito:

• Percorso dello schema
• Posizione catalogo
• Percorso di archiviazione radice del metastore del catalogo Unity

Quando si elimina un volume gestito, i file archiviati in questo volume vengono eliminati anche dal tenant cloud entro 30 giorni.

Vedere Che cos'è un volume gestito?.

Volumi esterni

Un volume esterno viene registrato in un percorso esterno di Unity Catalog e fornisce l'accesso ai file esistenti nell'archiviazione cloud senza richiedere la migrazione dei dati. Gli utenti devono disporre dell'autorizzazione CREATE EXTERNAL VOLUME per la posizione esterna per creare un volume esterno.

I volumi esterni supportano scenari in cui i file vengono prodotti da altri sistemi e gestiti per l'accesso dall'interno di Azure Databricks usando l'archiviazione oggetti o in cui gli strumenti esterni ad Azure Databricks richiedono l'accesso diretto ai file.

Il catalogo unity non gestisce il ciclo di vita e il layout dei file nei volumi esterni. Quando si elimina un volume esterno, Unity Catalog non elimina i dati sottostanti.

Vedere Che cos'è un volume esterno?.

Modelli

Un modello si trova nel terzo livello dello spazio dei nomi a tre livelli di Unity Catalog. In questo contesto, "model" fa riferimento a un modello di Machine Learning registrato nel Registro modelli MLflow. Per creare un modello in Unity Catalog, gli utenti devono avere il CREATE MODEL privilegio per il catalogo o lo schema. L'utente deve anche avere il USE CATALOG privilegio per il catalogo padre e USE SCHEMA per lo schema padre.

Archiviazione gestita

È possibile archiviare tabelle gestite e volumi gestiti a uno di questi livelli nella gerarchia di oggetti del catalogo Unity: metastore, catalogo o schema. Archiviazione a livelli inferiori nella gerarchia esegue l'override dell'archiviazione definita a livelli più elevati.

Quando un amministratore dell'account crea manualmente un metastore, ha la possibilità di assegnare una posizione di archiviazione in un contenitore azure Data Lake Archiviazione Gen2 o un bucket Cloudflare R2 nel proprio account di archiviazione cloud da usare come archiviazione a livello di metastore per tabelle e volumi gestiti. Se è stata assegnata una posizione di archiviazione gestita a livello di metastore, i percorsi di archiviazione gestiti a livello di catalogo e schema sono facoltativi. Detto questo, l'archiviazione a livello di metastore è facoltativa e Databricks consiglia di assegnare l'archiviazione gestita a livello di catalogo per l'isolamento dei dati logici. Vedere Blocchi predefiniti per la governance dei dati e l'isolamento dei dati.

Importante

Se l'area di lavoro è stata abilitata automaticamente per Unity Catalog, il metastore del catalogo Unity è stato creato senza l'archiviazione gestita a livello di metastore. È possibile scegliere di aggiungere l'archiviazione a livello di metastore, ma Databricks consiglia di assegnare l'archiviazione gestita a livello di catalogo e schema. Per informazioni su come decidere se è necessaria l'archiviazione a livello di metastore, vedere (Facoltativo) Creare un archivio a livello di metastore e i dati sono separati fisicamente nell'archiviazione.

L'archiviazione gestita ha le proprietà seguenti:

• Le tabelle gestite e i volumi gestiti archiviano i file di dati e metadati nell'archiviazione gestita.
• I percorsi di archiviazione gestiti non possono sovrapporsi a tabelle esterne o volumi esterni.

Nella tabella seguente viene descritto il modo in cui l'archiviazione gestita viene dichiarata e associata agli oggetti catalogo unity:

Oggetto Catalogo Unity associato	Come impostarlo	Relazione con le posizioni esterne
Metastore	Configurato dall'amministratore dell'account durante la creazione del metastore o aggiunto dopo la creazione del metastore se non è stata specificata alcuna risorsa di archiviazione al momento della creazione.	Impossibile sovrapporsi a una posizione esterna.
Catalogo	Specificato durante la creazione del catalogo usando la MANAGED LOCATION parola chiave .	Deve essere contenuto all'interno di una posizione esterna.
Schema	Specificato durante la creazione dello schema usando la MANAGED LOCATION parola chiave .	Deve essere contenuto all'interno di una posizione esterna.

Il percorso di archiviazione gestito usato per archiviare i dati e i metadati per tabelle gestite e volumi gestiti usa le regole seguenti:

• Se lo schema contenitore ha una posizione gestita, i dati vengono archiviati nel percorso gestito dello schema.
• Se lo schema contenitore non dispone di una posizione gestita ma il catalogo dispone di una posizione gestita, i dati vengono archiviati nella posizione gestita del catalogo.
• Se né lo schema contenitore né il catalogo contenitore hanno una posizione gestita, i dati vengono archiviati nel percorso gestito del metastore.

Archiviazione credenziali e percorsi esterni

Per gestire l'accesso all'archiviazione cloud sottostante per tabelle esterne, volumi esterni e archiviazione gestita, Unity Catalog usa i tipi di oggetto seguenti:

• Archiviazione credenziali incapsulano una credenziale cloud a lungo termine che fornisce l'accesso all'archiviazione cloud, ad esempio un'identità gestita di Azure che può accedere a un contenitore Azure Data Lake Archiviazione Gen2 o a un token API Cloudflare R2. Vedere Creare credenziali di archiviazione per la connessione ad Azure Data Lake Archiviazione Gen2 e Creare credenziali di archiviazione per la connessione a Cloudflare R2.
• Le posizioni esterne contengono un riferimento a una credenziale di archiviazione e a un percorso di archiviazione cloud.

Vedere Connessione all'archiviazione di oggetti cloud usando il catalogo unity.

Gestione delle identità per il catalogo unity

Unity Catalog usa le identità nell'account Azure Databricks per risolvere utenti, entità servizio e gruppi e per applicare le autorizzazioni.

Per configurare le identità nell'account, seguire le istruzioni in Gestire utenti, entità servizio e gruppi. Fare riferimento a questi utenti, entità servizio e gruppi quando si creano criteri di controllo di accesso in Unity Catalog.

Gli utenti, le entità servizio e i gruppi di Unity Catalog devono essere aggiunti anche alle aree di lavoro per accedere ai dati di Unity Catalog in un notebook, a una query SQL di Databricks, a Esplora cataloghi o a un comando API REST. L'assegnazione di utenti, entità servizio e gruppi alle aree di lavoro è detta federazione delle identità.

Tutte le aree di lavoro a cui è associato un metastore del catalogo Unity sono abilitate per la federazione delle identità.

Considerazioni speciali per i gruppi

Tutti i gruppi già esistenti nell'area di lavoro sono etichettati localmente nell'area di lavoro nella console dell'account. Questi gruppi locali dell'area di lavoro non possono essere usati in Unity Catalog per definire i criteri di accesso. È necessario usare i gruppi a livello di account. Se viene fatto riferimento a un gruppo locale dell'area di lavoro in un comando, tale comando restituirà un errore che indica che il gruppo non è stato trovato. Se in precedenza sono stati usati gruppi locali dell'area di lavoro per gestire l'accesso ai notebook e ad altri artefatti, queste autorizzazioni rimangono effettive.

Vedere Gestire i gruppi.

ruoli Amministrazione per Il catalogo unity

Gli amministratori dell'account, gli amministratori del metastore e gli amministratori dell'area di lavoro sono coinvolti nella gestione del catalogo Unity:

Vedere Amministrazione privilegi in Unity Catalog.

Autorizzazioni per i dati in Unity Catalog

In Unity Catalog i dati sono protetti per impostazione predefinita. Inizialmente, gli utenti non hanno accesso ai dati in un metastore. L'accesso può essere concesso da un amministratore del metastore, dal proprietario di un oggetto o dal proprietario del catalogo o dello schema che contiene l'oggetto . Gli oggetti a protezione diretta nel Catalogo Unity sono gerarchici e i privilegi vengono ereditati verso il basso.

È possibile assegnare e revocare le autorizzazioni usando Esplora cataloghi, comandi SQL o API REST.

Vedere Gestire i privilegi nel catalogo unity.

Modalità di calcolo e accesso al cluster supportate per il catalogo unity

Il catalogo unity è supportato nei cluster che eseguono Databricks Runtime 11.3 LTS o versione successiva. Il catalogo unity è supportato per impostazione predefinita in tutte le versioni di calcolo di SQL Warehouse .

I cluster in esecuzione nelle versioni precedenti di Databricks Runtime non forniscono supporto per tutte le funzionalità e le funzionalità di Unity Catalog GA.

Per accedere ai dati in Unity Catalog, i cluster devono essere configurati con la modalità di accesso corretta. Il catalogo unity è sicuro per impostazione predefinita. Se un cluster non è configurato con una delle modalità di accesso in grado di supportare Unity Catalog , ovvero condivise o assegnate, il cluster non può accedere ai dati in Unity Catalog. Vedere Modalità di accesso.

Per informazioni dettagliate sulle modifiche alle funzionalità di Unity Catalog in ogni versione di Databricks Runtime, vedere le note sulla versione.

Le limitazioni per Unity Catalog variano in base alla modalità di accesso e alla versione di Databricks Runtime. Vedere Limitazioni della modalità di accesso alle risorse di calcolo per il catalogo unity.

Derivazione dei dati per Unity Catalog

È possibile usare Unity Catalog per acquisire la derivazione dei dati di runtime tra query in qualsiasi linguaggio eseguito in un cluster Di Azure Databricks o in SQL Warehouse. La derivazione viene acquisita fino al livello di colonna e include notebook, flussi di lavoro e dashboard correlati alla query. Per altre informazioni, vedere Acquisire e visualizzare la derivazione dei dati con Unity Catalog.

Federazione di Lakehouse e Catalogo Unity

Lakehouse Federation è la piattaforma di federazione delle query per Azure Databricks. Il termine federazione di query descrive una raccolta di funzionalità che consentono a utenti e sistemi di eseguire query su più origini dati silo senza dover eseguire la migrazione di tutti i dati a un sistema unificato.

Azure Databricks usa Unity Catalog per gestire la federazione delle query. È possibile usare Il catalogo unity per configurare le connessioni di sola lettura ai sistemi di database esterni più diffusi e creare cataloghi esterni che eseggono il mirroring di database esterni. Gli strumenti di governance dei dati e derivazione dei dati di Unity Catalog assicurano che l'accesso ai dati sia gestito e controllato per tutte le query federate eseguite dagli utenti nelle aree di lavoro di Azure Databricks.

Vedere Che cos'è la federazione lakehouse.

Ricerca per categorie configurare Unity Catalog per l'organizzazione?

Per informazioni su come configurare Il catalogo Unity, vedere Configurare e gestire il catalogo Unity.

Aree supportate

Tutte le aree supportano il catalogo Unity. Per informazioni dettagliate, vedere Aree di Azure Databricks.

Formati di file di dati supportati

Il catalogo unity supporta i formati di tabella seguenti:

• Le tabelle gestite devono usare il delta formato di tabella.
• Le tabelle esterne possono usare delta, CSV, avroJSON, parquet, , ORCo text.

Limitazioni del catalogo Unity

Unity Catalog presenta le limitazioni seguenti.

Nota

Se il cluster è in esecuzione in una versione di Databricks Runtime inferiore alla 11.3 LTS, potrebbero esserci limitazioni aggiuntive, non elencate qui. Il catalogo unity è supportato in Databricks Runtime 11.3 LTS o versione successiva.

Le limitazioni del catalogo unity variano in base al runtime di Databricks e alla modalità di accesso. I carichi di lavoro Structured Streaming presentano limitazioni aggiuntive in base al runtime di Databricks e alla modalità di accesso. Vedere Limitazioni della modalità di accesso alle risorse di calcolo per il catalogo unity.

• I carichi di lavoro in R non supportano l'uso di viste dinamiche per la sicurezza a livello di riga o a livello di colonna.

• In Databricks Runtime 13.3 LTS e versioni successive sono supportati cloni superficiali per creare tabelle gestite di Unity Catalog da tabelle gestite di Unity Catalog esistenti. In Databricks Runtime 12.2 LTS e versioni successive non è disponibile alcun supporto per cloni superficiali in Unity Catalog. Vedere Clone superficiale per le tabelle del catalogo Unity.

• Il bucketing non è supportato per le tabelle del catalogo Unity. Se si eseguono comandi che tentano di creare una tabella in bucket nel catalogo unity, verrà generata un'eccezione.

• La scrittura nello stesso percorso o nella tabella Delta Lake dalle aree di lavoro in più aree può causare prestazioni inaffidabili se alcuni cluster accedono a Unity Catalog e altri no.

• Gli schemi di partizione personalizzati creati usando comandi come ALTER TABLE ADD PARTITION non sono supportati per le tabelle nel catalogo unity. Il catalogo unity può accedere alle tabelle che usano il partizionamento in stile directory.

• La modalità di sovrascrittura per le operazioni di scrittura dei dataframe in Unity Catalog è supportata solo per le tabelle Delta, non per altri formati di file. L'utente deve avere il CREATE privilegio per lo schema padre e deve essere il proprietario dell'oggetto esistente o avere il MODIFY privilegio per l'oggetto.

• In Databricks Runtime 13.3 LTS e versioni successive sono supportate funzioni definite dall'utente scalari Python. In Databricks Runtime 12.2 LTS e versioni successive non è possibile usare funzioni definite dall'utente Python, incluse le funzioni definite dall'utente, le funzioni definite dall'utente e Pandas in Spark (applyInPandas e mapInPandas).

• In Databricks Runtime 14.2 e versioni successive le funzioni definite dall'utente scalari scalari sono supportate nei cluster condivisi. In Databricks Runtime 14.1 e versioni successive, tutte le funzioni definite dall'utente Scala non sono supportate nei cluster condivisi.

• I gruppi creati in precedenza in un'area di lavoro (ovvero i gruppi a livello di area di lavoro) non possono essere usati nelle istruzioni GRANT del catalogo Unity. Ciò consente di garantire una visualizzazione coerente dei gruppi che possono estendersi tra aree di lavoro. Per usare i gruppi nelle istruzioni GRANT, creare i gruppi a livello di account e aggiornare qualsiasi automazione per la gestione di entità o gruppi (ad esempio SCIM, Okta e Microsoft Entra ID (in precedenza Azure Active Directory) connettori e Terraform per fare riferimento agli endpoint dell'account anziché agli endpoint dell'area di lavoro. Vedere Differenza tra gruppi di account e gruppi locali dell'area di lavoro.

• I pool di thread Scala standard non sono supportati. Usare invece i pool di thread speciali in org.apache.spark.util.ThreadUtils, ad esempio org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Tuttavia, i pool di thread seguenti in ThreadUtils non sono supportati: ThreadUtils.newForkJoinPool e qualsiasi ScheduledExecutorService pool di thread.

• La registrazione di controllo è supportata solo per gli eventi di Unity Catalog a livello di area di lavoro. Gli eventi che si verificano a livello di account senza riferimento a un'area di lavoro, ad esempio la creazione di un metastore, non vengono registrati.

Le limitazioni seguenti si applicano a tutti i nomi di oggetti nel catalogo unity:

• I nomi degli oggetti non possono superare i 255 caratteri.
• Non sono consentiti i caratteri speciali seguenti:
  • Periodo (.)
  • Spazio ( )
  • Barra (/)
  • Tutti i caratteri di controllo ASCII (esadecimale 00-1F)
  • Carattere DELETE (hex 7F)
• Il catalogo unity archivia tutti i nomi degli oggetti come minuscoli.
• Quando si fa riferimento ai nomi UC in SQL, è necessario usare i backtick per i nomi di escape contenenti caratteri speciali, ad esempio trattini (-).

Nota

I nomi delle colonne possono usare caratteri speciali, ma il nome deve essere preceduto da caratteri di escape in tutte le istruzioni SQL se vengono usati caratteri speciali. Il catalogo unity mantiene la combinazione di maiuscole e minuscole dei nomi di colonna, ma le query sulle tabelle del catalogo Unity non fanno distinzione tra maiuscole e minuscole.

Esistono limitazioni aggiuntive per i modelli nel catalogo unity. Vedere Limitazioni per il supporto di Unity Catalog.

Quote di risorse

Unity Catalog applica le quote di risorse a tutti gli oggetti a protezione diretta. I limiti rispettano la stessa organizzazione gerarchica in tutto Unity Catalog. Se si prevede di superare questi limiti di risorse, contattare il team dell'account Azure Databricks.

I valori di quota riportati di seguito sono espressi in relazione all'oggetto padre (o nonno) in Unity Catalog.

Object	Parent	Valore
table	schema	10000
table	metastore	100000
volume	schema	10000
function	schema	10000
Modello registrato	schema	1000
Modello registrato	metastore	5000
Versione modello	Modello registrato	10000
Versione modello	metastore	100000
schema	catalogo	10000
catalogo	metastore	1000
connection	metastore	1000
Credenziali di archiviazione	metastore	200
Posizione esterna	metastore	500

Per i limiti di condivisione differenziale, vedere Quote di risorse.