O que é o Unity Catalog?

  • Artigo

Este artigo apresenta o Unity Catalog, uma solução de governança unificada para dados e ativos de IA no lago Databricks.

Visão geral do catálogo Unity

O Unity Catalog fornece recursos centralizados de controle de acesso, auditoria, linhagem e descoberta de dados nos espaços de trabalho do Azure Databricks.

Diagrama do catálogo Unity

Os principais recursos do Catálogo Unity incluem:

  • Defina uma vez, seguro em qualquer lugar: o Unity Catalog oferece um único local para administrar políticas de acesso a dados que se aplicam a todos os espaços de trabalho.
  • Modelo de segurança compatível com padrões: o modelo de segurança do Unity Catalog é baseado no ANSI SQL padrão e permite que os administradores concedam permissões em seu data lake existente usando sintaxe familiar, no nível de catálogos, bancos de dados (também chamados de esquemas), tabelas e exibições.
  • Auditoria e linhagem integradas: o Unity Catalog captura automaticamente logs de auditoria no nível do usuário que registram o acesso aos seus dados. O Unity Catalog também captura dados de linhagem que rastreiam como os ativos de dados são criados e usados em todos os idiomas.
  • Descoberta de dados: o Unity Catalog permite marcar e documentar ativos de dados e fornece uma interface de pesquisa para ajudar os consumidores de dados a encontrar dados.
  • Tabelas do sistema (Visualização pública): o Unity Catalog permite que você acesse e consulte facilmente os dados operacionais da sua conta, incluindo logs de auditoria, uso faturável e linhagem.

Como o Unity Catalog controla o acesso a dados e ativos de IA no armazenamento de objetos em nuvem?

O Databricks recomenda que você configure todo o acesso ao armazenamento de objetos na nuvem usando o Unity Catalog. Consulte Conectar-se ao armazenamento de objetos na nuvem usando o Unity Catalog.

O Unity Catalog apresenta os seguintes conceitos para gerenciar as relações entre dados no Azure Databricks e o armazenamento de objetos na nuvem:

Nota

A Lakehouse Federation fornece integrações a dados em outros sistemas externos. Esses objetos não são apoiados pelo armazenamento de objetos na nuvem.

O modelo de objeto do Unity Catalog

No Unity Catalog, a hierarquia de objetos de dados primários flui do metastore para a tabela ou volume:

  • Metastore: o contentor de nível superior para metadados. Cada metastore expõe um namespace de três níveis (catalog.schema.table) que organiza seus dados.
  • Catálogo: a primeira camada da hierarquia de objetos, utilizada para organizar os recursos de dados.
  • Esquema: Também conhecidos como bancos de dados, os esquemas são a segunda camada da hierarquia de objetos e contêm tabelas e exibições.
  • Tabelas, modos de exibição e volumes: No nível mais baixo na hierarquia de objetos de dados estão tabelas, exibições e volumes. Os volumes fornecem governança para dados não tabulares.
  • Modelos: Embora não sejam, estritamente falando, ativos de dados, os modelos registrados também podem ser gerenciados no Unity Catalog e residir no nível mais baixo na hierarquia de objetos.

Diagrama de modelo de objeto do Unity Catalog

Esta é uma exibição simplificada de objetos protegíveis do Unity Catalog. Para obter mais detalhes, consulte Objetos protegíveis no Unity Catalog.

Você faz referência a todos os dados no Unity Catalog usando um namespace de três níveis: catalog.schema.asset, onde asset pode ser uma tabela, exibição, volume ou modelo.

Metalojas

Um metastore é o contêiner de nível superior de objetos no Unity Catalog. Ele registra metadados sobre dados e ativos de IA e as permissões que regem o acesso a eles. Os administradores de conta do Azure Databricks devem criar um metastore para cada região em que operam e atribuí-los aos espaços de trabalho do Azure Databricks na mesma região. Para que um espaço de trabalho use o Unity Catalog, ele deve ter um metastore do Unity Catalog anexado.

Opcionalmente, um metastore pode ser configurado com um local de armazenamento gerenciado em um contêiner do Azure Data Lake Storage Gen2 ou bucket do Cloudflare R2 em sua própria conta de armazenamento em nuvem. Consulte Armazenamento gerenciado.

Nota

Esse metastore é diferente do metastore do Hive incluído nos espaços de trabalho do Azure Databricks que não foram habilitados para o Unity Catalog. Se seu espaço de trabalho incluir um metastore herdado do Hive, os dados nesse metastore ainda estarão disponíveis junto com os dados definidos no Unity Catalog, em um catálogo chamado hive_metastore. Observe que o hive_metastore catálogo não é gerenciado pelo Unity Catalog e não se beneficia do mesmo conjunto de recursos que os catálogos definidos no Unity Catalog.

Consulte Criar um metastore do Catálogo Unity.

Catálogos

Um catálogo é a primeira camada do namespace de três níveis do Unity Catalog. Ele é usado para organizar seus ativos de dados. Os usuários podem ver todos os catálogos nos quais lhes foi atribuída a permissão de USE CATALOGdados.

Dependendo de como seu espaço de trabalho foi criado e habilitado para o Unity Catalog, seus usuários podem ter permissões padrão em catálogos provisionados automaticamente, incluindo o main catálogo ou o catálogo de espaço de trabalho (<workspace-name>). Para obter mais informações, consulte Privilégios de usuário padrão.

Consulte Criar e gerenciar catálogos.

Esquemas

Um esquema (também chamado de banco de dados) é a segunda camada do namespace de três níveis do Unity Catalog. Um esquema organiza tabelas e exibições. Os usuários podem ver todos os esquemas nos quais lhes foi atribuída a USE SCHEMA permissão, juntamente com a USE CATALOG permissão no catálogo pai do esquema. Para acessar ou listar uma tabela ou exibição em um esquema, os usuários também devem ter SELECT permissão na tabela ou exibição.

Se seu espaço de trabalho foi habilitado para o Unity Catalog manualmente, ele inclui um esquema padrão nomeado default no main catálogo que é acessível a todos os usuários em seu espaço de trabalho. Se seu espaço de trabalho foi habilitado para o Unity Catalog automaticamente e inclui um <workspace-name> catálogo, esse catálogo contém um esquema nomeado default que é acessível a todos os usuários em seu espaço de trabalho.

Consulte Criar e gerenciar esquemas (bancos de dados).

Tabelas

Uma tabela reside na terceira camada do namespace de três níveis do Unity Catalog. Ele contém linhas de dados. Para criar uma tabela, os usuários devem ter CREATE permissões no USE SCHEMA esquema e devem ter a USE CATALOG permissão em seu catálogo pai. Para consultar uma tabela, os usuários devem ter a SELECT permissão na tabela, a USE SCHEMA permissão em seu esquema pai e a USE CATALOG permissão em seu catálogo pai.

Uma tabela pode ser gerenciada ou externa.

Tabelas gerenciadas

As tabelas gerenciadas são a maneira preferida de criar tabelas no Unity Catalog. O Unity Catalog gerencia o ciclo de vida e o layout de arquivos dessas tabelas. O Unity Catalog também otimiza seu desempenho automaticamente. Você não deve usar ferramentas fora do Azure Databricks para manipular arquivos nessas tabelas diretamente. As tabelas gerenciadas sempre usam o formato de tabela Delta .

Para espaços de trabalho que foram habilitados para o Unity Catalog manualmente, as tabelas gerenciadas são armazenadas no local de armazenamento raiz que você configura ao criar um metastore. Opcionalmente, você pode especificar locais de armazenamento de tabela gerenciada nos níveis de catálogo ou esquema, substituindo o local de armazenamento raiz.

Para espaços de trabalho que foram habilitados para o Unity Catalog automaticamente, o local de armazenamento raiz do metastore é opcional e as tabelas gerenciadas geralmente são armazenadas nos níveis de catálogo ou esquema.

Quando uma tabela gerenciada é descartada, seus dados subjacentes são excluídos do locatário da nuvem dentro de 30 dias.

Consulte Tabelas gerenciadas.

Tabelas externas

As tabelas externas são tabelas cujo ciclo de vida de dados e layout de arquivo não são gerenciados pelo Unity Catalog. Use tabelas externas para registrar grandes quantidades de dados existentes no Catálogo Unity ou se precisar de acesso direto aos dados usando ferramentas fora dos clusters do Azure Databricks ou armazéns SQL do Databricks.

Quando você solta uma tabela externa, o Unity Catalog não exclui os dados subjacentes. Você pode gerenciar privilégios em tabelas externas e usá-los em consultas da mesma forma que as tabelas gerenciadas.

As tabelas externas podem usar os seguintes formatos de arquivo:

  • DELTA
  • CSV
  • JSON
  • AVRO
  • PARQUET
  • ORC
  • TEXTO

Consulte Tabelas externas.

Modos de exibição

Um modo de exibição é um objeto somente leitura criado a partir de uma ou mais tabelas e exibições em um metastore. Ele reside na terceira camada do namespace de três níveis do Unity Catalog. Uma exibição pode ser criada a partir de tabelas e outras exibições em vários esquemas e catálogos. Você pode criar modos de exibição dinâmicos para habilitar permissões em nível de linha e coluna.

Consulte Criar uma vista dinâmica.

Volumes

Um volume reside na terceira camada do namespace de três níveis do Unity Catalog. Os volumes são irmãos de tabelas, exibições e outros objetos organizados sob um esquema no Unity Catalog.

Os volumes contêm diretórios e arquivos para dados armazenados em qualquer formato. Os volumes fornecem acesso não tabular aos dados, o que significa que os arquivos em volumes não podem ser registrados como tabelas.

  • Para criar um volume, os usuários devem ter CREATE VOLUME permissões no USE SCHEMA esquema e devem ter a USE CATALOG permissão em seu catálogo pai.
  • Para ler arquivos e diretórios armazenados dentro de um volume, os usuários devem ter a READ VOLUME permissão, a USE SCHEMA permissão em seu esquema pai e a USE CATALOG permissão em seu catálogo pai.
  • Para adicionar, remover ou modificar arquivos e diretórios armazenados dentro de um volume, os usuários devem ter WRITE VOLUME permissão, a USE SCHEMA permissão em seu esquema pai e a USE CATALOG permissão em seu catálogo pai.

Um volume pode ser gerenciado ou externo.

Nota

Quando você define um volume, o acesso URI da nuvem aos dados sob o caminho do volume é regido pelas permissões do volume.

Volumes gerenciados

Os volumes gerenciados são uma solução conveniente quando você deseja provisionar um local controlado para trabalhar com arquivos não tabulares.

Os volumes gerenciados armazenam arquivos no local de armazenamento padrão do Unity Catalog para o esquema no qual eles estão contidos. Para espaços de trabalho que foram habilitados para o Unity Catalog manualmente, os volumes gerenciados são armazenados no local de armazenamento raiz que você configura ao criar um metastore. Opcionalmente, você pode especificar locais de armazenamento de volume gerenciado nos níveis de catálogo ou esquema, substituindo o local de armazenamento raiz. Para espaços de trabalho que foram habilitados para o Unity Catalog automaticamente, o local de armazenamento raiz do metastore é opcional e os volumes gerenciados normalmente são armazenados nos níveis de catálogo ou esquema.

A precedência a seguir rege qual local é usado para um volume gerenciado:

  • Localização do esquema
  • Localização do catálogo
  • Local de armazenamento raiz do metastore do Unity Catalog

Quando você exclui um volume gerenciado, os arquivos armazenados nesse volume também são excluídos do locatário da nuvem dentro de 30 dias.

Consulte O que é um volume gerenciado?.

Volumes externos

Um volume externo é registrado em um local externo do Unity Catalog e fornece acesso a arquivos existentes no armazenamento em nuvem sem exigir migração de dados. Os usuários devem ter a CREATE EXTERNAL VOLUME permissão no local externo para criar um volume externo.

Os volumes externos suportam cenários em que os ficheiros são produzidos por outros sistemas e preparados para acesso a partir do Azure Databricks utilizando o armazenamento de objetos ou onde as ferramentas fora do Azure Databricks requerem acesso direto aos ficheiros.

O Unity Catalog não gerencia o ciclo de vida e o layout dos arquivos em volumes externos. Quando você solta um volume externo, o Unity Catalog não exclui os dados subjacentes.

Consulte O que é um volume externo?.

Modelos

Um modelo reside na terceira camada do namespace de três níveis do Unity Catalog. Neste contexto, "modelo" refere-se a um modelo de aprendizagem automática que está registado no MLflow Model Registry. Para criar um modelo no Unity Catalog, os usuários devem ter o CREATE MODEL privilégio para o catálogo ou esquema. O usuário também deve ter o USE CATALOG privilégio no catálogo pai e USE SCHEMA no esquema pai.

Armazenamento gerenciado

Você pode armazenar tabelas gerenciadas e volumes gerenciados em qualquer um desses níveis na hierarquia de objetos do Catálogo Unity: metastore, catálogo ou esquema. O armazenamento em níveis inferiores na hierarquia substitui o armazenamento definido em níveis mais altos.

Quando um administrador de conta cria um metastore manualmente, ele tem a opção de atribuir um local de armazenamento em um contêiner do Azure Data Lake Storage Gen2 ou bucket do Cloudflare R2 em sua própria conta de armazenamento em nuvem para usar como armazenamento no nível de metastore para tabelas e volumes gerenciados. Se um local de armazenamento gerenciado no nível de metastore tiver sido atribuído, os locais de armazenamento gerenciado nos níveis de catálogo e esquema serão opcionais. Dito isso, o armazenamento no nível do metastore é opcional e o Databricks recomenda a atribuição de armazenamento gerenciado no nível do catálogo para isolamento lógico de dados. Consulte Blocos de construção de governança e isolamento de dados.

Importante

Se seu espaço de trabalho foi habilitado para o Unity Catalog automaticamente, o metastore do Unity Catalog foi criado sem armazenamento gerenciado no nível de metastore. Você pode optar por adicionar armazenamento no nível de metastore, mas o Databricks recomenda atribuir armazenamento gerenciado nos níveis de catálogo e esquema. Para obter ajuda para decidir se você precisa de armazenamento no nível de metastore, consulte (Opcional) Criar armazenamento no nível de metastore e Os dados estão fisicamente separados no armazenamento.

O armazenamento gerenciado tem as seguintes propriedades:

  • Tabelas gerenciadas e volumes gerenciados armazenam arquivos de dados e metadados em armazenamento gerenciado.
  • Os locais de armazenamento gerenciado não podem se sobrepor a tabelas ou volumes externos.

A tabela a seguir descreve como o armazenamento gerenciado é declarado e associado aos objetos do Unity Catalog:

Objeto Unity Catalog associado Como definir Relação com locais externos
Metastore Configurado pelo administrador da conta durante a criação do metastore ou adicionado após a criação do metastore se nenhum armazenamento tiver sido especificado na criação. Não é possível sobrepor um local externo.
Catálogo Especificado durante a criação do catálogo usando a MANAGED LOCATION palavra-chave. Deve estar contido dentro de um local externo.
Esquema Especificado durante a criação do esquema usando a MANAGED LOCATION palavra-chave. Deve estar contido dentro de um local externo.

O local de armazenamento gerenciado usado para armazenar dados e metadados para tabelas gerenciadas e volumes gerenciados usa as seguintes regras:

  • Se o esquema que contém tiver um local gerenciado, os dados serão armazenados no local gerenciado pelo esquema.
  • Se o esquema que contém não tiver um local gerenciado, mas o catálogo tiver um local gerenciado, os dados serão armazenados no local gerenciado pelo catálogo.
  • Se nem o esquema que contém nem o catálogo que contém tiverem um local gerenciado, os dados serão armazenados no local gerenciado do metastore.

Credenciais de armazenamento e locais externos

Para gerenciar o acesso ao armazenamento em nuvem subjacente para tabelas externas, volumes externos e armazenamento gerenciado, o Unity Catalog usa os seguintes tipos de objeto:

Consulte Conectar-se ao armazenamento de objetos na nuvem usando o Unity Catalog.

Gerenciamento de identidades para o Catálogo Unity

O Catálogo Unity usa as identidades na conta do Azure Databricks para resolver usuários, entidades de serviço e grupos e para impor permissões.

Para configurar identidades na conta, siga as instruções em Gerenciar usuários, entidades de serviço e grupos. Consulte esses usuários, entidades de serviço e grupos ao criar políticas de controle de acesso no Unity Catalog.

Os usuários, entidades de serviço e grupos do Catálogo Unity também devem ser adicionados aos espaços de trabalho para acessar os dados do Catálogo Unity em um bloco de anotações, uma consulta SQL do Databricks, o Gerenciador de Catálogos ou um comando da API REST. A atribuição de usuários, entidades de serviço e grupos a espaços de trabalho é chamada de federação de identidades.

Todos os espaços de trabalho que têm um metastore do Unity Catalog anexado a eles são habilitados para federação de identidades.

Considerações especiais para grupos

Todos os grupos que já existem no espaço de trabalho são rotulados como Espaço de trabalho local no console da conta. Esses grupos locais de espaço de trabalho não podem ser usados no Unity Catalog para definir políticas de acesso. Você deve usar grupos no nível da conta. Se um grupo local de trabalho for referenciado em um comando, esse comando retornará um erro de que o grupo não foi encontrado. Se você usou anteriormente grupos locais de espaço de trabalho para gerenciar o acesso a blocos de anotações e outros artefatos, essas permissões permanecerão em vigor.

Consulte Gerir grupos.

Funções de administrador para o Catálogo Unity

Administradores de conta, administradores de metastore e administradores de espaço de trabalho estão envolvidos no gerenciamento do Catálogo Unity:

Consulte Privilégios de administrador no Catálogo Unity.

Permissões de dados no Unity Catalog

No Unity Catalog, os dados são seguros por padrão. Inicialmente, os usuários não têm acesso aos dados em um metastore. O acesso pode ser concedido por um administrador de metastore, o proprietário de um objeto ou o proprietário do catálogo ou esquema que contém o objeto. Os objetos com capacidade de segurança no Catálogo Unity são hierárquicos e os privilégios são herdados para baixo.

Você pode atribuir e revogar permissões usando o Gerenciador de Catálogos, comandos SQL ou APIs REST.

Consulte Gerenciar privilégios no Catálogo Unity.

Modos de computação e acesso a cluster suportados para o Unity Catalog

O Unity Catalog é suportado em clusters que executam o Databricks Runtime 11.3 LTS ou superior. O Unity Catalog é suportado por padrão em todas as versões de computação do SQL warehouse .

Os clusters executados em versões anteriores do Databricks Runtime não fornecem suporte para todos os recursos e funcionalidades do Unity Catalog GA.

Para acessar dados no Unity Catalog, os clusters devem ser configurados com o modo de acesso correto. O Unity Catalog é seguro por padrão. Se um cluster não estiver configurado com um dos modos de acesso compatíveis com Unity-Catalog (ou seja, compartilhado ou atribuído), o cluster não poderá acessar dados no Unity Catalog. Consulte Modos de acesso.

Para obter informações detalhadas sobre as alterações de funcionalidade do Unity Catalog em cada versão do Databricks Runtime, consulte as notas de versão.

As limitações do Unity Catalog variam de acordo com o modo de acesso e a versão do Databricks Runtime. Consulte Limitações do modo de acesso de computação para o Unity Catalog.

Linhagem de dados para o Catálogo Unity

Você pode usar o Catálogo Unity para capturar linhagem de dados de tempo de execução em consultas em qualquer linguagem executada em um cluster do Azure Databricks ou armazém SQL. A linhagem é capturada até o nível da coluna e inclui blocos de anotações, fluxos de trabalho e painéis relacionados à consulta. Para saber mais, consulte Capturar e visualizar linhagem de dados usando o Catálogo Unity.

Lakehouse Federation e Unity Catálogo

Lakehouse Federation é a plataforma de federação de consultas para o Azure Databricks. O termo federação de consultas descreve uma coleção de recursos que permitem que usuários e sistemas executem consultas em várias fontes de dados em silos sem a necessidade de migrar todos os dados para um sistema unificado.

O Azure Databricks usa o Unity Catalog para gerenciar a federação de consultas. Você usa o Unity Catalog para configurar conexões somente leitura para sistemas de banco de dados externos populares e criar catálogos estrangeiros que espelham bancos de dados externos. As ferramentas de governança de dados e linhagem de dados do Unity Catalog garantem que o acesso aos dados seja gerenciado e auditado para todas as consultas federadas feitas pelos usuários em seus espaços de trabalho do Azure Databricks.

Veja O que é Lakehouse Federation.

Como configuro o Catálogo Unity para minha organização?

Para saber como configurar o Catálogo Unity, consulte Configurar e gerenciar o Catálogo Unity.

Regiões suportadas

Todas as regiões suportam o Unity Catalog. Para obter detalhes, consulte Regiões do Azure Databricks.

Formatos de ficheiro de dados suportados

O Unity Catalog suporta os seguintes formatos de tabela:

  • As tabelas gerenciadas devem usar o formato de delta tabela.
  • As tabelas externas podem usar delta, CSV, , JSONavro, ORCparquet, ou text.

Limitações do Catálogo Unity

O Catálogo Unity tem as seguintes limitações.

Nota

Se o cluster estiver sendo executado em uma versão do Databricks Runtime abaixo de 11.3 LTS, pode haver limitações adicionais, não listadas aqui. O Unity Catalog é suportado no Databricks Runtime 11.3 LTS ou superior.

As limitações do Catálogo Unity variam de acordo com o tempo de execução do Databricks e o modo de acesso. As cargas de trabalho de Streaming estruturado têm limitações adicionais com base no modo de tempo de execução e acesso do Databricks. Consulte Limitações do modo de acesso de computação para o Unity Catalog.

  • As cargas de trabalho em R não suportam o uso de exibições dinâmicas para segurança em nível de linha ou coluna.

  • No Databricks Runtime 13.3 LTS e superior, clones superficiais são suportados para criar tabelas gerenciadas do Unity Catalog a partir de tabelas gerenciadas do Unity Catalog existentes. No Databricks Runtime 12.2 LTS e inferior, não há suporte para clones superficiais no Unity Catalog. Consulte Clone superficial para tabelas do Catálogo Unity.

  • Não há suporte para bucketing para tabelas do Unity Catalog. Se você executar comandos que tentam criar uma tabela bucketed no Unity Catalog, ele lançará uma exceção.

  • Gravar no mesmo caminho ou na tabela Delta Lake a partir de espaços de trabalho em várias regiões pode levar a um desempenho não confiável se alguns clusters acessarem o Unity Catalog e outros não.

  • Esquemas de partição personalizados criados usando comandos como ALTER TABLE ADD PARTITION não são suportados para tabelas no Unity Catalog. O Unity Catalog pode acessar tabelas que usam particionamento no estilo de diretório.

  • O modo de substituição para operações de gravação DataFrame no Unity Catalog é suportado apenas para tabelas Delta, não para outros formatos de arquivo. O usuário deve ter o CREATE privilégio no esquema pai e deve ser o proprietário do objeto existente ou ter o MODIFY privilégio no objeto.

  • No Databricks Runtime 13.3 LTS e superior, UDFs escalares Python são suportados. No Databricks Runtime 12.2 LTS e inferior, não é possível usar UDFs do Python, incluindo UDAFs, UDTFs e Pandas no Spark (applyInPandas e mapInPandas).

  • No Databricks Runtime 14.2 e superior, UDFs escalares Scala são suportados em clusters compartilhados. No Databricks Runtime 14.1 e inferior, todas as UDFs do Scala não são suportadas em clusters compartilhados.

  • Os grupos que foram criados anteriormente em um espaço de trabalho (ou seja, grupos no nível do espaço de trabalho) não podem ser usados em instruções GRANT do Catálogo Unity. Isso é para garantir uma exibição consistente de grupos que podem se estender por espaços de trabalho. Para usar grupos em instruções GRANT, crie seus grupos no nível da conta e atualize qualquer automação para gerenciamento de entidade ou grupo (como conectores SCIM, Okta e Microsoft Entra ID (anteriormente Azure Ative Directory) e Terraform) para fazer referência a pontos de extremidade de conta em vez de pontos de extremidade de espaço de trabalho. Consulte Diferença entre grupos de contas e grupos locais de espaço de trabalho.

  • Não há suporte para pools de threads Scala padrão. Em vez disso, use os pools de threads especiais em org.apache.spark.util.ThreadUtils, por exemplo, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. No entanto, os seguintes pools de threads não ThreadUtils são suportados: ThreadUtils.newForkJoinPool e qualquer ScheduledExecutorService pool de threads.

  • O log de auditoria é suportado apenas para eventos do Catálogo Unity no nível do espaço de trabalho. Os eventos que ocorrem no nível da conta sem referência a um espaço de trabalho, como a criação de um metastore, não são registrados.

As limitações a seguir se aplicam a todos os nomes de objetos no Unity Catalog:

  • Os nomes de objeto não podem exceder 255 caracteres.
  • Não são permitidos os seguintes caracteres especiais:
    • Período (.)
    • Espaço ( )
    • Barra (/)
    • Todos os caracteres de controle ASCII (00-1F hex)
    • O caractere DELETE (7F hex)
  • O Unity Catalog armazena todos os nomes de objetos em minúsculas.
  • Ao fazer referência a nomes de UC em SQL, você deve usar backticks para escapar de nomes que contenham caracteres especiais, como hífenes (-).

Nota

Os nomes de coluna podem usar caracteres especiais, mas o nome deve ser escapado com backticks em todas as instruções SQL se forem usados caracteres especiais. O Unity Catalog preserva a caixa do nome da coluna, mas as consultas nas tabelas do Unity Catalog não diferenciam maiúsculas de minúsculas.

Existem limitações adicionais para modelos no Unity Catalog. Consulte Limitações no suporte ao Catálogo Unity.

Quotas de recursos

O Unity Catalog impõe quotas de recursos em todos os objetos com capacidade de segurança. Os limites respeitam a mesma organização hierárquica em todo o Unity Catalog. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de conta do Azure Databricks.

Os valores de quota abaixo são expressos em relação ao objeto pai (ou avô) no Unity Catalog.

Object Parent Value
tabela esquema 10000
tabela metastore 100000
volume esquema 10000
function esquema 10000
modelo registado esquema 1000
modelo registado metastore 5000
versão do modelo modelo registado 10000
versão do modelo metastore 100000
esquema catálogo 10000
catálogo metastore 1000
ligação metastore 1000
credencial de armazenamento metastore 200
localização externa metastore 500

Para limites de compartilhamento delta, consulte Cotas de recursos.