Ativar a configuração de acesso aos dados

Artigo
05/03/2024

Este artigo descreve as configurações de acesso a dados executadas pelos administradores do Azure Databricks para todos os armazéns SQL usando a interface do usuário.

Nota

Se seu espaço de trabalho estiver habilitado para o Catálogo Unity, você não precisará executar as etapas neste artigo. O Unity Catalog suporta armazéns SQL por padrão.

O Databricks recomenda o uso de volumes do Unity Catalog ou locais externos para se conectar ao armazenamento de objetos na nuvem em vez de perfis de instância. O Unity Catalog simplifica a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso aos dados em vários espaços de trabalho em sua conta. Consulte O que é o Catálogo Unity? e Recomendações para o uso de locais externos.

Para configurar todos os SQL warehouses usando a API REST, consulte SQL Warehouses API.

Importante

A alteração dessas configurações reinicia todos os armazéns SQL em execução.

Para obter uma visão geral de como habilitar o acesso aos dados, consulte Listas de controle de acesso.

Requisitos

Você deve ser um administrador do espaço de trabalho do Azure Databricks para definir as configurações de todos os armazéns SQL.

Configurar uma entidade de serviço

Para configurar o acesso de seus armazéns SQL a uma conta de armazenamento do Azure Data Lake Storage Gen2 usando entidades de serviço, siga estas etapas:

Registre um aplicativo Microsoft Entra ID (anteriormente Azure Ative Directory) e registre as seguintes propriedades:
- ID do aplicativo (cliente): uma ID que identifica exclusivamente o aplicativo Microsoft Entra ID (anteriormente Azure Ative Directory).
- ID de diretório (locatário): uma ID que identifica exclusivamente a instância de ID do Microsoft Entra (chamada de ID de diretório (locatário) no Azure Databricks).
- Segredo do cliente: O valor de um segredo do cliente criado para este registro de aplicativo. O aplicativo usará essa cadeia de caracteres secreta para provar sua identidade.
Na sua conta de armazenamento, adicione uma atribuição de função para o aplicativo registrado na etapa anterior para dar acesso à conta de armazenamento.
Crie um escopo secreto apoiado pelo Cofre de Chaves do Azure ou um escopo secreto com escopo de Databricks e registre o valor da propriedade de nome do escopo:
- Nome do escopo: o nome do escopo secreto criado.
Se estiver usando o Cofre de Chaves do Azure, vá para a seção Segredos e consulte Criar um segredo em um escopo apoiado pelo Cofre de Chaves do Azure. Em seguida, use o "segredo do cliente" obtido na Etapa 1 para preencher o campo "valor" desse segredo. Mantenha um registo do nome secreto que acabou de escolher.
- Nome secreto: o nome do segredo do Cofre da Chave do Azure criado.
Se estiver usando um escopo apoiado por Databricks, crie um novo segredo usando a CLI do Databricks e use-o para armazenar o segredo do cliente obtido na Etapa 1. Mantenha um registro da chave secreta que você inseriu nesta etapa.
- Chave secreta: A chave do segredo criado apoiado por Databricks.
Nota

Opcionalmente, você pode criar um segredo adicional para armazenar a ID do cliente obtida na Etapa 1.
Clique no seu nome de utilizador na barra superior da área de trabalho e selecione Definições na lista pendente.
Clique na guia Computação .
Clique em Gerenciar ao lado de SQL warehouses.
No campo Configuração de Acesso a Dados, clique no botão Adicionar Entidade de Serviço.
Configure as propriedades para sua conta de armazenamento do Azure Data Lake Storage Gen2.
Clique em Adicionar.

Você verá que novas entradas foram adicionadas à caixa de texto Configuração de Acesso a Dados.
Clique em Guardar.

Você também pode editar as entradas da caixa de texto Configuração de Acesso a Dados diretamente.

Configurar propriedades de acesso a dados para armazéns SQL

Para configurar todos os armazéns com propriedades de acesso a dados:

Clique no seu nome de utilizador na barra superior da área de trabalho e selecione Definições na lista pendente.
Clique na guia Computação .
Clique em Gerenciar ao lado de SQL warehouses.
Na caixa de texto Configuração de Acesso a Dados, especifique pares chave-valor que contenham propriedades de metastore.

Importante

Para definir uma propriedade de configuração do Spark com o valor de um segredo sem expor o valor secreto ao Spark, defina o valor como {{secrets/<secret-scope>/<secret-name>}}. Substitua <secret-scope> pelo escopo secreto e <secret-name> pelo nome secreto. O valor deve começar com {{secrets/ e terminar com }}. Para obter mais informações sobre essa sintaxe, consulte Sintaxe para referenciar segredos em uma propriedade de configuração do Spark ou variável de ambiente.
Clique em Guardar.

Você também pode configurar propriedades de acesso a dados usando o provedor Databricks Terraform e databricks_sql_global_config .

Propriedades suportadas

Para uma entrada que termina com *, todas as propriedades dentro desse prefixo são suportadas.

Por exemplo, spark.sql.hive.metastore.* indica que ambos spark.sql.hive.metastore.jars e spark.sql.hive.metastore.version são suportados, e quaisquer outras propriedades que comecem com spark.sql.hive.metastore.
Para propriedades cujos valores contêm informações confidenciais, você pode armazenar as informações confidenciais em segredo e definir o valor da propriedade como o nome secreto usando a seguinte sintaxe: secrets/<secret-scope>/<secret-name>.

As seguintes propriedades têm suporte para armazéns SQL:

spark.sql.hive.metastore.*
spark.sql.warehouse.dir
spark.hadoop.datanucleus.*
spark.hadoop.fs.*
spark.hadoop.hive.*
spark.hadoop.javax.jdo.option.*
spark.hive.*

Para obter mais informações sobre como definir essas propriedades, consulte Metastore externo do Hive.

Share via