Perguntas mais frequentes sobre o Azure Databricks
Este artigo lista as principais perguntas que você pode ter relacionadas ao Azure Databricks. Ele também lista alguns problemas comuns que você pode ter ao usar o Databricks. Para obter mais informações, consulte O que é o Azure Databricks.
Posso usar o Azure Key Vault para armazenar chaves/segredos a serem usados no Azure Databricks?
Sim. Você pode usar o Azure Key Vault para armazenar chaves/segredos para uso com o Azure Databricks. Para obter mais informações, consulte Escopos apoiados pelo Cofre de Chaves do Azure.
Posso usar as Redes Virtuais do Azure com Databricks?
Sim. Você pode usar uma Rede Virtual do Azure (VNET) com o Azure Databricks. Para obter mais informações, consulte Implantando o Azure Databricks em sua Rede Virtual do Azure.
Como posso aceder ao Armazenamento Azure Data Lake a partir de um bloco de notas?
Siga estes passos:
- No Microsoft Entra ID (anteriormente Azure Ative Directory), provisione uma entidade de serviço e registre sua chave.
- Atribua as permissões necessárias à entidade de serviço no Armazenamento Data Lake.
- Para acessar um arquivo no Armazenamento Data Lake, use as credenciais da entidade de serviço no Bloco de Anotações.
Para obter mais informações, consulte Usar o Armazenamento do Azure Data Lake com o Azure Databricks.
Corrigir problemas comuns
Aqui estão alguns problemas que você pode encontrar com o Databricks.
Problema: esta assinatura não está registrada para usar o namespace 'Microsoft.Databricks'
Error message
"Esta assinatura não está registrada para usar o namespace 'Microsoft.Databricks'. Veja https://aka.ms/rps-not-found como registar subscrições. (Código: MissingSubscriptionRegistration)"
Solution
- Aceda ao portal do Azure.
- Selecione Subscrições, a subscrição que está a utilizar e, em seguida , Fornecedores de recursos.
- Na lista de provedores de recursos, em Microsoft.Databricks, selecione Registrar. Você deve ter a função de colaborador ou proprietário na assinatura para registrar o provedor de recursos.
Problema: sua conta {email} não tem a função de proprietário ou colaborador no recurso de espaço de trabalho Databricks no portal do Azure
Error message
"Sua conta {email} não tem a função de Proprietário ou Colaborador no recurso de espaço de trabalho Databricks no portal do Azure. Esse erro também pode ocorrer se você for um usuário convidado no locatário. Peça ao administrador para conceder acesso ou adicioná-lo como usuário diretamente no espaço de trabalho Databricks." (Código: AADSTS90015)
Solution
Seguem-se algumas soluções para este problema:
Se você for um usuário do Azure Databricks sem a função Proprietário ou Colaborador no recurso de espaço de trabalho Databricks e quiser simplesmente acessar o espaço de trabalho:
- Você deve acessá-lo diretamente usando o URL (por exemplo,
https://adb-5555555555555555.19.azuredatabricks.net). Não use o botão Iniciar Espaço de Trabalho no portal do Azure.
Se você esperava ser reconhecido como Proprietário ou Colaborador no recurso de espaço de trabalho:
Para inicializar o locatário, você deve estar conectado como um usuário regular do locatário, não como um usuário convidado. Você também deve ter a função de Colaborador ou Proprietário no recurso de espaço de trabalho Databricks. Um administrador pode conceder a um usuário uma função na guia Controle de acesso (IAM) no espaço de trabalho do Azure Databricks no portal do Azure.
Este erro também pode ocorrer se o seu nome de domínio de email for atribuído a vários diretórios no Microsoft Entra ID (anteriormente Azure Ative Directory). Para contornar esse problema, crie um novo usuário no diretório que contém a assinatura com seu espaço de trabalho Databricks.
a. No portal do Azure, vá para Microsoft Entra ID (anteriormente Azure Ative Directory). Selecione Usuários e Grupos>Adicionar um usuário.
b. Adicione um usuário com um e-mail em vez de
@<your-domain>um@<tenant-name>.onmicrosoft.come-mail. Você pode encontrar essa opção em Domínios Personalizados, em ID do Microsoft Entra (anteriormente Azure Ative Directory) no portal do Azure.c. Conceda a esse novo usuário a função de Colaborador no recurso de espaço de trabalho Databricks.
d. Entre no portal do Azure com o novo usuário e localize o espaço de trabalho Databricks.
e. Inicie o espaço de trabalho Databricks como este usuário.
Problema: A sua conta {email} não foi registada no Databricks
Solution
Se você não criou o espaço de trabalho e foi adicionado como usuário, entre em contato com a pessoa que criou o espaço de trabalho. Peça a essa pessoa que o adicione usando o Console de Administração do Azure Databricks. Para obter instruções, consulte Adicionando e gerenciando usuários. Se você criou o espaço de trabalho e ainda recebe esse erro, tente selecionar Inicializar Espaço de Trabalho novamente no portal do Azure.
Problema: falha na inicialização do provedor de nuvem durante a configuração do cluster (PublicIPCountLimitReached)
Error message
“Falha ao Iniciar o Fornecedor de Cloud: foi encontrado um erro do fornecedor de cloud ao configurar o cluster. Para obter mais informações, consulte o guia Databricks. Código de erro do Azure: PublicIPCountLimitReached. Mensagem de erro do Azure: Não é possível criar mais de 10 endereços IP públicos para esta assinatura nesta região."
Fundo
Os clusters Databricks usam um endereço IP público por nó (incluindo o nó do driver). As assinaturas do Azure têm limites de endereço IP público por região. Assim, as operações de criação e expansão de cluster podem falhar se fizerem com que o número de endereços IP públicos alocados para essa assinatura nessa região exceda o limite. Esse limite também inclui endereços IP públicos alocados para uso que não sejam Databricks, como VMs personalizadas definidas pelo usuário.
Em geral, os clusters só consomem endereços IP públicos enquanto estão ativos. No entanto, os erros podem continuar a ocorrer por um curto período de tempo, PublicIPCountLimitReached mesmo depois que outros clusters são encerrados. Isso ocorre porque o Databricks armazena temporariamente em cache recursos do Azure quando um cluster é encerrado. O cache de recursos é por design, pois reduz significativamente a latência da inicialização do cluster e do dimensionamento automático em muitos cenários comuns.
Solution
Se a sua subscrição já tiver atingido o limite de endereço IP público para uma determinada região, deverá efetuar um ou outro dos seguintes procedimentos.
- Crie novos clusters em um espaço de trabalho diferente do Databricks. O outro espaço de trabalho deve estar localizado em uma região na qual você não atingiu o limite de endereço IP público da sua assinatura.
- Solicite o aumento do seu limite de endereço IP público. Escolha Cota como o tipo de problema e Rede: ARM como o tipo de cota. Em Detalhes, solicite um aumento de cota de Endereço IP Público. Por exemplo, se o limite for 60 no momento e você quiser criar um cluster de 100 nós, solicite um aumento de limite para 160.
Problema: um segundo tipo de falha de inicialização do provedor de nuvem durante a configuração do cluster (MissingSubscriptionRegistration)
Error message
“Falha ao Iniciar o Fornecedor de Cloud: foi encontrado um erro do fornecedor de cloud ao configurar o cluster. Para obter mais informações, consulte o guia Databricks. Código de erro do Azure: MissingSubscriptionRegistration Mensagem de erro do Azure: A assinatura não está registrada para usar o namespace 'Microsoft.Compute'. Veja https://aka.ms/rps-not-found como registar subscrições."
Solution
- Aceda ao portal do Azure.
- Selecione Subscrições, a subscrição que está a utilizar e, em seguida , Fornecedores de recursos.
- Na lista de provedores de recursos, em Microsoft.Compute, selecione Registrar. Você deve ter a função de colaborador ou proprietário na assinatura para registrar o provedor de recursos.
Para obter instruções mais detalhadas, consulte Provedores e tipos de recursos.
Problema: o Azure Databricks precisa de permissões para aceder a recursos na sua organização que apenas um administrador pode conceder.
Fundo
O Azure Databricks está integrado com o Microsoft Entra ID (anteriormente Azure Ative Directory). Você pode definir permissões no Azure Databricks (por exemplo, em blocos de anotações ou clusters) especificando usuários do Microsoft Entra ID (anteriormente Azure Ative Directory). Para que o Azure Databricks possa listar os nomes dos usuários do seu ID do Microsoft Entra (anteriormente Azure Ative Directory), ele requer permissão de leitura para essas informações e consentimento para ser dado. Se o consentimento ainda não estiver disponível, você verá o erro.
Solution
Faça logon como administrador global no portal do Azure. Para o Microsoft Entra ID (anteriormente Azure Ative Directory), vá para a guia Configurações do Usuário e verifique se Usuários podem consentir que os aplicativos acessem os dados da empresa em seu nome estejam definidos como Sim.
Problema: o Azure Databricks não dá suporte à criação de espaço de trabalho em Grupos de Recursos do Azure, que são criados com caracteres chineses.
Solution
O suporte para validação para este cenário como parte da criação do espaço de trabalho será adicionado na versão posterior.