Perguntas frequentes a respeito do Azure Databricks
Este artigo lista as principais dúvidas que você pode ter relacionadas ao Azure Databricks. Também lista alguns problemas comuns que você pode enfrentar durante o uso do Azure Databricks. Para obter mais informações, consulte O que é o Azure Databricks.
Posso usar o Azure Key Vault para armazenar chaves/segredos para uso no Azure Databricks?
Sim. Você pode usar o Azure Key Vault para armazenar chaves/segredos para uso no Azure Databricks. Para obter mais informações, consulte Escopos com suporte do Azure Key Vault.
Posso usar Redes Virtuais do Azure com o Databricks?
Sim. Você pode usar uma VNET (Rede Virtual) do Azure com o Azure Databricks. Para obter mais informações, consulte Implantando o Azure Databricks em sua Rede Virtual do Azure.
Como fazer para acessar o Azure Data Lake Storage em um notebook?
Siga estas etapas:
- No Microsoft Entra ID (antigo Azure Active Directory), provisione uma entidade de serviço e registre sua chave.
- Atribua as permissões necessárias à entidade de serviço no Data Lake Storage.
- Para acessar um arquivo no Data Lake Storage, use as credenciais da entidade de serviço no notebook.
Para obter mais informações, confira Usar o Azure Data Lake Storage com o Azure Databricks.
Solução de problemas comuns
Aqui estão alguns problemas que podem ocorrer com o Databricks.
Problema: a assinatura não está registrada para usar o namespace 'Microsoft.Databricks'
Mensagem de erro
"Esta assinatura não está registrada para usar o namespace 'Microsoft.Databricks'. Consulte https://aka.ms/rps-not-found para saber como registrar assinaturas. (Código: MissingSubscriptionRegistration)"
Solução
- Vá para o Portal do Azure.
- Clique em Assinaturas, na assinatura que você está usando e, em seguida, clique em Provedores de recursos.
- Na lista de provedores de recursos, em relação a Microsoft.Databricks, clique em Registrar. Você deve ter a função de Colaborador ou Proprietário na assinatura para registrar o provedor de recursos.
Problema: Sua conta {email} não tem a função Proprietário ou Colaborador no recurso do workspace do Databricks no portal do Azure
Mensagem de erro
Sua conta {email} não tem a função Proprietário ou Colaborador no recurso do workspace do Databricks no portal do Azure. Esse erro também poderá ocorrer se você for um usuário convidado no locatário. Solicite ao administrador para conceder acesso a você ou adicioná-lo como um usuário diretamente no workspace do Databricks." (Código: AADSTS90015)
Solução
Estas são algumas soluções para esse problema:
Se você é um usuário do Azure Databricks sem a função Proprietário ou Colaborador no recurso de workspace do Databricks e simplesmente deseja acessar o workspace:
- Você deve acessá-lo diretamente usando a URL (por exemplo,
https://adb-5555555555555555.19.azuredatabricks.net). Não use o botão Iniciar Workspace no portal do Azure.
Se você esperava ser reconhecido como Proprietário ou Colaborador no recurso de workspace:
Para inicializar o locatário, você deve estar conectado como um usuário normal do locatário, não um usuário convidado. Você também precisa ter a função Colaborador ou Proprietário no recurso de workspace do Databricks. Um administrador pode conceder uma função a um usuário na guia Controle de Acesso (IAM) do workspace do Azure Databricks no portal do Azure.
Esse erro também poderá ocorrer se o seu nome de domínio de email estiver atribuído a vários diretórios no Microsoft Entra ID (antigo Azure Active Directory). Para contornar esse problema, crie um novo usuário no diretório que contém a assinatura com o seu workspace do Databricks.
a. No portal do Azure, acesse o Microsoft Entra ID (antigo Azure Active Directory). Selecione Usuários e Grupos>Adicione um usuário.
b. Adicione um usuário com um
@<tenant-name>.onmicrosoft.comemail em vez do@<your-domain>email. Você pode encontrar essa opção em Domínios Personalizados no Microsoft Entra ID (antigo Azure Active Directory) no portal do Azure.c. Conceda essa nova função de usuário de Colaborador no recurso do workspace do Databricks.
d. Entre no portal do Azure com o novo usuário e localize o workspace do Databricks.
e. Inicie o workspace do Databricks como esse usuário.
Problema: sua conta {email} não foi registrada no Databricks
Solução
Se você não criou o workspace e foi adicionado como um usuário do workspace, contate a pessoa que criou o workspace. Peça à pessoa que o adicione usando o Console de Administração do Azure Databricks. Para obter instruções, consulte Adicionando e gerenciando usuários. Se você criou o workspace e ainda recebe esse erro, tente clicar em Inicializar Workspace novamente no portal do Azure.
Problema: falha de inicialização do provedor de nuvem durante a configuração do cluster (PublicIPCountLimitReached)
Mensagem de erro
"Falha ao iniciar o provedor de nuvem: Foi encontrado um erro do provedor de nuvem durante a configuração do cluster. Para obter mais informações, consulte o guia do Databricks. Código de erro do Azure: PublicIPCountLimitReached. Mensagem de erro do Azure: não é possível criar mais de dez endereços IP públicos para esta assinatura nesta região."
Segundo plano
Os clusters do Databricks usam um endereço IP público por nó (incluindo o nó do driver). As assinaturas do Azure têm limites de endereço IP público por região. Portanto, as operações de criação e escala vertical de cluster poderão falhar se fizerem com que o número de endereços IP públicos alocados para esta assinatura nesta região exceda o limite. Esse limite também inclui os endereços IP públicos alocados para o uso que não é feito pelo Databricks, como VMs personalizadas definidas pelo usuário.
Em geral, os clusters só consomem endereços IP públicos enquanto estão ativos. No entanto, os erros PublicIPCountLimitReached podem continuar ocorrendo por um curto período mesmo depois que outros clusters são encerrados. Isso ocorre porque o Databricks armazena temporariamente os recursos do Azure em cache quando um cluster é encerrado. O cache de recursos ocorre por design, pois reduz significativamente a latência da inicialização do cluster e do dimensionamento automático em muitos cenários comuns.
Solução
Se a sua assinatura já tiver atingido o limite de endereços IP públicos em determinada região, execute uma das opções a seguir.
- Crie clusters em outro workspace do Databricks. O outro workspace precisa estar localizado em uma região em que você não tenha atingido o limite de endereços IP públicos da sua assinatura.
- Solicite o aumento do limite de endereços IP públicos. Escolha Cota como o Tipo de problema, e Rede: ARM como o Tipo de cota. Em Detalhes, solicite um aumento de cota de endereço de IP público. Por exemplo, se o limite atual for de 60 e você deseja criar um cluster de 100 nós, solicite um aumento de limite para 160.
Problema: Um segundo tipo de falha de inicialização do provedor de nuvem durante a configuração do cluster (MissingSubscriptionRegistration)
Mensagem de erro
"Falha ao iniciar o provedor de nuvem: Foi encontrado um erro do provedor de nuvem durante a configuração do cluster. Para obter mais informações, consulte o guia do Databricks. Código de erro do Azure: mensagem de erro do Azure MissingSubscriptionRegistration: a assinatura não está registrada para usar o namespace 'Microsoft.Compute'. Consulte https://aka.ms/rps-not-found para saber como registrar assinaturas.
Solução
- Vá para o Portal do Azure.
- Clique em Assinaturas, na assinatura que você está usando e, em seguida, clique em Provedores de recursos.
- Na lista de provedores de recursos, em relação a Microsoft.Compute, clique em Registrar. Você deve ter a função de Colaborador ou Proprietário na assinatura para registrar o provedor de recursos.
Consulte Provedores de recursos e tipos para obter instruções mais detalhadas.
Problema: O Databricks do Azure precisa de permissões para acessar recursos em sua organização que apenas um administrador pode conceder.
Tela de fundo
O Azure Databricks é integrado ao Microsoft Entra ID (antigo Azure Active Directory). É possível definir permissões no Azure Databricks (por exemplo, em notebooks ou clusters), especificando os usuários do Microsoft Entra ID (antigo Azure Active Directory). Para o Azure Databricks poder listar os nomes dos usuários do seu Microsoft Entra ID (antigo Azure Active Directory), ele requer permissão de leitura dessas informações e consentimento. Se o consentimento ainda não estiver disponível, você verá o erro.
Solução
Entre como administrador global no portal do Azure. Para o Microsoft Entra ID (antigo Azure Active Directory), acesse a guia Configurações e certifique-se de que a opção Os usuários podem consentir que os aplicativos acessem dados da empresa em seu nome esteja definida como Sim.
Problema: o Azure Databricks não dá suporte à criação de workspace em Grupos de Recursos do Azure que sejam criados com caracteres chineses.
Solução
O suporte para validação desse cenário como parte da criação do workspace será adicionado na versão posterior.