Forum aux Questions sur Azure Databricks

  • Article

Cet article répertorie les principales questions relatives à Azure Databricks. Il répertorie également certains problèmes éventuellement rencontrés avec l’utilisation de Databricks. Pour plus d’informations, consultez Qu’est-ce qu’Azure Databricks.

Puis-je utiliser Azure Key Vault pour stocker les clés/secrets à utiliser dans Azure Databricks ?

Oui. Vous pouvez utiliser Azure Key Vault pour stocker les clés/secrets à utiliser avec Azure Databricks. Pour plus d’informations, consultez la page relative aux étendues d’Azure Key Vault.

Puis-je utiliser les réseaux virtuels Azure avec Databricks ?

Oui. Vous pouvez utiliser un réseau virtuel Azure (VNET) avec Azure Databricks. Pour plus d’informations, consultez Deploying Azure Databricks in your Azure Virtual Network (Déploiement d’Azure Databricks dans votre réseau virtuel Azure).

Comment accéder à Azure Data Lake Storage à partir d’un notebook ?

Suivez ces étapes :

  1. Dans Microsoft Entra ID (anciennement Azure Active Directory), provisionnez un principal de service et enregistrez sa clé.
  2. Attribuez les autorisations nécessaires au principal de service dans Data Lake Storage.
  3. Pour accéder à un fichier dans Data Lake Storage, utilisez les informations d’identification du principal de service dans Notebook.

Pour plus d’informations, consultez Utiliser Azure Data Lake Storage avec Azure Databricks.

Correction des problèmes courants

Vous trouverez ci-après certains problèmes éventuellement rencontrés avec Databricks.

Problème : Cet abonnement n’est pas inscrit pour utiliser l’espace de noms 'Microsoft.Databricks'

Message d’erreur

« Cet abonnement n’est pas inscrit pour utiliser l’espace de noms "Microsoft.Databricks". Consultez https://aka.ms/rps-not-found pour découvrir comment enregistrer les abonnements. (Code : MissingSubscriptionRegistration) »

Solution

  1. Accédez au portail Azure.
  2. Sélectionnez Abonnements, l’abonnement que vous utilisez, puis Fournisseurs de ressources.
  3. Dans la liste des fournisseurs de ressources, en regard de Microsoft.Databricks, cliquez sur S’inscrire. Vous devez disposer du rôle de Collaborateur ou Propriétaire sur l’abonnement pour inscrire le fournisseur de ressources.

Problème : Votre compte {e-mail} ne dispose pas du rôle de propriétaire ou de collaborateur sur la ressource de l’espace de travail Databricks dans le portail Azure

Message d’erreur

« Votre compte {e-mail} ne dispose pas du rôle Propriétaire ou Collaborateur sur la ressource de l’espace de travail Databricks dans le portail Azure. Cette erreur peut également se produire si vous êtes un utilisateur invité dans le client. Demandez à votre administrateur de vous accorder l'accès ou de vous ajouter comme utilisateur directement dans l'espace de travail de Databricks." (Code : AADSTS90015)

Solution

Voici d’éventuelles solutions à ce problème :

Si vous êtes utilisateur Azure Databricks mais que vous n’avez pas le rôle de propriétaire ou de contributeur sur la ressource d’espace de travail Databricks et que vous voulez simplement accéder à l’espace de travail :

  • Vous devez y accéder directement à l’aide de l’URL (par exemple, https://adb-5555555555555555.19.azuredatabricks.net). N’utilisez pas le bouton Lancer l’espace de travail dans le portail Azure.

Si vous devez être reconnu en tant que propriétaire ou contributeur sur la ressource d’espace de travail :

  • Pour initialiser le locataire, vous devez être connecté en tant qu’utilisateur normal du locataire, pas comme utilisateur invité. Vous devez aussi détenir le rôle de contributeur ou de propriétaire sur la ressource d’espace de travail Databricks. Un administrateur peut octroyer un rôle à un utilisateur à partir de l’onglet Contrôle d’accès (IAM) au sein de l’espace de travail Azure Databricks dans le portail Azure.

  • Cette erreur peut également survenir si votre nom de domaine de courrier est attribué à plusieurs annuaires dans Microsoft Entra ID (anciennement Azure Active Directory). Pour contourner ce problème, créez un nouvel utilisateur dans le répertoire contenant l’abonnement avec votre espace de travail Databricks.

    a. Dans le portail Azure, accédez à Microsoft Entra ID (anciennement Azure Active Directory). Sélectionnez Utilisateurs et Groupes>Ajouter un utilisateur.

    b. Ajoutez un utilisateur avec un e-mail @<tenant-name>.onmicrosoft.com au lieu d’un e-mail @<your-domain>. Cette option est disponible dans Domaines personnalisés, sous Microsoft Entra ID (anciennement Azure Active Directory) dans le Portail Azure.

    c. Accordez à ce nouvel utilisateur le rôle de Collaborateur sur la ressource de l’espace de travail Databricks.

    d. Connectez-vous au portail Azure avec le nouvel utilisateur et recherchez l’espace de travail Databricks.

    e. Lancez l’espace de travail Databricks en tant que cet utilisateur.

Problème : votre compte {e-mail} n’a pas été enregistré dans Databricks

Solution

Si vous n’avez pas créé l’espace de travail et que vous êtes ajouté en tant qu’utilisateur, contactez la personne qui a créé l’espace de travail. Demandez à cette personne de vous ajouter à l’aide de la console administrateur Azure Databricks. Pour obtenir des instructions, consultez Adding and managing users (Ajout et gestion des utilisateurs). Si vous avez créé l’espace de travail et que vous rencontrez encore cette erreur, essayez de cliquer à nouveau sur Initialiser l’espace de travail à partir du portail Azure.

Problème : Échec du lancement du fournisseur de cloud lors de la configuration du cluster (PublicIPCountLimitReached)

Message d’erreur

« Échec du lancement du fournisseur de cloud : une erreur de fournisseur de cloud s’est produite lors de la configuration du cluster. Pour plus d’informations, consultez le guide relatif à Databricks. Code d’erreur Azure : PublicIPCountLimitReached. Message d’erreur Azure : Impossible de créer plus de 10 adresses IP publiques pour cet abonnement dans cette région.

Arrière-plan

Les clusters Databricks utilisent une adresse IP publique par nœud (y compris le nœud de pilote). Les abonnements Azure comportent des limites d’adresses IP publiques par région. Ainsi, les opérations de création et de scale-up du cluster peuvent échouer si elles entraînent le dépassement de la limite du nombre d’adresses IP publiques allouées à cet abonnement dans cette région. Cette limite comprend également les adresses IP publiques allouées pour une utilisation autre que Databricks, par exemple les machines virtuelles personnalisées définies par l’utilisateur.

En général, les clusters consomment uniquement des adresses IP publiques lorsqu’ils sont actifs. Toutefois, des erreurs PublicIPCountLimitReached peuvent continuer de se produire pendant une brève période de temps, même après l’arrêt des autres clusters. En effet, Databricks met temporairement en cache les ressources Azure lorsqu’un cluster s’arrête. La mise en cache des ressources est normale, car elle réduit considérablement la latence du démarrage du cluster et celle de la mise à l’échelle automatique dans de nombreux scénarios courants.

Solution

Si votre abonnement a déjà atteint sa limite d’adresses IP publiques pour une région donnée, vous devez effectuer l’une ou l’autre des opérations suivantes.

  • Créer des clusters dans un autre espace de travail Databricks. L’autre espace de travail doit se trouver dans une région où vous n’avez pas atteint la limite d’adresses IP publiques de votre abonnement.
  • Demander à augmenter votre limite d’adresses IP publiques. Sélectionnez Quota en tant que Type de problème et Mise en réseau : ARM en tant que Type de quota. Dans Détails, demandez une augmentation du quota d’adresses IP publiques. Par exemple, si votre limite est actuellement de 60 et que vous souhaitez créer un cluster de 100 nœuds, demandez une augmentation de cette limite à 160.

Problème : Un second type d’échec du lancement du fournisseur de cloud lors de la configuration du cluster (MissingSubscriptionRegistration)

Message d’erreur

« Échec du lancement du fournisseur de cloud : une erreur de fournisseur de cloud s’est produite lors de la configuration du cluster. Pour plus d’informations, consultez le guide relatif à Databricks. Code d’erreur Azure : MissingSubscriptionRegistration Message d’erreur Azure : L’abonnement n’est pas inscrit pour utiliser l’espace de noms « Microsoft.Compute ». Consultez https://aka.ms/rps-not-found pour découvrir comment enregistrer les abonnements."

Solution

  1. Accédez au portail Azure.
  2. Sélectionnez Abonnements, l’abonnement que vous utilisez, puis Fournisseurs de ressources.
  3. Dans la liste des fournisseurs de ressources, en regard de Microsoft.Compute, cliquez sur S’inscrire. Vous devez disposer du rôle de Collaborateur ou Propriétaire sur l’abonnement pour inscrire le fournisseur de ressources.

Pour obtenir des instructions plus détaillées, consultez Fournisseurs et types de ressources.

Problème : Pour accéder aux ressources de votre organisation, Azure Databricks a besoin d’autorisations que seul un administrateur peut accorder.

Arrière-plan

Azure Databricks est intégré à Microsoft Entra ID (anciennement Azure Active Directory). Vous pouvez définir des autorisations dans Azure Databricks (par exemple, sur des notebooks ou des clusters) en spécifiant des utilisateurs à partir de Microsoft Entra ID (anciennement Azure Active Directory). Pour qu’Azure Databricks puisse lister les noms des utilisateurs de votre instance Microsoft Entra ID (anciennement Azure Active Directory), il doit avoir l’autorisation de lecture sur ces informations et le consentement des utilisateurs. Si le consentement n’est pas encore disponible, l’erreur s’affiche.

Solution

Connectez-vous au portail Azure en tant qu’administrateur. Pour Microsoft Entra ID (anciennement Azure Active Directory), accédez à l’onglet Paramètres et assurez-vous que l’option Les utilisateurs peuvent autoriser les applications à accéder aux données de l’entreprise en leur nom est définie sur Oui.

Problème : Azure Databricks ne prend pas en charge la création d’espace de travail dans les groupes de ressources Azure qui sont créés avec des caractères chinois.

Solution

Un support pour la validation de ce scénario dans le cadre de la création de l’espace de travail sera ajouté dans la version ultérieure.

Étapes suivantes