Bibliothèques de cluster

  • Article

Les bibliothèques de cluster peuvent être utilisées par tous les notebooks et tâches s’exécutant sur un cluster. Cet article décrit en détail l’utilisation de l’interface utilisateur Installer la bibliothèque dans l’espace de travail Azure Databricks.

Remarque

Si vous créez une capacité de calcul à l’aide d’une stratégie qui applique des installations de bibliothèque, vous ne pouvez pas installer ou désinstaller des bibliothèques sur votre calcul. Les administrateurs de l’espace de travail contrôlent la gestion de toutes les bibliothèques au niveau de la stratégie.

Vous pouvez installer des bibliothèques sur un cluster à l’aide des approches suivantes :

Installer une bibliothèque sur un cluster

Pour installer une bibliothèque sur un cluster :

  1. Cliquez sur Icône CalculCalcul dans la barre latérale.
  2. Cliquez sur le nom d’un cluster.
  3. Cliquez sur l’onglet Bibliothèques.
  4. Cliquez sur Installer.
  5. La boîte de dialogue Installer la bibliothèque s’affiche.
  6. Sélectionnez l’une des options Source de la bibliothèque, suivez les instructions qui s’affichent, puis cliquez sur Installer.

Important

Vous pouvez également installer les bibliothèques à partir de DBFS lors de l’utilisation de Databricks Runtime 14.3 LTS et versions antérieures. Toutefois, tout utilisateur de l’espace de travail peut modifier les bibliothèques de codes stockées dans DBFS. Pour améliorer la sécurité des bibliothèques dans un espace de travail Azure Databricks, le stockage des bibliothèques de codes dans la racine DBFS est déconseillé et désactivé par défaut dans Databricks Runtime 15.0 et versions ultérieures. Consultez Le stockage des bibliothèques dans la racine DBFS est déconseillé et désactivé par défaut.

Au lieu de cela, Databricks recommande de charger toutes les bibliothèques, notamment les bibliothèques Python, les fichiers JAR et les connecteurs Spark, dans des fichiers d’espace de travail ou des volumes du catalogue Unity, ou d’utiliser des référentiels de packages de bibliothèques. Si votre charge de travail ne prend pas en charge ces modèles, vous pouvez également utiliser des bibliothèques stockées dans le stockage d’objets cloud.

Tous les modes d’accès au cluster ne prennent pas en charge toutes les configurations de bibliothèque. Consultez Bibliothèques à l’échelle d’un cluster.

Source de la bibliothèque Instructions
Espace de travail Sélectionnez un fichier de l’espace de travail ou chargez un fichier Whl, wheelhouse compressé, JAR, ZIP, tar ou requirements.txt. Consultez Installer les bibliothèques à partir de fichiers d’espace de travail
Volumes Dans un volume, sélectionnez un fichier Whl, JAR ou requirements.txt. Consultez Installer des bibliothèques à partir d’un volume.
Chemin de fichier/ADLS Sélectionnez le type de bibliothèque et fournissez l’URI complet de l’objet de bibliothèque (par exemple /Workspace/path/to/library.whl, /Volumes/path/to/library.whlou abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Consultez Installer des bibliothèques à partir du stockage d’objets.
PyPI Entrez un nom de package PyPI. Consultez Package PyPI.
Maven Spécifiez une coordonnée Maven. Consultez Package Maven ou Spark.
CRAN Entrez le nom d’un package. Consultez Package CRAN.
DBFS (Non recommandé) Chargez un fichier JAR ou Whl à la racine DBFS. Cela n’est pas recommandé, car des fichiers stockés dans DBFS peuvent être modifiés par n’importe quel utilisateur de l’espace de travail.

Lorsque vous installez une bibliothèque sur un cluster, un notebook déjà attaché à ce cluster ne verra pas immédiatement la nouvelle bibliothèque. Vous devez d’abord détacher, puis rattacher le notebook au cluster.

Installer une bibliothèque à l’aide d’une stratégie

Si vous créez un cluster à l’aide d’une stratégie qui applique l’installation d’une bibliothèque, les bibliothèques spécifiées s’installent automatiquement sur votre cluster. Vous ne pouvez installer aucune bibliothèque supplémentaire ou en désinstaller.

Les administrateurs de l’espace de travail peuvent ajouter des bibliothèques à des stratégies, ce qui leur permet de gérer et d’appliquer des installations de bibliothèque sur tous les calculs utilisant la stratégie. Pour obtenir des instructions de l’administrateur, consultez Ajouter des bibliothèques à une stratégie.

Désinstaller une bibliothèque d’un cluster

Notes

Lorsque vous désinstallez une bibliothèque d’un cluster, la bibliothèque est supprimée uniquement lorsque vous redémarrez le cluster. Tant que vous n’avez pas redémarré le cluster, l’état de la bibliothèque désinstallée apparaît comme Désinstallation en attente de redémarrage.

Pour désinstaller une bibliothèque, vous pouvez utiliser l’interface utilisateur du cluster :

  1. Cliquez sur Icône CalculCalcul dans la barre latérale.
  2. Cliquez sur le nom d’un cluster.
  3. Cliquez sur l’onglet Bibliothèques.
  4. Cochez la case à côté du cluster à partir duquel vous souhaitez désinstaller la bibliothèque et cliquez sur Désinstaller, puis sur Confirmer. L’état passe à Désinstallation en attente de redémarrage.

Cliquez sur Redémarrer et Confirmer pour désinstaller la bibliothèque. La bibliothèque est supprimée de l’onglet Bibliothèques du cluster.

Afficher les bibliothèques installées sur un cluster

  1. Cliquez sur Icône CalculCalcul dans la barre latérale.
  2. Cliquez sur le nom du cluster.
  3. Cliquez sur l’onglet Bibliothèques. Pour chaque bibliothèque, l’onglet affiche le nom et la version, le type, l’état d’installation et, s’il a été chargé, le fichier source.

Mettre à jour une bibliothèque installée sur un cluster

Pour mettre à jour une bibliothèque installée sur un cluster, désinstallez l’ancienne version de la bibliothèque et installez une nouvelle version.

Remarque

Les fichiers requirements.txt ne nécessitent pas de désinstallation et de redémarrage. Si vous avez modifié le contenu d’un fichier requirements.txt, vous pouvez simplement le réinstaller pour mettre à jour le contenu du fichier installé.