Gérer des notebooksManage notebooks

Vous pouvez gérer les blocs-notes à l’aide de l’interface utilisateur, de l’interface CLI et en appelant l’API de l’espace de travail.You can manage notebooks using the UI, the CLI, and by invoking the Workspace API. Cet article se concentre sur l’exécution de tâches de bloc-notes à l’aide de l’interface utilisateur.This article focuses on performing notebook tasks using the UI. Pour les autres méthodes, consultez DATABRICKS CLI et l' API de l’espace de travail.For the other methods, see Databricks CLI and Workspace API.

Créer un notebookCreate a notebook

  1. Cliquez sur l’icône espace de travail bouton espace de travail  ou sur l’icône d’emplacement du bouton d' hébergement  dans la barre latérale.Click the Workspace button Workspace Icon or the Home button Home Icon in the sidebar. Effectuez l’une des actions suivantes :Do one of the following:
    • En regard de n’importe quel dossier, cliquez sur la  liste déroulante du menu sur le côté droit du texte et sélectionnez créer > bloc-notes.Next to any folder, click the Menu Dropdown on the right side of the text and select Create > Notebook.

      Créer un notebookCreate notebook

    • Dans le dossier de l’espace de travail ou de l’utilisateur, cliquez sur le  signe insertion et sélectionnez créer > bloc-notes.In the Workspace or a user folder, click Down Caret and select Create > Notebook.

  2. Dans la boîte de dialogue créer un Notebook, entrez un nom et sélectionnez la langue par défaut du bloc-notes.In the Create Notebook dialog, enter a name and select the notebook’s default language.
  3. Si des clusters sont en cours d’exécution, la liste déroulante cluster s’affiche.If there are running clusters, the Cluster drop-down displays. Sélectionnez le cluster auquel vous souhaitez attacher le bloc-notes.Select the cluster you want to attach the notebook to.
  4. Cliquez sur Créer.Click Create.

Ouvrir un notebookOpen a notebook

Dans votre espace de travail, cliquez sur unIn your workspace, click a Notebook.. Le chemin d’accès du bloc-notes s’affiche lorsque vous pointez sur le titre du Notebook.The notebook path displays when you hover over the notebook title.

Supprimer un bloc-notesDelete a notebook

Pour plus d’informations sur l’accès au menu de l’espace de travail et sur la suppression d’un bloc-notes ou d’autres éléments dans l’espace de travail, voir opérations sur les objets et les objetsSee Folders and Workspace object operations for information about how to access the workspace menu and delete notebooks or other items in the Workspace.

Copier le chemin d’un notebookCopy notebook path

Pour copier un chemin d’accès au fichier de bloc-notes sans ouvrir le bloc-notes, cliquez avec le bouton droit sur le nom du bloc-notes ou cliquez sur le  menu déroulant à droite du nom du bloc-notes, puis sélectionnez copier le chemin du fichier.To copy a notebook file path without opening the notebook, right-click the notebook name or click the Menu Dropdown to the right of the notebook name and select Copy File Path.

Copier le chemin d’un notebookCopy notebook path

Renommer un notebookRename a notebook

Pour modifier le titre d’un bloc-notes ouvert, cliquez sur son titre et modifiez-le, ou cliquez sur fichier > renommer.To change the title of an open notebook, click the title and edit inline or click File > Rename.

Contrôler l’accès à un notebookControl access to a notebook

Si votre compte Azure Databricks possède le plan de Azure Databricks Premium, vous pouvez utiliser le contrôle d’accès à l' espace de travail pour contrôler qui a accès à un bloc-notes.If your Azure Databricks account has the Azure Databricks Premium Plan, you can use Workspace access control to control who has access to a notebook.

Formats externes de bloc -notes Notebook external formats

Azure Databricks prend en charge plusieurs formats externes de bloc-notes :Azure Databricks supports several notebook external formats:

  • Fichier source : fichier contenant uniquement des instructions de code source avec l’extension .scala , .py , .sql ou .r .Source file: A file containing only source code statements with the extension .scala, .py, .sql, or .r.
  • HTML : bloc-notes Azure Databricks avec l’extension .html .HTML: An Azure Databricks notebook with the extension .html.
  • DBC Archive : Archive Databricks.DBC archive: A Databricks archive.
  • Notebook IPython : bloc-notes Jupyter avec l’extension .ipynb .IPython notebook: A Jupyter notebook with the extension .ipynb.
  • RMarkdown : document R Markdown avec l’extension .Rmd .RMarkdown: An R Markdown document with the extension .Rmd.

Dans cette section :In this section:

Importer un bloc -notes Import a notebook

Vous pouvez importer un bloc-notes externe à partir d’une URL ou d’un fichier.You can import an external notebook from a URL or a file.

  1. Cliquez sur l’icône espace de travail bouton espace de travail  ou sur l’icône d’emplacement du bouton d' hébergement  dans la barre latérale.Click the Workspace button Workspace Icon or the Home button Home Icon in the sidebar. Effectuez l’une des actions suivantes :Do one of the following:

    • En regard de n’importe quel dossier, cliquez sur la  liste déroulante du menu sur le côté droit du texte, puis sélectionnez Importer.Next to any folder, click the Menu Dropdown on the right side of the text and select Import.

    • Dans le dossier de l’espace de travail ou de l’utilisateur, cliquez sur le  signe insertion et sélectionnez Importer.In the Workspace or a user folder, click Down Caret and select Import.

      Importer un notebookImport notebook

  2. Spécifiez l’URL ou accédez à un fichier contenant un format externe pris en charge.Specify the URL or browse to a file containing a supported external format.

  3. Cliquez sur Importer.Click Import.

Exporter un bloc -notes Export a notebook

Dans la barre d’outils du bloc-notes, sélectionnez fichier > exporter et un format.In the notebook toolbar, select File > Export and a format.

Notes

Lorsque vous exportez un Notebook au format HTML, bloc-notes IPython ou Archive (DBC) et que vous n’avez pas effacé les résultats, les résultats de l’exécution du bloc-notes sont inclus.When you export a notebook as HTML, IPython notebook, or archive (DBC), and you have not cleared the results, the results of running the notebook are included.

Notebooks et clustersNotebooks and clusters

Avant de pouvoir effectuer des tâches dans un bloc-notes, vous devez d’abord attacher le bloc-notes à un cluster.Before you can do any work in a notebook, you must first attach the notebook to a cluster. Cette section décrit comment attacher et détacher des blocs-notes vers et à partir de clusters, et ce qui se passe en arrière-plan quand vous effectuez ces actions.This section describes how to attach and detach notebooks to and from clusters and what happens behind the scenes when you perform these actions.

Dans cette section :In this section:

Contextes d’exécution Execution contexts

Lorsque vous attachez un bloc-notes à un cluster, Azure Databricks crée un contexte d’exécution.When you attach a notebook to a cluster, Azure Databricks creates an execution context. Un contexte d’exécution contient l’état d’un environnement REPL pour chaque langage de programmation pris en charge : Python, R, Scala et SQL.An execution context contains the state for a REPL environment for each supported programming language: Python, R, Scala, and SQL. Lorsque vous exécutez une cellule dans un bloc-notes, la commande est distribuée à l’environnement de réplication de langage approprié et exécutée.When you run a cell in a notebook, the command is dispatched to the appropriate language REPL environment and run.

Vous pouvez également utiliser l' API REST 1,2 pour créer un contexte d’exécution et envoyer une commande à exécuter dans le contexte d’exécution.You can also use the REST 1.2 API to create an execution context and send a command to run in the execution context. De même, la commande est distribuée à l’environnement de réplication de langage et exécutée.Similarly, the command is dispatched to the language REPL environment and run.

Un cluster a un nombre maximal de contextes d’exécution (145).A cluster has a maximum number of execution contexts (145). Une fois que le nombre de contextes d’exécution a atteint ce seuil, vous ne pouvez pas attacher un Notebook au cluster ou créer un nouveau contexte d’exécution.Once the number of execution contexts has reached this threshold, you cannot attach a notebook to the cluster or create a new execution context.

Contextes d’exécution inactifsIdle execution contexts

Un contexte d’exécution est considéré comme inactif lorsque la dernière exécution s’est terminée après un seuil d’inactivité défini.An execution context is considered idle when the last completed execution occurred past a set idle threshold. Dernière exécution terminée est la dernière fois que le bloc-notes a terminé l’exécution des commandes.Last completed execution is the last time the notebook completed execution of commands. Le seuil d’inactivité correspond à la durée qui doit s’écouler entre la dernière exécution terminée et toute tentative de détachement automatique du bloc-notes.The idle threshold is the amount of time that must pass between the last completed execution and any attempt to automatically detach the notebook. Le seuil d’inactivité par défaut est de 24 heures.The default idle threshold is 24 hours.

Lorsqu’un cluster a atteint la limite de contexte maximale, Azure Databricks supprime (supprime) les contextes d’exécution inactifs (en commençant par le le moins récemment utilisé) en fonction des besoins.When a cluster has reached the maximum context limit, Azure Databricks removes (evicts) idle execution contexts (starting with the least recently used) as needed. Même en cas de suppression d’un contexte, le bloc-notes utilisant le contexte est toujours attaché au cluster et s’affiche dans la liste des Notebooks du cluster.Even when a context is removed, the notebook using the context is still attached to the cluster and appears in the cluster’s notebook list. Les blocs-notes de streaming sont considérés comme s’exécutant activement et leur contexte n’est jamais expulsé tant que leur exécution n’a pas été arrêtée.Streaming notebooks are considered actively running, and their context is never evicted until their execution has been stopped. Si un contexte inactif est supprimé, l’interface utilisateur affiche un message indiquant que le bloc-notes utilisant le contexte a été détaché en raison d’une inactivité.If an idle context is evicted, the UI displays a message indicating that the notebook using the context was detached due to being idle.

Contexte du bloc-notes expulséNotebook context evicted

Si vous tentez d’attacher un bloc-notes à un cluster qui a le nombre maximal de contextes d’exécution et qu’il n’y a pas de contextes inactifs (ou si la suppression automatique est désactivée), l’interface utilisateur affiche un message indiquant que le seuil de contextes d’exécution maximal actuel a été atteint et que le bloc-notes reste à l'If you attempt to attach a notebook to cluster that has maximum number of execution contexts and there are no idle contexts (or if auto-eviction is disabled), the UI displays a message saying that the current maximum execution contexts threshold has been reached and the notebook will remain in the detached state.

Bloc-notes détachéNotebook detached

Si vous EMBRANCHEZ un processus, un contexte d’exécution inactif est toujours considéré comme inactif une fois que l’exécution de la requête qui a dupliqué le processus a été retournée.If you fork a process, an idle execution context is still considered idle once execution of the request that forked the process returns. La duplication de processus distincts n’est pas recommandée avec Spark.Forking separate processes is not recommended with Spark.

Configurer l’éviction automatique du contexte Configure context auto-eviction

Vous pouvez configurer l’éviction automatique du contexte en définissant la propriété Spark spark.databricks.chauffeur.enableIdleContextTracking .You can configure context auto-eviction by setting the Spark property spark.databricks.chauffeur.enableIdleContextTracking.

  • Dans Databricks 5,0 et versions ultérieures, l’éviction automatique est activée par défaut.In Databricks 5.0 and above, auto-eviction is enabled by default. Vous désactivez l’éviction automatique pour un cluster en définissant spark.databricks.chauffeur.enableIdleContextTracking false .You disable auto-eviction for a cluster by setting spark.databricks.chauffeur.enableIdleContextTracking false.
  • Dans Databricks 4,3, l’éviction automatique est désactivée par défaut.In Databricks 4.3, auto-eviction is disabled by default. Vous activez l’éviction automatique pour un cluster en définissant spark.databricks.chauffeur.enableIdleContextTracking true .You enable auto-eviction for a cluster by setting spark.databricks.chauffeur.enableIdleContextTracking true.

Attacher un bloc-notes à un cluster Attach a notebook to a cluster

Pour attacher un bloc-notes à un cluster :To attach a notebook to a cluster:

  1. Dans la barre d’outils du bloc-notes, cliquez sur  icône clusters Detached  liste déroulante de clusters détachés .In the notebook toolbar, click Clusters Icon Detached Cluster Dropdown.
  2. Dans la liste déroulante, sélectionnez un cluster.From the drop-down, select a cluster.

Important

Les variables de Apache Spark suivantes sont définies pour un bloc-notes attaché.An attached notebook has the following Apache Spark variables defined.

ClasseClass Nom de la variableVariable Name
SparkContext sc
SQLContext/HiveContext sqlContext
SparkSession(Spark 2. x)SparkSession (Spark 2.x) spark

Ne créez pas un SparkSession , SparkContext ou SQLContext .Do not create a SparkSession, SparkContext, or SQLContext. Cela entraînera un comportement incohérent.Doing so will lead to inconsistent behavior.

Déterminer la version Spark et Databricks Runtime Determine Spark and Databricks Runtime version

Pour déterminer la version Spark du cluster auquel votre Notebook est attaché, exécutez :To determine the Spark version of the cluster your notebook is attached to, run:

spark.version

Pour déterminer la version Databricks Runtime du cluster auquel votre bloc-notes est attaché, exécutez :To determine the Databricks Runtime version of the cluster your notebook is attached to, run:

ScalaScala
dbutils.notebook.getContext.tags("sparkVersion")
PythonPython
spark.conf.get("spark.databricks.clusterUsageTags.sparkVersion")

Notes

Cette sparkVersion balise et la spark_version propriété requises par les points de terminaison dans l’API des clusters et les travaux API font référence à la version de Databricks Runtime, et non à la version Spark.Both this sparkVersion tag and the spark_version property required by the endpoints in the Clusters API and Jobs API refer to the Databricks Runtime version, not the Spark version.

Détacher un bloc-notes d' un cluster Detach a notebook from a cluster

  1. Dans la barre d’outils du bloc-notes, cliquez sur l'  icône clusters attachée  liste déroulante cluster .In the notebook toolbar, click Clusters Icon Attached Cluster Dropdown.

  2. Sélectionnez détacher.Select Detach.

    Détacher le bloc-notesDetach notebook

Vous pouvez également détacher des blocs-notes d’un cluster à l’aide de l’onglet blocs-notes de la page Détails du cluster.You can also detach notebooks from a cluster using the Notebooks tab on the cluster details page.

Lorsque vous détachez un bloc-notes d’un cluster, le contexte d’exécution est supprimé et toutes les valeurs des variables calculées sont effacées du bloc-notes.When you detach a notebook from a cluster, the execution context is removed and all computed variable values are cleared from the notebook.

Conseil

Azure Databricks vous recommande de détacher des blocs-notes inutilisés d’un cluster.Azure Databricks recommends that you detach unused notebooks from a cluster. Cela libère de l’espace mémoire sur le pilote.This frees up memory space on the driver.

Afficher tous les blocs-notes attachés à un clusterView all notebooks attached to a cluster

L’onglet blocs-notes de la page Détails du cluster affiche tous les blocs-notes attachés à un cluster.The Notebooks tab on the cluster details page displays all of the notebooks that are attached to a cluster. L’onglet affiche également l’état de chaque bloc-notes attaché, ainsi que la dernière fois qu’une commande a été exécutée à partir du bloc-notes.The tab also displays the status of each attached notebook, along with the last time a command was run from the notebook.

Détails du cluster-blocs-notes associésCluster details attached notebooks

Planifier un bloc -notes Schedule a notebook

Pour planifier l’exécution périodique d’un travail de bloc-notes :To schedule a notebook job to run periodically:

  1. Dans la barre d’outils du bloc-notes, cliquez surIn the notebook toolbar, click the Planifier en haut à droite.button at the top right.
  2. Cliquez sur + Nouveau.Click + New.
  3. Choisissez la planification.Choose the schedule.
  4. Cliquez sur OK.Click OK.

Distribuer des blocs -notes Distribute notebooks

Pour vous permettre de distribuer facilement des blocs-notesAzure Databricks, Azure Databricks prend en charge l' Archive Databricks, qui est un package qui peut contenir un dossier de bloc-notes ou un seul bloc-notes.To allow you to easily distribute Azure Databricks notebooks, Azure Databricks supports the Databricks archive, which is a package that can contain a folder of notebooks or a single notebook. Une archive Databricks est un fichier JAR contenant des métadonnées supplémentaires et portant l’extension .dbc .A Databricks archive is a JAR file with extra metadata and has the extension .dbc. Les blocs-notes contenus dans l’archive sont dans un format interne Azure Databricks.The notebooks contained in the archive are in an Azure Databricks internal format.

Importer une archiveImport an archive

  1. Cliquez sur  le bouton d’insertion ou  le menu déroulant à droite d’un dossier ou d’un bloc-notes, puis sélectionnez Importer.Click Down Caret or Menu Dropdown to the right of a folder or notebook and select Import.
  2. Choisissez fichier ou URL.Choose File or URL.
  3. Accédez à ou déposez une archive Databricks dans le Dropzone.Go to or drop a Databricks archive in the dropzone.
  4. Cliquez sur Importer.Click Import. L’archive est importée dans Azure Databricks.The archive is imported into Azure Databricks. Si l’archive contient un dossier, Azure Databricks recrée ce dossier.If the archive contains a folder, Azure Databricks recreates that folder.

Exporter une archiveExport an archive

Cliquez sur  le bouton d’insertion ou  le menu déroulant à droite d’un dossier ou d’un bloc-notes, puis sélectionnez Exporter > l’archive DBC.Click Down Caret or Menu Dropdown to the right of a folder or notebook and select Export > DBC Archive. Azure Databricks télécharge un fichier nommé <[folder|notebook]-name>.dbc .Azure Databricks downloads a file named <[folder|notebook]-name>.dbc.