Comprendre les notebooks et les pipelines Azure Databricks
Dans Azure Databricks, vous pouvez utiliser des notebooks pour exécuter du code écrit en Python, Scala, SQL et d’autres langages afin d’ingérer et de traiter des données. Les notebooks fournissent une interface interactive dans laquelle vous pouvez exécuter des cellules de code individuelles, et utiliser Markdown pour inclure des notes et des annotations.
Dans de nombreuses solutions d’ingénierie des données, le code écrit et testé de manière interactive peut être incorporé ultérieurement dans une charge de travail de traitement des données automatisée. Sur Azure, ces charges de travail sont souvent implémentées en tant que pipelines dans Azure Data Factory, dans lesquels une ou plusieurs activités sont utilisées pour orchestrer une série de tâches qui peuvent être exécutées à la demande, à intervalles planifiés ou en réponse à un événement (comme quand de nouvelles données sont chargées dans un dossier dans un lac de données). Azure Data Factory prend en charge une activité Notebook qui peut être utilisée pour automatiser l’exécution sans assistance d’un notebook dans un espace de travail Azure Databricks.
Remarque
La même activité Notebook est disponible dans les pipelines créés dans Azure Synapse Analytics.