Travaux avec plusieurs tâches

Vous pouvez utiliser un travail pour exécuter une tâche de traitement de données ou d’analyse de données dans un cluster Azure Databricks avec des ressources scalables. Votre travail peut être constitué d’une seule tâche ou être une grande application multitâche avec des dépendances complexes. Azure Databricks gère l’orchestration des tâches, la gestion des clusters, la surveillance et les rapports d’erreurs pour tous vos travaux. Vous pouvez exécuter vos travaux tout de suite ou à intervalles réguliers via un système de planification facile à utiliser.

Vous pouvez implémenter des tâches de travail à l’aide de notebooks, de pipelines Delta Live Tables ou d’applications Python, Scala et Java. Un seul travail peut se composer d’un script Python qui ingère des données d’un stockage cloud, prépare les données avec un pipeline Delta Live Tables et crée un tableau de bord avec un notebook.

Vous créez des travaux par le biais de l’interface utilisateur Travaux, de l’API Travaux ou de l’interface CLI Databricks. L’interface utilisateur Travaux vous permet de superviser, tester et dépanner vos travaux en cours et terminés.

Un administrateur doit activer la prise en charge des travaux avec plusieurs tâches dans la console d’administration Databricks.

Pour commencer :

  • Créez votre premier travail d’orchestration de plusieurs tâches : Démarrage rapide sur les travaux.
  • Découvrez les fonctionnalités de Azure Databricks travaux et comment créer, afficher et exécuter des travaux.
  • Découvrez les mises à jour de l’API Travaux permettant de prendre en charge la création et la gestion de travaux avec plusieurs tâches.