Créer un service lié pour Azure Databricks
Pour exécuter des notebooks dans un espace de travail Azure Databricks, le pipeline Azure Data Factory doit être en mesure de se connecter à l’espace de travail, ce qui nécessite une authentification. Pour permettre cette connexion authentifiée, vous devez effectuer deux tâches de configuration :
- Générer un jeton d’accès pour votre espace de travail Azure Databricks.
- Créer un service lié dans votre ressource Azure Data Factory qui utilise le jeton d’accès pour se connecter à Azure Databricks.
Génération d’un jeton d’accès
Un jeton d’accès fournit une méthode d’authentification pour Azure Databricks comme alternative aux informations d’identification sous la forme d’un nom d’utilisateur et d’un mot de passe. Vous pouvez générer des jetons d’accès pour des applications, en spécifiant une période d’expiration après laquelle le jeton doit être regénéré et mis à jour dans les applications clientes.
Pour créer un jeton d'accès, utilisez l'option Générer un nouveau jeton sous l'onglet Développeur de la page Paramètres utilisateur dans le portail Azure Databricks.
Création d’un service lié
Pour vous connecter à Azure Databricks à partir d’Azure Data Factory, vous devez créer un service lié pour la capacité de calcul Azure Databricks. Vous pouvez créer un service lié dans la page Services liés de la section Gérer d’Azure Data Factory Studio.
Quand vous créez un service lié Azure Databricks, vous devez spécifier les paramètres de configuration suivants :
| Paramètre | Description |
|---|---|
| Nom | Un nom unique pour le service lié |
| Description | Une description explicite |
| Runtime d’intégration | Le runtime d’intégration utilisé pour exécuter des activités dans ce service lié. Pour plus d’informations, consultez Runtime d’intégration dans Azure Data Factory. |
| Abonnement Azure | L’abonnement Azure dans lequel Azure Databricks est provisionné |
| Espace de travail Databricks | L’espace de travail Azure Databricks |
| Cluster | Le cluster Spark sur lequel le code de l’activité sera exécuté. Azure Databricks peut provisionner dynamiquement un cluster de travaux à la demande ou vous pouvez spécifier un cluster existant dans l’espace de travail. |
| Type d'authentification | Comment la connexion liée sera authentifiée par Azure Databricks. Par exemple, en utilisant un jeton d’accès (auquel cas, vous devez spécifier le jeton d’accès que vous avez généré pour votre espace de travail). |
| Configuration de clusters | La version du runtime Databricks, la version de Python, le type de nœud Worker et le nombre de nœuds Worker pour votre cluster. |