Paramètres de routage définis par l’utilisateur pour Azure Databricks

  • Article

Si votre espace de travail Azure Databricks est déployé sur votre propre réseau virtuel (VNet), vous pouvez utiliser des itinéraires personnalisés, également appelés itinéraires définis par l’utilisateur (UDR), pour vous assurer que le trafic est acheminé correctement pour votre espace de travail. Par exemple, si vous connectez le réseau virtuel à votre réseau local, le trafic peut être acheminé via le réseau local et ne pas atteindre le plan de contrôle Azure Databricks. Les routes définies par l’utilisateur peuvent résoudre ce problème.

Vous avez besoin d’un UDR pour chaque type de connexion sortante du réseau virtuel. Vous pouvez utiliser à la fois des étiquettes de service Azure et des adresses IP pour définir des contrôles d’accès réseau sur vos itinéraires définis par l’utilisateur. Databricks recommande d’utiliser des étiquettes de service Azure pour éviter les interruptions de service dues à des modifications d’adresses IP.

Configurer des itinéraires définis par l’utilisateur avec des étiquettes de service Azure

Databricks vous recommande d’utiliser des étiquettes de service Azure qui représentent un groupe de préfixes d’adresses IP d’un service Azure donné. Microsoft gère les préfixes d’adresse englobés par la balise de service et met à jour automatiquement la balise de service quand les adresses changent. Cela permet d’éviter les interruptions de service dues à des modifications d’adresse IP. Il n’est plus nécessaire de consulter régulièrement ces adresses IP et de les mettre à jour dans votre table de routage. Toutefois, si les stratégies de votre organisation interdisent les étiquettes de service, vous pouvez éventuellement spécifier les itinéraires en tant qu’adresses IP.

Si vous utilisez des étiquettes de services, vos itinéraires définis par l’utilisateur doivent utiliser les règles suivantes et associer la table de routage aux sous-réseaux publics et privés de votre réseau virtuel.

Source Préfixe de l’adresse Type de tronçon suivant
Default Étiquette de service Azure Databricks Internet
Default Étiquette de service Azure SQL Internet
Default Étiquette de service Stockage Azure Internet
Default Étiquette de service Azure Event Hub Internet

Remarque

Vous pouvez choisir d’ajouter l’étiquette de service Microsoft Entra ID (anciennement Azure Active Directory) pour faciliter l’authentification Microsoft Entra ID des clusters Azure Databricks aux ressources Azure.

Si Azure Private Link est activé pour votre espace de travail, l’étiquette de service Azure Databricks n’est pas obligatoire.

L’étiquette de service Azure Databricks représente les adresses IP pour les connexions sortantes nécessaires vers le plan de contrôle Azure Databricks, la connectivité sécurisée des clusters (SCC) et l’application web Azure Databricks.

L’étiquette de service Azure SQL représente les adresses IP pour les connexions sortantes requises vers le metastore Azure Databricks. L’étiquette de service Stockage Azure représente les adresses IP pour le Stockage Blob d’artefacts et le Stockage Blob de journaux. L’étiquette de service Azure Event Hub représente les connexions sortantes nécessaires pour la journalisation dans Azure Event Hub.

Certaines étiquettes de service permettent d’obtenir un contrôle plus précis en limitant les plages d’adresses IP à une région spécifiée. Voici l’exemple d’une table de routage d’un espace de travail Azure Databricks dans les régions USA Ouest :

Nom Préfixe de l’adresse Type de tronçon suivant
adb-servicetag AzureDatabricks Internet
adb-metastore Sql.WestUS Internet
adb-storage Storage.WestUS Internet
adb-eventhub EventHub.WestUS Internet

Pour obtenir les étiquettes de service nécessaires pour les itinéraires définis par l’utilisateur, consultez Étiquettes de service de réseau virtuel.

Configurer des itinéraires définis par l’utilisateur avec des adresses IP

Databricks recommande d’utiliser des étiquettes de service Azure. Toutefois, si les stratégies de votre organisation n’autorisent pas les étiquettes de service, vous pouvez utiliser des adresses IP pour définir des contrôles d’accès réseau sur vos routes définies par l’utilisateur.

Les détails varient selon que la connectivité sécurisée des clusters (SCC) est activée ou non pour l’espace de travail :

  • Si la connectivité sécurisée des clusters est activée pour l’espace de travail, vous avez besoin d’un UDR pour autoriser les clusters à se connecter au relais de connectivité sécurisée des clusters dans le plan de contrôle. Veillez à inclure les systèmes marqués comme Adresse IP du relais SCC pour votre région.
  • Si la connectivité sécurisée des clusters est désactivée pour l’espace de travail, il existe une connexion entrante à partir de la NAT de plan de contrôle, mais le protocole TCP SYN-ACK de bas niveau vers cette connexion est techniquement une donnée sortante qui nécessite un UDR. Veillez à inclure les systèmes marqués comme Adresse IP de la NAT de plan de contrôle pour votre région.

Vos itinéraires définis par l’utilisateur doivent utiliser les règles suivantes et associer la table de routage aux sous-réseaux publics et privés de votre réseau virtuel.

Source Préfixe de l’adresse Type de tronçon suivant
Default Adresse IP de la NAT de plan de contrôle (si la SCC est désactivée) Internet
Default Adresse IP du relais SCC (si SCC est activée) Internet
Default IP Webapp Internet
Default Adresse IP de metastore Internet
Default Adresse IP de stockage Blob d’artefacts Internet
Default Adresse IP de stockage Blob de journaux Internet
Default Adresse IP de stockage racine DBFS – Point de terminaison Stockage Blob Internet
Default Adresse IP de stockage racine DBFS – Point de terminaison ADLS gen2 (dfs) Internet
Default Adresse IP d’Event Hub Internet

Si Azure Private Link est activé pour votre espace de travail, vos itinéraires définis par l’utilisateur doivent utiliser les règles suivantes, mais aussi associer la table de routage aux sous-réseaux publics et privés de votre réseau virtuel.

Source Préfixe de l’adresse Type de tronçon suivant
Default Adresse IP de metastore Internet
Default Adresse IP de stockage Blob d’artefacts Internet
Default Adresse IP de stockage Blob de journaux Internet
Default Adresse IP d’Event Hub Internet

Pour obtenir les adresses IP nécessaires pour les routes définies par l’utilisateur, utilisez les tableaux et les instructions fournis dans Régions Azure Databricks, en particulier :