Configuración de rutas definidas por el usuario para Azure Databricks

  • Artículo

Si su área de trabajo de Azure Databricks está implementada en su propia red virtual (VNet), puede usar rutas personalizadas, también llamadas rutas definidas por el usuario (UDR), para asegurarse de que el tráfico de red se enruta correctamente al área de trabajo. Por ejemplo, si conecta la red virtual a la red local, el tráfico se podría enrutar a través de la red local y podría no ser capaz de alcanzar el plano de control de Azure Databricks. Las rutas definidas por el usuario pueden resolver el problema.

Necesita una UDR para cada tipo de conexión saliente desde la VNet. Puede usar tanto etiquetas de servicio de Azure como direcciones IP para definir controles de acceso de red en las rutas definidas por el usuario. Databricks recomienda usar etiquetas de servicio de Azure para evitar interrupciones del servicio por cambios de IP.

Configuración de rutas definidas por el usuario con etiquetas de servicio de Azure

Databricks recomienda usar etiquetas de servicio de Azure, que representan un grupo de prefijos de dirección IP de un servicio de Azure determinado. Microsoft administra los prefijos de direcciones que la etiqueta de servicio incluye y actualiza automáticamente dicha etiqueta a medida que las direcciones cambian. Esto ayuda a evitar interrupciones del servicio por cambios de IP y elimina la necesidad de buscar periódicamente estas direcciones IP y actualizarlas en la tabla de rutas. Sin embargo, si las directivas de la organización no permiten etiquetas de servicio, tiene la opción de especificar las rutas como direcciones IP.

Cuando se usan etiquetas de servicio, las rutas definidas por el usuario deben usar las siguientes reglas y asociar la tabla de rutas a las subredes públicas y privadas de la red virtual.

Origen Prefijo de dirección Tipo de próximo salto
Valor predeterminado Etiqueta de servicio de Azure Databricks Internet
Valor predeterminado Etiqueta de servicio de Azure SQL Internet
Valor predeterminado Etiqueta de servicio de Azure Storage Internet
Valor predeterminado Etiqueta de servicio de Azure Event Hubs Internet

Nota:

Puede optar por agregar la etiqueta de servicio Microsoft Entra ID (anteriormente Azure Active Directory) para facilitar la autenticación de Microsoft Entra ID desde clústeres de Azure Databricks a recursos de Azure.

Si Azure Private Link está habilitado en su área de trabajo, la etiqueta de servicio Azure Databricks no es necesaria.

La etiqueta de servicio de Azure Databricks representa las direcciones IP de las conexiones de salida necesarias al plano de control de Azure Databricks, la conectividad de clúster segura (SCC) y la aplicación web de Azure Databricks.

La etiqueta de servicio de Azure SQL representa las direcciones IP de las conexiones de salida necesarias al metastore de Azure Databricks. La etiqueta de servicio de Azure Storage representa direcciones IP para el almacenamiento de blobs de artefactos y de registros. La etiqueta de servicio de Azure Event Hubs representa las conexiones de salida necesarias para el registro en Azure Event Hubs.

Algunas etiquetas de servicio permiten un control más pormenorizado restringiendo los intervalos IP a una región específica. Por ejemplo, una tabla de rutas para un área de trabajo de Azure Databricks en las regiones Oeste de EE. UU. podría tener el siguiente aspecto:

Nombre Prefijo de dirección Tipo de próximo salto
adb-servicetag AzureDatabricks Internet
adb-metastore Sql.WestUS Internet
adb-storage Storage.WestUS Internet
adb-eventhub EventHub.WestUS Internet

Para obtener las etiquetas de servicio necesarias para las rutas definidas por el usuario, consulte Etiquetas de servicio de red virtual.

Configuración de rutas definidas por el usuario con direcciones IP

Databricks recomienda usar etiquetas de servicio de Azure, pero si las directivas de la organización no permiten el uso de etiquetas de servicio, puede usar direcciones IP para definir controles de acceso a la red en las rutas definidas por el usuario.

Los detalles varían en función de si la conectividad segura del clúster (SCC) está habilitada para el área de trabajo:

  • Si la conectividad segura del clúster está habilitada para el área de trabajo, necesita una UDR, para permitir que los clústeres se conecten al relé de conectividad segura del clúster, en el plano de control. Asegúrese de incluir los sistemas marcados como IP de relé de SCC en su región.
  • Si la conectividad segura del clúster está deshabilitada para el área de trabajo, hay una conexión entrante desde la NAT del plano de control, pero el TCP SYN-ACK de bajo nivel a esa conexión técnicamente son datos salientes, que requieren una UDR. Asegúrese de incluir los sistemas marcados como IP de la NAT del plano de control en su región.

Las rutas definidas por el usuario deben usar las siguientes reglas y asociar la tabla de rutas a las subredes públicas y privadas de la red virtual.

Origen Prefijo de dirección Tipo de próximo salto
Valor predeterminado IP de la NAT del plano de control (si la SCC está deshabilitada) Internet
Valor predeterminado IP de relé de SCC (si la SCC está habilitada) Internet
Valor predeterminado IP de la aplicación web Internet
Valor predeterminado Dirección IP de metastore Internet
Valor predeterminado Dirección IP de Blob Storage de artefacto Internet
Valor predeterminado Dirección IP de Blob Storage de registro Internet
Valor predeterminado IP de almacenamiento raíz de DBFS: punto de conexión de Blob Storage Internet
Valor predeterminado IP de almacenamiento raíz de DBFS: punto de conexión de ADLS gen2 (dfs) Internet
Valor predeterminado Dirección IP del centro de eventos Internet

Si Azure Private Link está habilitado en su área de trabajo, sus rutas definidas por el usuario deben utilizar las siguientes reglas y asociar la tabla de rutas a las subredes públicas y privadas de su red virtual.

Origen Prefijo de dirección Tipo de próximo salto
Valor predeterminado Dirección IP de metastore Internet
Valor predeterminado Dirección IP de Blob Storage de artefacto Internet
Valor predeterminado Dirección IP de Blob Storage de registro Internet
Valor predeterminado Dirección IP del centro de eventos Internet

Para obtener las direcciones IP necesarias para las rutas definidas por el usuario, use las tablas e instrucciones de las regiones de Azure Databricks, en concreto: