Benutzerdefinierte Routeneinstellungen für Azure Databricks

  • Artikel

Wenn Ihr Azure Databricks-Arbeitsbereich in Ihrem eigenen virtuellen Netzwerk (VNET) bereitgestellt wird, können Sie mit benutzerdefinierten Routen (User-Defined Routes, UDR) sicherstellen, dass Netzwerkdatenverkehr für Ihren Arbeitsbereich richtig weitergeleitet wird. Wenn Sie beispielsweise das virtuelle Netzwerk mit Ihrem lokalen Netzwerk verbinden, wird Datenverkehr ggf. über das lokale Netzwerk geleitet und kann die Azure Databricks-Steuerungsebene nicht erreichen. Benutzerdefinierte Routen können dieses Problem lösen.

Sie benötigen eine UDR für jeden Typ ausgehender Verbindungen aus dem VNET. Sie können sowohl Azure-Diensttags als auch IP-Adressen verwenden, um eine Netzwerkzugriffssteuerung für Ihre benutzerdefinierten Routen zu definieren. Databricks empfiehlt die Verwendung von Azure-Diensttags, um Dienstausfälle aufgrund von IP-Änderungen zu verhindern.

Konfigurieren benutzerdefinierter Routen mithilfe von Azure-Diensttags

Databricks empfiehlt die Verwendung von Azure-Diensttags, die eine Gruppe von IP-Adresspräfixen eines bestimmten Azure-Dienstes repräsentieren. Microsoft verwaltet die Adresspräfixe, für die das Diensttag gilt, und aktualisiert das Diensttag automatisch, wenn sich die Adressen ändern. So können Sie Dienstausfälle aufgrund von IP-Änderungen vermeiden und es ist nicht mehr nötig, diese IP-Adressen in regelmäßigen Abständen nachzuschlagen und in Ihrer Routingtabelle zu aktualisieren. Wenn Ihre Unternehmensrichtlinien jedoch Diensttags nicht zulassen, können Sie optional die Routen als IP-Adressen angeben.

Bei der Verwendung von Diensttags sollten Ihre benutzerdefinierten Routen die folgenden Regeln verwenden und die Routingtabelle den öffentlichen und privaten Subnetzen Ihres virtuellen Netzwerks zuordnen.

`Source` Adresspräfix Typ des nächsten Hops
Standard Azure Databricks-Diensttag Internet
Standard Azure SQL-Diensttag Internet
Standard Azure Storage-Diensttag Internet
Standard Azure Event Hub-Diensttag Internet

Hinweis

Sie können das Microsoft Entra ID-Diensttag (früher Azure Active Directory) hinzufügen, um die Microsoft Entra ID-Authentifizierung von Azure Databricks-Clustern bei Azure-Ressourcen zu erleichtern.

Wenn Azure Private Link in Ihrem Arbeitsbereich aktiviert ist, ist das Azure Databricks-Diensttag nicht erforderlich.

Das Azure Databricks-Diensttag stellt IP-Adressen für die erforderlichen ausgehenden Verbindungen mit SCC (Secure Cluster Connectivity), der Azure Databricks-Steuerungsebene und der Azure Databricks-Webanwendung.

Das Azure SQL-Diensttag repräsentiert IP-Adressen für die erforderlichen ausgehenden Verbindungen mit dem Azure Databricks-Metastore, und das Azure Storage-Diensttag repräsentiert IP-Adressen für den Artefaktblobspeicher und den Protokollblobspeicher. Das Azure Event Hub-Diensttag repräsentiert die erforderlichen ausgehenden Verbindungen für die Protokollierung in Azure Event Hub.

Einige Diensttags ermöglichen eine präzisere Steuerung, indem sie die IP-Adressbereiche auf eine bestimmte Region beschränken. Eine Routingtabelle für einen Azure Databricks-Arbeitsbereich in der Region „USA, Westen“ könnte zum Beispiel so aussehen:

Name Adresspräfix Typ des nächsten Hops
adb-servicetag AzureDatabricks Internet
adb-metastore Sql.WestUS Internet
adb-storage Storage.WestUS Internet
adb-eventhub EventHub.WestUS Internet

Informationen zum Abrufen der benötigten Diensttags für benutzerdefinierte Routen finden Sie unter Diensttags für virtuelle Netzwerke.

Konfigurieren benutzerdefinierter Routen mit IP-Adressen

Databricks empfiehlt die Verwendung von Azure-Diensttags. Wenn Ihre Unternehmensrichtlinien keine Diensttags zulassen, können Sie aber die Netzwerkzugriffssteuerung für Ihre benutzerdefinierten Routen mithilfe von IP-Adressen definieren.

Die Details variieren abhängig davon, ob secure cluster connectivity (sicher Cluster-Konnektivität, SCC) für den Arbeitsbereich aktiviert ist:

  • Wenn sichere Cluster-Konnektivität für den Arbeitsbereich aktiviert ist, benötigen Sie eine UDR, damit die Cluster eine Verbindung mit dem sicheren Cluster-Konnektivitätsrelay in der Steuerungsebene herstellen können. Stellen Sie sicher, dass Sie die Systeme, die als SCC-Relay-IP-Adresse gekennzeichnet sind, für Ihre Region mit aufnehmen.
  • Wenn die sichere Clusterkonnektivität für den Arbeitsbereich deaktiviert ist, besteht eine eingehende Verbindung von der NAT der Steuerungsebene, aber die TCP SYN-ACK auf niedriger Ebene für diese Verbindung sind technisch gesehen ausgehende Daten, die eine UDR erfordern. Stellen Sie sicher, dass Sie die Systeme, die als NAT-IP der Steuerungsebene gekennzeichnet sind, für Ihre Region angeben.

Ihre benutzerdefinierten Routen sollten die folgenden Regeln verwenden und die Routentabelle den öffentlichen und privaten Subnetzen Ihres virtuellen Netzwerks zuordnen.

`Source` Adresspräfix Typ des nächsten Hops
Standard NAT-IP der Steuerungsebene (wenn SCC deaktiviert ist) Internet
Standard SCC-Relay-IP (wenn SCC aktiviert ist) Internet
Standard Webapp-IP Internet
Standard IP-Adresse des Metastores Internet
Standard IP-Adresse des Blobspeichers für Artefakte Internet
Standard IP-Adresse des Protokollblobspeichers Internet
Standard DBFS-Stammspeicher-IP – Blob Storage-Endpunkt Internet
Standard DBFS-Stammspeicher-IP – ADLS Gen2 (dfs)-Endpunkt Internet
Standard IP-Adresse von Event Hub Internet

Wenn Azure Private Link in Ihrem Arbeitsbereich aktiviert ist, sollten Ihre benutzerdefinierten Routen die folgenden Regeln verwenden und die Routingtabelle den öffentlichen und privaten Subnetzen Ihres virtuellen Netzwerks zuordnen.

`Source` Adresspräfix Typ des nächsten Hops
Standard IP-Adresse des Metastores Internet
Standard IP-Adresse des Blobspeichers für Artefakte Internet
Standard IP-Adresse des Protokollblobspeichers Internet
Standard IP-Adresse von Event Hub Internet

Um die für benutzerdefinierte Routen erforderlichen IP-Adressen abzurufen, verwenden Sie die Tabellen und Anweisungen unter Azure Databricks-Regionen, insbesondere: