Připojení pracovního prostoru Azure Databricks k vlastní místní síti

Tento článek ukazuje, jak vytvořit připojení z pracovního prostoru Azure Databricks k místní síti. Provoz se směruje přes tranzitní virtuální síť (VNet) do místní sítě s využitím následující hvězdicové topologie.

Pokud potřebujete pomoc s tímto průvodcem, obraťte se na týmy účtů Microsoft a Databricks.

Požadavky

Váš pracovní prostor Azure Databricks musí být nasazený ve vaší vlastní virtuální síti, označované také jako injektáž virtuální sítě.

Krok 1: Nastavení tranzitní virtuální sítě s bránou virtuální sítě Azure Virtual Network

Potřebujete bránu virtuální sítě Azure (ExpressRoute nebo VPN) ve virtuální síti přenosu nakonfigurovanou pomocí jedné z těchto metod. Pokud už máte příslušnou bránu, přeskočte na Partnerský vztah virtuální sítě Azure Databricks s tranzitní virtuální sítí.

Pokud už máte Mezi místní sítí a Azure nastavené ExpressRoute, postupujte podle pokynů v tématu Konfigurace brány virtuální sítě pro ExpressRoute pomocí webu Azure Portal.

Jinak postupujte podle kroků 1 až 5 v části Konfigurace připojení brány VPN typu VNet-to-VNet pomocí webu Azure Portal.

Pokud potřebujete pomoc, obraťte se na tým účtu Microsoft.

Krok 2: Vytvoření partnerského vztahu virtuální sítě Azure Databricks s tranzitní virtuální sítí

Pokud je váš pracovní prostor Azure Databricks ve stejné virtuální síti jako brána virtuální sítě, přeskočte k vytváření tras definovaných uživatelem a přidružte je k podsítím virtuální sítě Azure Databricks.

V opačném případě postupujte podle pokynů v partnerských virtuálních sítích a navazte partnerský vztah virtuální sítě Azure Databricks k tranzitní virtuální síti a vyberte následující možnosti:

• Použijte vzdálené brány na straně virtuální sítě Azure Databricks.
• Povolit průchod bránou na straně tranzitní virtuální sítě.

Podrobnosti najdete v tématu Vytvoření partnerského vztahu.

Poznámka:

Pokud vaše místní síťové připojení k Azure Databricks nefunguje s výše uvedenými nastaveními, můžete problém vyřešit také výběrem možnosti Povolit přesměrovaný provoz na obou stranách partnerského vztahu.

Informace o konfiguraci průchodu bránou VPN pro partnerský vztah virtuálních sítí najdete v tématu Konfigurace průchodu bránou VPN pro partnerský vztah virtuálních sítí.

Krok 3: Vytvoření tras definovaných uživatelem a jejich přidružení k podsítím virtuální sítě Azure Databricks

Jakmile vytvoříte partnerský vztah mezi virtuální sítí Azure Databricks s tranzitní virtuální sítí, Azure automaticky nakonfiguruje všechny trasy pomocí tranzitní virtuální sítě. Automatická konfigurace nezahrnuje návratovou trasu z uzlů clusteru do řídicí roviny Azure Databricks. Tyto vlastní trasy musíte vytvořit ručně pomocí uživatelsky definovaných tras.

1. Vytvořte směrovací tabulku a povolte šíření tras protokolu BGP.

   Poznámka:

   V některých případech šíření trasy protokolu BGP způsobí selhání při ověřování nastavení místního síťového připojení. Jako poslední možnost můžete zakázat šíření tras protokolu BGP.

2. Přidejte trasy definované uživatelem pro následující služby pomocí pokynů v části Vlastní trasy.

   Pokud je pro pracovní prostor povolené zabezpečené připojení clusteru (SCC), použijte místo IP adresy NAT řídicí roviny předávací IP adresu SCC.

   Source	Předpona adresy	Typ dalšího směrování
   Výchozí	IP adresa překladu adres (NAT) řídicí roviny (Pouze v případě, že je SCC zakázaný)	Internet
   Výchozí	IP adresa přenosu SCC (Jenom v případě, že je povolená SCC)	Internet
   Výchozí	IP adresa webové aplikace	Internet
   Výchozí	IP adresa rozšířené infrastruktury	Internet
   Výchozí	IP adresa metastoru	Internet
   Výchozí	IP adresa úložiště objektů blob artefaktů	Internet
   Výchozí	IP adresa úložiště objektů blob protokolu	Internet
   Výchozí	IP adresa kořenového úložiště DBFS (ADLS)	Internet
   Výchozí	IP adresa kořenového úložiště DBFS (Blob) pro pracovní prostory vytvořené před 6. březnem 2023.	Internet

   Pokud chcete získat IP adresy pro každou z těchto služeb, postupujte podle pokynů v nastavení trasy definované uživatelem pro Azure Databricks.

   Pokud trasa založená na PROTOKOLU IP při ověřování nastavení selže, můžete vytvořit koncový bod služby pro Microsoft.Storage, který bude směrovat veškerý provoz kořenového úložiště DBFS přes páteřní síť Azure. Pokud použijete tento přístup, nemusíte vytvářet trasy definované uživatelem pro kořenové úložiště DBFS.

   Poznámka:

   Pokud chcete z Azure Databricks přistupovat k jiným datovým službám Azure PaaS, jako je Cosmos DB nebo Azure Synapse Analytics, musíte do směrovací tabulky přidat trasy definované uživatelem. Přeložte každý koncový bod na jeho IP adresu pomocí nslookup nebo ekvivalentního příkazu.

3. Přidružte směrovací tabulku k veřejné a privátní podsíti virtuální sítě Azure Databricks pomocí pokynů v části Přidružení směrovací tabulky k podsíti.

   Po přidružení vlastní směrovací tabulky k vašim podsítím virtuální sítě Azure Databricks nemusíte upravovat pravidla zabezpečení odchozích přenosů ve skupině zabezpečení sítě. Například není nutné, aby pravidlo odchozích přenosů bylo konkrétnější, protože trasy budou řídit skutečné výchozí přenosy dat.

Krok 4: Ověření nastavení

Ověření nastavení:

1. Vytvořte cluster v pracovním prostoru Azure Databricks.

   Pokud se vytvoření clusteru nezdaří, projděte si pokyny k nastavení a zkuste alternativní možnosti konfigurace jednu po druhé.

   Pokud stále nemůžete vytvořit cluster, ověřte, že směrovací tabulka obsahuje všechny požadované trasy definované uživatelem. Pokud jste použili koncové body služby místo tras definovaných uživatelem pro ADLS Gen2 (pro pracovní prostory vytvořené před 6. březnem 2023, Azure Blob Storage), zkontrolujte také tyto koncové body.

   Pokud stále nemůžete vytvořit cluster, požádejte o pomoc týmy účtů Microsoft a Databricks.

2. Pomocí následujícího příkazu odešlete příkaz ping na místní IP adresu z poznámkového bloku:

   %sh
   ping <IP>
   

Další pokyny k řešení potíží najdete v těchto zdrojích informací:

• Řešení potíží
• Řešení problému

Volitelné kroky konfigurace

Možnost: Směrování provozu Azure Databricks pomocí virtuálního zařízení nebo brány firewall

Veškerý odchozí provoz z uzlů clusteru Azure Databricks můžete filtrovat pomocí brány firewall nebo zařízení ochrany před únikem informací, jako je Azure Firewall, Palo Alto nebo Barracuda. To umožňuje kontrolovat odchozí provoz, aby vyhovoval zásadám zabezpečení, a přidat jednu veřejnou IP adresu typu překladu adres (NAT) nebo CIDR pro všechny clustery do seznamu povolených adres.

Podle potřeby upravte tento postup pro zařízení brány firewall nebo ochrany před únikem informací:

1. Pomocí pokynů v části Vytvoření síťového virtuálního zařízení nastavte virtuální zařízení nebo bránu firewall v rámci tranzitní virtuální sítě.

   Pokud potřebujete jednu konfiguraci brány firewall pro více pracovních prostorů, můžete bránu firewall vytvořit v zabezpečené podsíti nebo podsíti DMZ ve virtuální síti Azure Databricks, která je oddělená od stávajících privátních a veřejných podsítí.

2. Ve vlastní směrovací tabulce vytvořte další trasu na 0.0.0.0/0.

   • Nastavte typ dalšího segmentu směrování na "Virtuální zařízení".

   • Nastavte adresu dalšího segmentu směrování.

     Neodebíjejte trasy, které jste vytvořili v kroku 3: Vytvořte trasy definované uživatelem a přidružte je k podsítím virtuální sítě Azure Databricks, s jednou výjimkou: Pokud se veškerý provoz objektů blob musí směrovat přes bránu firewall, můžete trasy pro provoz objektů blob odebrat.

3. Pokud používáte přístup k zabezpečené podsíti nebo podsíti DMZ, můžete vytvořit další směrovací tabulku přidruženou výhradně k podsíti DMZ. V této směrovací tabulce vytvořte trasu na 0.0.0.0.

   Nastavte typ dalšího směrování na internet, pokud je provoz určený pro veřejnou síť, nebo do brány virtuální sítě, pokud je provoz určený pro místní síť.

4. Nakonfigurujte pravidla povolení a zamítnutí v zařízení brány firewall.

   Pokud jste odebrali trasy pro úložiště objektů blob, přidejte tyto trasy do seznamu povolených tras v bráně firewall.

   Pokud clustery závisí na veřejných úložištích, jako jsou úložiště operačního systému nebo registry kontejnerů, přidejte je do seznamu povolených.

   Informace o seznamech povolených adres najdete v tématu Nastavení trasy definované uživatelem pro Azure Databricks.

Možnost: Konfigurace vlastního DNS

Vlastní DNS můžete použít s pracovními prostory Azure Databricks nasazenými ve vlastní virtuální síti. Další informace o konfiguraci vlastního DNS pro virtuální síť Azure najdete v následujících článcích Microsoftu:

• Překlad IP adres, který využívá váš vlastní server DNS
• Určení serverů DNS

.. důležité: Pokud chcete přeložit IP adresy artefaktů Azure, musíte nakonfigurovat vlastní DNS tak, aby tyto požadavky předával rekurzivnímu překladači Azure.