Možnosti zabezpečeného připojení ke clusteru

  • Článek

Pokud je povolené zabezpečené připojení ke clusteru, nemají virtuální sítě zákazníka žádné otevřené porty a výpočetní prostředky v klasické výpočetní rovině nemají žádné veřejné IP adresy. Zabezpečené připojení ke clusteru se také označuje jako žádná veřejná IP adresa (NPIP).

  • Na úrovni sítě každý cluster inicializuje připojení k řídicí rovině zabezpečené připojení clusteru během vytváření clusteru. Cluster naváže toto připojení pomocí portu 443 (HTTPS) a používá jinou IP adresu, než se používá pro webovou aplikaci a rozhraní REST API.
  • Když řídicí rovina logicky spustí nové úlohy Databricks Runtime nebo provádí jiné úlohy správy clusteru, tyto požadavky se odešlou do clusteru prostřednictvím tohoto tunelu.
  • Výpočetní rovina (virtuální síť) nemá žádné otevřené porty a klasické prostředky výpočetní roviny nemají žádné veřejné IP adresy.

Výhody:

  • Snadná správa sítě, aniž byste museli konfigurovat porty ve skupinách zabezpečení ani konfigurovat partnerský vztah sítě.
  • Díky lepšímu zabezpečení a jednoduché správě sítě můžou týmy zabezpečení informací urychlit schvalování Databricks jako poskytovatele PaaS.

Poznámka:

Veškerý síťový provoz Azure Databricks mezi klasickou virtuální sítí výpočetní roviny a řídicí rovinou Azure Databricks prochází přes páteřní síť Microsoftu, nikoli přes veřejný internet. To platí i v případě, že je zakázané zabezpečené připojení ke clusteru.

I když bezserverová výpočetní rovina nepoužívá zabezpečené připojení clusteru pro klasickou výpočetní rovinu, bezserverové sklady SQL nemají veřejné IP adresy.

Možnosti zabezpečeného připojení ke clusteru

Použití zabezpečeného připojení ke clusteru

Pokud chcete používat zabezpečené připojení ke clusteru s novým pracovním prostorem Azure Databricks, použijte některou z následujících možností.

  • Azure Portal: Když zřídíte pracovní prostor, přejděte na kartu Sítě a nastavte možnost Nasadit pracovní prostor Azure Databricks se zabezpečeným clusterem Připojení ivity (bez veřejné IP adresy) na Ano.
  • Šablony ARM: Pro Microsoft.Databricks/workspaces prostředek, který vytvoří nový pracovní prostor, nastavte enableNoPublicIp logický parametr na true.

Důležité

V obou případech musíte zaregistrovat poskytovatele Microsoft.ManagedIdentity prostředků Azure v předplatném Azure, které se používá ke spouštění pracovních prostorů se zabezpečeným připojením ke clusteru. Jedná se o jednorázovou operaci pro každé předplatné. Pokyny najdete v tématu Poskytovatelé a typy prostředků Azure.

K existujícímu pracovnímu prostoru, který už používá injektáž virtuální sítě, můžete přidat zabezpečené připojení clusteru. Viz Přidání zabezpečeného připojení clusteru k existujícímu pracovnímu prostoru.

Pokud používáte šablony ARM, přidejte parametr do jedné z následujících šablon na základě toho, jestli chcete, aby Azure Databricks pro pracovní prostor vytvořil výchozí (spravovanou) virtuální síť, nebo pokud chcete použít vlastní virtuální síť, označovanou také jako injektáž virtuální sítě. Injektáž virtuální sítě je volitelná funkce, která umožňuje poskytnout vlastní virtuální síť pro hostování nových clusterů Azure Databricks.

Výchozí přenos dat z podsítí pracovního prostoru

Když povolíte zabezpečené připojení ke clusteru, obě podsítě pracovního prostoru jsou privátní podsítě, protože uzly clusteru nemají veřejné IP adresy.

Podrobnosti implementace výchozího přenosu dat sítě se liší podle toho, jestli používáte výchozí (spravovanou) virtuální síť nebo jestli používáte volitelnou funkci injektáže virtuální sítě k poskytnutí vlastní virtuální sítě, ve které se má pracovní prostor nasadit. Podrobnosti najdete v následujících částech.

Důležité

Při použití zabezpečeného připojení ke clusteru můžou vzniknout další náklady kvůli zvýšenému odchozímu provozu. U menší organizace, která potřebuje řešení optimalizované pro náklady, může být přijatelné zakázat zabezpečené připojení ke clusteru při nasazování pracovního prostoru. Pro nejbezpečnější nasazení však Microsoft a Databricks důrazně doporučujeme povolit zabezpečené připojení ke clusteru.

Výchozí přenos dat s výchozí (spravovanou) virtuální sítí

Pokud používáte zabezpečené připojení clusteru s výchozí virtuální sítí, kterou Azure Databricks vytvoří, Azure Databricks automaticky vytvoří bránu NAT pro odchozí provoz z podsítí vašeho pracovního prostoru do páteřní a veřejné sítě Azure. Brána NAT se vytvoří ve spravované skupině prostředků spravované službou Azure Databricks. Tuto skupinu prostředků ani žádné prostředky zřízené v této skupině prostředků nelze změnit.

Automaticky vytvořenou bránu NAT se účtují další náklady.

Výchozí přenos dat pomocí injektáže virtuální sítě

Pokud povolíte zabezpečené připojení clusteru ve vašem pracovním prostoru, který používá injektáž virtuální sítě, databricks doporučuje, aby váš pracovní prostor má stabilní veřejnou IP adresu výchozího přenosu dat.

Stabilní veřejné IP adresy pro výchozí přenos dat jsou užitečné, protože je můžete přidat do externích seznamů povolených přenosů dat. Pokud se například chcete připojit z Azure Databricks k Salesforce se stabilní odchozí IP adresou.

Upozorňující

Microsoft oznámil, že 30. září 2025 se výchozí odchozí přístup pro virtuální počítače v Azure vyřadí z důchodu. Podívejte se na toto oznámení. To znamená, že stávající pracovní prostory Azure Databricks, které používají výchozí odchozí přístup místo stabilní veřejné IP adresy výchozího přenosu dat, nemusí po tomto datu dál fungovat. Databricks doporučuje přidat explicitní odchozí metody pro pracovní prostory před tímto datem.

Vyberte jednu z následujících možností:

  • Pro nasazení, která potřebují určité přizpůsobení, zvolte bránu Azure NAT Gateway. Nakonfigurujte bránu v obou podsítích pracovního prostoru, abyste zajistili, že veškerý odchozí provoz do páteřní sítě Azure a veřejné sítě prochází. Clustery mají stabilní veřejnou IP adresu pro výchozí přenos dat a můžete upravit konfiguraci pro potřeby vlastního výchozího přenosu dat. Toto řešení můžete implementovat pomocí šablony Azure nebo webu Azure Portal.
  • Pro nasazení se složitými požadavky na směrování nebo nasazeními, která používají injektáž virtuální sítě s výstupní bránou firewall, jako je Azure Firewall nebo jiná vlastní síťová architektura, můžete použít vlastní trasy označované jako trasy definované uživatelem. Trasy definované uživatelem zajišťují správné směrování síťového provozu pro váš pracovní prostor, a to buď přímo do požadovaných koncových bodů, nebo přes bránu firewall výchozího přenosu dat. Pokud takové řešení používáte, musíte přidat přímé trasy nebo povolená pravidla brány firewall pro přenos připojení k zabezpečenému clusteru Azure Databricks a další požadované koncové body uvedené v nastavení trasy definované uživatelem pro Azure Databricks.

Upozorňující

Nepoužívejte výchozí nástroj pro vyrovnávání zatížení s pracovním prostorem, který má povolené zabezpečené připojení ke clusteru. V produkčních systémech může výchozí nástroj pro vyrovnávání zatížení vést k riziku vyčerpání portů.

Přidání zabezpečeného připojení clusteru k existujícímu pracovnímu prostoru

U stávajícího pracovního prostoru můžete povolit zabezpečené připojení ke clusteru. Upgrade vyžaduje, aby pracovní prostor používal injektáž virtuální sítě.

Můžete použít uživatelské rozhraní portálu, šablonu ARM nebo azurerm poskytovatele Terraformu verze 3.41.0+. Pomocí webu Azure Portal můžete použít vlastní šablonu a upravit parametr v uživatelském rozhraní. Instanci pracovního prostoru Azure Databricks můžete také upgradovat v uživatelském rozhraní webu Azure Portal.

Důležité

Před provedením této změny, pokud použijete bránu firewall nebo provedete jiné změny konfigurace sítě pro řízení příchozího nebo výchozího přenosu dat z klasické výpočetní roviny, budete možná muset aktualizovat pravidla brány firewall nebo skupiny zabezpečení sítě současně s těmito změnami, aby se plně projevily. Například se zabezpečeným připojením ke clusteru existuje další odchozí připojení k řídicí rovině a příchozí připojení z řídicí roviny se už nepoužívají.

Pokud se při upgradu něco pokazí a je třeba změnu dočasně vrátit, přečtěte si část Dočasné vrácení upgradu na zabezpečené připojení clusteru.

Krok 1: Zastavení všech výpočetních prostředků

Před pokusem o tento upgrade je nutné zastavit všechny výpočetní prostředky, jako jsou clustery, fondy nebo klasické služby SQL Warehouse. Není možné spustit žádné výpočetní prostředky pracovního prostoru nebo pokus o upgrade selže. Databricks doporučuje naplánovat načasování upgradu na dobu výpadku.

Krok 2: Aktualizace pracovního prostoru

Je nutné aktualizovat parametr Bez veřejné IP adresy (v šabloně je enableNoPublicIp). Nastavte ji na hodnotu True (true).

Použijte jednu z těchto metod:

Použití uživatelského rozhraní webu Azure Portal (bez šablony)

  1. Na webu Azure Portal přejděte do instance služby Azure Databricks Service.

  2. V levém navigačním panelu pod Nastavení klepněte na položku Sítě.

  3. Vyberte Žádná veřejná IP adresa.

    Poznámka:

    Zároveň se můžete rozhodnout povolit službu Azure Private Link nastavením hodnot Pro povolení přístupu kveřejné síti požadovanými pravidly NSG na odpovídající hodnoty pro váš případ použití. K povolení služby Private Link je však potřeba další konfigurace a ověření, takže po této aktualizaci možná budete chtít provést samostatný krok pro zabezpečené připojení ke clusteru. Důležité podrobnosti a požadavky najdete v tématu povolení služby Azure Private Link.

  4. Klikněte na Uložit.

Dokončení aktualizace sítě může trvat více než 15 minut.

Použití aktualizované šablony ARM pomocí webu Azure Portal

Poznámka:

Pokud má vaše spravovaná skupina prostředků vlastní název, musíte šablonu odpovídajícím způsobem upravit. Další informace získáte od týmu účtu Azure Databricks.

  1. Zkopírujte následující kód JSON šablony ARM upgradu:

      {
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "defaultValue": "[resourceGroup().location]",
            "type": "String",
            "metadata": {
                "description": "Location for all resources."
            }
        },
        "workspaceName": {
            "type": "String",
            "metadata": {
                "description": "The name of the Azure Databricks workspace to create."
            }
        },
        "apiVersion": {
            "defaultValue": "2023-02-01",
            "allowedValues": [
               "2018-04-01",
               "2020-02-15",
               "2022-04-01-preview",
               "2023-02-01"
            ],
            "type": "String",
            "metadata": {
                "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
            }
        },
        "enableNoPublicIp": {
            "defaultValue": true,
            "type": "Bool"
        },
        "pricingTier": {
            "defaultValue": "premium",
            "allowedValues": [
                "premium",
                "standard",
                "trial"
            ],
            "type": "String",
            "metadata": {
                "description": "The pricing tier of workspace."
            }
        },
        "publicNetworkAccess": {
          "type": "string",
          "defaultValue": "Enabled",
          "allowedValues": [
            "Enabled",
            "Disabled"
          ],
          "metadata": {
            "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
          }
        },
        "requiredNsgRules": {
          "type": "string",
          "defaultValue": "AllRules",
          "allowedValues": [
            "AllRules",
            "NoAzureDatabricksRules"
          ],
          "metadata": {
            "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
          }
        }
        },
    "variables": {
        "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
        "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
    },
    "resources": [
        {
            "type": "Microsoft.Databricks/workspaces",
            "apiVersion": "[parameters('apiVersion')]",
            "name": "[parameters('workspaceName')]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "[parameters('pricingTier')]"
            },
            "properties": {
                "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
                "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
                "requiredNsgRules": "[parameters('requiredNsgRules')]",
                "parameters": {
                    "enableNoPublicIp": {
                        "value": "[parameters('enableNoPublicIp')]"
                    }
                }
            }
        }
    ]
}

    1. Přejděte na stránku Vlastní nasazení webu Azure Portal.

    2. V editoru klikněte na Vytvořit vlastní šablonu.

    3. Vložte json pro zkopírovanou šablonu.

    4. Klikněte na Uložit.

    5. Vyplňte parametry.

    6. Chcete-li aktualizovat existující pracovní prostor, použijte stejné parametry, které jste použili k vytvoření jiného pracovního prostoru, než enableNoPublicIp na který je nutné nastavit true. Nastavte předplatné, oblast, název pracovního prostoru, názvy podsítí, ID prostředku existující virtuální sítě.

      Důležité

      Název skupiny prostředků, název pracovního prostoru a názvy podsítí jsou shodné s existujícím pracovním prostorem, aby tento příkaz aktualizoval existující pracovní prostor a nevytvoil nový pracovní prostor.

    7. Klikněte na Zkontrolovat a vytvořit.

    8. Pokud neexistují žádné problémy s ověřením, klikněte na Vytvořit.

    Dokončení aktualizace sítě může trvat více než 15 minut.

Použití aktualizace pomocí Terraformu

U pracovních prostorů vytvořených pomocí Terraformu můžete pracovní prostor aktualizovat bez opětovného vytvoření pracovního prostoru.

Důležité

Musíte použít terraform-provider-azurerm verzi 3.41.0 nebo novější, proto podle potřeby upgradujte verzi poskytovatele Terraformu. Pokud některé z těchto nastavení změníte, pokusí se starší verze pracovní prostor znovu vytvořit.

Změňte následující nastavení pracovního prostoru:

  • no_public_ipcustom_parameters v bloku lze změnit z false na true.

Dokončení aktualizace sítě může trvat více než 15 minut.

Krok 3: Ověření aktualizace

Jakmile je pracovní prostor v aktivním stavu, úloha aktualizace se dokončí. Ověřte, že byla aktualizace použita:

  1. Otevřete Azure Databricks ve webovém prohlížeči.

  2. Spusťte jeden z clusterů pracovního prostoru a počkejte, až se cluster úplně spustí.

  3. Na webu Azure Portal přejděte ke své instanci pracovního prostoru.

  4. Klikněte na modré ID vedle popisku pole Spravovaná skupina prostředků.

  5. V této skupině vyhledejte virtuální počítače pro cluster a klikněte na jeden z nich.

  6. V nastavení virtuálního počítače v části Vlastnosti vyhledejte pole v oblasti Sítě .

  7. Ověřte, že je pole Veřejné IP adresy prázdné.

    Pokud je virtuální počítač naplněný, má veřejnou IP adresu, což znamená, že aktualizace selhala.

Obnovení při selhání

Pokud se aktualizace pracovního prostoru nezdaří, může být pracovní prostor označený jako stav selhání , což znamená, že pracovní prostor nemůže provádět výpočetní operace. Pokud chcete obnovit pracovní prostor, který selhal, zpět do stavu Aktivní , projděte si pokyny ve stavové zprávě operace aktualizace. Jakmile opravíte všechny problémy, znovu proveďte aktualizaci v pracovním prostoru, který selhal. Opakujte kroky, dokud se aktualizace úspěšně dokončí.

Dočasné vrácení upgradu na zabezpečené připojení clusteru

Pokud se během nasazení něco nepovede, můžete proces vrátit zpět jako dočasné vrácení zpět, ale zakázání SCC v pracovním prostoru není podporováno , než je dočasné vrácení zpět, a teprve potom pokračujte v upgradu. Pokud je to nutné dočasně, můžete postupovat podle výše uvedených pokynů pro upgrade, ale nastavit enableNoPublicIp na false hodnotu true.