Az Azure Private Link háttér- és előtérkapcsolatainak engedélyezése

  • Cikk

Ez a cikk az Azure Private Link használatát foglalja össze a felhasználók és a Databricks-munkaterületek, valamint a klasszikus számítási síkon lévő fürtök és a Databricks-munkaterület infrastruktúráján belüli vezérlősík alapvető szolgáltatásai közötti privát kapcsolat engedélyezéséhez.

A kiszolgáló nélküli SQL-raktárak hálózati hozzáférésének módosításához lásd: Privát kapcsolat konfigurálása kiszolgáló nélküli számításból.

Áttekintés

A Private Link privát kapcsolatot biztosít az Azure-beli virtuális hálózatokról és a helyszíni hálózatokról az Azure-szolgáltatásokhoz anélkül, hogy felfedi a nyilvános hálózat felé érkező forgalmat. Az Azure Databricks a következő Private Link-kapcsolattípusokat támogatja:

  • Front-end Private Link, más néven felhasználó a munkaterülethez: Az előtérbeli Privát kapcsolat kapcsolat lehetővé teszi a felhasználók számára, hogy csatlakozzanak az Azure Databricks-webalkalmazáshoz, a REST API-hoz és a Databricks-Csatlakozás API-hoz egy virtuális hálózati felület végpontján keresztül. Az előtérbeli kapcsolatot a JDBC-/ODBC- és Power BI-integrációk is használják. A tranzit virtuális hálózat és a munkaterület Azure Databricks vezérlősíkja közötti előtérbeli Private Link-kapcsolat hálózati forgalma áthalad a Microsoft gerinchálózatán.
  • Háttérbeli privát kapcsolat, más néven számítási sík a sík vezérléséhez: Az ügyfél által felügyelt virtuális hálózaton (a számítási síkon) lévő Databricks Futtatókörnyezet-fürtök az Azure Databricks-felhőfiókban csatlakoznak egy Azure Databricks-munkaterület alapvető szolgáltatásaihoz (a vezérlősíkhoz). Ez lehetővé teszi a privát kapcsolatot a fürtökről a biztonságos fürtkapcsolat-továbbító végponthoz és a REST API-végponthoz.
  • Böngészőhitelesítés privát végpontja: Az Azure Databricks-webalkalmazáshoz való privát előtér-kapcsolatok támogatásához olyan ügyfelek számára, amelyek nem rendelkeznek nyilvános internetkapcsolattal, hozzá kell adnia egy böngészőhitelesítő privát végpontot az egyszeri bejelentkezés (SSO) bejelentkezési visszahívásainak támogatásához az Azure Databricks webalkalmazáshoz a Microsoft Entra-azonosítóból (korábbi nevén Azure Active Directory). Ha engedélyezi a hálózat és a nyilvános internet közötti kapcsolatokat, javasoljuk, hogy adjon hozzá egy privát böngészőhitelesítési végpontot , de nem szükséges. A böngészőhitelesítés privát végpontja egy alerőforrás-típussal browser_authenticationrendelkező privát kapcsolat.

Ha privát kapcsolatot implementál az előtérbeli és a háttérbeli kapcsolatokhoz is , igény szerint privát kapcsolatot rendelhet a munkaterülethez, ami azt jelenti, hogy az Azure Databricks elutasítja a nyilvános hálózaton keresztüli kapcsolatokat. Ha elutasítja mind az előtérbeli, mind a háttérbeli kapcsolattípus implementálását, nem kényszerítheti ki ezt a követelményt.

A cikk nagy része egy új munkaterület létrehozásáról szól, de egy meglévő munkaterületen engedélyezheti vagy letilthatja a privát hivatkozást. Lásd: Azure Private Link engedélyezése vagy letiltása meglévő munkaterületen.

Terminológia

Az alábbi táblázat a fontos terminológiát ismerteti.

Terminológia Leírás
Azure Private Link Azure-technológia, amely privát kapcsolatot biztosít az Azure-beli virtuális hálózatokról és a helyszíni hálózatokról az Azure-szolgáltatásokhoz anélkül, hogy kiteszik a nyilvános hálózat felé érkező forgalmat.
Azure Private Link szolgáltatás Egy szolgáltatás, amely lehet a private link-kapcsolat célhelye. Minden Azure Databricks vezérlősík-példány közzétesz egy Azure Private Link szolgáltatást.
Azure-beli privát végpont Az Azure privát végpontja privát kapcsolatot tesz lehetővé egy virtuális hálózat és egy Private Link szolgáltatás között. Az előtérbeli és a háttérbeli kapcsolatok esetében az Azure-beli privát végpontok célja az Azure Databricks vezérlősíkja.

A privát végpontokkal kapcsolatos általános információkért tekintse meg a Microsoft Mi a privát végpont? című cikkét.

Standard vagy egyszerűsített üzembe helyezés kiválasztása

Az Azure Databricks kétféle Private Link-üzembe helyezést támogat, és egyet kell választania:

  • Standard üzembe helyezés (ajánlott): A nagyobb biztonság érdekében a Databricks azt javasolja, hogy külön privát végpontot használjon az előtér-kapcsolathoz egy külön tranzit virtuális hálózatról. Az előtérbeli és a háttérbeli Private Link-kapcsolatokat is implementálhatja, vagy csak a háttérkapcsolatot. Használjon egy külön virtuális hálózatot a felhasználói hozzáférés beágyazásához, a klasszikus számítási síkban a számítási erőforrásokhoz használt virtuális hálózattól elkülönítve. Hozzon létre külön Private Link-végpontokat a háttér- és előtér-hozzáféréshez. Kövesse az Azure Private Link standard üzembe helyezésének engedélyezése című témakör utasításait.
  • Egyszerűsített üzembe helyezés: Egyes szervezetek nem használhatják a szabványos üzembe helyezést különböző hálózati házirendek céljából, például több privát végpont engedélyezésének letiltása vagy a különálló tranzit virtuális hálózatok elriasztása miatt. Alternatív megoldásként használhatja a Private Link egyszerűsített üzembe helyezését. Egyetlen különálló virtuális hálózat sem választja el a felhasználói hozzáférést a klasszikus számítási síkban a számítási erőforrásokhoz használt virtuális hálózattól. Ehelyett a virtuális hálózat számítási síkjának átviteli alhálózatát használják a felhasználói hozzáféréshez. Csak egyetlen Private Link-végpont létezik. Általában az előtérbeli és a háttérbeli kapcsolat is konfigurálva van. Igény szerint csak a háttérkapcsolatot konfigurálhatja. Nem választhatja, hogy csak az előtér-kapcsolatokat használja ebben az üzembe helyezési típusban. Kövesse az Azure Private Link egyszerűsített üzembe helyezésének engedélyezése című témakör utasításait.

Követelmények

Azure-előfizetés

Az Azure Databricks-munkaterületnek prémium vagy nagyvállalati szinten kell lennie.

Azure Databricks-munkaterület hálózati architektúrája

  • Az Azure Databricks-munkaterületnek VNet-injektálást kell használnia a Private Link-kapcsolat hozzáadásához (még egy csak előtérbeli kapcsolathoz is).
  • Ha implementálja a háttérbeli Private Link-kapcsolatot, az Azure Databricks-munkaterületnek biztonságos fürtkapcsolatot kell használnia (SCC/Nincs nyilvános IP-cím/NPIP).<
  • Olyan virtuális hálózatra van szüksége, amely megfelel a virtuális hálózatok injektálásának követelményeinek.
    • A virtuális hálózatok fő injektálási cikkének megfelelően két alhálózatot kell meghatároznia (a felhasználói felületen nyilvános alhálózatként és privát alhálózatként). Az Azure Databrickshez használt virtuális hálózatok és alhálózati IP-tartományok határozzák meg az egyszerre használható fürtcsomópontok maximális számát. Gondosan válassza ki ezeket az értékeket.
    • Az előtérbeli privát kapcsolat, a háttérbeli privát kapcsolat vagy mindkettő implementálásához a munkaterület virtuális hálózatának szüksége van egy harmadik alhálózatra, amely tartalmazza a Private Link végpontot, és annak IP-címtartománya nem fedheti át a többi munkaterületi alhálózat tartományát. Ez a cikk erre a harmadik alhálózatra hivatkozik magánvégpont-alhálózatként. Példák és képernyőképek feltételezik az alhálózat nevét private-link. Ez a CIDR-tartományhoz /27hasonlóan kicsi is lehet. Ne definiáljon NSG-szabályokat privát végpontokat tartalmazó alhálózathoz.
    • Ha a felhasználói felületet használja objektumok létrehozásához, manuálisan kell létrehoznia a hálózatot és az alhálózatokat az Azure Databricks-munkaterület létrehozása előtt . Ha sablont szeretne használni, az Azure Databricks által biztosított sablon létrehoz egy virtuális hálózatot és a megfelelő alhálózatokat, beleértve a két normál alhálózatot, valamint egy másikat a privát végpontokhoz.
  • Ha hálózati biztonsági csoportot vagy tűzfalat szeretne használni a virtuális hálózat körül a kimenő forgalom szabályozásához, engedélyeznie kell a 443- os, 6666-os, 3306-os és 8443-8451-ös portot a kimenő forgalomhoz az Azure Databricks vezérlősíkhoz való csatlakozáshoz, beleértve a biztonságos fürtkapcsolat-továbbítót is. Ha engedélyezve van a hálózati biztonsági csoportok házirendje a privát végponton, engedélyeznie kell a 443- os, a 6666-os és a 8443-8451-ös portot is a hálózati biztonsági csoport bejövő forgalmához azon az alhálózaton, ahol a privát végpont telepítve van.
  • A hálózat és az Azure Portal és szolgáltatásai közötti csatlakozáshoz szükség lehet az Azure Portal URL-címeinek hozzáadására az engedélyezési listához. Lásd: Az Azure Portal URL-címeinek engedélyezése a tűzfalon vagy a proxykiszolgálón

Előtérbeli kapcsolati hálózati architektúra

Csak az előtérbeli Privát kapcsolat esetében, ha a felhasználók a helyszíni hálózatról férnek hozzá a munkaterülethez, hozzá kell adni a privát kapcsolatot az adott hálózatról az Azure-hálózathoz. Adja hozzá ezt a kapcsolatot a Private Link konfigurálása előtt. A részletek attól függően változnak, hogy a Private Link standard üzembe helyezését vagy az egyszerűsített üzembe helyezést választja.

  • A szabványos üzembe helyezéshez létre kell hoznia vagy használnia kell egy meglévő átmenő virtuális hálózatot, más néven megerősített virtuális hálózatot vagy központi virtuális hálózatot. Ennek a virtuális hálózatnak elérhetőnek kell lennie a helyszíni felhasználói környezetből expressroute vagy VPN Gateway-kapcsolat használatával. Az előtérbeli Private Link esetében a Databricks azt javasolja, hogy a munkaterület virtuális hálózatának megosztása helyett hozzon létre egy külön virtuális hálózatot a vezérlősíkhoz való kapcsolódáshoz. Vegye figyelembe, hogy az átvitt virtuális hálózat és alhálózata ugyanabban a régióban, zónában és erőforráscsoportban lehet, mint a munkaterület virtuális hálózata és alhálózatai, de nem kell egyezniük. Hozzon létre egy erőforráscsoportot a különálló tranzit virtuális hálózathoz, és használjon egy másik privát DNS-zónát az adott privát végponthoz. Ha két különálló privát végpontot használ, nem oszthatja meg a DNS-zónát.
  • Az egyszerűsített üzembe helyezéshez létre kell hoznia egy átviteli alhálózatot a munkaterület virtuális hálózatában. Ebben az üzembe helyezésben az átviteli alhálózat nem rendelkezik külön privát végponttal. A munkaterület virtuális hálózatának átviteli alhálózata egyetlen privát végpontot használ mind a háttér-, mind az előtér-kapcsolatokhoz.

Azure-ra vonatkozó felhasználói engedélyek

Azure-felhasználóként a következőkhöz elegendő olvasási/írási engedéllyel kell rendelkeznie:

  • Új Azure Databricks-munkaterület kiépítése.
  • Azure Private Link-végpontokat hozhat létre a munkaterület virtuális hálózatában, valamint (az előtérbeli használathoz) az átmenő virtuális hálózaton.

Ha az átvitt virtuális hálózat privát végpontját létrehozó felhasználó nem rendelkezik tulajdonosi/közreműködői engedélyekkel a munkaterülethez, akkor a munkaterület tulajdonosi/közreműködői engedélyekkel rendelkező külön felhasználónak manuálisan jóvá kell hagynia a privát végpontlétrehozás kérését.

Azure Private Link engedélyezése vagy letiltása meglévő munkaterületen

Engedélyezheti a Private Linket egy meglévő munkaterületen. A frissítéshez a munkaterületnek VNet-injektálást, biztonságos fürtkapcsolatotl és prémium tarifacsomagot kell használnia. A frissítés során biztonságos fürtkapcsolatra és Prémium tarifacsomagra frissíthet.

HASZNÁLHAT ARM-sablont vagy azurerm Terraform-szolgáltató 3.41.0-s vagy újabb verziót. Az Azure Portal használatával egyéni sablont alkalmazhat, és módosíthatja a paramétert a felhasználói felületen. A frissítéshez azonban az Azure Databricks-munkaterület példányán nincs Azure Portal felhasználói felületi támogatás.

Ha valami baj van a frissítéssel, és megismétli a munkaterület frissítési lépését , ehelyett állítsa be a mezőket a Private Link letiltására.

Bár ennek a szakasznak a fókuszában a Private Link engedélyezése egy meglévő munkaterületen van, letilthatja azt egy meglévő munkaterületen ugyanazzal a munkaterület-frissítési hívással az ARM-sablonnal vagy a Terraform-frissítéssel. Tekintse meg a 4. lépést : A munkaterület frissítésének alkalmazása a részletekért.

1. lépés: A követelmények és a dokumentáció elolvasása ezen az oldalon

A Private Linkre való frissítés előtt fontos fogalmakat és követelményeket kell elolvasnia:

  1. A folytatás előtt olvassa el ezt a cikket, beleértve a fogalmakat és a követelményeket.
  2. Határozza meg, hogy a standard vagy az egyszerűsített üzembe helyezést szeretné-e használni.
  3. A standard vagy az egyszerűsített üzembe helyezés (bármelyik módszert is használja) lapján gondosan tekintse át a lapot, beleértve a különböző forgatókönyveket is. Keresse meg a használati esetnek megfelelő forgatókönyvet. Írja le, hogy mely értékekhez publicNetworkAccessrequiredNsgRulesés . Az előtérbeli és a háttérbeli privát kapcsolat előtérkapcsolattal való ajánlott konfigurálását az előtér-kapcsolat zárolva publicNetworkAccess=DisabledrequiredNsgRules=NoAzureDatabricksRules

2. lépés: Az összes számítási erőforrás leállítása

A frissítés megkezdése előtt le kell állítania az összes számítási erőforrást, például fürtöket, készleteket vagy klasszikus SQL-raktárakat. A munkaterület számítási erőforrásai nem futtathatók, vagy a frissítési kísérlet meghiúsul. A Databricks azt javasolja, hogy tervezzük meg a frissítés ütemezését a leálláshoz.

Fontos

Ne kíséreljen meg számítási erőforrásokat elindítani a frissítés során. Ha az Azure Databricks megállapítja, hogy a számítási erőforrások elindultak (vagy még mindig indulnak), az Azure Databricks a frissítés után leállítja őket.

3. lépés: Alhálózat és privát végpontok létrehozása

  1. Adjon hozzá egy alhálózatot a munkaterület virtuális hálózatához a háttérbeli privát végpontokhoz.

  2. Nyissa meg a cikket a standard vagy az egyszerűsített üzembe helyezésről (bármelyik módszert is használja).

    Kövesse az ezen a lapon található utasításokat az üzembe helyezés típusának megfelelő privát végpontok létrehozásához.

  3. A munkaterület frissítése előtt hozza létre az összes privát végpontot a háttértámogatáshoz.

  4. Felhasználói felületi hozzáféréshez hozzon létre egy privát végpontot alforrással databricks_ui_api , amely támogatja az egyszeri bejelentkezést a tranzit virtuális hálózatról. Ha több olyan átviteli virtuális hálózattal rendelkezik, amely hozzáfér a munkaterülethez az előtérbeli hozzáféréshez, hozzon létre több privát végpontot alforrással databricks_ui_api.

4. lépés: A munkaterület frissítésének alkalmazása

Új munkaterület létrehozása helyett a munkaterület frissítését kell alkalmaznia.

Frissítenie kell a publicNetworkAccess paramétereket az requiredNsgRules előző lépésben kiválasztott értékekre.

Használja az alábbi módszerek egyikét:

Frissített ARM-sablon alkalmazása az Azure Portalon

Feljegyzés

Ha a felügyelt erőforráscsoport egyéni névvel rendelkezik, ennek megfelelően módosítania kell a sablont. További információért forduljon az Azure Databricks-fiók csapatához.

  1. Másolja ki a következő frissítési ARM-sablon JSON-fájlját:

    {
   "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
   "contentVersion": "1.0.0.0",
   "parameters": {
       "location": {
           "defaultValue": "[resourceGroup().location]",
           "type": "String",
           "metadata": {
               "description": "Location for all resources."
           }
       },
       "workspaceName": {
           "type": "String",
           "metadata": {
               "description": "The name of the Azure Databricks workspace to create."
           }
       },
       "apiVersion": {
           "defaultValue": "2023-02-01",
           "allowedValues": [
            "2018-04-01",
               "2020-02-15",
               "2022-04-01-preview",
               "2023-02-01"
           ],
           "type": "String",
           "metadata": {
               "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
           }
       },
       "publicNetworkAccess": {
           "defaultValue": "Enabled",
           "allowedValues": [
               "Enabled",
               "Disabled"
           ],
           "type": "String",
           "metadata": {
               "description": "Whether the workspace allows access from the public Internet"
           }
       },
       "requiredNsgRules": {
           "defaultValue": "AllRules",
           "allowedValues": [
               "AllRules",
               "NoAzureDatabricksRules"
           ],
           "type": "String",
           "metadata": {
               "description": "The security rules that are applied to the security group of the Vnet"
           }
       },
       "enableNoPublicIp": {
           "defaultValue": true,
           "type": "Bool"
       },
       "pricingTier": {
           "defaultValue": "premium",
           "allowedValues": [
               "premium",
               "standard",
               "trial"
           ],
           "type": "String",
           "metadata": {
               "description": "The pricing tier of workspace."
           }
       },
       "privateSubnetName": {
           "defaultValue": "private-subnet",
           "type": "String",
           "metadata": {
               "description": "The name of the private subnet."
           }
       },
       "publicSubnetName": {
           "defaultValue": "public-subnet",
           "type": "String",
           "metadata": {
               "description": "The name of the public subnet."
           }
       },
       "vnetId": {
           "type": "String",
           "metadata": {
               "description": "The virtual network Resource ID."
           }
       }
   },
   "variables": {
       "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
       "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
    },
    "resources": [
       {
           "type": "Microsoft.Databricks/workspaces",
           "apiVersion": "[parameters('apiVersion')]",
           "name": "[parameters('workspaceName')]",
           "location": "[parameters('location')]",
           "sku": {
               "name": "[parameters('pricingTier')]"
           },
           "properties": {
               "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
               "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
               "requiredNsgRules": "[parameters('requiredNsgRules')]",
               "parameters": {
                   "enableNoPublicIp": {
                       "value": "[parameters('enableNoPublicIp')]"
                   },
                   "customVirtualNetworkId": {
                       "value": "[parameters('vnetId')]"
                   },
                   "customPublicSubnetName": {
                       "value": "[parameters('publicSubnetName')]"
                   },
                   "customPrivateSubnetName": {
                       "value": "[parameters('privateSubnetName')]"
                   }
               }
           }
       }
   ]
}

    1. Nyissa meg az Azure Portal egyéni üzembehelyezési oldalát.

    2. Kattintson a Saját sablon létrehozása elemre a szerkesztőben.

    3. Illessze be a másolt sablon JSON-fájljában.

    4. Kattintson a Mentés gombra.

    5. A Private Link engedélyezéséhez állítsa be és requiredNsgRules adja meg publicNetworkAccess a paramétereket a használati esetnek megfelelően.

      A Privát hivatkozás letiltásához állítsa be publicNetworkAccess és állítsa be requiredNsgRules a következőtAllRulestrue: .

    6. Más mezők esetében ugyanazokat a paramétereket használja, mint a munkaterület létrehozásához, például előfizetést, régiót, munkaterületnevet, alhálózatneveket, a meglévő virtuális hálózat erőforrás-azonosítóját.

      Fontos

      Az erőforráscsoport nevének, a munkaterület nevének és az alhálózat nevének meg kell egyeznie a meglévő munkaterületével, hogy ez a parancs új munkaterület létrehozása helyett frissítse a meglévő munkaterületet.

    7. Kattintson a Felülvizsgálat + létrehozás elemre.

    8. Ha nincsenek érvényesítési problémák, kattintson a Létrehozás gombra.

    A hálózati frissítés végrehajtása több mint 15 percet vehet igénybe.

Frissítés alkalmazása a Terraform használatával

A Terraformmal létrehozott munkaterületek esetében frissítheti a munkaterületet a Private Link használatára.

Fontos

A 3.41.0-s vagy újabb verziót kell használnia terraform-provider-azurerm , ezért szükség szerint frissítse a Terraform-szolgáltató verzióját. A korábbi verziók megpróbálják újra létrehozni a munkaterületet, ha módosítja bármelyik beállítást.

A magas szintű lépések a következők:

  1. Módosítsa a következő munkaterület-beállításokat:

    • public_network_access_enabled: Beállítás true (Engedélyezve) vagy false (Letiltva)
    • network_security_group_rules_required: Beállítás vagy AllRulesNoAzureDatabricksRules.

    A hálózati frissítés végrehajtása több mint 15 percet vehet igénybe.

  2. Hozza létre a privát végpontokat.

A Private Link engedélyezésének és a privát végpontok létrehozásának részletes útmutatója:

A hálózati frissítés végrehajtása több mint 15 percet vehet igénybe.

5. lépés: Felhasználói egyszeri bejelentkezés hitelesítésének és háttérkapcsolatának tesztelése

A telepítéssel kapcsolatos részletekért kövesse a központi telepítési oldalt:

  • Tesztelje a felhasználói egyszeri bejelentkezés hitelesítését a munkaterületen.
  • A háttérbeli privát kapcsolat kapcsolatának tesztelése (háttérkapcsolathoz szükséges)

6. lépés: A frissítés ellenőrzése

  1. Nyissa meg az Azure Databricks Service-példányt az Azure Portalon.
  2. A Gépház alatti bal oldali navigációs sávon kattintson a Hálózatkezelés elemre.
  3. Győződjön meg arról, hogy a Nyilvános hálózati hozzáférés engedélyezése érték megegyezik a beállított értékkel.
  4. Győződjön meg arról, hogy a kötelező NSG-szabályok értéke megegyezik a beállított értékkel.

Hiba helyreállítása

Ha egy munkaterület frissítése sikertelen, előfordulhat, hogy a munkaterület sikertelen állapotként van megjelölve, ami azt jelenti, hogy a munkaterület nem tud számítási műveleteket végrehajtani. Ha vissza szeretne állítani egy sikertelen munkaterületet aktív állapotba, tekintse át a frissítési művelet állapotüzenetében található utasításokat. A problémák megoldása után végezze el újra a frissítést a sikertelen munkaterületen. Ismételje meg a lépéseket, amíg a frissítés sikeresen befejeződik. Ha kérdése van, forduljon az Azure Databricks-fiók csapatához.