Az Azure Data Factory felügyelt virtuális hálózata

  • Cikk

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk az Azure Data Factory felügyelt virtuális hálózatait és felügyelt privát végpontjait ismerteti.

Felügyelt virtuális hálózat

Amikor Azure-integrációs futtatókörnyezetet hoz létre egy Data Factory által felügyelt virtuális hálózaton belül, az integrációs modul ki lesz építve a felügyelt virtuális hálózattal. Magánvégpontok használatával biztonságosan csatlakozik a támogatott adattárakhoz.

Az integrációs modul felügyelt virtuális hálózaton belüli létrehozása biztosítja az adatintegrációs folyamat elkülönítését és védelmét.

A felügyelt virtuális hálózat használatának előnyei:

  • Felügyelt virtuális hálózat esetén kitermelheti a virtuális hálózat Felügyeletének terhét a Data Factorybe. Nem kell alhálózatot létrehoznia egy olyan integrációs futtatókörnyezethez, amely végül sok magánhálózati IP-címet használhat a virtuális hálózatból, és előzetes hálózati infrastruktúra-tervezést igényelne.
  • Az adatintegráció biztonságos végrehajtásához nincs szükség az Azure-beli hálózatkezelési ismeretekre. A biztonságos ETL használatának első lépései sokkal egyszerűbbek az adatmérnökök számára.
  • A felügyelt virtuális hálózat és a felügyelt privát végpontok védelmet nyújtanak az adatkiszivárgás ellen.

A felügyelt virtuális hálózat jelenleg csak a Data Factory régióval azonos régióban támogatott.

Megjegyzés:

A meglévő globális integrációs futtatókörnyezetek nem válthatnak integrációs modulra a Data Factory által felügyelt virtuális hálózaton, és fordítva.

Diagram that shows Data Factory managed virtual network architecture.

A felügyelt virtuális hálózat kétféleképpen engedélyezve van az adat-előállítóban:

  1. Felügyelt virtuális hálózat engedélyezése az adat-előállító létrehozása során.

Screenshot of enabling managed virtual network during the creation of data factory.

  1. Felügyelt virtuális hálózat engedélyezése integrációs futtatókörnyezetben.

Screenshot of enabling managed virtual network in integration runtime

Felügyelt privát végpontok

A felügyelt privát végpontok a Data Factory felügyelt virtuális hálózatán létrehozott privát végpontok, amelyek Azure-erőforrásokra irányuló privát kapcsolatot hoznak létre. Data Factory manages these private endpoints on your behalf.

A Data Factory támogatja a privát hivatkozásokat. Az Azure Private Link használatával elérheti az Azure Platformot szolgáltatásként (PaaS), például az Azure Storage-t, az Azure Cosmos DB-t és az Azure Synapse Analyticset.

Privát kapcsolat használata esetén az adattárak és a felügyelt virtuális hálózat közötti forgalom teljes egészében a Microsoft gerinchálózatán halad át. A privát kapcsolat védelmet nyújt az adatkiszivárgási kockázatokkal szemben. Privát végpont létrehozásával privát kapcsolatot hozhat létre egy erőforráshoz.

A privát végpontok egy privát IP-címet használnak a felügyelt virtuális hálózaton a szolgáltatás hatékony üzembe helyezéséhez. A privát végpontok az Azure-ban egy adott erőforráshoz vannak leképezve, nem pedig a teljes szolgáltatáshoz. Customers can limit connectivity to a specific resource approved by their organization. További információ: Privát hivatkozások és privát végpontok.

Megjegyzés:

A Microsoft.Network erőforrás-szolgáltatónak regisztrálnia kell az előfizetésében.

  1. Győződjön meg arról, hogy engedélyezi a felügyelt virtuális hálózatot az adat-előállítóban.
  2. Hozzon létre egy új felügyelt privát végpontot a Manage Hubban.

Screenshot that shows new managed private endpoints.

  1. A privát végpontkapcsolat függőben lévő állapotban jön létre, amikor felügyelt privát végpontot hoz létre a Data Factoryben. Jóváhagyási munkafolyamat indul el. A privát kapcsolat erőforrás-tulajdonosa felelős a kapcsolat jóváhagyásáért vagy elutasításáért.

Screenshot that shows the option Manage approvals in Azure portal.

  1. Ha a tulajdonos jóváhagyja a kapcsolatot, létrejön a privát kapcsolat. Ellenkező esetben a privát kapcsolat nem jön létre. A felügyelt privát végpont mindkét esetben frissül a kapcsolat állapotával.

Screenshot that shows approving a managed private endpoint.

Csak jóváhagyott állapotú felügyelt privát végpont küldhet forgalmat egy adott privát kapcsolati erőforrásnak.

Megjegyzés:

Az egyéni DNS nem támogatott a felügyelt virtuális hálózatban.

Interaktív szerzői műveletek

Az interaktív szerzői képességek olyan funkciókhoz használhatók, mint a tesztkapcsolat, a mappalista és a táblázatlista tallózása, a séma lekérése és az előzetes adatok megtekintése. Az azure data factory által felügyelt virtuális hálózatban lévő Azure-integrációs futtatókörnyezet létrehozásakor vagy szerkesztésekor engedélyezheti az interaktív szerkesztést. A háttérszolgáltatás előre lefoglalja a számítást az interaktív szerzői funkciókhoz. Ellenkező esetben a számítás minden olyan interaktív művelet végrehajtásakor lesz lefoglalva, amely több időt vesz igénybe. Az interaktív szerkesztéshez szükséges élettartam (TTL) alapértelmezés szerint 60 perc, ami azt jelenti, hogy az utolsó interaktív szerzői művelet 60 perce után automatikusan le lesz tiltva. A TTL-értéket a tényleges igényeknek megfelelően módosíthatja.

Screenshot that shows interactive authoring.

Élettartam

Másolási tevékenység

Alapértelmezés szerint minden másolási tevékenység egy új számítást hoz létre a másolási tevékenység konfigurációja alapján. Ha engedélyezve van a felügyelt virtuális hálózat, a hideg számítások indítási ideje néhány percet vesz igénybe, és az adatáthelyezés nem indulhat el, amíg be nem fejeződik. Ha a folyamatok több egymást követő másolási tevékenységet tartalmaznak, vagy a foreach ciklusban sok másolási tevékenység van, és nem tudja párhuzamosan futtatni őket, engedélyezheti az élettartam (TTL) értékét az Azure integrációs modul konfigurációjában. Az élő érték és a másolási tevékenységhez szükséges DIU-számok megadásával a megfelelő számítások a végrehajtás befejeződése után egy bizonyos ideig életben maradnak. Ha egy új másolási tevékenység a TTL ideje alatt indul el, az újra felhasználja a meglévő számításokat, és az indítási idő jelentősen csökken. A második másolási tevékenység befejeződése után a számítások ismét életben maradnak a TTL-idő alatt. Rugalmasan választhat az előre definiált számítási méretek közül, kistől közepesig és nagyig. Azt is megteheti, hogy testre szabja a számítási méretet a konkrét követelmények és a valós idejű igények alapján.

Megjegyzés:

A DIU-szám újrakonfigurálása nem befolyásolja az aktuális másolási tevékenység végrehajtását.

Megjegyzés:

A 2 DIU adatintegrációs egység (DIU) mértéke nem támogatott a felügyelt virtuális hálózat Copy tevékenység.

A TTL-ben kiválasztott DIU az összes másolási tevékenység futtatására szolgál, a DIU mérete nem lesz automatikusan skálázva a tényleges igényeknek megfelelően. Tehát elég DIU-t kell választania.

Figyelmeztetés

Ha több tevékenység futtatásához kiválaszt néhány DIU-t, számos tevékenység függőben marad az üzenetsorban, ami súlyosan befolyásolja a teljes teljesítményt.

Folyamat és külső tevékenység

A másolathoz hasonlóan a számítási méretet és a TTL-időtartamot is testre szabhatja az adott követelményeknek megfelelően. A másolattól eltérően azonban vegye figyelembe, hogy a folyamat és a külső TTL nem tiltható le.

Megjegyzés:

Az élettartam (TTL) csak a felügyelt virtuális hálózatokra vonatkozik.

Screenshot that shows the TTL configuration.

Az alábbi táblázatot hivatkozásként használhatja a folyamatok és a külső tevékenységek végrehajtásához szükséges csomópontok optimális számának meghatározásához.

Tevékenység típusa Kapacitás
Folyamattevékenység Csomópontonként körülbelül 50
Az alwaysEncrypted SQL szkripttevékenysége és keresési tevékenysége általában több erőforrást használ fel a többi folyamattevékenységhez képest, a javasolt szám pedig csomópontonként 10 körül van
Külső tevékenység Csomópontonként körülbelül 800

A különböző TTL összehasonlítása

Az alábbi táblázat a TTL különböző típusai közötti különbségeket sorolja fel:

Funkció Interaktív szerzői műveletek Számítási méretezés másolása Folyamat & külső számítási skálázás
Mikor kell érvénybe lépni? Közvetlenül az engedélyezés után Első tevékenység végrehajtása Első tevékenység végrehajtása
Le lehet tiltani Y Y N
A fenntartott számítás konfigurálható N Y Y

Megjegyzés:

Az Azure integrációs modul alapértelmezett automatikus feloldása esetén nem engedélyezheti a TTL-t. Létrehozhat hozzá egy új Azure-integrációs modult.

Megjegyzés:

A másolási/folyamat-/külső számítási skálázásI TTL aktiválásakor a számlázást a fenntartott számítási erőforrások határozzák meg. Ennek eredményeképpen a tevékenység kimenete nem tartalmazza a billingReference függvényt, mivel ez kizárólag nem TTL-forgatókönyvekben releváns.

Felügyelt virtuális hálózat létrehozása az Azure PowerShell használatával

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Megjegyzés:

Más adatforrások csoportazonosítóját lekérheti egy privát kapcsolati erőforrásból.

Kimenő kapcsolat

Támogatott adatforrások és szolgáltatások

The following services have native private endpoint support. Privát kapcsolaton keresztül csatlakoztathatók egy Data Factory által felügyelt virtuális hálózatról:

  • Azure Databricks
  • Azure Functions (Premium plan)
  • Azure Key Vault
  • Azure Machine Learning
  • Azure Private Link
  • Microsoft Purview

Az adatforrások támogatásához tekintse meg az összekötők áttekintését. A Data Factory által támogatott összes adatforrást nyilvános hálózaton keresztül érheti el.

Helyszíni adatforrások

To learn how to access on-premises data sources from a managed virtual network by using a private endpoint, see Access on-premises SQL Server from a Data Factory managed virtual network using a private endpoint.

Kimenő kommunikáció nyilvános végponton keresztül egy Data Factory által felügyelt virtuális hálózatról

Minden port meg van nyitva a kimenő kommunikációhoz.

Korlátozások és ismert problémák

Társított szolgáltatás létrehozása a Key Vaulthoz

Amikor társított szolgáltatást hoz létre a Key Vaulthoz, nincs integrációs modul referenciája. Ezért a Key Vault társított szolgáltatás létrehozásakor nem hozhat létre privát végpontokat. Ha azonban a Key Vaultra hivatkozó adattárakhoz hoz létre társított szolgáltatást, és ez a társított szolgáltatás egy olyan integrációs modulra hivatkozik, amelyen engedélyezve van a felügyelt virtuális hálózat, létrehozhat egy privát végpontot a Key Vaulthoz a létrehozás során.

  • Kapcsolat tesztelése: A Key Vault társított szolgáltatásának ez a művelete csak az URL-formátumot ellenőrzi, de nem végez hálózati műveletet.
  • Privát végpont használata: Ez az oszlop mindig üresként jelenik meg, még akkor is, ha privát végpontot hoz létre a Key Vaulthoz.

Az Azure HDInsight társított szolgáltatás létrehozása

A Privát végpont használata oszlop mindig üresként jelenik meg, még akkor is, ha privát végpontot hoz létre a HDInsight számára egy privát kapcsolati szolgáltatás és egy porttovábbítással rendelkező terheléselosztó használatával.

Screenshot that shows a private endpoint for Key Vault.

Az Azure HDInsight teljes tartományneve (FQDN)

Ha egyéni privát kapcsolati szolgáltatást hozott létre, az FQDN-nek azurehdinsight.net kell végződnie anélkül, hogy privát kapcsolatot vezetne a tartománynévben egy privát végpont létrehozásakor. Ha privát kapcsolatot használ a tartománynévben, győződjön meg arról, hogy érvényes, és meg tudja oldani.

Hozzáférési korlátozások privát végpontokkal rendelkező felügyelt virtuális hálózaton

Nem fér hozzá az egyes PaaS-erőforrásokhoz, ha mindkét oldal privát kapcsolatnak és privát végpontnak van kitéve. Ez a probléma a Private Link és a privát végpontok ismert korlátozása.

Van például egy felügyelt privát végpontja az A tárfiókhoz. A B tárfiókot nyilvános hálózaton keresztül is elérheti ugyanabban a felügyelt virtuális hálózaton. Ha azonban a B tárfiók privát végpontkapcsolattal rendelkezik más felügyelt virtuális hálózatról vagy ügyfél virtuális hálózatról, akkor a felügyelt virtuális hálózat B tárfiókja nyilvános hálózaton keresztül nem érhető el.

Kapcsolódó tartalom

Lásd az alábbi oktatóanyagokat: