Az Azure Data Factory felügyelt virtuális hálózata

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Ez a cikk a felügyelt Virtual Network és a felügyelt privát végpontokat ismerteti a Azure Data Factory.

Felügyelt virtuális hálózat

Amikor létrehoz egy Azure Integration Runtime-t (IR-t) a Azure Data Factory Managed Virtual Network (VNET) hálózatban, az integrációs környezet a felügyelt Virtual Network-vel lesz kiépítve, és privát végpontokat fog használni a támogatott adattárakhoz való biztonságos csatlakozáshoz.

A felügyelt Azure IR belüli Virtual Network biztosítja az adatintegrációs folyamat elkülönített és biztonságos folyamatát.

A managed Virtual Network előnyei:

  • A Managed Virtual Network a terhelést a felügyelt Virtual Network a Azure Data Factory. Nem kell alhálózatot létrehoznia a Azure Integration Runtime, amely végül számos magánhálózati IP-t használhatna a Virtual Network és ehhez a hálózati infrastruktúra előzetes megtervezésére lenne szükség.
  • A biztonságos adatintegrációhoz nincs szükség az Azure-hálózattal kapcsolatos mélyebb ismeretekre. Ehelyett a biztonságos ETL használata sokkal egyszerűbb az adatmérnökök számára.
  • A felügyelt Virtual Network privát végpontokkal együtt védelmet nyújt az adatok kiszivárgása ellen.

Fontos

A felügyelt Virtual Network jelenleg csak abban a régióban támogatott, mint Azure Data Factory régióban.

Megjegyzés

A meglévő nyilvános Azure-integrációs környezet nem válthat Azure-beli integrációs Azure Data Factory felügyelt virtuális hálózatban, és fordítva.

Az ADF felügyelt Virtual Network architektúrája

Felügyelt privát végpontok

A felügyelt privát végpontok olyan privát végpontok, amelyek az Azure Azure Data Factory ban Virtual Network azure-erőforrásokra mutató privát kapcsolat létrehozásához vannak létrehozva. Ezeket a privát végpontokat az Azure Data Factory kezeli az Ön nevében.

Új felügyelt privát végpont

Azure Data Factory támogatja a privát kapcsolatokat. A privát kapcsolat lehetővé teszi az Azure-szolgáltatások (például az Azure Storage, Azure Cosmos DB és Azure Synapse Analytics) Azure Synapse Analytics.

Privát kapcsolat használatakor az adattárai és a felügyelt Virtual Network közötti forgalom teljes egészében a Microsoft gerinchálózatán keresztül történik. Private Link adatszivárgási kockázatok ellen nyújt védelmet. Az erőforrásra mutató privát kapcsolatot egy privát végpont létrehozásával lehet létrehozni.

A privát végpont privát IP-címet használ a felügyelt Virtual Network, hogy hatékonyan beveszi a szolgáltatást. A privát végpontok egy adott Azure-erőforrásra vannak leképezve, nem a teljes szolgáltatásra. Az ügyfelek korlátozhatják a szervezet által jóváhagyott adott erőforráshoz való csatlakozást. További információ a privát kapcsolatokról és a privát végpontról.

Megjegyzés

Javasoljuk, hogy felügyelt privát végpontokat hozzon létre az összes Azure-adatforráshoz való csatlakozáshoz.

Figyelmeztetés

Ha egy PaaS-adattár (Blob, ADLS Gen2, Azure Synapse Analytics) már létrehozott egy privát végpontot, és még ha minden hálózatról engedélyezi is a hozzáférést, az ADF csak felügyelt privát végponttal férhet hozzá. Ha még nem létezik privát végpont, ilyen esetekben létre kell hoznia egyet.

A privát végpontkapcsolat "Függőben" állapotban jön létre, amikor felügyelt privát végpontot hoz létre a Azure Data Factory. Jóváhagyási munkafolyamat van elindítva. A privát kapcsolat erőforrás-tulajdonosa felelős a kapcsolat jóváhagyásáért vagy elutasításáért.

Privát végpont kezelése

Ha a tulajdonos jóváhagyja a kapcsolatot, létrejön a privát kapcsolat. Ellenkező esetben a privát kapcsolat nem lesz létrejött. A felügyelt privát végpont mindkét esetben frissülni fog a kapcsolat állapotával.

Felügyelt privát végpont jóváhagyása

Csak jóváhagyott állapotban lévő felügyelt privát végpont küldhet forgalmat egy adott privát kapcsolati erőforrásnak.

Interaktív szerzői

Az interaktív szerzői képességek olyan funkciókhoz használhatók, mint a kapcsolat tesztelése, a mappalista és a táblalista tallózása, a séma lekértése és az adatok előnézete. Az interaktív létrehozást az ADF által felügyelt virtuális Azure Integration Runtime létrehozásakor vagy szerkesztésekor engedélyezheti. A háttérszolgáltatás előre lefoglalja a számítást az interaktív szerzői funkciókhoz. Ellenkező esetben a rendszer minden alkalommal lefoglalja a számítást, amikor bármilyen interaktív műveletet hajt végre, ami több időt fog végezni. Az interaktív szerzői műveletekhez szükséges idő (TTL) 60 perc, ami azt jelenti, hogy az utolsó interaktív szerzői művelet után 60 perc után automatikusan le lesz tiltva.

Interaktív tartalom

Tevékenység végrehajtási ideje felügyelt virtuális hálózat használatával

A terv szerint a felügyelt virtuális hálózatokon futó Azure-integrációs környezet hosszabb üzenetsoridőt vesz igénybe, mint a nyilvános Azure-integrációskörnyezet, mivel nem tartunk le adat-előállítónként egy számítási csomópontot, ezért minden tevékenység indítási beüzembe kerül, és ez elsősorban a virtuális hálózatokhoz való csatlakozásra, és nem az Azure-beli integrációs futásidőre történik. A nem másolási tevékenységek, például a folyamattevékenységek és a külső tevékenységek esetében az első aktiválásukkor 60 perc áll a számukra elérhető idő (TTL) alatt. Az TTL-időn belül a várakozási idő rövidebb, mert a csomópont már be van melegítve.

Megjegyzés

Copy tevékenység még nem támogatja az TTL-t.

Megjegyzés

2 DIU Copy tevékenység felügyelt virtuális hálózatban nem támogatott.

Felügyelt virtuális hálózat létrehozása Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with VNET
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Korlátozások és ismert problémák

Támogatott adatforrások

Az alábbi adatforrások natív privát végpontokat támogatnak, és privát kapcsolaton keresztül csatlakoztathatóak az ADF által felügyelt Virtual Network.

  • Azure Blob Storage (a V1 Storage nem tartalmazza)
  • Azure Cognitive Search
  • Azure Cosmos DB SQL API
    1. generációs Azure Data Lake Storage
  • Azure Database for MariaDB
  • Azure Database for MySQL
  • Azure Database for PostgreSQL
  • Azure Files (a V1 Storage nem tartalmazza)
  • Azure Key Vault
  • Azure Machine Learning
  • Azure Private Link Szolgáltatás
  • Azure Purview
  • Azure SQL Database (az Azure SQL felügyelt példánya nem tartalmazza)
  • Azure Synapse Analytics
  • Azure Table Storage (a V1 Storage nem tartalmazza)

Megjegyzés

A nyilvános hálózaton keresztül továbbra is hozzáférhet a Data Factory által támogatott összes adatforráshoz.

Megjegyzés

Mivel az Azure SQL felügyelt példánya jelenleg nem támogatja a natív privát végpontot, a felügyelt Virtual Network privát csatolt szolgáltatás és az Load Balancer. Tekintse meg a felügyelt SQL felügyelt virtuális Data Factory privát végpont használatával való hozzáférését.

Helyszíni adatforrások

A helyszíni adatforrások privát végponttal Virtual Network keresztüli eléréséhez tekintse meg a következő oktatóanyagot: Helyszíni adatforrások SQL Server elérése felügyelt virtuális hálózatról Data Factory privát végpont használatával.

Azure Data Factory felügyelt Virtual Network az alábbi Azure-régiókban érhető el:

  • Kelet-Ausztrália
  • Délkelet-Ausztrália
  • Dél-Brazília
  • Közép-Kanada
  • Kelet-Kanada
  • Közép-India
  • Az USA középső régiója
  • Kelet-Kína2
  • Észak-Kína2
  • Kelet-Ázsia
  • USA keleti régiója
  • USA 2. keleti régiója
  • Közép-Franciaország
  • Középnyugat-Németország
  • Kelet-Japán
  • Nyugat-Japán
  • Dél-Korea középső régiója
  • USA északi középső régiója
  • Észak-Európa
  • Kelet-Kelet
  • Dél-Afrika északi régiója
  • USA déli középső régiója
  • Délkelet-Ázsia
  • Észak-Svájc
  • Egyesült Arab Emírségek északi részén
  • USA-beli államigazgatás – Arizona
  • USA-beli államigazgatás – Texas
  • USA-beli államigazgatás – Virginia
  • Az Egyesült Királyság déli régiója
  • Az Egyesült Királyság nyugati régiója
  • USA nyugati középső régiója
  • Nyugat-Európa
  • USA nyugati régiója
  • USA 2. nyugati régiója

Kimenő kommunikáció nyilvános végponton keresztül az ADF által felügyelt Virtual Network

  • Minden port meg van nyitva a kimenő kommunikációhoz.
  • Az Azure Storage és az Azure Data Lake Gen2 nyilvános végponton keresztüli, az ADF felügyelt virtuális hálózatából történő csatlakoztatása nem támogatott.

Az összekapcsolt szolgáltatás létrehozása Azure Key Vault

  • Amikor társított szolgáltatást hoz létre az Azure Key Vaulthoz, nincs az Azure integrációs modulra irányuló hivatkozás. Így nem hozhat létre privát végpontot a csatolt szolgáltatás létrehozása Azure Key Vault. Ha azonban olyan adattárakhoz hoz létre csatolt szolgáltatást, amelyek Azure Key Vault csatolt szolgáltatásra és erre a csatolt szolgáltatásra hivatkoznak, Azure Integration Runtime managed Virtual Network engedélyezve van, akkor a létrehozás során létrehozhat egy privát végpontot a Azure Key Vault-hez csatolt szolgáltatáshoz.
  • Tesztelje a kapcsolati műveletet a Azure Key Vault szolgáltatáshoz csak az URL-formátumot érvényesíti, hálózati műveletet azonban nem.
  • A Using private endpoint (Privát végpont használata) oszlop mindig üresként jelenik meg, még akkor is, ha privát végpontot hoz létre a Azure Key Vault.

Az Azure HDI linked Service létrehozása

  • A Using private endpoint (Privát végpont használata) oszlop mindig üresként jelenik meg, még akkor is, ha privát végpontot hoz létre a HDI-hez privát kapcsolati szolgáltatás és terheléselosztás használatával portirányítással.

Privát végpont az AKV-hez

Következő lépések