Virtual Network Terkelola Azure Data Factory

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Artikel ini akan menjelaskan Virtual Network terkelola dan titik akhir Privat Terkelola di Azure Data Factory.

Jaringan virtual terkelola

Saat Anda membuat Azure Integration Runtime (IR) dalam Azure Data Factory Managed Virtual Network (VNET), runtime integrasi akan disediakan dengan Jaringan Virtual terkelola dan akan memanfaatkan titik akhir pribadi untuk terhubung dengan aman ke penyimpanan data yang didukung.

Membuat runtime integrasi Azure dalam Virtual Network terkelola memastikan bahwa proses integrasi data terisolasi dan aman.

Keuntungan menggunakan Virtual Network Terkelola:

  • Dengan Virtual Network Terkelola, Anda dapat membongkar beban pengelolaan Virtual Network ke Azure Data Factory. Anda tidak perlu membuat subnet untuk Azure Integration Runtime yang akhirnya dapat menggunakan banyak IP privat dari Virtual Network Anda dan akan memerlukan perencanaan infrastruktur jaringan sebelumnya.
  • Tidak memerlukan pengetahuan jaringan Azure yang mendalam untuk melakukan integrasi data dengan aman. Alih-alih memulai dengan ETL yang aman jauh disederhanakan untuk teknisi data.
  • Virtual Network Terkelola bersama dengan titik akhir privat terkelola melindungi dari penyelundupan data.

Penting

Saat ini, Virtual Network yang dikelola hanya didukung di wilayah yang sama dengan wilayah Azure Data Factory.

Catatan

Runtime integrasi Azure global yang ada tidak dapat beralih ke runtime integrasi Azure di jaringan virtual yang dikelola Azure Data Factory dan sebaliknya.

ADF Managed Virtual Network architecture

Titik akhir privat terkelola

Titik akhir privat terkelola adalah titik akhir yang dibuat di Azure Data Factory Virtual Network Terkelola yang membuat tautan pribadi ke sumber daya Azure. Azure Data Factory mengelola titik akhir privat ini atas nama Anda.

New Managed private endpoint

Azure Data Factory mendukung tautan privat. Tautan privat memungkinkan Anda mengakses layanan Azure (PaaS) (seperti Azure Storage, Azure Cosmos DB, Azure Synapse Analytics).

Saat Anda menggunakan tautan privat, lalu lintas antara penyimpanan data Anda dan Virtual Network terkelola melintasi sepenuhnya melalui jaringan backbone Microsoft. Private Link melindungi dari risiko penyeludupan data. Anda membuat tautan privat ke sumber daya dengan membuat titik akhir privat.

Titik akhir privat menggunakan alamat IP privat di Virtual Network terkelola untuk membawa layanan ke dalam Virtual Network secara efektif. Titik akhir privat dipetakan ke sumber daya tertentu di Azure dan bukan seluruh layanan. Pelanggan dapat membatasi konektivitas ke sumber daya tertentu yang disetujui oleh organisasi mereka. Pelajari selengkapnya tentang link privat dan titik akhir privat.

Catatan

Disarankan agar Anda membuat titik akhir privat Terkelola untuk menyambungkan ke semua sumber data Azure Anda.

Peringatan

Jika penyimpanan data PaaS (Blob, ADLS Gen2, Azure Synapse Analytics) memiliki titik akhir privat yang sudah dibuat, bahkan jika memungkinkan akses dari semua jaringan, Azure Data Factory hanya akan dapat mengaksesnya menggunakan titik akhir privat terkelola. Jika titik akhir privat belum ada, Anda harus membuatnya dalam skenario seperti itu.

Koneksi titik akhir privat dibuat dalam status "Tertunda" saat Anda membuat titik akhir privat terkelola di Azure Data Factory. Alur kerja persetujuan dimulai. Pemilik sumber daya tautan privat bertanggung jawab untuk menyetujui koneksi.

Manage private endpoint

Jika pemilik menyetujui koneksi, tautan privat dibuat. Sebaliknya, tautan privat tidak akan dibuat. Dalam kedua kasus, titik akhir privat terkelola akan diperbarui dengan status koneksi.

Approve Managed private endpoint

Hanya titik akhir privat Terkelola dalam status disetujui yang dapat mengirim lalu lintas ke sumber daya tautan privat yang disediakan.

Penulisan interaktif

Kemampuan penulisan interaktif digunakan untuk fungsionalitas seperti koneksi pengujian, menelusuri daftar folder dan daftar tabel, mendapatkan skema, dan mempratinjau data. Anda dapat mengaktifkan penulisan interaktif saat membuat atau mengedit Azure Integration Runtime yang berada di jaringan virtual yang dikelola ADF. Layanan backend akan mengalokasikan komputasi untuk fungsionalitas penulisan interaktif. Sebaliknya, komputasi akan dialokasikan setiap kali operasi interaktif dilakukan yang akan memakan waktu lebih lama. Time To Live (TTL) untuk penulisan interaktif adalah 60 menit, yang berarti akan secara otomatis dinonaktifkan setelah 60 menit dari operasi penulisan interaktif terakhir.

Interactive authoring

Waktu eksekusi aktivitas menggunakan jaringan virtual terkelola

Secara desain, runtime integrasi Azure dalam jaringan virtual terkelola membutuhkan waktu antrean lebih lama daripada runtime integrasi Azure global karena kami tidak menyimpan satu node komputasi per pabrik data, jadi ada pemanasan untuk setiap aktivitas untuk memulai, dan hal ini terjadi terutama pada gabungan jaringan virtual daripada runtime integrasi Azure. Untuk aktivitas non-salin termasuk aktivitas saluran pipa dan aktivitas eksternal, ada Time To Live (TTL) 60 menit saat Anda memicunya pada saat pertama. Dalam TTL, waktu antrian lebih pendek karena node sudah dihangatkan.

Catatan

Aktivitas salin belum memiliki dukungan TTL.

Catatan

2 DIU untuk aktivitas Salin tidak didukung dalam jaringan virtual terkelola.

Membuat jaringan virtual terkelola melalui Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with VNET
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Catatan

Untuk groupId sumber data lain, Anda bisa mendapatkannya dari sumber daya tautan pribadi.

Batasan dan masalah umum

Sumber data yang didukung

Sumber data berikut memiliki dukungan Titik Akhir Privat asli dan dapat dihubungkan melalui tautan privat dari Virtual Network yang dikelola ADF.

  • Azure Blob Storage (tidak termasuk akun Storage V1)
  • Azure Cognitive Search
  • Azure Cosmos DB MongoDB API
  • Azure Cosmos DB SQL API
  • Azure Data Lake Storage Gen2
  • Azure Database untuk MariaDB
  • Azure Database untuk MySQL
  • Azure Database untuk PostgreSQL
  • Azure Files (tidak termasuk akun Storage V1)
  • Azure Key Vault
  • Pembelajaran Mesin Azure
  • Layanan Azure Private Link
  • Azure Purview
  • Database Azure SQL Database (tidak termasuk Azure SQL Managed Instance)
  • Azure Synapse Analytics
  • Azure Tabel Storage (tidak termasuk akun Storage V1)

Catatan

Anda masih dapat mengakses semua sumber data yang didukung oleh Data Factory melalui jaringan publik.

Catatan

Karena Azure SQL Managed Instance tidak mendukung Titik Akhir Privat asli saat ini, Anda dapat mengaksesnya dari Jaringan Virtual terkelola menggunakan Private Linked Service dan Load Balancer. Silakan lihat Cara mengakses Instans Terkelola SQL dari Data Factory Managed VNET menggunakan Titik Akhir Privat.

Sumber data lokal

Untuk mengakses sumber data lokal dari Virtual Network terkelola menggunakan Titik Akhir Privat, lihat tutorial ini Cara mengakses SQL Server lokal dari VNET yang Dikelola Data Factory menggunakan Titik Akhir Privat.

Virtual Network yang dikelola Azure Data Factory tersedia di wilayah Azure berikut ini

Umumnya, jaringan Virtual terkelola tersedia untuk semua wilayah Azure Data Factory, kecuali:

  • India Selatan

Komunikasi keluar melalui titik akhir publik dari Virtual Network Terkelola ADF

  • Semua port dibuka untuk komunikasi keluar.

Pembuatan Layanan Tertaut dari Azure Key Vault

  • Saat Anda membuat Layanan Tertaut untuk Azure Key Vault, tidak ada referensi Azure Integration Runtime. Jadi Anda tidak dapat membuat titik akhir privat selama pembuatan Layanan Tertaut Azure Key Vault. Tetapi ketika Anda membuat Layanan Tertaut untuk penyimpanan data yang mereferensikan Layanan Tertaut Azure Key Vault dan Layanan Tertaut ini mereferensikan Azure Integration Runtime dengan Virtual Network Terkelola diaktifkan, maka Anda dapat membuat Titik Akhir Privat untuk Layanan Tertaut Azure Key Vault selama pembuatan.
  • Pengujian koneksi operasi untuk Layanan Tertaut Azure Key Vault hanya memvalidasi format URL, tetapi tidak melakukan operasi jaringan apa pun.
  • Kolom Menggunakan titik akhir privat selalu diperlihatkan kosong meskipun Anda membuat Titik Akhir Privat untuk Azure Key Vault.

Pembuatan Layanan Tertaut dari Azure HDI

  • Kolom Menggunakan titik akhir privat selalu ditampilkan kosong meskipun Anda membuat Titik Akhir Privat untuk HDI menggunakan layanan tautan privat dan penyeimbang beban dengan penerusan porta.

Private Endpoint for AKV

Langkah berikutnya