Управляемая виртуальная сеть Фабрики данных Azure

применимо к: Azure синапсе Analytics фабрика данных Azure

В этой статье рассматриваются управляемая виртуальная сеть и управляемые частные конечные точки в Фабрике данных Azure.

Управляемая виртуальная сеть

При создании Azure Integration Runtime (IR) в управляемой виртуальной сети Фабрики данных Azure будет подготовлена среда выполнения интеграции с управляемой виртуальной сетью, а для безопасного подключения к поддерживаемым хранилищам данных будут использоваться частные конечные точки.

Создание Azure IR в управляемой виртуальной сети обеспечивает изолированность и безопасность процесса интеграции данных.

Преимущества использования управляемой виртуальной сети:

  • Благодаря управляемой виртуальной сети можно перенести нагрузку, связанную с управлением виртуальной сетью, в Фабрику данных Azure. Вам не нужно создавать подсеть для Azure Integration Runtime, которая в конечном итоге могла бы использовать множество частных IP-адресов из вашей виртуальной сети и потребовала бы предварительного планирования сетевой инфраструктуры.
  • Для безопасной интеграции данных не требуются глубокие знания о сетях Azure. Наоборот, инженерам данных значительно проще приступить к извлечению, преобразованию и загрузке данных с учетом всех требований к безопасности.
  • Управляемая виртуальная сеть вместе с управляемыми частными конечными точками обеспечивает защиту от кражи данных.

Важно!

В настоящее время управляемая виртуальная сеть поддерживается только в регионе Фабрики данных Azure.

Примечание

Существующая глобальная среда выполнения интеграции Azure не может переключиться на среду выполнения интеграции Azure в управляемой виртуальной сети фабрики данных Azure и наоборот.

ADF Managed Virtual Network architecture

Управляемые частные конечные точки

Управляемые частные конечные точки — это частные конечные точки, созданные в управляемой виртуальной сети Фабрики данных Azure, через которую проходит приватный канал доступа к ресурсам Azure. Фабрика данных Azure управляет этими частными конечными точками от вашего имени.

New Managed private endpoint

Фабрика данных Azure поддерживает приватные каналы. Приватный канал позволяет обращаться к службам Azure (PaaS), таким как служба хранилища Azure, Azure Cosmos DB и Azure Synapse Analytics.

При использовании приватного канала трафик между вашими хранилищами данных и управляемой виртуальной сетью полностью проходит через магистральную сеть Майкрософт. Приватный канал обеспечивает защиту от угроз кражи данных. Чтобы установить приватный канал для ресурса, создайте частную конечную точку.

Частная конечная точка использует частный IP-адрес в управляемой виртуальной сети, по сути перемещая службу в нее. Частная конечная точка сопоставляется с конкретным ресурсом в Azure, а не со всей службой. Клиенты могут ограничить возможности подключения к определенному ресурсу, утверждаемому их организацией. Дополнительные сведения о приватных каналах и частных конечных точках см. здесь.

Примечание

Рекомендуется создавать управляемые частные конечные точки для подключения ко всем источникам данных Azure.

Предупреждение

Если для хранилища данных PaaS (Хранилища BLOB-объектов, ADLS 2-го поколения, Azure Synapse Analytics) уже создана частная конечная точка, то, даже если доступ к нему разрешен из всех сетей, ADF сможет получить доступ только через управляемую частную конечную точку. Если частная конечная точка еще не существует, в таких ситуациях потребуется создать ее.

При создании управляемой частной конечной точки в Фабрике данных Azure подключение к ней создается в состоянии ожидания. Инициируется рабочий процесс утверждения. Владелец ресурса для приватного канала должен утвердить это подключение.

Manage private endpoint

Если владелец утверждает подключение, устанавливается приватный канал. В противном случае приватный канал не будет установлен. В любом случае состояние подключения к управляемой частной конечной точке будет обновлено.

Approve Managed private endpoint

Только управляемая частная конечная точка в утвержденном состоянии может передавать трафик на заданный ресурс приватного канала.

Интерактивная разработка

Возможности интерактивной разработки используются для таких операций, как тестирование подключения, просмотр списка папок и списка таблиц, получение схемы и предварительный просмотр данных. Вы можете включить интерактивную разработку при создании или изменении Azure Integration Runtime, которая находится в виртуальной сети, управляемой ADF. Серверная служба будет предварительно выделять вычислительные ресурсы для операций интерактивной разработки. В противном случае вычислительные ресурсы будут выделяться при каждом выполнении любой интерактивной операции, что займет больше времени. Срок жизни для интерактивной разработки составляет 60 минут. Это означает, что она автоматически отключается через 60 минут после последней операции интерактивной разработки.

Interactive authoring

Время выполнения действия с использованием управляемой виртуальной сети

Среда выполнения интеграции Azure в управляемой виртуальной сети занимает больше времени в очереди, чем глобальная среда выполнения интеграции Azure, так как мы не резервируете один расчетный узел на фабрику данных, так что для каждого из них выполняется присоединение к виртуальной сети, а не к среде выполнения интеграции Azure. Для действий, не связанных с копированием, включая действия конвейера и внешние действия, срок жизни составляет 60 минут с момента первой активации. В течение срока жизни время в очереди сокращается, так как узел уже был подготовлен.

Примечание

Для действия Copy срок жизни пока не поддерживается.

Примечание

2 Диу для действия копирования не поддерживается в управляемой виртуальной сети.

Создание управляемой виртуальной сети с помощью Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with VNET
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Примечание

Для groupId других источников данных их можно получить из ресурса частной связи.

Ограничения и известные проблемы

Поддерживаемые источники данных

Следующие источники данных имеют собственную закрытую конечную точку и могут быть подключены через частную ссылку из управляемой виртуальной сети ADF.

  • Хранилище BLOB-объектов Azure (не включая учетную запись хранения версии 1)
  • Когнитивный поиск Azure
  • Azure Cosmos DB: API MongoDB
  • Azure Cosmos DB SQL API
  • Azure Data Lake Storage 2-го поколения
  • База данных Azure для MariaDB
  • База данных Azure для MySQL
  • База данных Azure для PostgreSQL
  • Файлы Azure (не включая учетную запись хранения версии 1)
  • Azure Key Vault
  • Машинное обучение Azure
  • Служба "Приватный канал Azure"
  • Azure Purview
  • База данных SQL Azure (не включая Управляемый экземпляр SQL Azure)
  • Azure Synapse Analytics
  • Хранилище таблиц Azure (не включая учетную запись хранения версии 1)

Примечание

Вы по-прежнему можете работать со всеми источниками данных, поддерживаемыми Фабрикой данных, через общедоступную сеть.

Примечание

Так как Управляемый экземпляр SQL Azure в настоящее время не поддерживает собственную частную конечную точку, доступ к ней можно получить из управляемой виртуальной сети с помощью связанного Приватного канала и Load Balancer. См. руководство по доступу к Управляемому экземпляру SQL из управляемой виртуальной сети Фабрики данных с помощью частной конечной точки.

Локальные источники данных

чтобы получить доступ к локальным источникам данных из управляемой виртуальной сети с помощью частной конечной точки, ознакомьтесь с этим руководством как получить доступ к локальной SQL Server из управляемой виртуальной сети фабрики данных с помощью частной конечной точки.

Управляемая виртуальная сеть фабрики данных Azure доступна в следующих регионах Azure

Как правило, управляемая виртуальная сеть доступна для всех регионов фабрики данных Azure, за исключением следующих:

  • Южная Индия

Исходящие подключения через общедоступную конечную точку из управляемой виртуальной сети ADF

  • Все порты открыты для исходящих подключений.

Создание связанной службы Azure Key Vault

  • При создании связанной службы для Azure Key Vault ссылка на Azure Integration Runtime отсутствует. По этой причине при создании связанной службы Azure Key Vault создать частную конечную точку невозможно. Однако частную конечную точку для связанной службы Azure Key Vault можно создать, если вы создаете связанную службу для хранилищ данных, которая ссылается на связанную службу Azure Key Vault, а эта связанная служба ссылается на Azure Integration Runtime с включенной управляемой виртуальной сетью.
  • Операция Тестирование подключения для связанной службы Azure Key Vault только проверяет формат URL-адреса, но не выполняет никаких сетевых операций.
  • Столбец Использование частной конечной точки всегда отображается как пустой, даже если вы создали для Azure Key Vault частную конечную точку.

Создание связанной службы Azure HDI

  • Столбец Использование частной конечной точки всегда отображается как пустой, даже если вы создаете частную конечную точку для HDI с помощью службы Приватного канала и подсистемы балансировки нагрузки с переадресацией портов.

Private Endpoint for AKV

Дальнейшие действия