Подключение к рабочим областям Azure Synapse Analytics и управление ими в Microsoft Purview

В этой статье описывается регистрация рабочих областей Azure Synapse Analytics. В ней также описывается проверка подлинности и взаимодействие с рабочими областями Azure Synapse Analytics в Microsoft Purview. Дополнительные сведения о Microsoft Purview см. в вводной статье.

Поддерживаемые возможности

Извлечение метаданных	Полная проверка	Добавочное сканирование	Сканирование с заданной областью	Классификация	Присвоение подписей	Политика доступа	Линии	Общий доступ к данным	Динамическое представление
Да	Да	Да	Нет	Да	Нет	Нет	Да — конвейеры	Нет	Нет

В настоящее время базы данных озера Azure Synapse Analytics не поддерживаются.

Для внешних таблиц Azure Synapse Analytics в настоящее время не фиксирует связь этих таблиц с их исходными файлами.

Предварительные требования

• Учетная запись Azure с активной подпиской. Создайте учетную запись бесплатно.

• Активная учетная запись Microsoft Purview.

• Администратор источников данных и разрешения читателя данных для регистрации источника и управления им на портале управления Microsoft Purview. Дополнительные сведения см. в разделе Управление доступом на портале управления Microsoft Purview.

Регистрация

В следующей процедуре описывается регистрация рабочих областей Azure Synapse Analytics в Microsoft Purview с помощью портала управления Microsoft Purview.

Зарегистрировать рабочую область Azure Synapse Analytics может только пользователь с ролью читателя данных в рабочей области Azure Synapse Analytics и администратор источников данных в Microsoft Purview.

1. Откройте портал управления Microsoft Purview и выберите учетную запись Microsoft Purview.

   Кроме того, перейдите в портал Azure, найдите и выберите учетную запись Microsoft Purview, а затем нажмите кнопку портал управления Microsoft Purview.

2. В левой области выберите Источники.

3. Нажмите Зарегистрировать.

4. В разделе Регистрация источников выберите Azure Synapse Аналитика (несколько).

5. Нажмите Продолжить.

   

6. На странице Регистрация источников (Azure Synapse Analytics) выполните следующие действия.

   1. В поле Имя введите имя источника данных, который будет указан в каталоге данных.

   2. При необходимости для подписки Azure выберите подписку для фильтрации.

   3. В поле Имя рабочей области выберите рабочую область, с которым вы работаете.

      Поля для конечных точек SQL заполняются автоматически в зависимости от выбранной рабочей области.

   4. В поле Выберите коллекцию выберите коллекцию, с которым вы работаете, или создайте новую.

   5. Выберите Зарегистрировать , чтобы завершить регистрацию источника данных.

   

Проверка

Выполните следующие действия, чтобы проверить рабочие области Azure Synapse Analytics для автоматической идентификации ресурсов и классификации данных. Дополнительные сведения о сканировании в целом см. в статье Сканирование и прием данных в Microsoft Purview.

1. Настройте проверку подлинности для перечисления выделенных или бессерверных ресурсов. Этот шаг позволит Microsoft Purview перечислить ресурсы рабочей области и выполнить сканирование.
2. Примените разрешения для сканирования содержимого рабочей области.
3. Убедитесь, что сеть настроена так, чтобы разрешить доступ к Microsoft Purview.

Проверка подлинности перечисления

Используйте следующие процедуры для настройки проверки подлинности. Для добавления указанных ролей необходимо быть владельцем или администратором доступа пользователей.

Проверка подлинности для перечисления выделенных ресурсов базы данных SQL

1. В портал Azure перейдите к ресурсу рабочей области Azure Synapse Analytics.
2. В левой области выберите контроль доступа (IAM).
3. Нажмите кнопку Добавить.
4. Задайте роль читателя и введите имя учетной записи Microsoft Purview, представляющей управляемое удостоверение службы (MSI).
5. Нажмите кнопку Сохранить , чтобы завершить назначение роли.

Примечание.

Если вы планируете зарегистрировать и проверить несколько рабочих областей Azure Synapse Analytics в учетной записи Microsoft Purview, вы также можете назначить роль более высокого уровня, например группу ресурсов или подписку.

Проверка подлинности для перечисления бессерверных ресурсов базы данных SQL

Существует три места, где необходимо настроить проверку подлинности, чтобы разрешить Microsoft Purview перечислять ресурсы бессерверной базы данных SQL.

Чтобы настроить проверку подлинности для рабочей области Azure Synapse Analytics, выполните следующие действия.

1. В портал Azure перейдите к ресурсу рабочей области Azure Synapse Analytics.
2. В левой области выберите контроль доступа (IAM).
3. Нажмите кнопку Добавить.
4. Задайте роль читателя и введите имя учетной записи Microsoft Purview, которая представляет ее MSI.
5. Нажмите кнопку Сохранить , чтобы завершить назначение роли.

Чтобы настроить проверку подлинности для учетной записи хранения, выполните следующие действия.

1. В портал Azure перейдите к группе ресурсов или подписке, содержащей учетную запись хранения, связанную с рабочей областью Azure Synapse Analytics.
2. В левой области выберите контроль доступа (IAM).
3. Нажмите кнопку Добавить.
4. Задайте роль читателя данных BLOB-объектов хранилища и введите имя учетной записи Microsoft Purview (которая представляет ее MSI) в поле Выбор .
5. Нажмите кнопку Сохранить , чтобы завершить назначение роли.

Чтобы настроить проверку подлинности для бессерверной базы данных Azure Synapse Analytics, выполните следующие действия.

1. Перейдите в рабочую область Azure Synapse Analytics и откройте Synapse Studio.

2. В левой области выберите Данные.

3. Щелкните многоточие (...) рядом с одной из баз данных, а затем запустите новый скрипт SQL.

4. Выполните следующую команду в скрипте SQL, чтобы добавить MSI учетной записи Microsoft Purview (представленную именем учетной записи) в бессерверные базы данных SQL:

   CREATE LOGIN [PurviewAccountName] FROM EXTERNAL PROVIDER;
   

Применение разрешений для сканирования содержимого рабочей области

Необходимо настроить проверку подлинности для каждой базы данных SQL, которую вы хотите зарегистрировать и проверить из рабочей области Azure Synapse Analytics. Выберите один из следующих сценариев для действий по применению разрешений.

Важно!

Следующие действия для бессерверных баз данных не применяются к реплицированным базам данных. В Azure Synapse Analytics бессерверные базы данных, реплицированные из баз данных Spark, в настоящее время доступны только для чтения. Дополнительные сведения см. в разделе Операция не разрешена для реплицированной базы данных.

Управляемое удостоверение

Использование управляемого удостоверения для выделенных баз данных SQL

Чтобы выполнить команды в следующей процедуре, необходимо быть администратором Azure Synapse рабочей области. Дополнительные сведения о разрешениях Azure Synapse Analytics см. в статье Настройка управления доступом для рабочей области Azure Synapse Analytics.

1. Перейдите в рабочую область Azure Synapse Analytics.

2. Перейдите к разделу Данные и найдите одну из выделенных баз данных SQL.

3. Щелкните многоточие (...) рядом с именем базы данных, а затем запустите новый скрипт SQL.

4. Выполните следующую команду в скрипте SQL, чтобы добавить MSI учетной записи Microsoft Purview (представленную именем учетной записи) в db_datareader выделенной базе данных SQL:

   CREATE USER [PurviewAccountName] FROM EXTERNAL PROVIDER
   GO
   
   EXEC sp_addrolemember 'db_datareader', [PurviewAccountName]
   GO
   

5. Выполните следующую команду в скрипте SQL, чтобы проверить добавление роли:

   SELECT p.name AS UserName, r.name AS RoleName
   FROM sys.database_principals p
   LEFT JOIN sys.database_role_members rm ON p.principal_id = rm.member_principal_id
   LEFT JOIN sys.database_principals r ON rm.role_principal_id = r.principal_id
   WHERE p.authentication_type_desc = 'EXTERNAL'
   ORDER BY p.name;
   

Выполните те же действия для каждой базы данных, которую требуется проверить.

Использование управляемого удостоверения для бессерверных баз данных SQL

1. Перейдите в рабочую область Azure Synapse Analytics.

2. Перейдите в раздел Данные и выберите одну из баз данных SQL.

3. Щелкните многоточие (...) рядом с именем базы данных, а затем запустите новый скрипт SQL.

4. Выполните следующую команду в скрипте SQL, чтобы добавить MSI учетной записи Microsoft Purview (представленную именем учетной записи) как db_datareader в бессерверные базы данных SQL:

   CREATE USER [PurviewAccountName] FOR LOGIN [PurviewAccountName];
   ALTER ROLE db_datareader ADD MEMBER [PurviewAccountName]; 
   

5. Выполните следующую команду в скрипте SQL, чтобы проверить добавление роли:

   SELECT p.name AS UserName, r.name AS RoleName
   FROM sys.database_principals p
   LEFT JOIN sys.database_role_members rm ON p.principal_id = rm.member_principal_id
   LEFT JOIN sys.database_principals r ON rm.role_principal_id = r.principal_id
   WHERE p.authentication_type_desc = 'EXTERNAL'
   ORDER BY p.name;
   

Выполните те же действия для каждой базы данных, которую требуется проверить.

Предоставление разрешения на использование учетных данных для внешних таблиц

Если в рабочей области Azure Synapse Analytics есть какие-либо внешние таблицы, необходимо предоставить управляемому удостоверению Microsoft Purview разрешение Ссылки на учетные данные внешней таблицы. С разрешением Ссылки Microsoft Purview может считывать данные из внешних таблиц.

1. Выполните следующую команду в скрипте SQL, чтобы получить список учетных данных для базы данных:

   Select name, credential_identity
   from sys.database_scoped_credentials;
   

2. Чтобы предоставить доступ к учетным данным базы данных, выполните следующую команду. Замените scoped_credential именем учетных данных для базы данных.

   GRANT REFERENCES ON DATABASE SCOPED CREDENTIAL::[scoped_credential] TO [PurviewAccountName];
   

3. Чтобы проверить назначение разрешений, выполните следующую команду в скрипте SQL:

   SELECT dp.permission_name, dp.grantee_principal_id, p.name AS grantee_principal_name
   FROM sys.database_permissions AS dp
   JOIN sys.database_principals AS p ON dp.grantee_principal_id = p.principal_id
   JOIN sys.database_scoped_credentials AS c ON dp.major_id = c.credential_id;
   

Субъект-служба

Использование субъекта-службы для выделенных баз данных SQL

1. Настройте новые учетные данные типа субъекта-службы , следуя инструкциям в разделе Учетные данные для проверки подлинности источника в Microsoft Purview.

2. Перейдите в рабочую область Azure Synapse Analytics.

3. Перейдите к разделу Данные и найдите одну из выделенных баз данных SQL.

4. Щелкните многоточие (...) рядом с именем базы данных, а затем запустите новый скрипт SQL.

5. Выполните следующую команду в скрипте SQL, чтобы добавить идентификатор субъекта-службы в db_datareader выделенной базе данных SQL:

   CREATE USER [ServicePrincipalID] FROM EXTERNAL PROVIDER
   GO
   
   EXEC sp_addrolemember 'db_datareader', [ServicePrincipalID]
   GO
   

Повторите предыдущие шаги для всех выделенных баз данных SQL в рабочей области Azure Synapse Analytics.

Использование субъекта-службы для бессерверных баз данных SQL

1. Перейдите в рабочую область Azure Synapse Analytics.

2. Перейдите к разделу Данные и найдите одну из бессерверных баз данных SQL.

3. Щелкните многоточие (...) рядом с именем базы данных, а затем запустите новый скрипт SQL.

4. Выполните следующую команду в скрипте SQL, чтобы добавить идентификатор субъекта-службы в бессерверные базы данных SQL:

   CREATE LOGIN [ServicePrincipalID] FROM EXTERNAL PROVIDER;
   

5. Выполните следующую команду в скрипте SQL, чтобы добавить идентификатор субъекта-службы в db_datareader каждой из бессерверных баз данных SQL, которые требуется проверить:

    CREATE USER [ServicePrincipalID] FOR LOGIN [ServicePrincipalID];
    ALTER ROLE db_datareader ADD MEMBER [ServicePrincipalID]; 
   

Проверка подлинности SQL

Использование проверки подлинности SQL для выделенных баз данных SQL

1. Настройте новые учетные данные типа проверки подлинности SQL , следуя инструкциям в разделе Учетные данные для проверки подлинности источника в Microsoft Purview.

2. Перейдите в рабочую область Azure Synapse Analytics.

3. Перейдите к разделу Данные и найдите одну из выделенных баз данных SQL.

4. Щелкните многоточие (...) рядом с именем базы данных, а затем запустите новый скрипт SQL.

5. Выполните следующую команду в скрипте SQL, чтобы добавить имя входа для проверки подлинности SQL как db_datareader в выделенной базе данных SQL:

   CREATE USER [SQLUser] FROM LOGIN [SQLUser];
   GO
   
   EXEC sp_addrolemember 'db_datareader', [SQLUser]; 
   GO
   

Повторите предыдущие шаги для всех выделенных баз данных SQL в рабочей области Azure Synapse Analytics.

Использование проверки подлинности SQL для бессерверных баз данных SQL

1. Перейдите в рабочую область Azure Synapse Analytics.

2. Перейдите к разделу Данные и найдите одну из бессерверных баз данных SQL.

3. Щелкните многоточие (...) рядом с именем базы данных, а затем запустите новый скрипт SQL.

4. Выполните следующую команду в скрипте SQL, чтобы добавить имя входа для проверки подлинности SQL в бессерверных базах данных SQL:

   CREATE USER [SQLUser] FROM LOGIN [SQLUser];
   GO
   

5. Выполните следующую команду в скрипте SQL, чтобы добавить идентификатор субъекта-службы в db_datareader каждой из бессерверных баз данных SQL, которые требуется проверить:

   ALTER ROLE db_datareader ADD MEMBER [SQLUser];
   GO
   

Настройка доступа к брандмауэру для рабочей области Azure Synapse Analytics

1. В портал Azure перейдите в рабочую область Azure Synapse Analytics.

2. В левой области выберите Сеть.

3. Для параметра Разрешить службам и ресурсам Azure доступ к этому элементу управления рабочей области выберите Включено.

4. Нажмите кнопку Сохранить.

Важно!

Если не удается включить разрешить службам и ресурсам Azure доступ к этой рабочей области в рабочих областях Azure Synapse Analytics, при настройке проверки на портале управления Microsoft Purview вы получите сбой перечисления бессерверной базы данных. В этом случае можно выбрать параметр Ввод вручную , чтобы указать имена баз данных, которые требуется проверить, а затем продолжить или настроить проверку с помощью API.

Создание и запуск сканирования

1. На портале управления Microsoft Purview в области слева выберите Карта данных.

2. Выберите зарегистрированный источник данных.

3. Выберите Просмотреть сведения, а затем — Создать сканирование. Кроме того, на исходной плитке можно щелкнуть значок быстрого действия Проверить .

4. В области Сведения о сканировании в поле Имя введите имя сканирования.

Примечание.

Если для среды выполнения интеграции используется управляемая среда выполнения виртуальной сети, убедитесь, что вы создали необходимые управляемые частные точки:

• Чтобы проверить бессерверные пулы, создайте управляемую частную точку типа подресурса sqlOnDemand для рабочей области Synapse.
• Чтобы проверить выделенные пулы, создайте управляемую частную точку типа подресурса SQL для рабочей области Synapse.
• При сканировании бессерверных и выделенных пулов необходимо создать как управляемые частные конечные точки, так и в мастере выбрать одну.

1. В раскрывающемся списке Учетные данные выберите учетные данные для подключения к ресурсам в источнике данных.

2. Для параметра Метод выбора базы данных выберите Из рабочей области Synapse или Ввод вручную. По умолчанию Microsoft Purview пытается перечислить базы данных в рабочей области, и вы можете выбрать те, которые нужно проверить.

   

   Если появляется сообщение об ошибке Microsoft Purview не удалось загрузить бессерверные базы данных, можно выбрать ввод вручную , чтобы указать тип базы данных (выделенной или бессерверной) и соответствующее имя базы данных.

   

3. Выберите Проверить подключение , чтобы проверить параметры. Если возникает какая-либо ошибка, на странице отчета наведите указатель мыши на состояние подключения, чтобы просмотреть подробные сведения.

4. Нажмите Продолжить.

5. Выберите Сканировать наборы правил типа Azure Synapse SQL. Можно также создавать встроенные наборы правил сканирования.

6. Выберите триггер сканирования. Вы можете запланировать его выполнение еженедельно или ежемесячно или один раз.

7. Просмотрите проверку и нажмите кнопку Сохранить , чтобы завершить настройку.

Просмотр проверок и запусков сканирования

Чтобы просмотреть существующие проверки, выполните приведенные далее действия.

1. Перейдите на портал управления Microsoft Purview. В левой области выберите Карта данных.
2. Выберите источник данных. Список существующих проверок для этого источника данных можно просмотреть в разделе Последние проверки или просмотреть все проверки на вкладке Сканирование .
3. Выберите сканирование с результатами, которые вы хотите просмотреть. На панели отображаются все предыдущие запуски сканирования, а также состояние и метрики для каждого запуска сканирования.
4. Выберите идентификатор запуска, чтобы проверка сведения о выполнении проверки.

Управление проверками

Чтобы изменить, отменить или удалить сканирование:

1. Перейдите на портал управления Microsoft Purview. В левой области выберите Карта данных.

2. Выберите источник данных. Список существующих проверок для этого источника данных можно просмотреть в разделе Последние проверки или просмотреть все проверки на вкладке Сканирование .

3. Выберите проверку, которой вы хотите управлять. Далее вы можете:

   • Измените сканирование, выбрав Изменить проверку.
   • Отмените выполняемую проверку, выбрав Отмена выполнения проверки.
   • Удалите сканирование, выбрав Удалить сканирование.

Примечание.

• При удалении сканирования ресурсы каталога, созданные на основе предыдущих проверок, не удаляются.
• Ресурс больше не будет обновляться с изменениями схемы, если исходная таблица изменилась и вы повторно просканируете исходную таблицу после изменения описания на вкладке Схема Microsoft Purview.

Настройка проверки с помощью API

Ниже приведен пример создания проверки бессерверной базы данных с помощью REST API Microsoft Purview. Замените заполнители в фигурных скобках ({}) фактическими параметрами. Дополнительные сведения см. в статье Сканирование— создание или обновление.

PUT https://{purview_account_name}.purview.azure.com/scan/datasources/<data_source_name>/scans/{scan_name}?api-version=2022-02-01-preview

В следующем коде collection_id не является понятным именем коллекции, а идентификатором из пяти символов. Для корневой коллекции collection_id — это имя коллекции. Для всех вложенных наборов это идентификатор, который можно найти в одном из следующих мест:

• URL-адрес на портале управления Microsoft Purview. Выберите коллекцию и проверка URL-адрес, чтобы найти, где указано collection=. Это ваш идентификатор. В следующем примере коллекция Investment имеет идентификатор 50h55c.

  

• Вы можете перечислить имена дочерних коллекций корневой коллекции, чтобы получить список коллекций, а затем использовать имя вместо понятного имени.

{
    "properties":{
        "resourceTypes":{
            "AzureSynapseServerlessSql":{
                "scanRulesetName":"AzureSynapseSQL",
                "scanRulesetType":"System",
                "resourceNameFilter":{
                    "resources":[ "{serverless_database_name_1}", "{serverless_database_name_2}", ...]
                }
            }
        },
        "credential":{
            "referenceName":"{credential_name}",
            "credentialType":"SqlAuth | ServicePrincipal | ManagedIdentity (if UAMI authentication)"
        },
        "collection":{
            "referenceName":"{collection_id}",
            "type":"CollectionReference"
        },
        "connectedVia":{
            "referenceName":"{integration_runtime_name}",
            "integrationRuntimeType":"SelfHosted (if self-hosted IR) | Managed (if VNet IR)"
        }
    },
    "kind":"AzureSynapseWorkspaceCredential | AzureSynapseWorkspaceMsi (if system-assigned managed identity authentication)"
}

Чтобы запланировать проверку, создайте для нее триггер после создания сканирования. Дополнительные сведения см. в разделе Триггеры — создание триггера.

Устранение неполадок

Если у вас возникли проблемы с сканированием:

• Убедитесь, что выполнены все предварительные требования.
• Убедитесь, что для ресурсов настроена проверка подлинности перечисления .
• Убедитесь, что настроена проверка подлинности.
• Проверьте сеть, подтвердив параметры брандмауэра.
• Ознакомьтесь с документацией по устранению неполадок сканирования.

Дальнейшие действия

Теперь, когда вы зарегистрировали источник, используйте следующие руководства, чтобы узнать больше о Microsoft Purview и ваших данных:

• Аналитика ресурсов данных в Microsoft Purview
• Происхождение происхождения в Microsoft Purview
• Поиск по Каталог данных Microsoft Purview