Архитектуры и рекомендации по коллекциям Microsoft Purview

  • Статья

В основе унифицированных решений по управлению данными Microsoft Purview карта данных — это компонент PaaS (платформа как услуга), который поддерживает актуальную карту ресурсов и их метаданных в пространстве данных. Чтобы восстановить схему данных, необходимо зарегистрировать и проверить источники данных. В организации могут быть тысячи источников данных, управляемых и управляемых централизованным или децентрализованным командами.

Коллекции в Microsoft Purview поддерживают организационное сопоставление метаданных. С помощью коллекций можно управлять источниками данных, проверками и ресурсами в иерархии, а не в плоской структуре. Коллекции позволяют создать пользовательскую иерархическую модель ландшафта данных, основанную на том, как ваша организация планирует использовать Microsoft Purview для управления ландшафтом.

Коллекция также предоставляет границу безопасности для метаданных в карте данных. Доступ к коллекциям, источникам данных и метаданным настраивается и поддерживается на основе иерархии коллекций в Microsoft Purview в соответствии с моделью с минимальными привилегиями:

  • У пользователей есть минимальный доступ, необходимый для выполнения своей работы.
  • У пользователей нет доступа к конфиденциальным данным, которые им не нужны.

Зачем нужно определять коллекции и модель авторизации для учетной записи Microsoft Purview?

Рассмотрите возможность развертывания коллекций в Microsoft Purview, чтобы выполнить следующие требования:

  • Организуйте источники данных, распределяйте ресурсы и выполняйте проверки в соответствии с бизнес-требованиями, географическим распределением данных и группами управления данными, отделами или бизнес-функциями.

  • Делегируйте владение источниками данных и ресурсами соответствующим командам путем назначения ролей соответствующим коллекциям.

  • Поиск и фильтрация ресурсов по коллекциям.

Определение иерархии коллекций

Рекомендации по проектированию

  • Рекомендуется проектировать архитектуру коллекции на основе требований безопасности, а также структуры управления данными и управления в вашей организации. Ознакомьтесь с рекомендуемыми архетипами коллекций в этой статье.

  • Для обеспечения будущей масштабируемости рекомендуется создать коллекцию верхнего уровня для организации под корневой коллекцией. Назначьте соответствующие роли в коллекции верхнего уровня, а не в корневой коллекции.

  • Рассмотрите возможность управления безопасностью и доступом как часть процесса принятия решений по проектированию при создании коллекций в Microsoft Purview.

  • Каждая коллекция имеет атрибут name и понятный атрибут имени. Если вы используете портал управления Microsoft Purview для развертывания коллекции, система автоматически назначает случайное имя из шести букв коллекции, чтобы избежать дублирования. Чтобы снизить сложность, избегайте повторяющихся понятных имен в коллекциях, особенно на том же уровне.

  • В настоящее время имя коллекции может содержать до 36 символов, а понятное имя коллекции может содержать до 100 символов.

  • По возможности избегайте дублирования организационной структуры в глубоко вложенной иерархии коллекций. Если вы не можете избежать этого, обязательно используйте разные имена для каждой коллекции в иерархии, чтобы упростить их распознавание.

  • Автоматизируйте развертывание коллекций с помощью API, если планируется массовое развертывание коллекций и назначений ролей.

  • Используйте выделенное имя субъекта-службы (SPN) для выполнения операций с коллекциями и назначением ролей с помощью API. Использование имени субъекта-службы сокращает число пользователей с повышенными правами и соответствует рекомендациям по наименьшим привилегиям.

Особенности дизайна

  • Каждая учетная запись Microsoft Purview создается с корневой коллекцией по умолчанию. Имя корневой коллекции совпадает с именем учетной записи Microsoft Purview. Не удается удалить корневую коллекцию. Чтобы изменить понятное имя корневой коллекции, можно изменить понятное имя учетной записи Microsoft Purview в Центре управления Microsoft Purview.

  • Коллекции могут содержать источники данных, проверки, ресурсы и назначения ролей.

  • Коллекция может содержать столько дочерних коллекций, сколько необходимо. Но каждая коллекция может иметь только одну родительскую коллекцию. Нельзя развертывать коллекции над корневой коллекцией.

  • Источники данных, проверки и ресурсы могут принадлежать только одной коллекции.

  • Иерархия коллекций в Microsoft Purview может поддерживать до 256 коллекций с максимальным уровнем глубины в восемь. Сюда не входит корневая коллекция.

  • По сути, вы не можете зарегистрировать источники данных несколько раз в одной учетной записи Microsoft Purview. Эта архитектура помогает избежать риска назначения разных уровней управления доступом одному источнику данных. Если несколько команд используют метаданные одного источника данных, вы можете зарегистрировать источник данных и управлять им в родительской коллекции. Затем можно создать соответствующие проверки под каждой подколлекцией, чтобы соответствующие ресурсы отображались в каждой дочерней коллекции.

  • Подключения и артефакты происхождения присоединяются к корневой коллекции, даже если источники данных регистрируются в коллекциях более низкого уровня.

  • При запуске новой проверки по умолчанию она развертывается в той же коллекции, что и источник данных. При необходимости можно выбрать другой вложенный набор для запуска проверки. В результате ресурсы будут принадлежать подколлективу.

  • Вы можете удалить коллекцию, если у нее нет ресурсов, связанных проверок, источников данных или дочерних коллекций.

  • Источники данных, проверки и ресурсы должны принадлежать коллекции, если они существуют в карте данных Microsoft Purview.

  • Перемещение источников данных между коллекциями разрешено, если пользователю предоставлена роль источника данных Администратор для исходной и целевой коллекций.

  • Перемещение ресурсов между коллекциями разрешено, если пользователю назначена роль куратора данных для исходной и целевой коллекций.

  • Чтобы выполнить операции перемещения и переименования в коллекции, ознакомьтесь со следующими рекомендациями и рекомендациями.

    1. Чтобы переименовать коллекцию, необходимо быть членом роли администраторов коллекции.

    2. Чтобы переместить коллекцию, необходимо быть членом роли администраторов коллекции в исходной и целевой коллекциях.

Определение модели авторизации

Роли плоскости данных Microsoft Purview управляются в Microsoft Purview. После развертывания учетной записи Microsoft Purview создателю учетной записи Microsoft Purview автоматически назначаются следующие роли в корневой коллекции. Вы можете использовать портал управления Microsoft Purview или программный метод для прямого назначения ролей и управления ими в Microsoft Purview.

  • Администраторы коллекций могут изменять коллекции Microsoft Purview и их сведения, а также добавлять вложенные коллекции. Они также могут добавлять пользователей в другие роли Microsoft Purview в коллекциях, где они администраторы.
  • Администраторы источников данных могут управлять источниками данных и проверками данных.
  • Кураторы данных могут создавать, читать, изменять и удалять ресурсы данных каталога, а также устанавливать связи между ресурсами.
  • Средства чтения данных могут получать доступ к ресурсам данных каталога, но не изменять их.

Рекомендации по проектированию

  • Рассмотрите возможность реализации аварийного доступа или стратегии взлома для роли Администратор коллекции на корневом уровне коллекции Microsoft Purview, чтобы избежать блокировки на уровне учетной записи Microsoft Purview. Задокументируйте процесс использования учетных записей для чрезвычайных ситуаций.

    Примечание.

    В некоторых сценариях для входа в Microsoft Purview может потребоваться учетная запись для экстренного реагирования. Этот тип учетной записи может потребоваться для устранения проблем с доступом на уровне организации, когда никто не может войти в Microsoft Purview или если другие администраторы не могут выполнить определенные операции из-за проблем с проверкой подлинности в организации. Настоятельно рекомендуется следовать рекомендациям Майкрософт по внедрению учетных записей аварийного доступа с помощью пользователей только в облаке.

    Следуйте инструкциям в этой статье, чтобы восстановить доступ к корневой коллекции Microsoft Purview, если предыдущий Администратор коллекции недоступен.

  • Сведите к минимуму число администраторов корневой коллекции. Назначьте не более трех пользователей коллекции Администратор в корневой коллекции, включая имя субъекта-службы и учетные записи без изменений. Вместо этого назначьте роли коллекции Администратор коллекции верхнего уровня или вложенным коллекциям.

  • Назначьте роли группам, а не отдельным пользователям, чтобы уменьшить административные издержки и ошибки при управлении отдельными ролями.

  • Назначьте субъект-службу в корневой коллекции для автоматизации.

  • Чтобы повысить безопасность, включите условный доступ Azure AD с многофакторной проверкой подлинности по крайней мере для администраторов сбора, администраторов источников данных и кураторов данных. Убедитесь, что учетные записи для экстренного реагирования исключены из политики условного доступа.

Особенности дизайна

  • Управление доступом Microsoft Purview перемещено в плоскость данных. Роли Resource Manager Azure больше не используются, поэтому для назначения ролей следует использовать Microsoft Purview.

  • В Microsoft Purview можно назначать роли пользователям, группам безопасности и субъектам-службам (включая управляемые удостоверения) из Azure Active Directory (Azure AD) в том же клиенте Azure AD, где развернута учетная запись Microsoft Purview.

  • Сначала необходимо добавить гостевые учетные записи в клиент Azure AD в качестве пользователей B2B, прежде чем назначить роли Microsoft Purview внешним пользователям.

  • По умолчанию администраторы коллекции не имеют доступа к чтению или изменению ресурсов. Но они могут повысить свой доступ и добавить себя к дополнительным ролям.

  • По умолчанию все назначения ролей автоматически наследуются всеми дочерними коллекциями. Но вы можете включить параметр Ограничить унаследованные разрешения для любой коллекции, кроме корневой коллекции. Ограничение унаследованных разрешений удаляет наследуемые роли из всех родительских коллекций, за исключением роли Администратор коллекции.

  • Для подключения Фабрика данных Azure: чтобы подключиться к Фабрика данных Azure, необходимо быть Администратор коллекции для корневой коллекции.

  • Если вам нужно подключиться к Фабрика данных Azure для происхождения данных, предоставьте роль куратора данных управляемому удостоверению фабрики данных на уровне корневой коллекции Microsoft Purview. При подключении Фабрики данных к Microsoft Purview в пользовательском интерфейсе разработки Фабрика данных пытается автоматически добавить эти назначения ролей. Если у вас есть роль коллекция Администратор в корневой коллекции Microsoft Purview, эта операция будет работать.

Архетипы коллекций

Вы можете развернуть коллекцию Microsoft Purview на основе централизованных, децентрализованных или гибридных моделей управления данными и управления. Это решение будет основываться на требованиях к бизнесу и безопасности.

Пример 1. Организация с одним регионом

Эта структура подходит для организаций, которые:

  • Базируются в основном в одном географическом расположении.
  • Централизованное управление данными и управление данными, где следующий уровень управления данными относится к отделам, командам или проектам.

Иерархия коллекций состоит из следующих вертикали:

  • Корневая коллекция (по умолчанию)
  • Contoso (коллекция верхнего уровня)
  • Отделы (делегированная коллекция для каждого отдела)
  • Teams или проекты (дальнейшее разделение на основе проектов)

Каждый источник данных регистрируется и сканируется в соответствующей коллекции. Поэтому ресурсы также отображаются в той же коллекции.

Общие источники данных уровня организации регистрируются и сканируются в коллекции Hub-Shared.

Общие источники данных на уровне отдела регистрируются и сканируются в коллекциях отделов.

Снимок экрана: первый пример коллекций Microsoft Purview.

Пример 2. Организация с несколькимирегионами

Этот сценарий полезен для организаций:

  • Они имеют присутствие в нескольких регионах.
  • Где команда управления данными централизована или децентрализована в каждом регионе.
  • Где команды по управлению данными распределены в каждом географическом расположении.

Иерархия коллекций состоит из следующих вертикали:

  • Корневая коллекция (по умолчанию)
  • FourthCoffee (коллекция верхнего уровня)
  • Географические расположения (коллекции среднего уровня на основе географических расположений, где находятся источники данных и владельцы данных)
  • Отделы (делегированная коллекция для каждого отдела)
  • Teams или проекты (дальнейшее разделение по командам или проектам)

В этом сценарии каждый регион имеет собственный вложенный сбор в коллекции верхнего уровня в учетной записи Microsoft Purview. Источники данных регистрируются и сканируются в соответствующих подколлекциях в собственных географических расположениях. Поэтому ресурсы также отображаются в иерархии вложенных наборов для региона.

Если у вас есть централизованные команды по управлению данными и управлению, вы можете предоставить им доступ из коллекции верхнего уровня. При этом они получают контроль над всем пространством данных на карте данных. При необходимости централизованная команда может зарегистрировать и проверить любые общие источники данных.

Группы по управлению данными и управлению на уровне регионов могут получить доступ из соответствующих коллекций на более низком уровне.

Общие источники данных на уровне отдела регистрируются и сканируются в коллекциях отделов.

Снимок экрана: второй пример коллекций Microsoft Purview.

Пример 3. Многорегионирование, преобразование данных

Этот сценарий может быть полезен, если вы хотите распределить управление доступом к метаданным на основе географических расположений и состояний преобразования данных. Специалисты по обработке и анализу данных и инженеры данных, которые могут преобразовывать данные, чтобы сделать их более значимыми, могут управлять зонами Raw и Refine. Затем они могут перемещать данные в зоны производства или курируемые.

Иерархия коллекций состоит из следующих вертикали:

  • Корневая коллекция (по умолчанию)
  • Fabrikam (коллекция верхнего уровня)
  • Географические расположения (коллекции среднего уровня на основе географических расположений, где находятся источники данных и владельцы данных)
  • Этапы преобразования данных (необработанные, уточненные, типы производства и курирования)

Специалисты по обработке и анализу данных и инженеры данных могут иметь роль кураторов данных в соответствующих зонах, чтобы они могли курировать метаданные. Доступ читателя данных к курируемой зоне можно предоставить всем пользователям данных и бизнес-пользователям.

Снимок экрана: третий пример коллекций Microsoft Purview.

Пример 4. Мультирегион, бизнес-функции

Этот параметр может использоваться организациями, которым необходимо организовать управление метаданными и доступом на основе бизнес-функций.

Иерархия коллекций состоит из следующих вертикали:

  • Корневая коллекция (по умолчанию)
  • AdventureWorks (коллекция верхнего уровня)
  • Географические расположения (коллекции среднего уровня на основе географических расположений, где находятся источники данных и владельцы данных)
  • Основные бизнес-функции или клиенты (дальнейшее разделение по функциям или клиентам)

Каждый регион имеет собственный вложенный набор в коллекции верхнего уровня в учетной записи Microsoft Purview. Источники данных регистрируются и сканируются в соответствующих подколлекциях в собственных географических расположениях. Таким образом, ресурсы добавляются в иерархию вложенных наборов для региона.

Если у вас есть централизованные команды по управлению данными и управлению, вы можете предоставить им доступ из коллекции верхнего уровня. При этом они получают контроль над всем пространством данных на карте данных. При необходимости централизованная команда может зарегистрировать и проверить любые общие источники данных.

Группы по управлению данными и управлению на уровне регионов могут получить доступ из соответствующих коллекций на более низком уровне. У каждого подразделения есть собственный вложенный набор.

Снимок экрана: четвертый пример коллекций Microsoft Purview.

Параметры управления доступом

Если вы хотите реализовать демократизацию данных во всей организации, назначьте роль читателя данных на верхнем уровне сбора для управления данными, управления и бизнес-пользователей. Назначьте роли Администратор источника данных и куратора данных на уровнях подбора соответствующим командам по управлению данными и управлению.

Если вам нужно ограничить доступ к поиску и обнаружению метаданных в организации, назначьте роли читателя данных и куратора данных на определенном уровне коллекции. Например, можно ограничить сотрудников из США, чтобы они могли считывать данные только на уровне коллекции США, а не в коллекции LATAM.

Сочетание этих двух сценариев можно применить в схеме данных Microsoft Purview, если для некоторых коллекций требуется полная демократизация данных с несколькими исключениями. Можно назначить роли Microsoft Purview в коллекции верхнего уровня и ограничить наследование определенными дочерними коллекциями.

Назначьте роль Администратор коллекции централизованной группе безопасности данных и управления на коллекции верхнего уровня. Делегируйте дальнейшее управление сбором коллекций более низкого уровня соответствующим командам.

Дальнейшие действия