Bearbeiten

Datenverwaltung in Azure Data Lake mit Microsoft Purview

Azure Data Factory
Microsoft Purview
Azure Data Lake Storage
Azure Synapse Analytics
Power BI

Lösungsmöglichkeiten

Dieser Artikel ist ein Lösungsvorschlag. Wenn Sie möchten, dass wir diesen Artikel um weitere Informationen ergänzen, z. B. potenzielle Anwendungsfälle, alternative Dienste, Überlegungen zur Implementierung oder Preisempfehlungen, lassen Sie es uns über Feedback auf GitHub wissen.

In diesem Artikel wird eine Lösung beschrieben, die Azure Purview verwendet, um eine Grundlage für die Datengovernance und -verwaltung zu schaffen, die hochwertige, vertrauenswürdige Daten erzeugen und liefern kann.

Aufbau

Architecture diagram that shows how Azure Purview scans and classifies data.

Diagramm: Scannen und Klassifizieren von Daten durch Azure Purview Data Lake Storage kommuniziert über eine moderne Datenplattform mit Azure Purview. Azure Purview ist auch mit Power BI verbunden. Das Diagramm zeigt auch die Integration dieser Dienste mit Microsoft Entra ID, Azure Monitor und Azure Key Vault.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

Azure Purview bietet einen einzelnen, einheitlichen Datenverwaltungsdienst für Daten aus allen Quellen, im Data Lake und in den letztendlichen Berichterstellungstools.

Szenarien für das Verbinden von Azure Purview mit Data Lake-Diensten:

  1. Azure Purview katalogisiert Ihre Datenressourcen automatisch mithilfe einer sicheren Verbindung zu den Erfassungs-, Speicher- und Analysepipelines Ihrer Data Lakes. Darüber hinaus stellt es Datenherkunftsinformationen für diese Dienste bereit. Zu den spezifischen Azure-Diensten gehören Data Factory, Data Lake Storage und Azure Synapse Analytics.

  2. Azure Purview kommuniziert nativ mit Power BI und anderen Berichts- und Visualisierungstools. Es zeigt die Herkunft der Daten an, die in Endberichten verwendet werden. Es gibt auch Vertraulichkeitsinformationen aus den Power BI-Ressourcen weiter, um die falsche Verwendung von Daten zu verhindern.

Wichtig

Die Informationen, die aus den Quellen an Azure Purview übertragen werden, sind Metadaten, die die Daten in den gescannten Quellen beschreiben. Die eigentlichen Daten der Quellen werden nicht an Azure Purview übertragen.

Funktionen

  • Katalog. Der Azure Purview-Datenkatalog kann wichtige Merkmale von Daten in der Quelle erfassen und beschreiben, einschließlich Schema, technischen Eigenschaften und Speicherort. Das Azure Purview-Glossar erleichtert Geschäftsbenutzern das Suchen und Ermitteln durch eine übergeordnete Definition von Daten.

  • Klassifizierung: Azure Purview klassifiziert Datasets und Datenelemente automatisch mit 100 vordefinierten Klassifizierungen für sensible Daten. Außerdem können Sie eigene benutzerdefinierte Klassifizierungsschemas definieren, die Sie manuell und automatisch anwenden können.

  • Herkunft. Azure Purview visualisiert die Datenherkunft für Data Factory-, Azure Synapse Analytics- und Power BI-Pipelines in Diagrammform. Diese Visualisierungen zeigen den gesamten Datenfluss auf granularer Ebene.

  • Zugriffssteuerung: Mit Azure Purview-Zugriffssteuerungsrichtlinien können Sie Datenressourcen aus dem Katalog direkt auf den zugrunde liegenden Quellen definieren und den Zugriff darauf gewähren.

  • Eigentum. Mit Azure Purview können Sie Dateneigentum und Data Stewardship auf Datenressourcen und Glossarelemente im Katalog anwenden.

  • Erkenntnis. Insights in Azure Purview bieten mehrere vordefinierte Berichte, mit denen CDOs sowie Experten für Daten und Datengovernance ein detailliertes Verständnis der Datenlandschaft erlangen können.

Komponenten

  • Azure Purview ist ein einheitlicher Datenkatalog, der lokale, Multicloud- und Software-as-a-Service(SaaS)-Daten verwaltet. Dieser Governancedienst verwaltet Karten der Datenlandschaft. Zu den Features gehören die automatisierte Datenermittlung, die Klassifizierung vertraulicher Daten und die Datenherkunft.

  • Data Factory ist ein vollständig verwalteter, serverloser Datenintegrationsdienst, der Sie beim Erstellen von ETL- und ELT-Prozessen unterstützt.

  • Data Lake Storage bietet hochgradig skalierbaren, hochsicheren und kostengünstigen Cloudspeicher für Hochleistungs-Analyseworkloads.

  • Azure Synapse Analytics ist ein unbegrenzter Analysedienst, der Datenintegration, Data Warehousing für Unternehmen und Big Data-Analysen vereint.

  • Power BI ist eine Sammlung von Softwarediensten und Apps. Diese Dienste erstellen Berichte, die verschiedene Datenquellen verbinden und visualisieren, und geben diese frei. Wenn Sie Power BI mit Azure Purview verwenden, können Sie Ihre Daten katalogisieren und klassifizieren und eine detaillierte, von Anfang bis Ende dargestellte Datenherkunft bereitstellen.

  • Azure Private Link stellt eine private Verbindung zwischen einem virtuellen Netzwerk und Platform-as-a-Service(PaaS)-Diensten in Azure, kundeneigenen Diensten oder Diensten von Microsoft-Partnern her.

  • Azure Key Vault speichert und steuert den Zugriff auf Geheimnisse wie Token, Kennwörter und API-Schlüssel. Key Vault dient außerdem dem Erstellen und Steuern von Verschlüsselungsschlüsseln sowie dem Verwalten von Sicherheitszertifikaten.

  • Microsoft Entra ID stellt cloudbasierte Identitäts- und Zugriffsverwaltungsdienste bereit. Diese Features bieten Benutzern die Möglichkeit, sich anzumelden und auf Ressourcen zuzugreifen.

  • Azure Monitor erfasst und analysiert Daten zu Umgebungen und Azure-Ressourcen. Diese Daten umfassen App-Telemetriedaten, z. B. Leistungsmetriken und Aktivitätsprotokolle.

Szenariodetails

Wenn mehr Daten in Azure geladen werden, wächst auch die Notwendigkeit, diese Daten für alle Datenquellen und Datenverbraucher ordnungsgemäß zu steuern und zu verwalten.

Ohne qualitativ hochwertige Daten in Ihrem Azure-Datenbereich verringert sich der geschäftliche Nutzen von Azure. Die Lösung besteht in der Erstellung einer Grundlage für Datengovernance und -verwaltung, die hochwertige, vertrauenswürdige Daten erzeugen und liefern kann.

Große Datenmengen müssen in lokalem, cloudbasiertem und multicloudbasiertem Speicher verwaltet werden, um sicherzustellen, dass sie die Complianceanforderungen bezüglich Sicherheit, Datenschutz und Nutzung erfüllen. Gut verwaltete Daten können auch interne Ermittlungsvorgänge, gemeinsame Datennutzung und die Datenqualität verbessern, wodurch Daten in Anwendungen und Analysen besser genutzt werden können.

Azure Purview bietet Governance für das Suchen, Klassifizieren, Definieren und Erzwingen von Richtlinien und Standards für Daten. Sie können damit Definitionen, Klassifizierungen und Governanceprozesse für alle Arten von Daten einheitlich anwenden. Es katalogisiert alle Datenquellen, identifiziert vertrauliche Informationen und definiert die Datenherkunft. Sie können damit von einer zentralen Plattform aus Definitionen und Eigentumszuweisungen auf Ihre Daten anwenden. Durch eine einzige Ansicht zu Berichten und Erkenntnissen können Sie Datenstandards generieren, die für Ihre Daten gelten sollten.

In Zusammenarbeit mit anderen Azure-Diensten kann Azure Purview Daten in allen Azure Data Lake-Angeboten und Partnerdiensten automatisch ermitteln, katalogisieren, klassifizieren und verwalten.

Mögliche Anwendungsfälle

Die Anforderungen an die Datenverwaltung unterscheiden sich branchenübergreifend. In alle Branchen hat sich die Notwendigkeit für Datengovernance im großen Stil durch die zunehmende Größe und Komplexität von Daten und Datenarchitekturen erhöht. Dies eignet sich für Organisationen, die von den folgenden Ergebnissen guter Datengovernance profitieren würden:

  • Automatische Ermittlung von Daten zur Beschleunigung der Cloudakzeptanz.
  • Verbesserte Datensicherheit für die Konformität mit von Gesetzen und Bestimmungen.
  • Verbesserter Zugriff auf sowie bessere Ermittlung und Qualität von verwalteten Daten für bessere Analysen.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

Nächste Schritte