Edytuj

Zarządzanie danymi w usłudze Azure Data Lake za pomocą usługi Microsoft Purview

Azure Data Factory
Microsoft Purview
Azure Data Lake Storage
Azure Synapse Analytics
Power BI

Pomysły dotyczące rozwiązań

Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.

W tym artykule opisano rozwiązanie korzystające z usługi Azure Purview w celu utworzenia podstaw ładu i zarządzania danymi, które umożliwia tworzenie i dostarczanie wysokiej jakości zaufanych danych.

Architektura

Architecture diagram that shows how Azure Purview scans and classifies data.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

Usługa Azure Purview udostępnia pojedynczą, ujednoliconą usługę zarządzania danymi ze wszystkich źródeł, w usłudze Data Lake i w narzędziach do raportowania końcowego.

Scenariusze łączenia usługi Azure Purview z usługami Data Lake:

  1. Usługa Azure Purview zapewnia ulepszone połączenie z zabezpieczeniami z potokami pozyskiwania, magazynowania i analizy typu data lake w celu automatycznego wykazu zasobów danych. Zapewnia również pochodzenie w tych usługach. Określone usługi platformy Azure obejmują usługę Data Factory, usługę Data Lake Storage i usługę Azure Synapse Analytics.

  2. Usługa Azure Purview łączy się natywnie z usługą Power BI i innymi narzędziami do raportowania i wizualizacji. Przedstawia on pochodzenie danych używanych w raportach końcowych. Udostępnia również informacje o poufności z zasobów usługi Power BI, aby zapobiec nieprawidłowemu użyciu danych.

Ważne

Informacje przesyłane ze źródeł do usługi Azure Purview to metadane opisujące dane w zeskanowanych źródłach. Żadne rzeczywiste dane nie są przesyłane ze źródeł do usługi Azure Purview.

Funkcje

  • Wykaz. Usługa Azure Purview Data Catalog może automatycznie przechwytywać i opisywać podstawowe cechy danych w źródle, w tym schemat, właściwości techniczne i lokalizację. Słownik usługi Azure Purview umożliwia przyjazną dla firmy definicję danych, które mają być ułożone na górze, aby usprawnić wyszukiwanie i odnajdywanie.

  • Klasyfikacja. Usługa Azure Purview automatycznie klasyfikuje zestawy danych i elementy danych przy użyciu 100 wstępnie zdefiniowanych klasyfikacji poufnych danych. Umożliwia również definiowanie własnych niestandardowych schematów klasyfikacji, które można zastosować ręcznie i automatycznie.

  • Pochodzenie danych. Diagram usługi Azure Purview wizualizuje pochodzenie w potokach usługi Data Factory, Azure Synapse Analytics i Power BI. Te wizualizacje pokazują pełny przepływ danych na poziomie szczegółowym.

  • Kontrola dostępu. Zasady kontroli dostępu usługi Azure Purview umożliwiają definiowanie i udzielanie dostępu do zasobów danych z wykazu bezpośrednio w źródłowych źródłach.

  • Własności. Usługa Azure Purview umożliwia stosowanie własności danych i zarządzania nimi do zasobów danych i elementów słownika w katalogu.

  • Szczegółowe informacje. Szczegółowe informacje w usłudze Azure Purview udostępniają wiele wstępnie zdefiniowanych raportów, aby ułatwić specjalistom ds. wdrażania, specjalistom ds. danych i specjalistom ds. ładu danych szczegółowe zrozumienie krajobrazu danych.

Elementy

  • Azure Purview to ujednolicony wykaz danych, który zarządza danymi lokalnymi, wielochmurowymi i oprogramowania jako usługi (SaaS). Ta usługa zapewniania ładu danych obsługuje mapy poziome danych. Funkcje obejmują automatyczne odnajdywanie danych, klasyfikację poufnych danych i pochodzenie danych.

  • Data Factory to w pełni zarządzana bezserwerowa usługa integracji danych, która ułatwia tworzenie procesów ETL i ELT.

  • Usługa Data Lake Storage zapewnia wysoce skalowalne, ekonomiczne, ekonomiczne magazyny w chmurze dla obciążeń analitycznych o wysokiej wydajności.

  • Azure Synapse Analytics to nieograniczona usługa analizy, która łączy integrację danych, magazynowanie danych przedsiębiorstwa i analizę danych big data.

  • Power BI to kolekcja usług i aplikacji oprogramowania. Te usługi tworzą i udostępniają raporty, które łączą się i wizualizować wiele źródeł danych. Gdy używasz usługi Power BI z usługą Azure Purview, może ona katalogować i klasyfikować dane oraz dostarczać szczegółowe pochodzenie ilustrowane od końca do końca.

  • Usługa Azure Private Link zapewnia łączność prywatną z sieci wirtualnej do usług PaaS (Platform as a Service) platformy Azure, usług, których jesteś właścicielem lub usług partnerskich firmy Microsoft.

  • Usługa Azure Key Vault przechowuje i kontroluje dostęp do wpisów tajnych, takich jak tokeny, hasła i klucze interfejsu API. Usługa Key Vault tworzy również klucze szyfrowania i kontroluje je oraz zarządza certyfikatami zabezpieczeń.

  • Microsoft Entra ID oferuje oparte na chmurze usługi zarządzania tożsamościami i dostępem. Te funkcje umożliwiają użytkownikom logowanie się i uzyskiwanie dostępu do zasobów.

  • Usługa Azure Monitor zbiera i analizuje dane w środowiskach i zasobach platformy Azure. Te dane obejmują dane telemetryczne aplikacji, takie jak metryki wydajności i dzienniki aktywności.

Szczegóły scenariusza

W miarę ładowania większej ilości danych na platformę Azure rośnie również potrzeba prawidłowego zarządzania tymi danymi we wszystkich źródłach danych i użytkownikach danych oraz zarządzania nimi.

Jeśli nie masz danych wysokiej jakości w infrastrukturze danych platformy Azure, wartość biznesowa platformy Azure zostanie zmniejszona. Rozwiązaniem jest utworzenie podstaw do zapewniania ładu i zarządzania danymi, które mogą tworzyć i dostarczać wysokiej jakości, zaufane dane.

Dane muszą być zarządzane na dużą skalę w magazynie lokalnym, w chmurze i w wielu chmurach, aby zapewnić zgodność z wymaganiami dotyczącymi zabezpieczeń, prywatności i użycia. Dobrze zarządzane dane mogą również poprawić samodzielne odnajdywanie, udostępnianie danych i jakość danych, co poprawia wykorzystanie danych w aplikacjach i analizach.

Usługa Azure Purview zapewnia ład do znajdowania, klasyfikowania, definiowania i wymuszania zasad i standardów między danymi. Służy ona do stosowania definicji, klasyfikacji i procesów ładu jednolicie między danymi. Kataloguje wszystkie źródła danych, identyfikuje wszelkie poufne informacje i definiuje pochodzenie danych. Zapewnia ona centralną platformę, na której można stosować definicje i własność danych. Dzięki pojedynczemu widokowi raportów i szczegółowych informacji możesz wygenerować standardy danych, które powinny być stosowane do danych.

Praca z innymi usługami platformy Azure usługa Azure Purview może automatycznie odnajdywać, katalogować, klasyfikować i zarządzać danymi w ramach ofert usługi Azure Data Lake i usług partnerskich.

Potencjalne przypadki użycia

Wymagania dotyczące zarządzania danymi różnią się w różnych branżach. W przypadku wszystkich branż potrzeba zarządzania danymi na dużą skalę wzrosła wraz ze wzrostem rozmiaru i złożoności architektur danych i danych. Jest to odpowiednie dla organizacji, które skorzystają z następujących wyników dobrze zarządzanych danych:

  • Automatyczne odnajdywanie danych w celu przyspieszenia wdrażania chmury.
  • Ulepszone zabezpieczenia danych pod kątem zgodności z przepisami i przepisami dotyczącymi danych.
  • Ulepszony dostęp, odnajdywanie i jakość zarządzanych danych w celu ulepszenia analizy.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Następne kroki