Adatforrások regisztrálása az Azure Data Catalogban
Fontos
Az Azure Data Catalog 2024. május 15-én megszűnik.
Új Azure Data Catalog-fiókok már nem hozhatók létre.
Az adatkatalógus funkcióihoz használja a Microsoft Purview szolgáltatást, amely egységes adatszabályozást biztosít a teljes adattulajdonhoz.
Ha már használja az Azure Data Catalogot, létre kell hoznia egy migrálási tervet a szervezet számára, hogy 2024. május 15-ig a Microsoft Purview-ba költözjön.
Bevezetés
Az Azure Data Catalog egy teljes körűen felügyelt felhőszolgáltatás, amely regisztrációs és felderítési rendszerként szolgál a vállalati adatforrásokhoz. Más szóval a Data Catalog segít a felhasználóknak az adatforrások felderítésében, megértésében és használatában, és segít a szervezeteknek abban, hogy több értéket szerezzenek a meglévő adataikból. Az adatforrás adatkatalóguson keresztüli felderítésének első lépése az adatforrás regisztrálása.
Adatforrások regisztrálása
A regisztráció a metaadatok adatforrásból való kinyerésének és az adatok adatkatalógus-szolgáltatásba való másolásának folyamata. Az adatok helye nem változik, ahogy az sem, hogy mely rendszergazdák felügyelik az adatokat, és milyen szabályzatok érvényesek rájuk.
Adatforrás regisztrálásához kövesse az alábbi lépéseket:
- Az Azure Data Catalog portálon indítsa el a Data Catalog adatforrás-regisztrációs eszközét.
- Jelentkezzen be munkahelyi vagy iskolai fiókjával ugyanazokkal a Microsoft Entra-hitelesítő adatokkal, amelyeket a portálra való bejelentkezéshez használ.
- Válassza ki a regisztrálni kívánt adatforrást.
Miután regisztrálta az adatforrást, a katalógus nyomon követi a helyét, és indexeli a metaadatokat. A felhasználók kereshetnek, tallózhatnak és felderíthetik az adatforrást, majd a helyükkel csatlakozhatnak hozzá a választott alkalmazás vagy eszköz használatával.
Támogatott adatforrások
A jelenleg támogatott adatforrások listáját a Data Catalog DSR-ben találja.
Szerkezeti metaadatok
Adatforrás regisztrálásakor a regisztrációs eszköz információkat nyer ki a kiválasztott objektumok szerkezetéről. Ezeket az információkat szerkezeti metaadatoknak nevezzük.
Az összes objektum esetében ez a szerkezeti metaadatok tartalmazzák az objektum helyét, így az adatokat felderítő felhasználók az adatok segítségével csatlakozhatnak az objektumhoz a választott ügyféleszközökön. Más szerkezeti metaadatok közé tartozik az objektum neve és típusa, valamint az attribútum/oszlop neve és adattípusa.
Leíró metaadatok
Az adatforrásból kinyert alapvető szerkezeti metaadatok mellett az adatforrás-regisztrációs eszköz leíró metaadatokat is kinyer. Az SQL Server Analysis Services és az SQL Server Reporting Services esetében ez a metaadatok az ezen szolgáltatások által közzétett Leírás tulajdonságokból származnak. SQL Server esetén a ms_description kiterjesztett tulajdonság használatával megadott értékek lesznek kinyerve. Az Oracle Database esetében az adatforrás-regisztrációs eszköz kinyeri a MEGJEGYZÉSEK oszlopot a ALL_TAB_COMMENTS nézetből.
Az adatforrásból kinyert leíró metaadatok mellett a felhasználók leíró metaadatokat is megadhatnak az adatforrás-regisztrációs eszköz használatával. A felhasználók címkéket adhatnak hozzá, és azonosíthatják a regisztrált objektumok szakértőit. Ezt a leíró metaadatot a rendszer a szerkezeti metaadatokkal együtt a Data Catalog szolgáltatásba másolja.
Előnézetek belefoglalása
Alapértelmezés szerint csak a metaadatok lesznek kinyerve az adatforrásokból, és átmásolhatók a Data Catalog szolgáltatásba, de az adatforrások megértése gyakran egyszerűbbé teszi, ha megtekintheti a benne található adatok mintáját.
Az adatkatalógus adatforrásregisztrációs eszközével az egyes táblákban és nézetekben pillanatkép-előnézetet is megadhat az adatokról. Ha úgy dönt, hogy előzetes verziókat ad meg a regisztráció során, a regisztrációs eszköz legfeljebb 20 rekordot tartalmaz minden táblából és nézetből. Ezt a pillanatképet ezután a rendszer a szerkezeti és leíró metaadatokkal együtt a katalógusba másolja.
Feljegyzés
A nagy számú oszlopot tartalmazó széles táblákban kevesebb mint 20 rekord szerepelhet az előzetes verzióban.
Adatprofilok belefoglalása
Ahogyan az előzetes verziók is értékes környezetet biztosíthatnak a Data Catalogban adatforrásokat kereső felhasználók számára, az adatprofilok is megkönnyítik a felderített adatforrások megértését.
A Data Catalog adatforrás-regisztrációs eszközével minden regisztrált táblához és nézethez megadhat egy adatprofilt. Ha úgy dönt, hogy a regisztráció során adatprofilt is felvesz, a regisztrációs eszköz összesítő statisztikákat tartalmaz az egyes táblákban és nézetekben lévő adatokról, beleértve a következőket:
- Az objektumban lévő sorok száma és az adatok mérete.
- Az adatok és az objektumséma legutóbbi frissítésének dátuma.
- A null rekordok száma és az oszlopok eltérő értékei.
- Az oszlopok minimális, maximális, átlagos és szórási értékei.
Ezek a statisztikák ezután át lesznek másolva a katalógusba a szerkezeti és leíró metaadatokkal együtt.
Feljegyzés
A szöveg- és dátumoszlopok nem tartalmaznak átlag- vagy szórásstatisztikát az adatprofiljukban.
Regisztrációk frissítése
Az adatforrás regisztrálása a regisztráció során kinyert metaadatok és opcionális előzetes verzió használata esetén a Data Catalogban is felderíthető. Ha az adatforrást frissíteni kell a katalógusban (például ha egy objektum sémája módosult, a táblákat eredetileg ki kell zárni, vagy frissíteni szeretné az előzetes verziókban szereplő adatokat), az adatforrás-regisztrációs eszköz újra futtatható.
A már regisztrált adatforrás újbóli regisztrálása egyesítési "upsert" műveletet hajt végre: a meglévő objektumok frissülnek, és új objektumok jönnek létre. A felhasználók által az Adatkatalógus portálon keresztül biztosított metaadatok megmaradnak.
Összegzés
Mivel szerkezeti és leíró metaadatokat másol egy adatforrásból a katalógusszolgáltatásba, az adatforrás adatkatalógusban való regisztrálása megkönnyíti az adatok felderítését és megértését. Miután regisztrálta az adatforrást, az adatkatalógus portálján jegyzetelheti, kezelheti és felderítheti.