Fő adatkezelés a Profisee és az Azure Data Factory használatával

Ez az architekturális minta bemutatja, hogyan építheti be az MDM-et az Azure-beli adatszolgáltatások ökoszisztémájába az elemzéshez és a működési döntéshozatalhoz használt adatok minőségének javítása érdekében. Az MDM számos gyakori problémát old meg, többek között a következőket:

• Ismétlődő adatok azonosítása és kezelése (egyezés és egyesítés).
• Adatminőségi problémák megjelölése és megoldása.
• Adatok szabványosítása és bővítése.
• Lehetővé teszi az adatgondnokok számára az adatok proaktív kezelését és fejlesztését.

Ez a minta az MDM modern megközelítését mutatja be. Minden technológia natív módon telepíthető az Azure-ban, beleértve a Profisee-t is, amelyet tárolókon keresztül helyezhet üzembe, és kezelheti az Azure Kubernetes Service-vel.

Felépítés

Töltse le az architektúrában használt diagramok Visio-fájlját.

Adatfolyam

Az alábbi adatfolyam az előző diagramnak felel meg:

1. Forrásadat-terhelés: Az üzleti alkalmazásokból származó adatok az Azure Data Lake-be másolnak, és további átalakítás céljából és a downstream elemzésekben való felhasználás céljából tárolják. A forrásadatok általában három kategóriába sorolhatók:

   • Strukturált főadatok – Az ügyfeleket, termékeket, helyeket stb. leíró információk. A fő adatok alacsony kötetűek, nagy összetettségűek, és idővel lassan változnak. Gyakran ezek az adatokkal küzdenek a legtöbben a szervezetek az adatminőség szempontjából.
   • Strukturált tranzakciós adatok – Adott időpontban bekövetkező üzleti események, például megrendelés, számla vagy interakció. A tranzakciók tartalmazzák a tranzakció metrikáit (például az eladási árat), valamint a fő adatokra (például a vásárlásban részt vevő termékre és ügyfélre) mutató hivatkozásokat. A tranzakciós adatok általában nagy mennyiségű, alacsony összetettségűek, és idővel nem változnak.
   • Strukturálatlan adatok – Dokumentumok, képek, videók, közösségi médiatartalmak és hanganyagok is tartalmazhatnak adatokat. A modern elemzési platformok egyre inkább strukturálatlan adatokat használhatnak az új elemzések megismeréséhez. A strukturálatlan adatok gyakran főadatokhoz kapcsolódnak, például egy közösségimédia-fiókhoz társított ügyfélhez vagy egy képhez társított termékhez.

2. Forrás főadat-betöltése: A forrás üzleti alkalmazásokból származó fő adatok "ahogy van" betöltik az MDM-alkalmazásba, teljes leállási információkkal és minimális átalakításokkal.

3. Automatizált MDM-feldolgozás: Az MDM-megoldás automatizált folyamatokkal szabványosítja, ellenőrzi és bővíti az adatokat, például a címadatokat. A megoldás azonosítja az adatminőséggel kapcsolatos problémákat, csoportosítja az ismétlődő rekordokat (például duplikált ügyfeleket), és fő rekordokat hoz létre, más néven "aranyrekordokat".

4. Adatgondnokság: Szükség esetén az adatgondnokok a következőkre képesek:

   • Egyező rekordok csoportjainak áttekintése és kezelése
   • Adatkapcsolatok létrehozása és kezelése
   • Hiányzó adatok kitöltése
   • Az adatminőséggel kapcsolatos problémák megoldása.

   Az adatgondnokok szükség szerint több alternatív hierarchikus összesítést is kezelhetnek, például termékhierarchiákat.

5. Felügyelt főadat-terhelés: A kiváló minőségű főadatfolyamok a downstream elemzési megoldásokba kerülnek. Ez a művelet leegyszerűsíti a folyamatot, mivel az adatintegrációk már nem igényelnek adatminőség-átalakítást.

6. Tranzakciós és strukturálatlan adatbetöltés: Tranzakciós és strukturálatlan adatbetöltések a downstream elemzési megoldásba, ahol kiváló minőségű főadatokkal kombinálhatók.

7. Vizualizáció és elemzés: Az adatok modellezése és rendelkezésre bocsátása az üzleti felhasználók számára elemzés céljából. A kiváló minőségű főadatok kiküszöbölik az adatminőséggel kapcsolatos gyakori problémákat, amelyek jobb elemzéseket eredményeznek.

Összetevők

• Az Azure Data Factory egy hibrid adatintegrációs szolgáltatás, amellyel ETL- és ELT-munkafolyamatokat hozhat létre, ütemezhet és vezényelhet.

• Az Azure Data Lake korlátlan tárterületet biztosít az elemzési adatokhoz.

• A Profisee egy méretezhető MDM-platform, amelyet úgy terveztek, hogy könnyen integrálható legyen a Microsoft ökoszisztémájával.

• Az Azure Synapse Analytics egy gyors, rugalmas és megbízható felhőalapú adattárház, amely lehetővé teszi az adatok rugalmas és egymástól függetlenül történő skálázását, kiszámítását és tárolását egy nagymértékben párhuzamos feldolgozási architektúrával.

• A Power BI egy üzleti elemzési eszközökből álló csomag, amely a szervezet egészében nyújt elemzéseket. Csatlakozás több száz adatforrásra, egyszerűsítheti az adat-előkészítést, és improvizált elemzéseket hajthat ki. Látványosan illusztrált jelentéseket készíthet, majd közzéteheti őket a vállalaton belül az interneten és a mobileszközök számára is elérhetően.

Alternatívák

Ha nem rendelkezik célalapú MDM-alkalmazással, megtalálhatja az MDM-megoldások Azure-ökoszisztémán belüli létrehozásához szükséges technikai képességek némelyikét.

• Adatminőség – Az elemzési platformra való betöltés során adatminőséget hozhat létre az integrációs folyamatokban. Például adatminőség-átalakításokat alkalmazhat egy Azure Data Factory-folyamatban , rögzített szkriptekkel.
• Adatszabványosítás és -bővítés – Az Azure Térképek segít adatellenőrzést és szabványosítást biztosítani a címadatokhoz, amelyeket az Azure Functionsben és az Azure Data Factoryben használhat. Más adatok szabványosításához szükség lehet a kódolt szkriptek fejlesztésére.
• Duplikált adatkezelés – Az Azure Data Factory használatával deduplikálhatja azokat a sorokat , ahol elegendő azonosító érhető el a pontos egyezéshez. Ebben az esetben a megfelelő túlélővel egyező egyesítés logikája valószínűleg egyéni, szigorúan kódolt szkripteket igényel.
• Adatgondnokság – A Power Apps segítségével gyorsan fejleszthet egyszerű adatgondnoki megoldásokat az Azure-beli adatok kezeléséhez, valamint megfelelő felhasználói felületeket a felülvizsgálathoz, munkafolyamatokhoz, riasztásokhoz és érvényesítéshez.

Forgatókönyv részletei

Számos digitális átalakítási program az Azure-t használja magként. Ez azonban több forrásból származó adatok minőségétől és konzisztenciájától függ, például üzleti alkalmazásoktól, adatbázisoktól, adatcsatornáktól stb. Emellett üzleti intelligencián, elemzésen, gépi tanuláson és egyebeken keresztül is értéket biztosít. A Profisee Master adatkezelés (MDM) megoldása az Azure-adatvagyont egy gyakorlati módszerrel egészítheti ki, amellyel több forrásból származó adatokat "igazíthat és egyesíthet". Ezt úgy teszi, hogy konzisztens adatszabványokat kényszerít a forrásadatokra, például egyezésre, egyesítésre, szabványosításra, ellenőrzésre és javításra. Az Azure Data Factory és más Azure Data Services natív integrációja tovább egyszerűsíti ezt a folyamatot az Azure üzleti előnyeinek gyorsítása érdekében.

Az MDM-megoldások működésének alapvető eleme, hogy több forrásból származó adatokat egyesítenek egy "aranyrekord-főkiszolgáló" létrehozásához, amely az egyes rekordok legismertebb és megbízható adatait tartalmazza. Ez a struktúra a követelményeknek megfelelően építi ki a tartományonkénti tartományokat, de szinte mindig több tartományt igényel. Gyakori tartományok az ügyfél, a termék és a hely. A tartományok azonban bármit képviselhetnek a referenciaadatoktól a szerződésekig és a drognevekig. Általában minél jobb tartománylefedettség érhető el a széles Körű Azure-adatkövetelményekhez képest, annál jobb.

MDM-integrációs folyamat

Töltse le az architektúra Visio-fájlját.

Az előző képen a Profisee MDM-megoldással való integráció részletei láthatók. Figyelje meg, hogy az Azure Data Factory és a Profisee natív REST-integrációs támogatást is tartalmaz, amely egyszerű és modern integrációt biztosít.

1. Forrásadatok betöltése az MDM-be: Az Azure Data Factory kinyeri az adatokat a data lake-ből, átalakítja azokat a fő adatmodellnek megfelelően, és egy REST-fogadón keresztül streameli az MDM-adattárba.

2. MDM-feldolgozás: Az MDM-platform a fő adatokat tevékenységek sorozatán keresztül dolgozza fel az adatok ellenőrzéséhez, szabványosításához és bővítéséhez, valamint az adatminőségi folyamatok végrehajtásához. Végül az MDM elvégzi az egyezést és a túlélést az ismétlődő rekordok azonosításához és csoportosításához, valamint a fő rekordok létrehozásához. Igény szerint az adatgondnokok olyan feladatokat is végrehajthatnak, amelyek főadatkészletet eredményeznek a downstream elemzésekben való használatra.

3. Főadatok betöltése elemzéshez: Az Azure Data Factory REST-forrásával streameli a mesteradatokat a Profisee-ből az Azure Synapse Analyticsbe.

Azure Data Factory-sablonok Profisee-hez

A Microsofttal együttműködve a Profisee olyan Azure Data Factory-sablonokat fejlesztett ki, amelyekkel gyorsabban és egyszerűbben integrálható a Profisee az Azure Data Services ökoszisztémájába. Ezek a sablonok az Azure Data Factories REST-adatforrását és -fogadóját használják adatok olvasására és írására a Profisee REST Gateway API-jából. Sablonokat biztosítanak az olvasáshoz és a Profisee-be való íráshoz is.

Példa Data Factory-sablon: JSON to Profisee over REST

Az alábbi képernyőképeken egy Azure Data Factory-sablon látható, amely adatokat másol egy JSON-fájlból egy Azure Data Lake-ből a Profisee-be REST-en keresztül.

A sablon átmásolja a forrás JSON-adatait:

Ezután az adatok REST-en keresztül szinkronizálódnak a Profisee-hez:

További információ: Azure Data Factory-sablonok a Profisee-hez.

MDM-feldolgozás

Elemzési MDM-használati esetekben az adatok gyakran az MDM-megoldáson keresztül dolgoznak fel automatikusan az adatok elemzéshez való betöltéséhez. Az alábbi szakaszok egy tipikus folyamatot mutatnak be ebben a kontextusban az ügyféladatokhoz.

1. Forrásadatok betöltése

Forrásadatok betöltése az MDM-megoldásba forrásrendszerekből, beleértve a leállási adatokat is. Ebben az esetben két forrásrekordot használunk, egyet a CRM-ből, egyet pedig az ERP-alkalmazásból. Vizuális ellenőrzéskor a két rekord úgy tűnik, hogy mindkettő ugyanazt a személyt képviseli.

2. Adatellenőrzés és szabványosítás

Az ellenőrzési és szabványosítási szabályok és szolgáltatások segítenek a címek, a nevek és a telefonszámok adatainak szabványosításában és ellenőrzésében.

3. Egyeztetés

Az adatok szabványosítása esetén az egyeztetés megtörténik, amely azonosítja a csoport rekordjai közötti hasonlóságot. Ebben a forgatókönyvben két rekord pontosan a Név és a Telefon, a másik pedig a Név és a Cím egyezése.

4. Túlélők

A csoportalakulással a túlélők létrehoznak és feltöltenek egy mesterrekordot (más néven "aranyrekordot") a csoport ábrázolásához.

Ez a fő rekord a továbbfejlesztett forrásadatokkal és az adatsoradatokkal együtt betöltődik az alsóbb rétegbeli elemzési megoldásba, ahol tranzakciós adatokhoz kapcsolódik.

Ez a példa alapszintű, automatizált MDM-feldolgozást mutat be. Adatminőségi szabályokkal automatikusan kiszámíthatja és frissítheti az értékeket, és megjelölheti a hiányzó vagy érvénytelen értékeket az adatgondnokok számára a megoldáshoz. Az adatgondnokok segítenek az adatok kezelésében, beleértve az adatok hierarchikus összesítésének kezelését is.

Az MDM hatása az integráció összetettségére

Ahogy korábban is láthattuk, az MDM számos gyakori kihívással foglalkozik, amikor adatokat integrál egy elemzési megoldásba. Ez magában foglalja az adatminőségi problémák kijavítását, az adatok szabványosítását és bővítését, valamint az ismétlődő adatok észszerűsítését. Az MDM az elemzési architektúrába való beépítésével alapvetően megváltoztatja az adatfolyamot azáltal, hogy megszünteti a rögzített logikát az integrációs folyamatban, és ki van osztva az MDM-megoldásba, ami jelentősen leegyszerűsíti az integrációt. Az alábbi táblázat az MDM-sel és anélkül történő integrációs folyamat néhány gyakori különbségét ismerteti.

MDM-használati esetek

Bár az MDM-hez számos használati eset létezik, néhány használati eset a legtöbb valós MDM-implementációt lefedi. Bár ezek a használati esetek egyetlen tartományra összpontosítanak, nem valószínű, hogy csak ebből a tartományból készültek. Más szóval még ezek a szűrt használati esetek is nagy valószínűséggel több fő adattartományt tartalmaznak.

Customer 360

Az ügyféladatok elemzéshez való összevonása a leggyakoribb MDM-használati eset. A szervezetek egyre több alkalmazáson keresztül rögzítik az ügyféladatokat, és ismétlődő ügyféladatokat hoznak létre az alkalmazásokon belül és az alkalmazások között, ellentmondásokkal és eltérésekkel. Ezek a gyenge minőségű ügyféladatok megnehezítik a modern elemzési megoldások értékének megvalósítását. A tünetek a következők:

• Nehéz megválaszolni az olyan alapvető üzleti kérdéseket, mint a "Kik a legfontosabb ügyfeleink?" és "Hány új ügyfelünk volt?", ami jelentős manuális erőfeszítést igényel.
• Hiányzó és pontatlan ügyféladatok, ami megnehezíti az adatok összesítését vagy részletezését.
• Nem lehet elemezni az ügyféladatokat a különböző rendszerekben vagy üzleti egységekben, mert nem lehet egyedileg azonosítani egy ügyfelet a szervezeti és rendszerhatárokon.
• Gyenge minőségű elemzések az AI-ből és a gépi tanulásból a rossz minőségű bemeneti adatok miatt.

Termék 360

A termékadatok gyakran több nagyvállalati alkalmazásra terjednek ki, például az ERP- és PLM-alkalmazásokra vagy az e-kereskedelemre. Az eredmény kihívást jelent azon termékek teljes katalógusának megértéséhez, amelyek inkonzisztens definíciókkal rendelkeznek olyan tulajdonságokhoz, mint a termék neve, leírása és jellemzői. A referenciaadatok különböző definíciói pedig tovább bonyolítják ezt a helyzetet. A tünetek a következők:

• Nem lehet támogatni a különböző alternatív hierarchikus összesítési és részletezési útvonalakat a termékelemzéshez.
• Legyen szó készáruról vagy anyagleltárról, nehéz megérteni, hogy pontosan milyen termékekkel rendelkezik, milyen szállítóktól vásárolja meg a termékeket, és duplikálja a termékeket, ami többletleltárhoz vezet.
• A termékek racionalizálása az ütköző definíciók miatt nehézségekbe ütközik, ami hiányzó vagy pontatlan információkhoz vezet az elemzésekben.

Referenciaadatok 360

Az elemzés kontextusában a referenciaadatok számos olyan adatlistaként léteznek, amelyek segítenek további leírást nyújtani a főadatkészletek más készleteiről. A referenciaadatok tartalmazhatnak országok és régiók listáját, pénznemeket, színeket, méreteket és mértékegységeket. Az inkonzisztens referenciaadatok nyilvánvaló hibákat okoznak az alsóbb rétegbeli elemzésekben. A tünetek a következők:

• Több ábrázolás ugyanannak a dolognak. Georgia állam például "GA" és "Georgia" néven jelenik meg, ami megnehezíti az adatok egységes összesítését és részletezését.
• A különböző alkalmazásokból származó adatok összesítésének nehézsége, mivel nem lehet átlépni a referenciaadat-értékeket a rendszerek között. A piros szín például "R" értékként jelenik meg az ERP-rendszerben, a PLM-rendszerben pedig "Piros" értékként.
• A számok szervezetek közötti egyeztetésének nehézsége az adatok kategorizálásához használt referenciaadat-értékekben megállapított különbségek miatt.

Pénzügy 360

A pénzügyi szervezetek nagy mértékben támaszkodnak az olyan kritikus tevékenységek adataira, mint a havi, negyedéves és éves jelentéskészítés. A több pénzügyi és könyvelési rendszerrel rendelkező szervezetek gyakran rendelkeznek pénzügyi adatokkal több főkönyvben, amelyeket pénzügyi jelentések készítéséhez összesítenek. Az MDM központosított helyet biztosíthat a fiókok, költségközpontok, üzleti entitások és egyéb pénzügyi adatkészletek összevont nézetre való leképezéséhez és kezeléséhez. A tünetek a következők:

• A pénzügyi adatok több rendszerben való összesítésének nehézsége konszolidált nézetben.
• Nincs folyamatban új adatelemek hozzáadása és leképezése a pénzügyi rendszerekben.
• Az időszak végi pénzügyi jelentések készítésének késleltetése.

Considerations

Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.

Megbízhatóság

A megbízhatóság biztosítja, hogy az alkalmazás megfeleljen az ügyfelek felé vállalt kötelezettségeknek. További információ: A megbízhatósági pillér áttekintése.

A Profisee natív módon fut az Azure Kubernetes Service-ben és az Azure SQL Database-ben. Mindkét szolgáltatás beépített képességeket kínál a magas rendelkezésre állás támogatásához.

Teljesítmény hatékonysága

A teljesítménybeli hatékonyság lehetővé teszi, hogy a számítási feladatok hatékonyan méretezhetők legyenek a felhasználók igényei szerint. További információ: Teljesítményhatékonysági pillér áttekintése.

A Profisee natív módon fut az Azure Kubernetes Service-ben és az Azure SQL Database-ben. Igény szerint konfigurálhatja az Azure Kubernetes Service-t a Profisee fel- és kiskálázására. Az Azure SQL Database számos különböző konfigurációban üzembe helyezhető a teljesítmény, a méretezhetőség és a költségek kiegyensúlyozása érdekében.

Biztonság

A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információ: A biztonsági pillér áttekintése.

A Profisee az OpenID Csatlakozás segítségével hitelesíti a felhasználókat, amely egy OAuth 2.0 hitelesítési folyamatot implementál. A legtöbb szervezet úgy konfigurálja a Profisee-t, hogy hitelesítse a felhasználókat a Microsoft Entra-azonosítóval. Ez a folyamat biztosítja a hitelesítés vállalati szabályzatainak alkalmazását és kikényszerítését.

Költségoptimalizálás

A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információ: A költségoptimalizálási pillér áttekintése.

A működési költségek szoftverlicencből és Azure-használatból állnak. További információért forduljon a Profisee-hez.

A forgatókönyv üzembe helyezése

A forgatókönyv üzembe helyezése:

1. A Profisee üzembe helyezése az Azure-ban ARM-sablon használatával.
2. Hozzon létre egy Azure Data Factoryt.
3. Konfigurálja az Azure Data Factoryt egy Git-adattárhoz való csatlakozáshoz.
4. Adja hozzá Profisee Azure Data Factory-sablonjait az Azure Data Factory Git-adattárhoz.
5. Hozzon létre egy új Azure Data Factory-folyamatot sablon használatával.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerző:

• Sunil Sabat | Fő programmenedzser

A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.

További lépések

• Ismerje meg a REST Copy Csatlakozás or képességeit az Azure Data Factoryben.
• További információ az Azure-ban natívan futó Profisee-ről.
• Megtudhatja, hogyan helyezheti üzembe a Profisee-t az Azure-ban ARM-sablon használatával.
• Tekintse meg a Profisee Azure Data Factory-sablonokat.

Kapcsolódó erőforrások

Architektúra-útmutatók

• Kinyerés, átalakítás és betöltés (ETL)
• Integrációs modul az Azure Data Factoryben
• Adatfolyam-vezénylési technológia kiválasztása az Azure-ban

Referenciaarchitektúrák

• Automatizált vállalati BI
• A nagyszámítógép és a középrangú adatok modernizálása
• DataOps a modern adattárházhoz
• Adattárház és elemzés