Zdieľať cez

Ingest, filtrovanie a transformácia udalostí v reálnom čase a ich odoslanie do jazera Microsoft Fabric

  • Článok

V tomto kurze sa dozviete, ako používať funkciu streamov udalostí služby Microsoft Fabric na ingest, filtrovanie a transformáciu udalostí v reálnom čase a ako ich odosielať vo formáte Delta Lake z centra udalostí Azure do jazera. Naučíte sa tiež vytvoriť zostavu služby Power BI na vizualizáciu podnikových prehľadov v údajoch udalostí.

V tomto kurze sa naučíte:

  • Vytváranie položiek Eventstream a Lakehouse v službe Microsoft Fabric
  • Pridanie zdroja Azure Event Hubs do streamu udalostí
  • Vytvorenie cloudového pripojenia centra udalostí
  • Pridanie cieľa lakehouse do eventstreamu
  • Definovanie logiky spracovania udalostí v reálnom čase pomocou procesora udalosti
  • Overenie údajov v službe Lakehouse
  • Vytvorenie zostavy Power BI s údajmi z udalosti nahratými v komplexe lakehouse

Požiadavky

Skôr než začnete, musíte mať:

  • Prístup k pracovnému priestoru Premium s povoleniami prispievateľa alebo uvedenými vyššie, kde sa nachádzajú položky Eventstream a Lakehouse.
  • Centrum udalostí Azure s údajmi udalosti a príslušným povolením, ktoré sú k dispozícii na prístup ku kľúčom politiky. Centrum udalostí musí byť verejne prístupné a nesmie byť za bránou firewall ani vo virtuálnej sieti zabezpečené. Ak chcete vytvoriť centrum udalostí, pozrite si tému Rýchla konfigurácia: Vytvorenie centra udalostí pomocou portálu Azure.

Vytvorenie objektu lakehouse a eventstreamu

Eventstream a lakehouse môžete vytvoriť na stránke Pracovný priestor alebo na stránke Vytvoriť centrum . Ak chcete vytvoriť lakehouse a potom znova vytvoriť udalosť eventstream, postupujte podľa týchto krokov:

  1. Zmeňte prostredie služby Fabric na funkciu Inteligencia v reálnom čase a výberom položiek Lakehouse alebo Eventstream vytvárajte tieto položky vo svojom pracovnom priestore alebo v centre vytvárania. (Najlepšie výsledky dosiahnete tak, že najprv vytvoríte položku Lakehouse a druhá položka Eventstream.)

    • Na obrazovke Pracovný priestor vyberte položku Nové a potom Lakehouse alebo Eventstream:

      Snímka obrazovky znázorňujúca, kde vybrať položky Eventstream a Lakehouse v pracovnom priestore Nová ponuka.

    • V centre vytvárania vyberte možnosť Lakehouse alebo Eventstream:

      Snímka obrazovky znázorňujúca, kde môžete vybrať dlaždicu Eventstream v centre vytvoriť.

      Snímka obrazovky znázorňujúca, kde môžete vybrať dlaždicu Lakehouse v centre vytvoriť.

  2. Zadajte názov pre nový eventstream alebo lakehouse a vyberte položku Vytvoriť. V príkladoch v tomto článku používame pre udalosť eventstream a citypwrdata pre lakehouse hodnotu citypwr-es.

    Snímka obrazovky znázorňujúca miesto, kam sa má zadať názov v dialógovom okne Nový udalosťstream.

Po úspešnom vytvorení novej udalosti eventstream aj lakehouse sa tieto položky zobrazia vo vašom pracovnom priestore:

  • citypwr-es: položka Eventstream

  • citypwrdata: položka Lakehouse, sémantický model (predvolená) položka a položka koncového bodu SQL.

    Snímka obrazovky zobrazujúca zoznam štyroch položiek pridaných do pracovného priestoru.

Pridanie zdroja Azure Event Hubs do streamu udalostí

Keď vytvoríte lakehouse a eventstream, postupujte podľa týchto krokov a pridajte centrum udalostí Azure ako zdroj eventstreamu.

  1. Na páse s nástrojmi alebo na plátne hlavného editora vyberte položku Nový zdroj a potom vyberte položku Azure Event Hubs.+

  2. Zadajte názov zdroja pre nový zdroj a vyberte položku Vytvoriť nové pripojenie k vášmu centre udalostí Azure.

    Snímka obrazovky zobrazujúca miesto, kde môžete vybrať položku Vytvoriť nové pripojenie na obrazovke zdrojovej konfigurácie služby Azure Event Hubs.

  3. Vyplňte informácie o svojom centre udalostí Azure na stránke Nového pripojenia .

    Snímka obrazovky znázorňujúca cloudové pripojenie v zdroji centra udalostí.

    • Priestor názvov centra udalostí: zadajte názov priestoru názvov centra udalostí Azure.

    • Event Hub: Zadajte názov centra udalostí Azure na portáli Azure.

    • Pripojenie ion name (názov Pripojenie ionu): Zadajte názov cloudového pripojenia.

    • Názov zdieľaného prístupového kľúča a zdieľaný prístupový kľúč: Prejdite do svojho centra udalostí Azure a vytvorte politiku s Manage alebo Listen povolením v časti Politiky prístupu na zdieľanie. Potom použite názov politiky a primárny kľúč ako názov zdieľaného prístupového kľúča a zdieľaný prístupový kľúč.

      Snímka obrazovky zobrazujúca miesto, kde môžete vybrať a zadať informácie o overení pre vaše centrum udalostí Azure.

  4. Vyberte skupinu Spotrebiteľ, ktorá prečíta údaje o udalostiach z centra udalostí Azure, a potom položku Pridať.

  5. Vyberte formát údajov prichádzajúcich udalostí v reálnom čase, ktoré chcete získať z centra udalostí Azure.

  6. Nový uzol zdroja sa zobrazí na plátne po úspešnom vytvorení zdroja centra udalostí. Vyberte uzol centra udalostí na plátne, potom na karte Ukážka údajov v dolnej table zobrazte údaje v centre udalostí.

    Snímka obrazovky zobrazujúca ukážku zdroja centra udalostí.

  7. Vyberte uzol eventstream na plátne, potom na karte Ukážka údajov v dolnej table zobrazte údaje v rámci eventstreamu.

    Snímka obrazovky znázorňujúca kartu Ukážka údajov v uzli eventstreamu.

  8. Ak chcete vyhľadať podrobnosti prehľadu údajov, vyberte kartu Prehľady údajov pre uzol zdroja centra udalostí a uzol eventstream.

Pridanie cieľa jazera do eventstreamu

Po tom, ako eventstream prebehne udalosť event hub, môžete pridať cieľ služby lakehouse a získať udalosti zo svojho eventstreamu. Ak chcete pridať cieľ jazera, postupujte podľa týchto krokov.

  1. Na páse s nástrojmi alebo na+ plátne hlavného editora vyberte položku Nové miesto určenia a potom vyberte položku Lakehouse.

  2. Zadajte názov cieľa eventstreamu a vyplňte informácie o svojom jazere.

    Snímka obrazovky zobrazujúca cieľovú obrazovku konfigurácie Lakehouse.

    1. Lakehouse: vyberte existujúcu položku lakehouse z pracovného priestoru, ktorý ste zadali. V našom príklade sme vybrali novovytvorené údaje o objekte lakehouse citypwrdata .
    2. Delta tabuľka: vyberte existujúcu tabuľku delta alebo vytvorte novú na prijímanie údajov. V tomto príklade sme vybrali novú delta tabuľku citypwrtbl.
    3. Formát vstupných údajov: Vyberte formát pre vaše údaje.

  3. Ak nechcete spracovať svoje udalosti pri ich preberaní do svojho jazera, výberom položky Pridať dokončíte konfiguráciu cieľa lakehouse. Ak chcete spracovať svoje udalosti, prejdite na ďalšiu časť.

  4. Cieľový uzol Lakehouse sa objaví na plátne s indikátorom stavu točenia. Zmena stavu systému na Ingesting trvá niekoľko minút.

    Snímka obrazovky znázorňujúca miesto, kde nájsť dva indikátory stavu cieľového umiestnenia jazera.

  5. Po zmene stavu cieľa na Ingesting vyberte kartu Ukážka údajov v dolnej table a overte, či sú údaje o udalosti správne premiestnené do jazera.

    Snímka obrazovky zobrazujúca kartu ukážky cieľa jazera.

Definovanie logiky spracovania udalostí v reálnom čase pomocou procesora udalosti

V tejto časti definujete logiku spracovania udalosti pomocou editora procesora udalosti, a to po tom, ako ste v predchádzajúcej časti začali s pridávaním cieľa v lakehouse. V našom príklade nechceme ukladať údaje ID senzora do jazera, takže na odstránenie stĺpca použijeme procesor udalosti.

  1. Na dokončenej cieľovej obrazovke Lakehouse (zatiaľ nevyberajte položku Pridať ) vyberte položku Otvoriť procesor udalosti . Otvorí sa obrazovka editora spracovania udalostí.

    Snímka obrazovky zobrazujúca obrazovku editora spracovania udalostí.

  2. Ak chcete pridať logiku spracovania udalosti, na páse s nástrojmi vyberte ponuku Operácie a potom vyberte položku Spravovať polia.

    Snímka obrazovky znázorňujúca, kde vybrať položku Spravovať polia v ponuke Operácie.

  3. Ukážte na riadok pripojenia a potom vyberte tlačidlo +. V riadku pripojenia sa zobrazí rozbaľovacia ponuka a medzi ne môžete vložiť operátor Spravovať polia .

    Snímka obrazovky znázorňujúca, kde vybrať a odstrániť pripojenie operátora medzi eventstreamom a úchytom jazera.

  4. Vyberte uzol operátora Spravovať polia . Na paneli konfigurácie Spravovať polia vyberte položku Pridať všetky polia. Potom ukážte myšou na stĺpec senzora, vyberte položky ... a Odstrániť , čím stĺpec odstránite.

    Snímka obrazovky znázorňujúca konfiguráciu operátora Spravovať polia.

  5. Po nakonfigurovaní operátora Spravovať polia zobrazte ukážku údajov, ktoré tento operátor vyprodukuje, kliknutím na položku Obnoviť statickú ukážku.

    Snímka obrazovky zobrazujúca ukážku obnovených údajov pre operátor Spravovať polia.

  6. Vyberte položku Hotovo , čím uložíte logiku spracovania udalosti a vrátite sa na obrazovku konfigurácie cieľovej konfigurácie Lakehouse .

  7. Vyberte položku Pridať a dokončite konfiguráciu cieľa svojho jazera.

  8. Cieľový uzol Lakehouse sa objaví na plátne s indikátorom stavu točenia. Zmena stavu systému na Ingesting trvá niekoľko minút.

    Snímka obrazovky znázorňujúca indikátory stavu cieľového stavu služby Lakehouse.

  9. Po zmene stavu cieľa na Ingesting vyberte kartu Ukážka údajov v dolnej table a overte, či sú údaje o udalosti správne premiestnené do jazera.

    Snímka obrazovky zobrazujúca ukážku cieľa jazera.

Overenie údajov v dome lakehouse

Ak chcete overiť údaje udalosti v novom úložiskách Lakehouse, otvorte vo svojom pracovnom priestore službu citypwrdata lakehouse a potom vyberte tabuľku citypwrtbl , aby ste zobrazili jej údaje.

Snímka obrazovky znázorňujúca príklad tabuľky údajov lakehouse.

Vytvorenie zostavy Power BI s údajmi o ingestovaných udalostiach

  1. Prejdite do svojho pracovného priestoru a vyberte sémantický model sémantického modelu citypwrdata , ktorý systém automaticky pridal pri vytváraní nového úlomku citypwrdata lakehouse.

  2. Na páse s nástrojmi v ponuke Vytvoriť zostavu vyberte položku Automaticky vytvoriť alebo Začať úplne od začiatku.

    Snímka obrazovky znázorňujúca miesto, kde si môžete vybrať v ponuke Vytvoriť zostavu.

  3. Zostavu upravíte tak, že vyberiete teplotu, vlhkosť, spotrebu energie WindSpeed a tri zóny, aby ste mohli tieto údaje monitorovať.

    Snímka obrazovky zobrazujúca automaticky generovanú zostavu.

  4. Ak chcete údaje automaticky obnoviť, vyberte v automaticky generovanej zostave tlačidlo Upraviť . Potom prejdite na stránku Formát v časti Vizualizácie a vyberte položku Obnovenie strany, čím nastavíte interval obnovenia.

    Poznámka

    • Spravovanie interval určuje minimálny interval obnovenia.
    • Aktuálny interval zapisovania údajov o udalostiach do jazera je dve minúty.

    Snímka obrazovky znázorňujúca povolenie automatického obnovenia.

  5. Po dokončení úpravy zostavy vyberte tlačidlo Uložiť a zadajte názov, čím zostavu uložíte.

    Snímka obrazovky zobrazujúca finálnu upravenú zostavu.

Súvisiaci obsah

V tomto kurze ste sa dozvedeli, ako ingestovať, filtrovať a transformovať udalosti v reálnom čase a odoslať ich zo svojho centra udalostí Azure do úlomu lakehouse vo formáte Delta Lake. Naučili ste sa tiež používať službu lakehouse na vytváranie zostáv služby Power BI na vizualizáciu podnikových prehľadov v údajoch o udalostiach. Ak vás zaujímajú ďalšie pokročilé funkcie na prácu s funkciou streamov udalostí služby Fabric, tieto zdroje sú užitočné.