Zdieľať cez

Pridanie cieľa jazera do eventstreamu

  • Článok

V tomto článku sa dozviete, ako pridať lakehouse ako cieľ na eventstream v streamoch udalostí služby Microsoft Fabric.

Poznámka

Ak chcete používať rozšírené možnosti, ktoré sú vo verzii Preview, v hornej časti vyberte položku Rozšírené možnosti . V opačnom prípade vyberte položku Štandardné možnosti. Informácie o rozšírených možnostiach, ktoré sú vo verzii Preview, nájdete v téme Úvodné informácie o streamoch udalostí služby Fabric.

Dôležité

Existuje uplatnenie schémy na zapisovaie údajov do cieľovej tabuľky lakehouse. Všetky nové zápisy do tabuľky musia byť kompatibilné so schémou cieľovej tabuľky v čase zápisu, čím sa zabezpečí kvalita údajov.

Po zapísaní výstupu do novej tabuľky delta sa vytvorí schéma tabuľky na základe prvého záznamu. Všetky záznamy výstupných údajov sa premietajú do schémy existujúcej tabuľky.

Ak prichádzajúce údaje obsahujú stĺpce, ktoré nie sú v existujúcej schéme tabuľky, ďalšie stĺpce nie sú zahrnuté v údajoch zapísaných do tabuľky. Podobne, ak prichádzajúce údaje chýbajú stĺpce, ktoré sa nachádzajú v existujúcej schéme tabuľky, chýbajúce stĺpce sa zapíšu do tabuľky s hodnotami nastavenými na hodnotu null.

Požiadavky

  • Prístup do pracovného priestoru služby Fabric Premium, kde sa váš eventstream nachádza s povoleniami Prispievateľ alebo vyššie.
  • Prístup k pracovnému priestoru Premium, v ktorom sa nachádza váš domov lakehouse s povoleniami Prispievateľ alebo vyššími.

Poznámka

Maximálny počet zdrojov a cieľov pre jeden eventstream je 11.

Pridanie jazera ako cieľa

Ak chcete pridať cieľ lakehouse do predvoleného alebo odvodeného eventstreamu, postupujte podľa týchto krokov.

  1. V režime úprav pre udalosťstream vyberte na páse s nástrojmi položku Pridať cieľ a v rozbaľovacom zozname vyberte položku Lakehouse .

    Snímka obrazovky rozbaľovacieho zoznamu Pridať cieľ so zvýraznenou položkou Lakehouse.

  2. Pripojenie uzla lakehouse na váš uzol prúdu alebo operátor.

  3. Na obrazovke konfigurácie Lakehouse vyplňte nasledujúce informácie:

    1. Zadajte názov cieľa.
    2. Vyberte pracovný priestor, ktorý obsahuje váš domov jazera.
    3. Z pracovného priestoru, ktorý ste zadali, vyberte existujúci domov lakehouse .
    4. Vyberte existujúcu tabuľku Delta alebo vytvorte novú na prijímanie údajov.
    5. Vyberte formát Vstup údajov, ktorý sa odošle do vášho jazera. Podporované formáty údajov sú JSON, Avro a CSV (s hlavičkou).

    Snímka obrazovky hornej časti obrazovky konfigurácie služby Lakehouse.

  4. Vyberte položku Rozšírené.

  5. Pre cieľovú oblasť jazera sú k dispozícii dva režimy príjmu. Na základe vášho scenára nakonfigurujte tieto režimy tak, aby optimalizovali spôsob zápisu streamov udalostí služby Fabric do jazera.

    • Minimálny počet riadkov je minimálny počet riadkov, ktoré ingestuje lakehouse v jednom súbore. Minimálny počet je 1 riadok a maximálna hodnota je 2 milióny riadkov na súbor. Čím je minimálny počet riadkov menší, tým viac súborov lakehouse vytvorí počas príjmu.

    • Maximálne trvanie je maximálne trvanie, ktoré lakehouse trvá na ingest jedného súboru. Minimálna hodnota je 1 minúta a maximálna dĺžka je 2 hodiny. Čím dlhšie bude trvanie, tým viac riadkov sa presadne do súboru.

    Snímka obrazovky so sekciou Rozšírené na obrazovke konfigurácie služby Lakehouse.

  6. Vyberte položku Uložiť.

  7. Ak chcete implementovať novopridané cieľové umiestnenie lakehouse, vyberte položku Publikovať.

    Snímka obrazovky cieľa streamu a jazera v režime Edit so zvýrazneným tlačidlom Publikovať.

Po dokončení týchto krokov bude cieľ jazera k dispozícii na vizualizáciu v živom zobrazení. Na table Podrobnosti môžete vybrať odkaz Optimalizovať tabuľku v notebooku a spustiť úlohu Apache Spark v notebooku, ktorý konsoliduje malé streamovacie súbory v rámci tabuľky target lakehouse.

Snímka obrazovky cieľa jazera a tlačidla optimalizácie tabuľky v dynamickom zobrazení.

Súvisiaci obsah

Ďalšie informácie o pridávaní ďalších cieľov do eventstreamu nájdete v nasledujúcich článkoch:

Požiadavky

Skôr než začnete, musíte splniť nasledujúce predpoklady:

  • Získajte prístup do pracovného priestoru Premium s povoleniami Prispievateľ alebo vyššie, kde sa nachádza váš eventstream.
  • Získajte prístup k pracovnému priestoru Premium s povoleniami prispievateľa alebo vyššie, kde sa nachádza vaše jazero.

Poznámka

Maximálny počet zdrojov a cieľov pre jeden eventstream je 11.

Pridanie jazera ako cieľa

Ak máte vo svojom pracovnom priestore vytvorený objekt lakehouse, podľa týchto krokov pridajte objekt lakehouse do svojho eventstreamu ako cieľ:

  1. Vyberte položku Nové miesto určenia na páse s nástrojmi alebo na+ plátne hlavného editora a potom vyberte položku Lakehouse. Zobrazí sa cieľová obrazovka konfigurácie Lakehouse .

  2. Zadajte názov cieľového umiestnenia eventstreamu a vyplňte informácie o svojom jazere.

    Snímka obrazovky cieľovej konfigurácie služby Lakehouse.

    1. Lakehouse: vyberte existujúci lakehouse z pracovného priestoru, ktorý ste zadali.

    2. Delta tabuľka: vyberte existujúcu tabuľku delta alebo vytvorte novú na prijímanie údajov.

      Poznámka

      Pri zapisovaní údajov do tabuľky Lakehouse existuje uplatnenie schém. To znamená, že všetky nové zápisy do tabuľky musia byť kompatibilné so schémou cieľovej tabuľky v čase zápisu, čím sa zabezpečí kvalita údajov.

      Všetky záznamy výstupných údajov sa premietajú do schémy existujúcej tabuľky. Pri písaní výstupu do novej tabuľky delta sa vytvorí schéma tabuľky na základe prvého záznamu. Ak prichádzajúce údaje obsahujú v porovnaní s existujúcou schémou tabuľky dodatočný stĺpec, zapíšu sa do tabuľky bez pridania ďalšieho stĺpca. Naopak, ak prichádzajúce údaje chýbajú v stĺpci v porovnaní s existujúcou schémou tabuľky, zapíšu sa do tabuľky s hodnotou stĺpca nastavenou na hodnotu null.

    3. Formát vstupných údajov: Vyberte formát pre údaje (vstupné údaje), ktoré sa odošlú do vášho jazera.

      Poznámka

      Podporované formáty údajov udalosti vstupu sú JSON, Avro a CSV (s hlavičkou).

    4. Spracovanie udalostí: Pomocou editora spracovania udalostí môžete určiť, ako sa majú údaje spracovať pred ich odoslaním do svojho jazera. Vyberte položku Otvoriť procesor udalosti a otvorte editor spracovania udalostí. Ďalšie informácie o spracovaní v reálnom čase pomocou procesora udalosti nájdete v téme Spracovanie údajov udalosti s editorom procesora udalosti. Po dokončení s editorom sa výberom položky Hotovo vrátite na cieľovú obrazovku konfigurácie Lakehouse .

      Snímka obrazovky zobrazujúca editor procesora udalosti.

  3. Pre cieľovú oblasť jazera sú k dispozícii dva režimy príjmu. Vyberte jeden z týchto režimov na optimalizáciu toho, ako sa funkcia streamov udalostí fabric zapíše do úzla lakehouse na základe vášho scenára.

    1. Riadky na súbor – minimálny počet riadkov, ktoré lakehouse ingestuje v jednom súbore. Čím menší je minimálny počet riadkov, tým viac súborov Lakehouse vytvorí počas príjmu. Minimum je 1 riadok. Maximálny počet riadkov na súbor je 2 mil.

    2. Duration – maximálne trvanie, ktoré bude trvať od ingestu jedného súboru. Čím dlhšie bude trvanie, viac riadkov sa presadne do súboru. Minimum je 1 minúta a maximálna dĺžka je 2 hodiny.

      Snímka obrazovky zobrazujúca režimy príjmu.

  4. Ak chcete pridať cieľ jazera, vyberte položku Pridať .

  5. Odkaz na optimalizáciu tabuľky je k dispozícii v cieli jazera. Toto riešenie vám uľahčuje spustenie úlohy Spark v notebooku, ktorý tieto malé streamovacie súbory konsoliduje do cieľovej tabuľky Lakehouse.

    Snímka obrazovky zobrazujúca nastavenia optimalizácie tabuľky.

  6. Na plátne sa objaví cieľ lakehouse s indikátorom stavu točenia. Zmena stavu systému na hodnotu Aktívny trvá niekoľko minút.

    Snímka obrazovky zobrazujúca cieľ jazera.

Spravovanie cieľa

Upraviť alebo odstrániť: Cieľ eventstreamu môžete upraviť alebo odstrániť buď cez navigačnú tablu alebo plátno.

Po výbere položky Upraviť sa tabla úprav otvorí na pravej strane hlavného editora. Konfiguráciu môžete podľa potreby upraviť, a to vrátane logiky transformácie udalosti prostredníctvom editora procesora udalosti.

Snímka obrazovky znázorňujúca miesto, kde môžete vybrať možnosti úprav a odstránenia cieľov na plátne.

Súvisiaci obsah

Ďalšie informácie o pridávaní ďalších cieľov do eventstreamu nájdete v nasledujúcich článkoch: