Zdieľať cez

Správa vyťaženia

  • Článok

Vzťahuje sa na: koncový bod analýzy SQL a sklad v službe Microsoft Fabric

Tento článok popisuje architektúru a správu vyťaženia pri skladovaní údajov v službe Microsoft Fabric.

Spracovanie údajov

Koncový bod analýzy Warehouse a SQL zdieľa rovnakú základnú architektúru spracovania. Pri načítavaní alebo načítavaní údajov využíva distribuovaný nástroj vytvorený pre malé aj rozsiahle údajové a výpočtové funkcie.

Systém spracovania nie je bezserverový v tom, že serverová výpočtová kapacita sa škáluje autonómne tak, aby spĺňala požiadavky na vyťaženie.

Diagram nástroja SQL.

Pri odoslaní dotazu vykoná klientska verzia SQL (FE) optimalizáciu dotazu s cieľom určiť najlepší plán na základe veľkosti údajov a zložitosti. Po vygenerení plánu sa daný plán poskytne nástroju Distributed Query Processing (DQP). DirectQuery zosúlaďuje distribuované vykonanie dotazu tak, že ho rozdelí na menšie dotazy, ktoré sa vykonávajú na serverových výpočtových uzloch. Každý malý dotaz sa nazýva úloha a predstavuje distribuovanú jednotku na vykonanie. Prečíta súbory z OneLake, spojí výsledky z iných úloh, skupín alebo objednávok údajov získaných z iných úloh. V prípade úloh príjmu zapisuje údaje aj do správnych cieľových tabuliek.

Pri spracovaní údajov sa výsledky vrátia na klientske servery SQL, aby sa vrátili používateľovi alebo volajúcemu aplikácii.

Pružnosť a odolnosť

Serverová výpočtová kapacita využíva architektúru rýchleho poskytovania prostriedkov. Hoci v rámci priradenia prostriedkov nie je k dispozícii žiadna služba SLA, zvyčajne nové uzly sú získané v priebehu niekoľkých sekúnd. S rastom dopytu po zdrojoch používajú nové vyťaženia kapacitu, ktorá je škálovaná. Škálovanie je online operácia a spracovanie dotazov neprerušuje.

Diagram, ktorý znázorňuje rýchle poskytovanie prostriedkov.

Systém je odolný voči chybám a ak uzol sa stáva nezdravým, operácie vykonávajúce na uzle sú prerozdelené na zdravé uzly na dokončenie.

Koncový bod skladu a analýzy SQL poskytuje prasknutú kapacitu , ktorá umožňuje vyťaženiu využívať viac prostriedkov na dosiahnutie lepšieho výkonu a používať smoothing , aby bolo možné poskytnúť úľavu zákazníkom, ktorí vytvárajú náhle špičky počas špičky, zatiaľ čo majú nevyužívanú veľkú kapacitu nečinnosti. Vyrovnávanie zjednodušuje riadenie kapacít rozšírením vyhodnocovania výpočtov, aby sa zabezpečilo plynulé a efektívne spúšťanie úloh zákazníkov.

Plánovanie a opätovné získavanie

Distribuovaný plánovač spracovania dotazov funguje na úrovni úlohy . Dotazy sú pre plánovača uvedené ako cielený acyklický graf úloh. Tento koncept je známy pre používateľov služby Spark. DAG umožňuje paralelné spustenie a súbežnosť ako úlohy, ktoré nie sú navzájom závislé, možno vykonávať súčasne alebo mimo nich.

Ako dotazy prichádzajú, ich úlohy sú naplánované na základe princípov first-in-first-out (FIFO). Ak je kapacita v nečinnosti, plánovač môže použiť prístup "najlepšie prispôsobenie" na optimalizáciu súbežnosti.

Keď plánovač identifikuje tlak na opätovné získavanie, vyvolá operáciu mierky. Škálovanie sa spravuje autonómne a backend topológia rastie s rastom súbežnosti. Keďže získavanie uzlov trvá niekoľko sekúnd, systém nie je optimalizovaný na konzistentný výkon podsekundy dotazov, ktoré vyžadujú distribuované spracovanie.

Keď tlak ustupuje, serverová topológia opäť zväčšuje a uvoľní zdroje späť do oblasti.

Izolácia príjmu

Vzťahuje sa na: Warehouse v službe Microsoft Fabric

V serverovom výpočtovom fonde skladu v službe Microsoft Fabric sú aktivity načítania poskytované oddelene od analytických vyťažení. Toto zlepšuje výkon a spoľahlivosť, pretože úlohy príjmu môžu bežať na vyhradených uzloch, ktoré sú optimalizované pre ETL, a nesúťažia s inými dotazmi alebo aplikáciami pre zdroje.

Diagram, ktorý zobrazuje izoláciu aktivít príjmu.

Osvedčené postupy

Pracovný priestor služby Microsoft Fabric poskytuje prirodzenú oddeľovanú hranicu distribuovaného výpočtového systému. Vyťaženia môžu túto hranicu využiť na spravovanie nákladov aj výkonu.

Skratky OneLake možno používať na vytvorenie replík tabuliek iba na čítanie v iných pracovných priestoroch na distribúciu načítania v rámci viacerých strojov SQL, čím sa vytvorí oddeľovateľná hranica. Môže sa tým efektívne zvýšiť maximálny počet relácií vykonávajúcich dotazy iba na čítanie.

Diagram znázorňujúci izoláciu dvoch pracovných priestorov, napríklad pracovného priestoru Financie a Marketing.

Súvisiaci obsah