Share via

Čo je skladovanie údajov v službe Microsoft Fabric?

  • Článok

Vzťahuje sa na: koncový bod analýzy SQL a sklad v službe Microsoft Fabric

Microsoft Fabric poskytuje zákazníkom jednotný produkt, ktorý sa zaoberá každým aspektom ich údajového priestoru tým, že ponúka kompletnú, saaS-ified Data, Analytics a AI platformu, ktorá je centrická na jazero a otvorená. Základom služby Microsoft Fabric umožňuje začínajúcim používateľom využívať databázu, analýzu, odosielanie správ, integráciu údajov a business intelligence prostredníctvom bohatého, ľahko použiteľného zdieľaného prostredia SaaS so službou Microsoft OneLake, ktoré je stredobodom pozornosti.

Skúsenosti centrické od jazera SaaS vytvorené pre ľubovoľnú úroveň zručností

Microsoft Fabric predstavuje sklad údajov zameraný na jazero, ktorý je postavený na distribuovanom spracovateľskom stroji na podnikovej úrovni, ktorý umožňuje špičkové škálovanie výkonu priemyslu a zároveň eliminuje potrebu konfigurácie a správy. Vďaka jednoduchému použitiu prostredia saaS, ktoré je úzko integrované so službou Power BI pre jednoduchú analýzu a tvorbu zostáv, spoločnosť Warehouse v službe Microsoft Fabric zlučuje svet dátových jazier a skladov s cieľom výrazne zjednodušiť investície organizácií do ich analytického priestoru. Služby skladu údajov ťažia z bohatých možností nástroja SQL prostredníctvom otvoreného formátu údajov, čo zákazníkom umožňuje zamerať sa na prípravu údajov, analýzu a vytváranie zostáv prostredníctvom jedinej kópie svojich údajov uložených v ich službe Microsoft OneLake.

Sklad je vytvorený pre ľubovoľnú úroveň zručností – od občana vývojára až po profesionálneho vývojára, DBA alebo dátového inžiniera. Bohatá množina prostredí zabudovaných v pracovnom priestore služby Microsoft Fabric umožňuje zákazníkom skrátiť si čas na prehľady tak, že majú jednoducho použiteľný a vždy pripojený sémantický model, ktorý je integrovaný so službou Power BI v režime DirectLake. To umožňuje špičkové výkony v odvetví druhej na žiadne, čím sa zabezpečí, že zostava zákazníka bude mať vždy najnovšie údaje na analýzu a vytváranie zostáv. Dotazovanie na krížovú databázu možno využiť na rýchle a bezproblémové používanie viacerých zdrojov údajov, ktoré sa nachádzajú vo viacerých databázach, aby sa predišlo rýchlym prehľadom a nulovej duplicite údajov.

Virtuálne sklady s krížovým dotazovaním databázy

Microsoft Fabric poskytuje zákazníkom možnosť postaviť si virtuálne sklady obsahujúce údaje z prakticky ľubovoľného zdroja pomocou skratiek. Zákazníci môžu vytvoriť virtuálny sklad vytvorením skratiek k svojim údajom bez ohľadu na to, kde sa nachádzajú. Virtuálny sklad môže pozostávať z údajov zo služieb OneLake, Azure Data Lake Storage alebo iných úložísk dodávateľov cloudu v rámci jednej hranice a bez duplicity údajov.

Bezproblémovo odomknite hodnotu z rôznych zdrojov údajov prostredníctvom množstva dotazov krížovej databázy v službe Microsoft Fabric. Dotazovanie na krížovú databázu umožňuje zákazníkom rýchlo a bez problémov používať viaceré zdroje údajov na rýchle prehľady a s duplicitou nulových údajov. Údaje uložené v rôznych zdrojoch možno jednoducho spojiť a umožniť zákazníkom poskytovať bohaté prehľady, ktoré si predtým vyžadovali značné úsilie v rámci integrácie údajov a inžinierskych tímov.

Dotazy krížovej databázy je možné vytvoriť pomocou editora Visual Query, ktorý ponúka cestu bez použitia kódu k prehľadom viacerých tabuliek. Editor SQL Query alebo iné známe nástroje, ako napríklad SQL Server Management Studio (SSMS), možno použiť aj na vytvorenie dotazov krížovej databázy.

Autonómne spravovanie vyťaženia

Sklady v službe Microsoft Fabric využívajú špičkové distribuované spracovanie dotazov, ktorý zákazníkom poskytuje vyťaženia, ktoré majú prirodzenú izoláciu. Neexistujú žiadne gombíky obrátiť s autonómne rozdelenie a vzdať sa zdrojov, ktoré ponúkajú najlepší výkon v plemene s automatickým rozsahom a súbežnosť zabudované. Skutočná izolácia sa dosahuje rozdelením pracovných úloh s rozličnými charakteristikami, čím sa zabezpečuje, aby úlohy ETL nikdy nezasahovali do ich analýz a vytvárania zostáv.

Otvorený formát pre bezproblémovú interoperabilitu motora

Údaje v sklade sú uložené vo formáte súboru na parketoch a publikované ako Delta Lake Logs, čím sa umožňujú transakcie ACID a interoperabilita krížových motorov, ktoré možno využívať prostredníctvom iných vyťažení služby Microsoft Fabric, ako napríklad Spark, Pipelines, Power BI a Azure Data Explorer. Zákazníci už nemusia vytvárať viacero kópií svojich údajov, aby umožnili odborníkom s rozličnými zručnosťami. Dátoví inžinieri, ktorí sú zvyknutí pracovať v jazyku Python, môžu jednoducho používať rovnaké údaje, ktoré bol modelovaný a obsluhovaný odborníkom skladu údajov, ktorý je zvyknutý pracovať v SQL. Zároveň môžu odborníci v oblasti BI rýchlo a jednoducho používať rovnaké údaje na vytvorenie bohatej množiny vizualizácií v službe Power BI so záznamom výkonu a bez duplicity údajov.

Oddelenie úložiska a vypočítanie

Výpočtové a ukladacie priestory sa dekódujú v sklade, ktorý umožňuje zákazníkom škálovať takmer okamžite tak, aby spĺňali požiadavky svojho podniku. To umožňuje viacerým výpočtovým zariadeniam čítať z ľubovoľného podporovaného zdroja úložiska s robustným zabezpečením a úplnými transakčnými zárukami ACID.

Jednoduché vkladanie, načítanie a transformácia vo väčšom meradle

Údaje možno preniesť do skladu prostredníctvom kanálov, tokov údajov, dotazovania krížovej databázy alebo príkazu COPY INTO. Po prijatí je možné údaje analyzovať viacerými obchodnými skupinami prostredníctvom funkcií, ako je napríklad zdieľanie a dotazovanie na krížovú databázu. Čas na prehľady je urýchlený prostredníctvom plne integrovaného prostredia BI prostredníctvom modelovania grafických údajov, ktoré sa dá jednoducho používať na webové prostredie na dotazovanie v rámci Editora skladu.

Položky skladu údajov v službe Microsoft Fabric

Existujú dve odlišné položky na skladovanie údajov: koncový bod analýzy SQL pre Lakehouse a Warehouse.

Koncový bod analýzy SQL služby Lakehouse

Koncový bod analýzy SQL je sklad, ktorý sa automaticky vygeneruje z lakehouse v službe Microsoft Fabric. Zákazník môže prejsť z zobrazenia Lakehouse (ktoré podporuje dátové inžinierstvo a Apache Spark) na zobrazenie SQL toho istého Lakehouse. Koncový bod analýzy SQL je určený iba na čítanie a údaje je možné upraviť iba pomocou zobrazenia Lakehouse pomocou Spark.

Prostredníctvom koncového bodu analýzy SQL lakehouse má používateľ podmnožinu príkazov SQL, ktoré dokážu definovať a dotazovať dátové objekty, ale nemanipulovať s údajmi. V koncovom bode analýzy SQL môžete vykonávať nasledujúce akcie:

  • Dotazujte tabuľky, ktoré odkazujú na údaje v priečinkoch Delta Lake v jazere.
  • Vytvorte zobrazenia, vnorené súbory TVFS a postupy na zapuzdrenie sémantiky a obchodnej logiky v T-SQL.
  • Spravovať povolenia pre objekty.

V pracovnom priestore služby Microsoft Fabric je koncový bod analýzy SQL v stĺpci Type označený ako koncový bod analýzy SQL. Každý súbor Lakehouse má automaticky generovaný koncový bod analýzy SQL, ktorý možno využívať prostredníctvom známych nástrojov SQL, ako napríklad SQL Server Management Studio, Azure Data Studio, Editor Power Query Microsoft Fabric SQL.

Snímka obrazovky znázorňujúca typ koncového bodu analýzy SQL v pracovnom priestore.

Ak chcete začať pracovať s koncovým bodom analýzy SQL, pozrite si tému Viac spolu: lakehouse a warehouse v službe Microsoft Fabric.

Synapse – sklad údajov

V pracovnom priestore služby Microsoft Fabric je v stĺpci Type (Typ) označený ako Warehouse (Sklad údajov) so službou Synapse. Sklad podporuje transakcie, dotazy DDL a DML.

Snímka obrazovky zobrazujúca typ skladu v pracovnom priestore.

Na rozdiel od koncového bodu analýzy SQL, ktorý podporuje iba dotazy na čítanie a vytváranie zobrazení a súborov TVFS, má sklad úplnú transakčnú podporu DDL a DML a vytvorí ho zákazník. Sklad sa vyplní jednou z podporovaných metód príjmu údajov, ako napríklad COPY INTO, Pipelines, Dataflows alebo cross database ingestion, napríklad CREATE TABLE AS SELECT (CTAS), INSERT.. VYBERTE POLOŽKU ALEBO VYBERTE POLOŽKU DO.

Ak chcete začať pracovať so skladom, pozrite si tému Vytvorenie skladu v službe Microsoft Fabric.

Porovnanie koncového bodu skladu a analýzy SQL služby Lakehouse

Táto časť popisuje rozdiely medzi koncovým bodom analýzy Warehouse a SQL v službe Microsoft Fabric.

Diagram pracovného priestoru služby Fabric na skladovanie údajov vrátane koncového bodu analýzy SQL a skladu.

Koncový bod analýzy SQL je sklad iba na čítanie, ktorý sa automaticky vygeneruje pri vytvorení zo služby Lakehouse v službe Microsoft Fabric. Tabuľky Delta, ktoré sa vytvárajú prostredníctvom služby Spark v lakehouse, sa automaticky dajú vyhľadať v koncovom bode analýzy SQL ako tabuľky. Koncový bod analýzy SQL umožňuje dátovým inžinierom vytvoriť relačnú vrstvu na základe fyzických údajov v službe Lakehouse a sprístupniť ich nástrojom analýzy a vytvárania zostáv pomocou sql reťazec pripojenia. Analytici údajov potom môžu pomocou T-SQL získať prístup k údajom v lakehouse pomocou služby Synapse Data Warehouse. Pomocou koncového bodu analýzy SQL môžete navrhnúť svoj sklad pre potreby BI a doručenie údajov.

Synapse Data Warehouse alebo Warehouse je "tradičným" skladom údajov a podporuje úplné možnosti transakčného T-SQL, ako napríklad podnikový sklad údajov. Na rozdiel od koncového bodu SQL Analytics, kde sa tabuľky a údaje vytvárajú automaticky, máte úplnú kontrolu nad vytváraním tabuliek, načítavaním, transformáciou a dotazovaním údajov v sklade údajov buď pomocou portálu Microsoft Fabric alebo príkazov T-SQL.

Ďalšie informácie o dotazovaní údajov v službe Microsoft Fabric nájdete v téme Dotazovanie koncového bodu analýzy SQL alebo Warehouse v službe Microsoft Fabric.

Porovnanie rôznych možností skladovania

Ak chcete čo najlepšie používať analýzy, máte k dispozícii širokú škálu možností. Vo všeobecnosti možno sklad považovať za nadmnožinu všetkých ostatných možností, ktorá poskytuje synergický vzťah medzi všetkými ostatnými analytickými ponukami, ktoré poskytujú T-SQL.

V rámci štruktúry existujú používatelia, ktorí sa možno budú musieť rozhodnúť medzi skladom, jazerom Lakehouse a dokonca aj údajovým grafom služby Power BI.

Ponuka služby Microsoft Fabric

Skladu

Koncový bod analýzy SQL služby Lakehouse

Údajový graf služby Power BI

Licencovanie

Fabric alebo Power BI Premium

Fabric alebo Power BI Premium

Iba v službe Power BI Premium

Primárne možnosti

ACID je kompatibilná, úplné skladovanie údajov s podporou transakcií v T-SQL.

Iba na čítanie– koncový bod analýzy SQL generovaný systémom pre Lakehouse pre dotazovanie a služby T-SQL. Podporuje analýzy v tabuľkách Lakehouse Delta a priečinkoch Delta Lake, na ktoré sa odkazuje prostredníctvom skratiek.

Skladovanie údajov bez použitia kódu a dotazovanie V T-SQL

Profil vývojára

Vývojári SQL alebo občianski vývojári

Dátový inžinier alebo vývojári SQL

Len pre občianskych vývojárov

Odporúčaný prípad použitia

  • Skladovanie údajov na podnikové použitie
  • Sklad údajov, ktorý podporuje oddelenie, organizačnú jednotku alebo samoobslužné použitie
  • Analýza štruktúrovaných údajov v T-SQL s tabuľkami, zobrazeniami, postupmi a funkciami a rozšírenou podporou SQL pre BI
  • Skúmanie a dotazovanie delta tabuliek z jazera
  • Pracovná zóna údajov a archivačné pásmo na analýzu
  • Architektúra medallion lakehouse so zónami pre bronz, striebro a zlato
  • Párovanie so skladom na použitie podnikovej analýzy
  • Prípady použitia v sklade malých oddelení alebo obchodných jednotiek
  • Prípady použitia samoobslužných skladov údajov
  • Zóna prvého kontaktu pre toky údajov Služby Power BI a jednoduchá podpora jazyka SQL pre BI

Skúsenosti s vývojom

  • Warehouse Editor s úplnou podporou príjmu údajov T-SQL, modelovania, vývoja a dotazovania používateľských rozhraní na príjem údajov, modelovanie a dotazovanie
  • Podpora čítania a zapisovania pre nástroje prvej a tretej strany
  • Koncový bod analýzy Lakehouse SQL s obmedzenou podporou T-SQL pre zobrazenia, funkcie s hodnotami tabuliek a dotazy SQL
  • Možnosti používateľského rozhrania na modelovanie a dotazovanie
  • Obmedzená podpora T-SQL pre nástroje prvej a tretej strany
  • Editor datamart s používateľskou skúsenosťou a podporou dotazov
  • Možnosti používateľského rozhrania pre príjem údajov, modelovanie a dotazovanie
  • Podpora iba na čítanie pre nástroje prvej a tretej strany

Možnosti T-SQL

Úplná podpora pre knižnice DQL, DML a DDL T-SQL, úplnú podporu transakcií.

Úplný DirectQuery, žiadny DML, obmedzená podpora DDL T-SQL, ako napríklad zobrazenia SQL a TVFS

Len úplné DirectQuery

Načítavanie údajov

SQL, kanály, toky údajov

Spark, pipelines, dataflows, shortcuts (Iskra, kanály, toky údajov, skratky)

Len toky údajov

Podpora pre tabuľky Delta

Číta a píše tabuľky Delta

Prečíta rozdielové tabuľky

Nedostupné

Vrstva úložiska

Formát otvorených údajov – Delta

Formát otvorených údajov – Delta

Nedostupné

Automaticky generovaná schéma v koncovom bode analýzy SQL služby Lakehouse

Koncový bod analýzy SQL spravuje automaticky generované tabuľky, takže používatelia pracovného priestoru ich nemôžu upravovať. Používatelia môžu obohatiť model databázy pridaním vlastných schém SQL, zobrazení, postupov a ďalších objektov databázy.

Pre každú tabuľku Delta v službe Lakehouse koncový bod analýzy SQL automaticky vygeneruje jednu tabuľku.

Tabuľky v koncovom bode analýzy SQL sa vytvárajú s oneskorením. Po vytvorení alebo aktualizácii priečinka/tabuľky Delta Lake v jazere sa tabuľka skladu, ktorá odkazuje na údaje jazera, okamžite nevytvorí/neobnoví. Zmeny sa použijú v sklade po 5 – 10 sekundách.

Informácie o typoch údajov automaticky generovanej schémy pre koncový bod analýzy SQL nájdete v téme Typy údajov v službe Microsoft Fabric.

Súvisiaci obsah