Zdieľať cez

Interoperabilita formátu tabuľky Delta Lake

  • Článok

V službe Microsoft Fabric je formát tabuľky Delta Lake štandardom pre analýzu. Delta Lake je open-source ukladací priestor vrstvy, ktorá prináša ACID (atomy, konzistencia, izolácia, trvanlivosť) transakcie na veľké objemy údajov a analytické vyťaženia.

Všetky skúsenosti so službou Fabric generujú a spotrebúvajú tabuľky Delta Lake, ktoré riadia interoperabilitu a zjednotené prostredie produktov. Tabuľky Delta Lake vytvorené jedným výpočtovým strojom, ako je napríklad Synapse Data warehouse alebo Synapse Spark, môže využívať ktorýkoľvek iný nástroj, ako napríklad Power BI. Pri presunutie údajov do služby Fabric ich fabric predvolene uloží ako Delta tabuľky. Externé údaje obsahujúce tabuľky Delta Lake môžete jednoducho integrovať pomocou skratiek OneLake.

Funkcie delta lake a skúsenosti s tkaninou

Na dosiahnutie interoperability sú všetky skúsenosti služby Fabric v súlade s funkciami Delta Lake a možnosťami tkaniny. Niektoré funkcie môžu zapisovať iba do tabuliek Delta Lake, zatiaľ čo iné z nej môžu čítať.

  • Spisovatelia: Sklady údajov, eventstreamy a exportované sémantické modely Power BI do OneLake
  • Čitatelia: Koncový bod analýzy SQL a sémantické modely direct lake služby Power BI
  • Spisovatelia a čitatelia: Fabric Spark runtime, toky údajov, údajové kanály a databázy Kusto Query Language (KQL)

Nasledujúca matica znázorňuje kľúčové funkcie Delta Lake a ich podporu pre jednotlivé možnosti služby Fabric.

Možnosti tkaniny Priradenia stĺpcov na základe názvov Odstránenie vektorov Písanie V-order Optimalizácia a údržba tabuliek Zapisovať oblasti Oblasti na čítanie Verzia Čitateľ Delta/Spisovateľ a predvolené funkcie tabuliek
Export skladu údajov Delta Lake Nie Áno Áno Áno No Áno Čitateľ: 3
Spisovateľ: 7
Odstránenie vektorov
Koncový bod analýzy SQL Nie Áno Neuvádza sa (nedá sa použiť) Neuvádza sa (nedá sa použiť) Neuvádza sa (nedá sa použiť) Áno Neuvádza sa (nedá sa použiť)
Fabric Spark runtime 1.2 Áno Áno Áno Áno Áno Áno Čitateľ: 1
Spisovateľ: 2
Fabric Spark runtime 1.1 Áno No Áno Áno Áno Áno Čitateľ: 1
Spisovateľ: 2
Toky údajov Áno Áno Áno No Áno Áno Čitateľ: 1
Spisovateľ: 2
Kanály údajov Nie No Áno Nie Áno, prepísať iba Áno Čitateľ: 1
Spisovateľ: 2
Sémantické modely direct lake v službe Power BI Áno Áno Neuvádza sa (nedá sa použiť) Neuvádza sa (nedá sa použiť) Neuvádza sa (nedá sa použiť) Áno Neuvádza sa (nedá sa použiť)
Exportovanie sémantických modelov služby Power BI do služby OneLake Áno Neuvádza sa (nedá sa použiť) Áno No Áno Neuvádza sa (nedá sa použiť) Čitateľ: 2
Spisovateľ: 5
Databázy KQL Áno Áno No Nie* Áno Áno Čitateľ: 1
Spisovateľ: 1
Eventstreams (Udalosti) Nie No No No Áno Neuvádza sa (nedá sa použiť) Čitateľ: 1
Spisovateľ: 2

* Databázy KQL poskytujú určité možnosti údržby tabuľky, ako napríklad uchovávanie údajov. Údaje sa odstránia na konci obdobia uchovávania z OneLake. Ďalšie informácie nájdete v téme Jedna logická kópia.

Poznámka

  • Fabric predvolene nezapisuje priradenia stĺpcov na základe názvov. V predvolenom prostredí služby Fabric sa generujú tabuľky, ktoré sú kompatibilné v rámci celej služby. Delta lake, vyrobené službami tretích strán, môže mať nekompatibilné funkcie tabuľky.
  • Niektoré skúsenosti s tkaninou nezdedili možnosti optimalizácie a údržby tabuliek, ako napríklad zhutnenie intervalov, poradie V a vyčistenie starých nevyriešených súborov. Ak chcete zachovať optimálne tabuľky Delta Lake pre analýzu, postupujte podľa techník v téme Používanie funkcie údržby tabuliek na správu delta tabuliek v službe Fabric pre tabuľky ingestované pomocou týchto skúseností.

Aktuálne obmedzenia

V súčasnosti fabric nepodporuje tieto funkcie delta lake:

  • Priradenie stĺpcov pomocou ID
  • Delta Lake 3.x Uniforma
  • Delta Lake 3.x Liquid clustering
  • TIMESTAMP_NTZ typ údajov
  • Písanie stĺpcov identity (vlastnícka funkcia Databricks)
  • Delta Live Tables (vlastnícka funkcia Databricks)

Súvisiaci obsah