Čo je dátové inžinierstvo v službe Microsoft Fabric?

Dátové inžinierstvo v službe Microsoft Fabric umožňuje používateľom navrhovať, vytvárať a udržiavať infraštruktúry a systémy, ktoré umožňujú ich organizáciám zhromažďovať, ukladať, spracovávať a analyzovať veľké objemy údajov.

Microsoft Fabric poskytuje rôzne možnosti dátového inžinierstva, ktoré zabezpečujú, že vaše údaje sú ľahko dostupné, dobre usporiadané a vysokokvalitné. Z domovskej stránky dátového inžiniera môžete:

• Vytvorenie a spravovanie údajov pomocou služby lakehouse

• Navrhujte kanály na kopírovanie údajov do vášho jazera

• Použitie definícií úloh spark na odoslanie úlohy dávkového/streamu do klastra Spark

• Poznámkové bloky môžete použiť na písanie kódu na príjem, prípravu a transformáciu údajov

  

Lakehouse

Služby Lakehouses sú údajové architektúry, ktoré umožňujú organizáciám ukladať a spravovať štruktúrované a neštruktúrované údaje na jednom mieste pomocou rôznych nástrojov a rámcov na spracovanie a analýzu týchto údajov. Tieto nástroje a rámce môžu zahŕňať dotazy a analýzy založené na SQL, ako aj strojové učenie a ďalšie techniky pokročilej analýzy.

Definícia úlohy v Apache Spark

Definície úloh spark sú množinou pokynov, ktoré definujú, ako vykonávať úlohu v klastri Spark. Obsahuje informácie, ako sú napríklad vstupné a výstupné zdroje údajov, transformácie a nastavenia konfigurácie pre aplikáciu Spark. Definícia úlohy spark umožňuje odoslať úlohu šarže/streamovania do klastra Spark, použiť inú logiku transformácie na údaje hosťované vo vašom úzovskom jazere spolu s mnohými ďalšími vecami.

Poznámkový blok

Poznámkové bloky predstavujú interaktívne výpočtové prostredie, ktoré umožňuje používateľom vytvárať a zdieľať dokumenty obsahujúce dynamický kód, rovnice, vizualizácie a text rozprávania. Používateľom umožňujú písať a spúšťať kód v rôznych programovacích jazykoch vrátane jazyka Python, R a Scala. Poznámkové bloky môžete použiť na príjem údajov, prípravu, analýzu a iné úlohy súvisiace s údajmi.

Dátový kanál

Kanály údajov predstavujú rad krokov, ktoré dokážu zhromažďovať, spracovávať a transformovať údaje zo svojej nespracovnej formy do formátu, ktorý môžete použiť na analýzu a rozhodovanie. Sú dôležitou zložkou dátového inžinierstva, pretože poskytujú spôsob, ako spoľahlivo, škálovateľným a efektívnym spôsobom presúvať údaje zo zdroja do cieľa.

Pri registrácii do skúšobnej verzie služby Fabric môžete bezplatne používať Dátový inžinier v službe Microsoft Fabric. Môžete si tiež kúpiť kapacitu služby Microsoft Fabric alebo vyhradenú kapacitu služby Fabric.

Súvisiaci obsah

Začíname s Dátový inžinier prostredím:

• Ďalšie informácie o jazerách nájdete v téme Čo je domov lakehouse v službe Microsoft Fabric?
• Ak chcete začať s jazerom lakehouse, pozrite si tému Vytvorenie jazera v službe Microsoft Fabric.
• Ďalšie informácie o definíciách úloh Apache Spark nájdete v téme Čo je definícia pracovnej úlohy v Apache Spark?
• Ak chcete začať pracovať s definíciou práce v Apache Spark, pozrite si tému Ako vytvoriť definíciu pracovnej úlohy v Apache Spark v službe Fabric.
• Ďalšie informácie o poznámkových blokoch nájdete v téme Vytváranie a spúšťanie poznámkového bloku.
• Ak chcete začať s aktivitami kopírovania kanála, pozrite si tému Kopírovanie údajov pomocou kopírovania aktivity.