Migrácia: Vyhradené fondy SQL pre Azure Synapse Analytics do služby Fabric

Vzťahuje sa na: Warehouse v službe Microsoft Fabric

V tomto článku sa uvádza stratégia, dôležité informácie a metódy migrácie uskladňovania údajov do vyhradených fondov SQL služby Azure Synapse Analytics do skladu služby Microsoft Fabric.

Úvod do migrácie

Ako spoločnosť Microsoft uviedla službu Microsoft Fabric, komplexné analytické riešenie SaaS určené pre podniky, ktoré ponúkajú komplexný balík služieb vrátane služby Data Factory, Dátový inžinier, skladovania údajov, dátovej vedy, inteligencie v reálnom čase a služby Power BI.

Tento článok sa zameriava na možnosti migrácie schém (DDL), migrácie kód databázy (DML) a migráciu údajov. Spoločnosť Microsoft ponúka niekoľko možností. Tu sa podrobne venujeme každej možnosti a poskytujeme návod, ktorú z týchto možností by ste mali pri scenári zvážiť. V tomto článku sa používa priemyselné štandardy TPC-DS na ilustračné testovanie a testovanie výkonu. Váš skutočný výsledok sa môže líšiť v závislosti od mnohých faktorov vrátane typu údajov, typov údajov, šírky tabuliek, latencie zdrojov údajov atď.

Príprava na migráciu

Predtým, ako začnete, starostlivo naplánujte svoj projekt migrácie a uistite sa, že vaša schéma, kód a údaje sú kompatibilné so skladom služby Fabric. Existujú určité obmedzenia , ktoré je potrebné vziať do úvahy. Kvantifikujte prácu refaktorovania nekompatibilných položiek, ako aj iné zdroje potrebné pred odovzdaním migrácie.

Ďalším kľúčovým cieľom plánovania je upraviť váš návrh, aby vaše riešenie v plnej miere využilo vysoký výkon dotazov, ktorý je navrhnutý tak, aby poskytoval sklad služby Fabric. Navrhovanie skladov údajov na škálovanie predstavuje jedinečné vzory návrhu, takže tradičné prístupy nie sú vždy najlepšie. Prečítajte si usmernenia o výkone skladu služby Fabric, pretože hoci niektoré úpravy návrhu je možné vykonať po migrácii, vykonaním zmien v predchádzajúcej časti procesu ušetríte čas a námahu. Migrácia z jednej technológie/prostredia do druhej je vždy veľké úsilie.

Nasledujúci diagram znázorňuje zoznam životného cyklu migrácie so zoznamom hlavných pilierov pozostávajúcich z pilierov Assess and Evaluate, Plan and Design, Migrate, Monitor and Govern, Optimize a Modernize so súvisiacimi úlohami v každom pilieri na plánovanie a prípravu na bezproblémovú migráciu.

Príručka na migráciu

Nasledujúce aktivity považujte za plánovací program pre migráciu z vyhradených fondov SQL synapse do skladu fabricov.

1. Vyhodnotenie a vyhodnotenie
   1. Identifikovať ciele a motivácie. Stanoviť jasné požadované výsledky.
   2. Zisťovanie, posúdenie a pôvodný plán existujúcej architektúry.
   3. Identifikujte kľúčové zainteresované strany a sponzorov.
   4. Definujte rozsah toho, čo sa má migrovať.
      1. Začnite s malou alebo jednoduchou prípravou na niekoľko malých migrácií.
      2. Začnite monitorovať všetky fázy procesu a zdokumentovať ich.
      3. Vytvárať súpis údajov a procesov na migráciu.
      4. Definujte zmeny dátového modelu (ak existujú).
      5. Nastavenie pracovného priestoru služby Fabric.
   5. Aké máte zručnosti a preferencie?
      1. Automatizujte kdekoľvek je to možné.
      2. Použite vstavané nástroje a funkcie služby Azure na zníženie úsilia pri migrácii.
   6. Vlakový personál čoskoro na novej nástupišti.
      1. Identifikujte potreby a prostriedky na odbornú prípravu vrátane služby Microsoft Learn.
2. Plán a návrh
   1. Definujte požadovanú architektúru.
   2. Vyberte metódu alebo nástroje na migráciu a vykonajte tieto úlohy:
      1. Extrakcia údajov zo zdroja.
      2. Konverzia schémy (DDL) vrátane metaúdajov pre tabuľky a zobrazenia
      3. Príjem údajov vrátane historických údajov.
         1. V prípade potreby dátový model znova sformujte pomocou výkonu a škálovateľnosti novej platformy.
      4. Migrácia kódu databázy (DML).
         1. Migrujte alebo refaktorujte uložené procedúry a obchodné procesy.
   3. Inventár a extrahujte funkcie zabezpečenia a povolenia objektov zo zdroja.
   4. Navrhnite a plánujete nahradiť/upraviť existujúce procesy ETL/ELT pre prírastkové zaťaženie.
      1. Vytvárať paralelné procesy ETL/ELT do nového prostredia.
   5. Pripravte podrobný plán migrácie.
      1. Priraďte aktuálny stav na nový požadovaný stav.
3. Migrovať
   1. Vykonať schému, údaje, migráciu kódu.
      1. Extrakcia údajov zo zdroja.
      2. Konverzia schémy (DDL)
      3. Príjem údajov
      4. Migrácia kódu databázy (DML).
   2. V prípade potreby dočasne škálovanie vyhradených prostriedkov fondu SQL s cieľom pomôcť urýchliť migráciu.
   3. Použiť zabezpečenie a povolenia.
   4. Migrácia existujúcich procesov ETL/ELT na prírastkové zaťaženie.
      1. Migrujte alebo refaktorujte procesy prírastkového zaťaženia ETL/ELT.
      2. Testovanie a porovnanie paralelného prírastkového zaťaženia.
   5. Podľa potreby prispôsobte podrobný plán migrácie.
4. Monitorovanie a správne riadenie
   1. Spustite ho paralelne, porovnajte so zdrojovým prostredím.
      1. Otestujte aplikácie, platformy Business Intelligence a nástroje dotazov.
      2. Benchmark a optimalizácia výkonu dotazov.
      3. Monitorujte a spravujte náklady, zabezpečenie a výkon.
   2. Test riadenia a hodnotenie.
5. Optimalizácia a modernizácia
   1. Ak je podnikanie pohodlné, aplikácie prechodu a primárne platformy na vytváranie zostáv do služby Fabric.
      1. Škálovanie zdrojov nahor/nadol pri zmene vyťaženia zo služby Azure Synapse Analytics na microsoft Fabric.
      2. Vytvorte opakovateľnú šablónu zo skúseností získaných pre budúce migrácie. Iterate.
      3. Identifikácia príležitostí na optimalizáciu nákladov, zabezpečenie, škálovateľnosť a výkonnostná excelencia
      4. Identifikujte príležitosti na modernizáciu svojho údajového priestoru pomocou najnovších funkcií služby Fabric.

'Výťah a posun' alebo modernizovať?

Vo všeobecnosti existujú dva typy scenárov migrácie bez ohľadu na účel a rozsah plánovanej migrácie: zrušenie a zmena v etape vývoja alebo postupný prístup, ktorý zahŕňa architektonické a zmeny kódu.

Výťah a posun

V migrácii výťahov a zmien sa existujúci dátový model migruje s menšími zmenami v novom sklade tkaniny. Tento prístup minimalizuje riziko a čas migrácie znížením novej práce potrebnej na realizáciu výhod migrácie.

Migrácia po výťahu a posune je dobrou vhodná pre tieto scenáre:

• Na migráciu máte existujúce prostredie s malým počtom trhy údajov.
• Máte existujúce prostredie s údajmi, ktoré sa už nachádzajú v dobre navrhnutej hviezdicovej alebo snehovej vločke.
• Ste pod časovým a nákladovým tlakom, aby ste sa mohli presunúť do skladu služby Fabric.

V skratke tento prístup funguje dobre pri tých vyťaženiach, ktoré sú optimalizované pomocou aktuálneho prostredia vyhradených fondov SQL Synapse, a preto nevyžaduje veľké zmeny v službe Fabric.

Modernizácia v postupnom prístupe pomocou architektonických zmien

Ak sa starší sklad údajov vyvinul za dlhší čas, možno ho budete musieť znova skonštruovať, aby ste udržali požadované úrovne výkonu.

Možno budete chcieť redesign architektúry, aby ste využili nové motory a funkcie, ktoré sú k dispozícii v pracovnom priestore služby Fabric.

Rozdiely v návrhu: Fondy SQL s vyhradenou službou Synapse a sklad služby Fabric

Pozrite si nasledujúce rozdiely v sklade údajov Azure Synapse a Microsoft Fabric, pričom porovnajte vyhradené fondy SQL so skladom služby Fabric.

Dôležité informácie týkajúce sa tabuliek

Pri migrácii tabuliek medzi rozličnými prostrediami zvyčajne iba nespracované údaje a metaúdaje fyzicky migrujú. Iné prvky databázy zo zdrojového systému, ako napríklad indexy, zvyčajne nie sú migrované, pretože môžu byť nepotrebné alebo implementované inak v novom prostredí.

Optimalizácie výkonu v zdrojovom prostredí, ako sú napríklad indexy, označujú, kde by ste mohli pridať optimalizáciu výkonu v novom prostredí, ale teraz sa o to služba Fabric postará automaticky za vás.

Dôležité informácie týkajúce sa T-SQL

Je niekoľko rozdielov syntaxe jazyka na manipuláciu s údajmi (DML), o ktorých by ste mali vedieť. Pozrite si oblasť povrchu T-SQL v službe Microsoft Fabric. Zvážte tiež hodnotenie kódu pri výbere metód migrácie pre kód databázy (DML).

V závislosti od rozdielov rovnosti v čase migrácie môže byť potrebné prepísať časti svojho kódu DML T-SQL.

Rozdiely v mapovaní typov údajov

V sklade služby Fabric warehouse existuje niekoľko rozdielov typov údajov. Ďalšie informácie nájdete v téme Typy údajov v službe Microsoft Fabric.

Nasledujúca tabuľka uvádza mapovanie podporovaných typov údajov zo služby Synapse dedicated SQL pools do skladu fabricov.

Fondy Synapse dedicated SQL	Sklad tkaniny
Peniaze	desatinné číslo (19,4)
malé peniaze	desatinné číslo (10,4)
smalldatetime	datetime2
Datetime	datetime2
Počet kuchárov	Char
Nvarchar	Varchar
tinyint	smallint (malá)
Binárne	varbinary
množina dátumu a času*	datetime2

* Datetime2 neukladá dodatočné informácie o posune časového pásma, ktoré sú uložené v. Keďže typ údajov datetimeoffset nie je v súčasnosti podporovaný v sklade služby Fabric, údaje posunu časového pásma by sa museli extrahovať do samostatného stĺpca.

Schéma, kód a metódy migrácie údajov

Preskúmajte a identifikujte, ktorá z týchto možností zodpovedá vášmu scenáru, skupinám zručností zamestnancov a charakteristikám vašich údajov. Zvolená možnosť bude závisieť od vašich skúseností, preferencií a výhod každého z nástrojov. Naším cieľom je pokračovať vo vývoji nástrojov na migráciu, ktoré zmiernia trenie a manuálne zásahy, aby bolo proces migrácie bezproblémový.

Táto tabuľka obsahuje súhrn informácií pre schému údajov (DDL), kód databázy (DML) a metódy migrácie údajov. Ďalej rozbalíme jednotlivé scenáre prepojené v stĺpci Option (Možnosť ).

Číslo možnosti	Možnosť	Čo urobí	Skill/Preference	Scenár
1	Data Factory	Konverzia schémy (DDL) Extrahovanie údajov Prijímanie údajov	ADF/kanál	Zjednodušiť všetko v jednej schéme (DDL) a migrácii údajov. Odporúčané pre tabuľky dimenzií.
2	Data Factory s oblasťou	Konverzia schémy (DDL) Extrahovanie údajov Prijímanie údajov	ADF/kanál	Použitie možností rozdelenia na zvýšenie paralelného čítania a zapisovania poskytuje 10-násobnú priepustnosť vs. možnosť 1, odporúča sa pre tabuľky faktov.
3	Data Factory s zrýchleným kódom	Konverzia schémy (DDL)	ADF/kanál	Najskôr konvertujte a migrujte schému (DDL), potom použite funkciu CETAS na extrahovanie a extrahovanie údajov COPY/Data Factory do údajov ingestu, aby ste dosiahli optimálny celkový výkon príjmu.
4	Uložené procedúry v zrýchlenom kóde	Konverzia schémy (DDL) Extrahovanie údajov Hodnotenie kódu	T-SQL	Používateľ SQL, ktorý používa prostredie IDE, s väčšou podrobnou kontrolou nad tým, s ktorými úlohami chce pracovať. Na ingestovanie údajov použite službu COPY/Data Factory.
5	Projektové rozšírenie databázy SQL pre Azure Data Studio	Konverzia schémy (DDL) Extrahovanie údajov Hodnotenie kódu	Projekt SQL	Projekt databázy SQL na nasadenie s integráciou možnosti 4. Na ingestovanie údajov použite službu COPY alebo Data Factory.
6	VYTVORENIE EXTERNEJ TABUĽKY PODĽA VÝBERU (CETAS)	Extrahovanie údajov	T-SQL	Nákladovo efektívne a vysoko výkonné extrahovanie údajov do služby Azure Data Lake Storage (ADLS) Gen2. Na ingestovanie údajov použite službu COPY/Data Factory.
7	Migrácia pomocou databázy	Konverzia schémy (DDL) Konverzia kódu databázy (DML)	Dbt	Existujúci používatelia dbt môžu použiť adaptér dbt Fabric na konverziu ich DDL a DML. Potom musíte migrovať údaje pomocou iných možností v tejto tabuľke.

Výber vyťaženia pre počiatočnú migráciu

Keď sa rozhodujete, kde začať s vyhradeným fondom SQL služby Synapse na projekt migrácie do skladu služieb Fabric, vyberte oblasť vyťaženia, v ktorej môžete:

• Vďaka rýchlemu poskytovaniu výhod nového prostredia do skladu služieb Fabric preukážte využiteľnosť migrácie do skladu služieb Fabric. Začnite s malou alebo jednoduchou prípravou na niekoľko malých migrácií.
• Umožnite vašim interným technickým zamestnancom získať relevantné skúsenosti s procesmi a nástrojmi, ktoré používajú pri migrácii do iných oblastí.
• Vytvorte šablónu na ďalšie migrácie, ktoré sú špecifické pre zdrojové prostredie Synapse, a nástroje a procesy, ktoré pomôžu.

Tip

Vytvorte súpis objektov, ktoré je potrebné migrovať, a zdokumentujte proces migrácie od začiatku do konca, aby ho bolo možné zopakovať pre iné vyhradené fondy alebo vyťaženia SQL.

Objem migrovaných údajov v počiatočnej migrácii by mal byť dostatočne veľký na to, aby preukázal možnosti a výhody prostredia skladu tkaniny, ale nie príliš veľký na to, aby rýchlo ukázal hodnotu. Typický je rozsah 1 – 10 terabajtov.

Migrácia pomocou služby Fabric Data Factory

V tejto časti si rozoberieme možnosti používania služby Data Factory pre subjekt s minimálnym použitím kódu alebo bez písania kódu, ktorí sú oboznámení so službami Azure Data Factory a Synapse Pipeline. Táto možnosť používateľského rozhrania presunutia myšou poskytuje jednoduchý krok na konverziu DDL a migráciu údajov.

Fabric Data Factory môže vykonávať nasledujúce úlohy:

• Konvertujte syntax schémy (DDL) na Fabric Warehouse.
• Vytvorte schému (DDL) v sklade služby Fabric.
• Migrácia údajov do skladu služby Fabric.

Možnosť č. 1. Migrácia schém/údajov – Kopírovať sprievodcu a Aktivita kopírovania programu ForEach

Táto metóda používa asistenta kopírovania v službe Data Factory na pripojenie k zdroju vyhradenému fondu SQL, konverziu vyhradenej syntaxe DDL fondu SQL do služby Fabric a skopírovanie údajov do skladu služby Fabric. Môžete vybrať 1 alebo viac cieľových tabuliek (pre množinu údajov TPC-DS existuje 22 tabuliek). Generuje ForEach slučky cez zoznam tabuliek vybratých v používateľskom rozhraní a poter 22 paralelné kopírovať činnosť vlákna.

• 22 Dotazy SELECT (jeden pre každú vybratú tabuľku) sa vygenerovali a vykonali vo vyhradenom fonde SQL.
• Uistite sa, že máte vhodnú dwu a triedu zdrojov, aby bolo možné vykonať dotazy vygenerované. V tomto prípade potrebujete minimálne DWU1000 s staticrc10 , aby bolo možné spracovať 22 odoslaných dotazov maximálne 32 dotazov.
• Priame kopírovanie údajov z vyhradeného fondu SQL do skladu služby Data Factory vyžaduje spájanie. Proces príjmu pozostával z dvoch fáz.
  • Prvá fáza sa skladá z extrahovania údajov z vyhradeného fondu SQL do ADLS a označuje sa ako pracovná inštalácia.
  • Druhá fáza sa skladá z ingestovania údajov z pracovnej verzie do skladu tkaniny. Väčšina časovania príjmu údajov sa nachádza v fáze spájania. Ako v skratke, inscenácia má obrovský vplyv na výkon príjmu.

Odporúčané použitie

Použitie Sprievodcu kopírovaním na generovanie funkcie ForEach poskytuje jednoduché používateľské rozhranie na konverziu DDL a ingestovanie vybratých tabuliek z vyhradeného fondu SQL do skladu služby Fabric v jednom kroku.

S celkovou priepustnosťou však nie je optimálna. Hlavnými faktormi latencie výkonu je požiadavka na používanie pracovnej verzie, potreba paralelného čítania a zapisovania pre krok "Source to Stage" (Zdroj k fáze). Túto možnosť sa odporúča použiť iba pre tabuľky dimenzií.

Možnosť č. 2. Migrácia DDL/údajov – kanál údajov pomocou možnosti oblasti

Ak chcete riešiť zlepšenie priepustnosti na načítanie väčších tabuliek faktov pomocou kanála údajov služby Fabric, odporúča sa použiť možnosť Kopírovať aktivitu pre každú tabuľku faktov s možnosťou oblasti. Pri kopírovaní aktivity tak dosiahnete najlepší výkon.

Ak je k dispozícii, môžete použiť fyzické rozdelenie zdrojovej tabuľky. Ak tabuľka nemá fyzické rozdelenie, musíte zadať stĺpec oblasti a zadať hodnoty minima/maxima, aby sa použilo dynamické rozdelenie. Na nasledujúcej snímke obrazovky sú možnosti zdroja údajov určujúci dynamický rozsah oblastí založených na stĺpciws_sold_date_sk.

Použitie oblasti môže zvýšiť priepustnosť pomocou fáz vnášacej fázy, je potrebné zvážiť vhodné úpravy:

• V závislosti od rozsahu oblastí by potenciálne mohol používať všetky intervaly súbežnosti, keďže by mohol generovať viac ako 128 dotazov vo vyhradenom fonde SQL.
• Ak chcete povoliť vykonávanie všetkých dotazov, musíte mierku upraviť na minimálnu DWU6000.
• Ako príklad pre tabuľku TPC-DS web_sales bolo odoslaných 163 dotazov do vyhradeného fondu SQL. V DWU6000 sa vykonalo 128 dotazov, zatiaľ čo do frontu bolo zaradených 35 dotazov.
• Dynamická oblasť automaticky vyberie oblasť rozsahu. V tomto prípade rozsah 11 dní pre každý dotaz SELECT odoslaný do vyhradeného fondu SQL. Napríklad:

  WHERE [ws_sold_date_sk] > '2451069' AND [ws_sold_date_sk] <= '2451080')
  ...
  WHERE [ws_sold_date_sk] > '2451333' AND [ws_sold_date_sk] <= '2451344')
  

Odporúčané použitie

Pre tabuľky faktov odporúčame použiť službu Data Factory s možnosťou rozdelenia na zvýšenie priepustnosť.

Zvýšené paralelné načítavanie však vyžaduje vyhradený fond SQL na škálovanie na vyššiu hodnotu DWU, čím sa umožní vykonanie extrahovaných dotazov. Pri priemere rozdelenia sa miera zlepší 10-násobne nad možnosťou bez oblasti. Môžete zvýšiť dwu a získať dodatočnú priepustnosť prostredníctvom výpočtových zdrojov, ale vyhradený fond SQL má maximálne 128 aktívnych dotazov.

Možnosť č. 3. Migrácia DDL – kopírovanie aktivity kopírovania údajov ForEach

Dve predchádzajúce možnosti sú skvelé možnosti migrácie údajov pre menšie databázy. Ak však potrebujete vyššiu priepustnosť, odporúčame alternatívnu možnosť:

1. Extrahovanie údajov z vyhradeného fondu SQL do ADLS, čím sa zmierni režijné náklady na výkon fázy.
2. Použite buď službu Data Factory, alebo príkaz COPY na presunutie údajov do skladu služby Fabric.

Odporúčané použitie

Na konverziu schémy (DDL) môžete naďalej používať službu Data Factory. Pomocou Sprievodcu kopírovaním môžete vybrať konkrétnu tabuľku alebo Všetky tabuľky. Tým sa v jednom kroku migruje schéma a údaje a bez riadkov extrahuje schému s použitím podmienky TOP 0 false vo príkaze dotazu.

Nasledujúca ukážka kódu zahŕňa migráciu schém (DDL) pomocou služby Data Factory.

Príklad kódu: Migrácia schémy (DDL) pomocou služby Data Factory

Pomocou údajových kanálov služby Fabric môžete jednoducho migrovať cez DDL (schémy) pre objekty tabuľky z ľubovoľného zdroja databázy Azure SQL alebo vyhradeného fondu SQL. Tento kanál údajov migruje cez schému (DDL) pre zdrojové tabuľky fondu SQL do skladu služby Fabric.

Návrh kanála: parametre

Tento údajový kanál prijíma parameter SchemaName, ktorý vám umožňuje určiť schémy, ktoré sa majú migrovať. Schéma dbo je predvolená.

Do poľa Predvolená hodnota zadajte zoznam schémy tabuľky s hodnotami oddelenými čiarkou, ktorý označuje schémy, ktoré sa majú migrovať: 'dbo','tpch' na poskytnutie dvoch schém dbo a tpch.

Návrh kanála: Aktivita vyhľadávania

Vytvorte aktivitu vyhľadávania a nastavte Pripojenie ion tak, aby smerovala na zdrojovú databázu.

Na karte Nastavenia:

• Nastavte typ ukladacieho priestoru údajov na externý.

• Pripojenie ion je váš vyhradený fond SQL služby Azure Synapse. Pripojenie ón je typ Azure Synapse Analytics.

• Možnosť Použiť dotaz je nastavená na možnosť Dotaz.

• Pole Dotaz je potrebné zostaviť pomocou dynamického výrazu, ktorý umožní použitie parametra SchemaName v dotaze, ktorý vráti zoznam tabuliek cieľového zdroja. Vyberte položku Dotaz a potom položku Pridať dynamický obsah.

  Tento výraz v rámci aktivity LookUp vygeneruje príkaz SQL na dotazovanie systémových zobrazení na načítanie zoznamu schém a tabuliek. Odkazuje na parameter SchemaName a povolí filtrovanie schém SQL. Výstupom tohto je pole schémy SQL a tabuľky, ktoré sa použijú ako vstup do aktivity ForEach.

  Pomocou nasledujúceho kódu môžete vrátiť zoznam všetkých tabuliek používateľov s názvom schémy.

  @concat('
  SELECT s.name AS SchemaName,
  t.name  AS TableName
  FROM sys.tables AS t
  INNER JOIN sys.schemas AS s
  ON t.type = ''U''
  AND s.schema_id = t.schema_id
  AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
  ')
  

Návrh kanála: Slučka forEach

Pre slučku ForEach nakonfigurujte nasledujúce možnosti na karte Nastavenia:

• Ak chcete povoliť súbežné spúšťanie viacerých iterácií, zakážte položku Sekvenčné .
• Položku Počet šarží nastavte na 50hodnotu , čím obmedzíte maximálny počet súbežných iterácií.
• Pole Items musí používať dynamický obsah na odkazovanie na výstup aktivity LookUp. Použite nasledujúci úryvok kódu: @activity('Get List of Source Objects').output.value

Návrh kanála: Kopírovanie aktivity v slučke ForEach

V rámci aktivity ForEach pridajte aktivitu kopírovania. Táto metóda používa jazyk Dynamic Expression v rámci údajových kanálov na vytvorenie a na migráciu SELECT TOP 0 * FROM <TABLE> iba schémy bez údajov do skladu služby Fabric.

Na karte Zdroj :

• Nastavte typ ukladacieho priestoru údajov na externý.
• Pripojenie ion je váš vyhradený fond SQL služby Azure Synapse. Pripojenie ón je typ Azure Synapse Analytics.
• Nastavte položku Použiť dotaz na možnosť Dotaz.
• Do poľa Dotaz prilepte dotaz dynamického obsahu a použite tento výraz, ktorý vráti nulové riadky, a to len schému tabuľky:@concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName)

Na karte Cieľ :

• Nastavte typ ukladacieho priestoru údajov na pracovný priestor.
• Typ úložiska údajov pracovného priestoru je Data Warehouse a položka Sklad údajov je nastavená na možnosť Sklad údajov.
• Cieľová schéma tabuľky a názov tabuľky sú definované pomocou dynamického obsahu.
  • Schéma odkazuje na pole aktuálnej iterácie SchemaName s úryvkom: @item().SchemaName
  • Tabuľka odkazuje tableName pomocou úryvku: @item().TableName

Návrh kanála: Drez

V časti Sink (Drez) ukážte na sklad a odkazujte na zdrojovú schému a názov tabuľky.

Po spustení tohto kanála sa zobrazí sklad údajov vyplnený každou tabuľkou v zdroji s správnou schémou.

Migrácia pomocou uložených procedúr vo vyhradenom fonde SQL služby Synapse

Táto možnosť používa uložené procedúry na vykonanie migrácie tkaniny.

Ukážky kódu môžete získať pri migrácii na lokalitu Microsoft/fabric-migration na GitHub.com. Tento kód sa zdieľa ako open-source, takže neváhajte a prispejte k spolupráci a pomoci komunite.

Čo môžu robiť uložené procedúry migrácie:

1. Konvertujte syntax schémy (DDL) na Fabric Warehouse.
2. Vytvorte schému (DDL) v sklade služby Fabric.
3. Extrahovanie údajov z vyhradeného fondu SQL služby Synapse do ADLS.
4. Označte nepodporovanú syntax tkaniny pre kódy T-SQL (uložené procedúry, funkcie, zobrazenia).

Odporúčané použitie

Toto je skvelá možnosť pre tých, ktorí:

• Sú oboznámení s T-SQL.
• Chcete použiť integrované vývojové prostredie, ako napríklad SQL Server Management Studio (SSMS).
• Chcete mať väčšiu kontrolu nad tým, na ktorých úlohách chcú pracovať.

Môžete spustiť konkrétnu uloženú procedúru pre konverziu schémy (DDL), extrahovanie údajov alebo hodnotenie kódu T-SQL.

Na migráciu údajov budete musieť použiť buď funkciu COPY INTO, alebo Data Factory na prijímanie údajov do skladu údajov.

Migrácia pomocou projektu databázy SQL

Sklad údajov služby Microsoft Fabric je podporovaný v rozšírení Sql Database Projects, ktoré je k dispozícii v rámci služieb Azure Data Studio a Visual Studio Code.

Toto rozšírenie je k dispozícii v rámci služieb Azure Data Studio a Visual Studio Code. Táto funkcia umožňuje možnosti pre kontrolu zdrojov, testovanie databázy a overenie schémy.

Odporúčané použitie

Táto možnosť je skvelou možnosťou pre tých, ktorí na svoje nasadenie radšej používajú projekt SQL Database Project. Táto možnosť v podstate integrovala uložené procedúry migrácie do projektu SQL Database Project, čím sa zabezpečí bezproblémová migrácia.

Projekt databázy SQL môže:

1. Konvertujte syntax schémy (DDL) na Fabric Warehouse.
2. Vytvorte schému (DDL) v sklade služby Fabric.
3. Extrahovanie údajov z vyhradeného fondu SQL služby Synapse do ADLS.
4. Príznak nepodporovanú syntax pre kódy T-SQL (uložené procedúry, funkcie, zobrazenia).

V prípade migrácie údajov použijete buď funkciu COPY INTO, alebo Data Factory na presunutie údajov do skladu služby Fabric.

Tím služby Microsoft Fabric CAT pridal k možnosti podpory služby Azure Data Studio do služby Fabric súbor skriptov PowerShell na spracovanie extrakcie, vytvárania a nasadenia schémy (DDL) a kódu databázy (DML) prostredníctvom projektu databázy SQL. Návod na používanie projektu DATABÁZA SQL s našimi užitočnými skriptami prostredia PowerShell nájdete v téme Migrácia na lokalitu microsoft/fabric-migration on GitHub.com.

Ďalšie informácie o databázovom projekte SQL nájdete v téme Začíname s rozšírením Sql Database Projects a Tvorba a publikovanie projektu.

Migrácia údajov pomocou cetas

Príkaz T-SQL CREATE EXTERNAL TABLE AS SELECT (CETAS) poskytuje nákladovo efektívnu a optimálnu metódu na extrahovanie údajov z vyhradených fondov SQL Synapse do služby Azure Data Lake Storage (ADLS) Gen2.

Čo dokáže CETAS:

• Extrahovanie údajov do ADLS.
  • Táto možnosť vyžaduje, aby používatelia vytvorili schému (DDL) v sklade služby Fabric pred prenesením údajov. Zvážte možnosti v tomto článku na migráciu schémy (DDL).

Medzi výhody tejto možnosti patria:

• Pre zdroj synapse dedicated SQL pool sa odošle iba jeden dotaz na tabuľku. Nebudú sa tým využívať všetky intervaly súbežnosti, a preto nebudú blokovať súbežné produkčné ETL/dotazy zákazníka.
• Zmena mierky na DWU6000 nie je potrebná, pretože pre každú tabuľku sa používa len jeden slot súbežnosti, takže zákazníci môžu používať nižšie DWU.
• Extrahovanie sa spustí paralelne vo všetkých výpočtových uzloch a toto je kľúč k zlepšeniu výkonu.

Odporúčané použitie

Použitie CETAS na extrahovanie údajov do ADLS vo formáte súboru Parquet. Parquet súbory poskytujú výhodu efektívneho úložiska s stĺpcovou kompresiou, ktorá bude mať menšiu šírku pásma pre pohyb v sieti. Keďže fabric ukladal údaje ako formát Delta parquet, príjem údajov bude v porovnaní s formátom textového súboru 2,5-násobne rýchlejší, pretože počas príjmu nedôjde k žiadnej konverzii na formát Delta.

Ak chcete zvýšiť priepustnosť CETAS:

• Pridajte paralelné operácie CETAS, zvýši sa využívanie slotov súbežnosti, ale umožní sa väčšia priepustnosť.
• Škálovanie dwu na vyhradenom fonde SQL Synapse.

Migrácia cez dbt

V tejto časti si rozoberieme možnosť dbt pre tých zákazníkov, ktorí už používajú dbt v aktuálnom vyhradenom prostredí fondu SQL Synapse.

Čo dbt môže robiť:

1. Konvertujte syntax schémy (DDL) na Fabric Warehouse.
2. Vytvorte schému (DDL) v sklade služby Fabric.
3. Konverzia kódu databázy (DML) na syntax tkaniny.

Architektúra dbt generuje DDL a DML (skripty SQL) za behu s každým spustením. So súbormi modelu vyjadrenými v príkazoch SELECT možno DDL/DML okamžite preložiť na akúkoľvek cieľovú platformu zmenou profilu (reťazec pripojenia) a typu adaptéra.

Odporúčané použitie

Architektúra dbt je kódom prvý prístup. Údaje sa musia migrovať pomocou možností uvedených v tomto dokumente, ako sú napríklad CETAS alebo COPY/Data Factory.

Adaptér na dbt pre Microsoft Fabric Synapse Data Warehouse umožňuje existujúce projekty dbt, ktoré sa zameriavali na rôzne platformy, ako sú vyhradené fondy SQL Synapse, Snowflake, Databricks, Google Big Query alebo Amazon Redshift, aby sa mohli migrovať do skladu služby Fabric s jednoduchou zmenou konfigurácie.

Ak chcete začať pracovať s projektom dbt zameraným na sklad údajov služby Fabric, pozrite si tému Kurz: Nastavenie databázy pre sklad údajov služby Fabric. Tento dokument obsahuje aj možnosť presúvať sa medzi rôznymi skladmi alebo platformami.

Príjem údajov do skladu údajov

Pri prímesi do skladu služby Fabric použite službu COPY INTO alebo Fabric Data Factory v závislosti od vašich preferencií. Obe metódy sú odporúčané a možnosti s najlepším výkonom, pretože majú ekvivalentnú priepustnosť výkonu, vzhľadom na predpoklad, že súbory sú už extrahované do služby Azure Data Lake Storage (ADLS) Gen2.

Niekoľko faktorov, ktoré treba poznamenať, aby ste mohli navrhnúť proces s cieľom maximálneho výkonu:

• So službou Fabric neexistuje žiadne tvrdenie o prostriedkoch, ktoré by súbežne načítavali viacero tabuliek z ADLS do skladu fabricov. V dôsledku toho neexistuje žiadny pokles výkonu načítanie paralelných vlákien. Maximálna priepustnosť príjmu bude obmedzená len výpočtovým výkonom kapacity služby Fabric.
• Správa vyťaženia služby fabric poskytuje oddelenie zdrojov vyhradených pre načítanie a dotazovanie. Zatiaľ čo sa dotazy a načítavanie údajov vykonávajú v rovnakom čase, k žiadnemu sporu o zdroje nedochádza.

Súvisiaci obsah

• Vytvorenie skladu v službe Microsoft Fabric
• Usmernenia o výkone skladu údajov Synapse v službe Microsoft Fabric
• Zabezpečenie skladu údajov v službe Microsoft Fabric