Nejčastější dotazy ke službě Data Factory v Microsoft Fabric

Kanály Azure Data Factory (ADF) a Azure Synapse udržují samostatné plány paaS (Platform as a Service). Tato dvě řešení nadále existují společně se službou Fabric Data Factory, která slouží jako nabídka Software jako služba (SaaS). Kanály ADF a Synapse zůstávají plně podporované a neexistují žádné plány pro vyřazení. Je důležité zdůraznit, že pro všechny nadcházející projekty je naším návrhem zahájit používání služby Fabric Data Factory. Kromě toho máme zavedené strategie pro usnadnění přechodu kanálů ADF a Synapse do služby Fabric Data Factory, které jim umožňují využívat nové funkce infrastruktury. Další informace o tom najdete tady.

Vzhledem k tomu, že se snažíme přemostět mezery mezi funkcemi a začlenit robustní orchestraci datových kanálů a možnosti pracovních postupů, které najdete v kanálech ADF nebo Azure Synapse, do služby Fabric Data Factory bereme na vědomí, že některé funkce, které jsou přítomné v kanálech ADF nebo Synapse, můžou být pro vaše potřeby nezbytné. I když se doporučuje pokračovat v využívání kanálů ADF nebo Synapse, pokud jsou tyto funkce nezbytné, doporučujeme vám nejprve prozkoumat nové možnosti integrace dat v Prostředcích infrastruktury. Vaše zpětná vazba na to, které funkce jsou klíčové pro váš úspěch, je neocenitelná. Abychom to usnadnili, aktivně pracujeme na zavedení nové funkce, která umožňuje také migraci stávajících datových továren z Azure do pracovních prostorů Fabric.

Nové funkce z kanálů Fabric do kanálů ADF nebo Synapse nepřeportujeme. Udržujeme dva samostatné plány pro službu Fabric Data Factory a ADF/ Synapse. Požadavky backportu vyhodnocujeme v reakci na příchozí zpětnou vazbu.

Hlavní funkce kanálu Fabric je podobná kanálu Azure Synapse, ale pomocí kanálu Fabric můžou uživatelé použít všechny možnosti analýzy dat na platformě Fabric. Rozdíly a mapování funkcí mezi kanálem Infrastruktury a kanálem Azure Synapse najdete tady: Rozdíly mezi službou Data Factory v Prostředcích infrastruktury a Azure.

Data Factory pomáhá řešit složité scénáře integrace dat a ETL s využitím cloudových služeb pro přesun a transformaci dat, zatímco datové inženýrství pomáhá vytvářet jezero, pomocí Apache Sparku transformovat a připravovat data. Rozdíly mezi jednotlivými terminologií a prostředími prostředků infrastruktury jsou k dispozici v terminologii Microsoft Fabric.

Měsíční aktualizace Prostředků infrastruktury jsou k dispozici na blogu Microsoft Fabric.

Abychom usnadnili přechod zákazníků na Microsoft Fabric ze služby Azure Data Factory (ADF), nabízíme celou řadu základních funkcí a mechanismů podpory. Za prvé poskytujeme komplexní podporu pro většinu aktivit používaných v ADF v rámci prostředků infrastruktury spolu s přidáním nových aktivit přizpůsobených pro oznámení, jako jsou teams a funkce Outlooku. Zákazníci mají přístup k podrobnému seznamu dostupných aktivit ve službě Data Factory v rámci prostředků infrastruktury. Kromě toho jsme představili konektory Fabric Lakehouse / Warehouse ve službě Azure Data Factory, které zákazníkům ADF umožňují bezproblémovou integraci dat do prostředí OneLake fabric. Poskytujeme také průvodce pro zákazníky ADF, kteří pomáhají mapovat stávající transformace toku dat mapování na nové transformace toku dat Gen2. V rámci našeho plánu zahrnujeme možnost připojit prostředky ADF k prostředkům Fabric, což zákazníkům umožňuje zachovat funkčnost stávajících kanálů ADF v Azure při zkoumání prostředků infrastruktury a plánování komplexních strategií upgradu. Úzce spolupracujeme se zákazníky a komunitou, abychom zjistili nejúčinnější způsoby, jak podporovat migraci datových kanálů z ADF do Fabric. V rámci tohoto úsilí vám poskytneme prostředí pro upgrade, které vám umožní otestovat aktuální datové kanály v prostředcích infrastruktury prostřednictvím procesu připojení a upgradu.

Správci kapacity Microsoft Fabric můžou použít aplikaci Microsoft Fabric Capacity Metrics , označovanou také jako aplikace metrik, a získat tak přehled o prostředcích kapacity. Tato aplikace umožňuje správcům zjistit, kolik využití procesoru, doby zpracování a paměti využívají datové kanály, toky dat a další položky v pracovních prostorech s podporou kapacity Infrastruktury. Získejte přehled o příčinách přetížení, dobách špičky poptávky, spotřebě prostředků a snadnější identifikaci nejnáročnějších nebo nejoblíbenějších položek.

Aktivita Power Query v rámci ADF sdílí podobnosti s tokem dat Gen2, ale má další funkce, které umožňují akce, jako je zápis do konkrétních cílů dat atd. Toto porovnání odpovídá lépe toku dat Gen1 (toky dat Power BI nebo toky dat Power Apps). Další podrobnosti najdete tady: Rozdíly mezi tokem dat Gen1 a Tokem dat Gen2.

Pomocí místní brány dat se teď zákazníci můžou připojit k místním zdrojům dat pomocí toků dat a datových kanálů (Preview) se službou Data Factory v Microsoft Fabric. Další informace najdete v tématu Jak získat přístup k místním zdrojům dat ve službě Data Factory.

Brána virtuální sítě v současné době nabízí injektivní metodu pro bezproblémovou integraci do vaší virtuální sítě a poskytuje robustní způsob použití privátních koncových bodů k navázání zabezpečených připojení k úložišti dat. Je důležité si uvědomit, že brána virtuální sítě v tuto chvíli hostuje pouze toky dat Fabric. Naše nadcházející iniciativy však zahrnují rozšíření svých schopností tak, aby zahrnovaly kanály Fabric.

Služba Fabric Data Factory umožňuje vyvíjet kanály, které maximalizují propustnost přesunu dat pro vaše prostředí. Tyto kanály plně využívají následující prostředky:

• Šířka pásma sítě mezi zdrojovým a cílovým úložištěm dat
• Vstupně-výstupní operace zdrojového nebo cílového úložiště dat za sekundu (IOPS) a šířka pásma– Toto úplné využití znamená, že můžete odhadnout celkovou propustnost měřením minimální dostupné propustnosti s následujícími prostředky:
• Zdrojové úložiště dat
• Cílové úložiště dat
• Šířka pásma sítě mezi zdrojovým a cílovým úložištěm dat Mezitím průběžně pracujeme na inovacích, abychom zvýšili nejlepší možnou propustnost, kterou můžete dosáhnout. Dnes může služba přesunout datovou sadu TPC-DI (soubory parquet) o 1 TB do tabulky Fabric Lakehouse i datového skladu během 5 minut – přesun 1B řádků pod 1 min. Upozorňujeme, že tento výkon je pouze odkaz spuštěním výše uvedené testovací datové sady. Skutečná propustnost stále závisí na faktorech uvedených dříve. Propustnost můžete navíc vždy vynásobit spuštěním více aktivit kopírování paralelně. Například použití smyčky ForEach.

Různé úlohy mezi pracovními prostory můžete oddělit a použít role, jako je člen a prohlížeč, a vytvořit tak pracovní prostor pro přípravu dat, který předpí data pro pracovní prostor, který se používá pro trénování sestavy nebo umělé inteligence. S rolí čtenáře pak můžete využívat data z pracovního prostoru přípravy dat.

Naše aktuální zaměření zahrnuje aktivní vývoj funkcí CDC v rámci služby Data Factory In Fabric. Tato připravovaná funkce vám umožňuje přesouvat data mezi více zdroji dat a kombinovat různé vzory kopírování, včetně vzorů hromadného a dávkového kopírování, přírůstkového a průběžného kopírování (CDC) a modelu kopírování v reálném čase do jednoho prostředí s 5x5.

V určitých uživatelských prostředích můžete narazit na systémové artefakty, které nejsou určené pro interakci. Nejlepší je ignorovat tyto artefakty, protože se nakonec odeberou z prostředí Získat data v budoucnu.

Ceny služby Data Factory v Microsoft Fabric poskytují komplexní průvodce výpočtem nákladů pro datové kanály a tok dat Gen2. Obsahuje několik scénářů s příklady cen, které vám pomůžou lépe porozumět cenovému modelu.

Novinky a plány služby Data Factory v Microsoft Fabric poskytují přehled o nadcházejících funkcích a jejich odhadovaných časových osách vydání během několika příštích měsíců.

Další kroky

Úvod – kurz služby Data Factory