Ez a cikk a Microsoft Fabric Data Factory szolgáltatással kapcsolatos gyakori kérdésekre ad választ.
Mi az Azure Data Factory (ADF) és a Synapse Pipelines jövője?
Az Azure Data Factory (ADF) és az Azure Synapse-folyamatok külön Platform as a Service (PaaS) ütemterveket tartanak fenn. Ez a két megoldás továbbra is együtt van a Fabric Data Factoryvel, amely a Szoftver mint szolgáltatás (SaaS) ajánlatként szolgál. Az ADF- és Synapse-folyamatok továbbra is teljes mértékben támogatottak, és nincsenek értékcsökkenési tervek. Fontos kiemelni, hogy a közelgő projektek esetében javasoljuk, hogy a Fabric Data Factory használatával kezdeményezzük azokat. Emellett olyan stratégiákkal is rendelkezünk, amelyek megkönnyítik az ADF- és Synapse-folyamatok Fabric Data Factoryre való áttérését, így kihasználhatják az új Fabric-funkciók előnyeit.
Tekintettel a Data Factory for Fabric funkcióbeli hiányosságaira, mik az okai annak, hogy az ADF/Synapse-folyamatokon keresztül válassza ki?
Mivel igyekszünk áthidalni a funkcióbeli hiányosságokat, és beépítjük az ADF/Azure Synapse-folyamatokban található robusztus adatfolyamat-vezénylési és munkafolyamat-képességeket a Fabric Data Factorybe, elismerjük, hogy az ADF/Synapse-folyamatokban található egyes funkciók elengedhetetlenek lehetnek az Ön igényeihez. Bár javasoljuk, hogy továbbra is használja az ADF/Synapse-folyamatokat, ha ezekre a funkciókra van szükség, javasoljuk, hogy először vizsgálja meg az új adatintegrációs lehetőségeket a Fabricben. A sikeresség szempontjából kulcsfontosságú funkciókkal kapcsolatos visszajelzés felbecsülhetetlen értékű. Ennek megkönnyítése érdekében aktívan dolgozunk egy új képesség bevezetésén, amely lehetővé teszi a meglévő adat-előállítók Azure-ból Fabric-munkaterületekre való migrálását is.
A Fabric Data Factory új funkciói az ADF-ben/Synapse-ban is elérhetők?
Nem küldünk vissza új funkciókat a Fabric-folyamatokból az ADF/Synapse-folyamatokba. A Fabric Data Factory és az ADF/Synapse esetében két külön ütemtervet tartunk fenn. A beérkező visszajelzésekre válaszul kiértékeljük a backport-kérelmeket.
A Fabric Pipeline megegyezik az Azure Synapse Pipeline-zal?
A Fabric-folyamat fő funkciója hasonló az Azure Synapse-folyamathoz, de a Fabric-folyamat használatával a felhasználók a Fabric platform összes adatelemzési funkcióját alkalmazhatják. A Fabric-folyamat és az Azure Synapse-folyamat közötti jelentős különbségek és funkcióleképezések itt találhatók: Különbségek a Data Factory és az Azure között.
Mi a különbség a Data Factory és az Data Engineering lap között a Fabricben?
A Data Factory segítségével összetett adatintegrációs és ETL-forgatókönyveket oldhat meg felhőalapú adatáthelyezési és adatátalakítási szolgáltatásokkal, míg az adatfejlesztés segít a tóház létrehozásában, az Apache Spark használatával az adatok átalakításában és előkészítésében. Az egyes Fabric-terminológiák és -szolgáltatások közötti különbségek a Microsoft Fabric terminológiájában érhetők el.
Hol találom a Hálóban elérhető havi frissítéseket?
A Fabric havi frissítései a Microsoft Fabric blogjában érhetők el.
Hogyan migrálja a meglévő folyamatokat az Azure Data Factory (vagy) Azure Synapse-munkaterületről a Fabric Data Factorybe?
Jelenleg az egyetlen elérhető módszer a folyamatok újbóli létrehozása a Fabric Data Factoryben. Szorgalmasan fejlesztünk egy új funkciót, amely lehetővé teszi a felhasználóknak, hogy hatékonyan felügyelhessék és felügyelhessék a Fabric-platformon belüli Fabric- és ADF-folyamatokat. Ez az innovatív új képesség nemcsak a termék folytonosságának zökkenőmentes megőrzését garantálja, hanem lehetőséget biztosít a felhasználóknak arra is, hogy belemerüljenek a Fabric adatintegrációs képességei által kínált továbbfejlesztett funkciókba.
Hogyan nyomon követni és figyelni a folyamatokhoz használt Háló kapacitását?
A Microsoft Fabric kapacitásadminisztrátorai a Microsoft Fabric Kapacitásmetrikák alkalmazást, más néven a metrikák alkalmazást használhatják a kapacitáserőforrások láthatóságának megszerzéséhez. Ez az alkalmazás lehetővé teszi a rendszergazdák számára, hogy lássák, mennyi processzorkihasználtságot, feldolgozási időt és memóriát használnak ki adatfolyamok, adatfolyamok és egyéb elemek a Fabric kapacitás-kompatibilis munkaterületeiken. Betekintést nyerhet a túlterhelés okaiba, a csúcsterhelési időkbe, az erőforrás-felhasználásba, és könnyebben azonosíthatja a legigényesebb vagy legnépszerűbb elemeket.
A Fabric Dataflow Gen2 hasonló az Azure Data Factoryben beágyazott Power Queryhez?
Az ADF-ben a Power Query-tevékenység hasonlóságokat oszt meg a Dataflow Gen2-vel, de olyan további funkciókkal rendelkezik, amelyek lehetővé teszik az olyan műveleteket, mint az írás adott adatcélokra stb. Ez az összehasonlítás jobban illeszkedik az 1. generációs adatfolyamhoz (Power BI-adatfolyamokhoz vagy Power Apps-adatfolyamokhoz). További részletekért tekintse meg az 1. generációs adatfolyam és a 2. generációs adatfolyam közötti különbségeket.
Hogyan csatlakozhatok helyszíni adatforrásokhoz a Fabric Data Factoryben?
A jelenlegi fókusz a Fabric-folyamat támogatásának aktív fejlesztését foglalja magában a helyszíni adatátjárón belül. Ez a hamarosan megjelenő funkció lehetővé teszi, hogy zökkenőmentesen kihasználhassa a Fabric-folyamatokat a közvetlen helyszíni adathozzáférés érdekében. Amíg ez a funkció el nem érhető, megvalósítható áthidaló megoldás érhető el: a Fabric-adatfolyam használatával adatokat továbbíthat a felhőbeli tárolóba, majd a Fabric-folyamatot alkalmazva megkönnyítheti az adatok kívánt célhelyre való áthelyezését. Ez zökkenőmentes átmenetet biztosít, amíg a helyszíni adatátjáró-integráció el nem érhető.
Lehet csatlakozni a Meglévő privát végpont (PE) által engedélyezett erőforrásokhoz a Fabric Data Factoryben?
A VNet-átjáró jelenleg egy injektív módszert kínál a virtuális hálózatba való zökkenőmentes integráláshoz, amely robusztus lehetőséget biztosít a privát végpontok használatára az adattárakhoz való biztonságos kapcsolatok létrehozásához. Fontos megjegyezni, hogy a VNet-átjáró jelenleg csak háló adatfolyamokat fogad el. A közelgő kezdeményezések azonban magukban foglalják a Fabric-folyamatokra vonatkozó képességeinek bővítését.
Milyen gyorsan lehet adatokat betölteni a Fabric Data Pipelinesban?
A Fabric Data Factory lehetővé teszi olyan folyamatok fejlesztését, amelyek maximalizálják a környezet adatáthelyezési sebességét. Ezek a folyamatok teljes mértékben a következő erőforrásokat használják:
- Hálózati sávszélesség a forrás- és céladattárak között
- Forrás- vagy céladattár bemeneti/kimeneti műveletei másodpercenként (IOPS) és sávszélesség Ez a teljes kihasználtság azt jelenti, hogy a teljes átviteli sebességet a következő erőforrásokkal elérhető minimális átviteli sebesség mérésével becsülheti meg:
- Forrásadattár
- Céladattár
- A forrás- és céladattárak közötti hálózati sávszélesség mindeközben folyamatosan dolgozunk az innováción, hogy a lehető legjobb átviteli sebességet tudjuk elérni. A szolgáltatás jelenleg 1 TB TPC-DI-adatkészletet (parquet-fájlokat) helyezhet át a Fabric Lakehouse táblába és az Adattárházba is 5 percen belül – 1B sor áthelyezése 1 perc alatt; Vegye figyelembe, hogy ez a teljesítmény csak referencia a fenti tesztelési adatkészlet futtatásával. A tényleges átviteli sebesség továbbra is a korábban felsorolt tényezőktől függ. Emellett az átviteli sebességet mindig megszorozhatja több másolási tevékenység párhuzamos futtatásával. Például ForEach hurok használata.
Milyen megközelítés ajánlott szerepkörök hozzárendeléséhez a Fabric Data Factoryben?
A különböző számítási feladatokat elkülönítheti a munkaterületek között, és a szerepkörök, például a tag és a megtekintő használatával olyan adatelemzési munkaterülettel rendelkezhet, amely a jelentéskészítéshez vagy AI-betanításhoz használt munkaterület adatait előzi meg. A megtekintői szerepkörrel ezután adatokat használhat fel az adatmérnöki munkaterületről.