Adatok migrálása a data lake-ből vagy adattárházból az Azure-ba az Azure Data Factory használatával
A következőkre vonatkozik:
Azure Data Factory 
Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ha a data lake-t vagy a vállalati adattárházat (EDW) a Microsoft Azure-ba szeretné migrálni, fontolja meg az Azure Data Factory használatát. Az Azure Data Factory a következő forgatókönyvekhez ideális:
- Big data számítási feladatok migrálása az Amazon Simple Storage Service-ből (Amazon S3) vagy egy helyszíni Hadoop Elosztott fájlrendszerből (HDFS) az Azure-ba
- EDW-migrálás az Oracle Exadatából, a Netezza-ból, a Teradata-ból vagy az Amazon Redshiftből az Azure-ba
Az Azure Data Factory képes a data lake-migráláshoz szükséges petabájt (PB) és több tíz terabájt (TB) adat áthelyezésére az adattárház-migráláshoz.
Miért használható az Azure Data Factory az adatmigráláshoz?
- Az Azure Data Factory könnyedén felskálázhatja a feldolgozási teljesítményt, hogy kiszolgáló nélküli módon, nagy teljesítményű, rugalmas és méretezhető módon helyezze át az adatokat. És csak azért fizet, amit használ. Vegye figyelembe a következőket is:
- Az Azure Data Factory nem korlátozza az adatmennyiséget vagy a fájlok számát.
- Az Azure Data Factory teljes mértékben használhatja a hálózati és tárolási sávszélességet a lehető legnagyobb adatátviteli sebesség eléréséhez a környezetben.
- Az Azure Data Factory használatalapú fizetéses módszert használ, így csak arra az időre kell fizetnie, amellyel ténylegesen futtathatja az adatmigrálást az Azure-ba.
- Az Azure Data Factory egyszeri előzményterhelést és ütemezett növekményes terhelést is képes végrehajtani.
- Az Azure Data Factory az Azure integration runtime (IR) használatával helyezi át az adatokat a nyilvánosan elérhető data lake és a raktárvégpontok között. Emellett használhatja a saját üzemeltetésű integrációs modult is a data lake- és a raktárvégpontok adatainak áthelyezéséhez az Azure Virtual Networkben (VNet) vagy tűzfal mögött.
- Az Azure Data Factory nagyvállalati szintű biztonsággal rendelkezik: Használhatja a Windows Installert (MSI) vagy a Service Identityet a szolgáltatások közötti biztonságos integrációhoz, vagy használhatja az Azure Key Vaultot a hitelesítő adatok kezeléséhez.
- Az Azure Data Factory kód nélküli szerzői élményt és gazdag, beépített monitorozási irányítópultot biztosít.
Online és offline adatmigrálás
Az Azure Data Factory egy szabványos online adatmigrálási eszköz, amely hálózaton (interneten, ER- vagy VPN-en) keresztül továbbít adatokat. Míg offline adatmigrálás esetén a felhasználók fizikailag továbbítják az adatátviteli eszközöket a szervezetükből egy Azure Data Centerbe.
Az online és az offline migrálási megközelítés között három fő szempont közül választhat:
- Az áttelepítendő adatok mérete
- Hálózati sávszélesség
- Migrálási ablak
Tegyük fel például, hogy az Azure Data Factory használatával szeretné elvégezni az adatmigrálást két héten belül (a migrálási időszakon belül). Figyelje meg a rózsaszín/kék vágási vonalat az alábbi táblázatban. Az adott oszlop legalacsonyabb rózsaszín cellája azt az adatméretet/hálózati sávszélesség-párosítást mutatja, amelynek migrálási ideje a legközelebbi, de kevesebb mint két hét. (A kék cellában lévő bármilyen méret-/sávszélesség-párosítás több mint két hét online áttelepítési időszakkal rendelkezik.)
Ez a táblázat segít meghatározni, hogy az adatok mérete és a rendelkezésre álló hálózati sávszélesség alapján meg tudja-e felelni a kívánt migrálási időszaknak az online migrálással (Azure Data Factory). Ha az online migrálási időszak több mint két hét, akkor offline migrálást kell használnia.
Megjegyzés:
Az online migrálással az előzményadatok betöltése és a növekményes hírcsatornák teljes körű elérése egyetlen eszközzel érhető el. Ezzel a módszerrel az adatok szinkronizálhatók a meglévő tároló és az új tároló között a teljes migrálási időszak alatt. Ez azt jelenti, hogy frissített adatokkal újraépítheti az ETL-logikát az új tárolóban.