Použití Azure Data Factory k migraci dat z datového jezera nebo datového skladu do Azure

  • Článek
  • 2 min ke čtení

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Pokud chcete migrovat datové jezero nebo podnikový datový sklad do Microsoft Azure, zvažte použití Azure Data Factory. Azure Data Factory je vhodný pro následující scénáře:

  • Migrace úloh s velkými objemy dat ze služby Amazon Simple Storage Service (Amazon S3) nebo místního systému Hadoop systém souborů DFS (Distributed File System) (HDFS) do Azure
  • Migrace EDW z Oracle Exadata, Netezza, Teradata nebo Amazon Redshift Azure

Azure Data Factory přesunout petabajty (PB) dat pro migraci data lake a desítky terabajtů (TB) dat pro migraci datového skladu.

Proč Azure Data Factory použít k migraci dat

  • Azure Data Factory můžete snadno škálovat výpočetní výkon a přesouvat data bez serveru s vysokým výkonem, odolností a škálovatelností. A platíte jenom za to, co používáte. Všimněte si také následujících:
    • Azure Data Factory nemá žádná omezení týkající se objemu dat ani počtu souborů.
    • Azure Data Factory můžete plně využít šířku pásma sítě a úložiště k dosažení nejvyššího objemu propustnosti přesunu dat ve vašem prostředí.
    • Azure Data Factory používá metodu s platbou při přechodu, takže platíte jenom za čas, který skutečně využijete ke spuštění migrace dat do Azure.
  • Azure Data Factory může provádět jak historická, tak plánovaná přírůstková zatížení.
  • Azure Data Factory používá prostředí Azure Integration Runtime (IR) k přesunu dat mezi veřejně přístupnými koncovými body datového jezera a skladu. K přesouvání dat pro koncové body datového jezera a datového skladu v rámci Azure Virtual Network (virtuální síť) nebo za bránou firewall může použít také prostředí IR v samostatném prostředí.
  • Azure Data Factory zabezpečení na podnikové úrovni: Můžete použít instalační program služby Windows (MSI) nebo identitu služby pro zabezpečenou integraci mezi službou nebo použít Azure Key Vault pro správu přihlašovacích údajů.
  • Azure Data Factory poskytuje prostředí pro vytváření bez kódu a bohatý integrovaný řídicí panel monitorování. 

Online vs. offline migrace dat

Azure Data Factory je standardní online nástroj pro migraci dat pro přenos dat přes síť (internet, ER nebo VPN). Zatímco při offline migraci dat uživatelé fyzicky dodá zařízení pro přenos dat ze své organizace do datového centra Azure.

Při výběru mezi přístupem k online a offline migraci je třeba vzít v úvahu tři klíčové aspekty:

  • Velikost migrovaných dat
  • Šířka pásma sítě
  • Okno Migrace

Předpokládejme například, že plánujete použít Azure Data Factory k dokončení migrace dat do dvou týdnů (vaše okno migrace). Všimněte si tmavě/modré čáry řezu v následující tabulce. Nejnižší černá buňka pro libovolný daný sloupec ukazuje párování velikosti dat a šířky pásma sítě, jehož okno migrace je nejblíže ale kratší než dva týdny. (Jakékoli párování velikosti a šířky pásma v modré buňce má online okno migrace delší než dva týdny.)

online vs. offline Tato tabulka vám pomůže určit, jestli můžete splnit zamýšlené okno migrace prostřednictvím online migrace (Azure Data Factory) na základě velikosti dat a dostupné šířky pásma sítě. Pokud je online okno migrace delší než dva týdny, budete chtít použít offline migraci.

Poznámka

Pomocí online migrace můžete dosáhnout načítání historických dat i přírůstkových informačních kanálů v rámci jediného nástroje. Tento přístup umožňuje synchronizaci dat mezi existujícím úložištěm a novým úložištěm během celého okna migrace. To znamená, že logiku ETL můžete znovu sestavit v novém obchodě s obnovených daty.

Další kroky