Přírůstkové načtení dat ze zdrojového úložiště dat do cílového úložiště dat
PLATÍ PRO:
Azure Data Factory Azure Synapse Analytics
Tip
Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.
V řešení integrace dat je přírůstkové (nebo rozdílové) načítání dat po počátečním úplném načtení dat často používaný scénář. Kurzy v této části vám ukážou různé způsoby načítání dat přírůstkově pomocí Azure Data Factory.
Rozdílové načítání dat z databáze pomocí vodoznaku
V tomto případě definujete mez ve zdrojové databázi. Mez je sloupec, který obsahuje časové razítko poslední aktualizace nebo narůstající klíč. Řešení rozdílového načítání načte změněná data mezi původní mezí a novou mezí. Pracovní postup pro tento přístup je znázorněn v následujícím diagramu:
Podrobné pokyny najdete v následujících kurzech:
- Přírůstkové kopírování dat z jedné tabulky ve službě Azure SQL Database do úložiště Azure Blob Storage
- Přírůstkové kopírování dat z více tabulek v instanci SQL Serveru do Azure SQL Database
Šablony najdete v následujících tématech:
Rozdílové načítání dat z DATABÁZE SQL pomocí technologie Change Tracking
Technologie Change Tracking je jednoduché řešení na SQL Serveru a ve službě Azure SQL Database, které poskytuje mechanismus efektivního sledování změn pro aplikace. Umožňuje aplikaci snadno identifikovat data, která byla vložena, aktualizována nebo odstraněna.
Pracovní postup pro tento přístup je znázorněn v následujícím diagramu:
Podrobné pokyny najdete v následujícím kurzu:
Načítání nových a změněných souborů pouze pomocí funkce LastModifiedDate
Nové a změněné soubory můžete zkopírovat pouze pomocí funkce LastModifiedDate do cílového úložiště. ADF prohledá všechny soubory ze zdrojového úložiště, použije filtr souborů podle lastModifiedDate a zkopíruje nový a aktualizovaný soubor pouze od posledního data do cílového úložiště. Mějte na paměti, že pokud necháte ADF prohledávat velké objemy souborů, ale zkopírujete do cíle jenom několik souborů, bude to kvůli procesu prohledávání souborů trvat dlouhou dobu.
Podrobné pokyny najdete v následujícím kurzu:
Šablony najdete v následujících tématech:
Načítání nových souborů pouze pomocí časového oddílu složky nebo názvu souboru.
Nové soubory můžete kopírovat pouze v případě, že soubory nebo složky už byly rozdělené na oddíly s informacemi o timeslice jako součást názvu souboru nebo složky (například /yyyy/mm/dd/file.csv). Jedná se o nejvýkonnější přístup pro přírůstkové načítání nových souborů.
Podrobné pokyny najdete v následujícím kurzu:
Související obsah
Přejděte k následujícímu kurzu: