Přírůstkové načtení dat ze zdrojového úložiště dat do cílového úložiště dat

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

V řešení integrace dat je přírůstkové (nebo rozdílové) načítání dat po počátečním úplném načtení dat často používaný scénář. Kurzy v této části vám ukážou různé způsoby načítání dat přírůstkově pomocí Azure Data Factory.

Rozdílové načítání dat z databáze pomocí meze

V tomto případě definujete mez ve zdrojové databázi. Mez je sloupec, který obsahuje časové razítko poslední aktualizace nebo narůstající klíč. Řešení rozdílového načítání načte změněná data mezi původní mezí a novou mezí. Pracovní postup pro tento přístup je znázorněn v následujícím diagramu:

Pracovní postup pro použití meze

Podrobné pokyny najdete v následujících kurzech:

V případě šablon se podívejte na tyto informace:

rozdílové načítání dat z SQL DB pomocí technologie Change Tracking

Technologie Change Tracking je jednoduché řešení na SQL Serveru a ve službě Azure SQL Database, které poskytuje mechanismus efektivního sledování změn pro aplikace. Umožňuje aplikaci snadno identifikovat data, která byla vložena, aktualizována nebo odstraněna.

Pracovní postup pro tento přístup je znázorněn v následujícím diagramu:

Pracovní postup pro použití Change Tracking

Podrobné pokyny najdete v následujícím kurzu:

Načítání nových a změněných souborů pouze pomocí LastModifiedDate

Nové a změněné soubory můžete zkopírovat jenom pomocí LastModifiedDate do cílového úložiště. ADF bude kontrolovat všechny soubory ze zdrojového úložiště, použít filtr souborů podle jejich LastModifiedDate a zkopírovat pouze nový a aktualizovaný soubor od posledního času do cílového úložiště. Uvědomte si prosím, že pokud povolíte ADF velké množství souborů, ale kopírujete jenom několik souborů do cíle, bude to pořád trvat dlouhou dobu kvůli procesu skenování souborů.

Podrobné pokyny najdete v následujícím kurzu:

V případě šablon se podívejte na tyto informace:

Načítání nových souborů pouze pomocí dělené složky nebo názvu souboru.

Můžete kopírovat jenom nové soubory, ve kterých už je čas rozdělený na oddíly soubory nebo složky s timeslice informacemi jako součást názvu souboru nebo složky (například/yyyy/MM/DD/file.csv). Je to nejvíce výkonného přístupu pro přírůstkové načítání nových souborů.

Podrobné pokyny najdete v následujícím kurzu:

Další kroky

Přejděte k následujícímu kurzu: