Přírůstkové načtení dat ze zdrojového úložiště dat do cílového úložiště dat
PLATÍ PRO:
Azure Data Factory
Azure Synapse Analytics
V řešení integrace dat je přírůstkové (nebo rozdílové) načítání dat po počátečním úplném načtení dat často používaný scénář. Kurzy v této části vám ukážou různé způsoby načítání dat přírůstkově pomocí Azure Data Factory.
Rozdílové načítání dat z databáze pomocí meze
V tomto případě definujete mez ve zdrojové databázi. Mez je sloupec, který obsahuje časové razítko poslední aktualizace nebo narůstající klíč. Řešení rozdílového načítání načte změněná data mezi původní mezí a novou mezí. Pracovní postup pro tento přístup je znázorněn v následujícím diagramu:
Podrobné pokyny najdete v následujících kurzech:
- Přírůstkové kopírování dat z jedné tabulky ve službě Azure SQL Database do úložiště Azure Blob Storage
- přírůstkové kopírování dat z více tabulek v instanci SQL Server do Azure SQL Database
V případě šablon se podívejte na tyto informace:
rozdílové načítání dat z SQL DB pomocí technologie Change Tracking
Technologie Change Tracking je jednoduché řešení na SQL Serveru a ve službě Azure SQL Database, které poskytuje mechanismus efektivního sledování změn pro aplikace. Umožňuje aplikaci snadno identifikovat data, která byla vložena, aktualizována nebo odstraněna.
Pracovní postup pro tento přístup je znázorněn v následujícím diagramu:
Podrobné pokyny najdete v následujícím kurzu:
Načítání nových a změněných souborů pouze pomocí LastModifiedDate
Nové a změněné soubory můžete zkopírovat jenom pomocí LastModifiedDate do cílového úložiště. ADF bude kontrolovat všechny soubory ze zdrojového úložiště, použít filtr souborů podle jejich LastModifiedDate a zkopírovat pouze nový a aktualizovaný soubor od posledního času do cílového úložiště. Uvědomte si prosím, že pokud povolíte ADF velké množství souborů, ale kopírujete jenom několik souborů do cíle, bude to pořád trvat dlouhou dobu kvůli procesu skenování souborů.
Podrobné pokyny najdete v následujícím kurzu:
V případě šablon se podívejte na tyto informace:
Načítání nových souborů pouze pomocí dělené složky nebo názvu souboru.
Můžete kopírovat jenom nové soubory, ve kterých už je čas rozdělený na oddíly soubory nebo složky s timeslice informacemi jako součást názvu souboru nebo složky (například/yyyy/MM/DD/file.csv). Je to nejvíce výkonného přístupu pro přírůstkové načítání nových souborů.
Podrobné pokyny najdete v následujícím kurzu:
Další kroky
Přejděte k následujícímu kurzu: