Läsa in data stegvis från ett källdatalager till ett måldatalager

  • Artikel
  • 2 minuter för att läsa

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

I en dataintegrationslösning är stegvis inläsning av data (eller deltadata) efter den första fullständiga datainläsningen ett vanligt scenario. Självstudierna i det här avsnittet visar olika sätt att läsa in data inkrementellt med Azure Data Factory.

Deltadatainläsning från databas med vattenstämpel

I det här fallet definierar du en vattenstämpel i din källdatabas. En vattenstämpel är en kolumn som har den senast uppdaterade tidsstämpeln eller en stegvis ökande nyckel. Lösningen för deltainläsning läser in de ändrade data mellan en gammal och en ny vattenstämpel. Arbetsflödet för den här metoden illustreras i följande diagram:

Arbetsflöde för att använda en vattenstämpel

Stegvisa instruktioner finns i följande självstudier:

För mallar, se följande:

Inläsning av deltadata från SQL DB med tekniken Ändringsspårning

Tekniken för ändringsspårning är en enkel lösning i SQL Server och Azure SQL Database som tillhandahåller en effektiv ändringsspårningsmekanism för program. Det gör att ett program enkelt kan identifiera data som har infogats, uppdaterats eller tagits bort.

Arbetsflödet för den här metoden illustreras i följande diagram:

Arbetsflöde för att använda Ändringsspårning

Stegvisa instruktioner finns i följande självstudie:

Läsa in endast nya och ändrade filer med hjälp av LastModifiedDate

Du kan endast kopiera de nya och ändrade filerna med hjälp av LastModifiedDate till målarkivet. ADF genomsöker alla filer från källarkivet, tillämpar filfiltret efter lastModifiedDate och kopierar endast den nya och uppdaterade filen sedan den senaste gången till målarkivet. Tänk på att om du låter ADF genomsöka stora mängder filer, men bara kopierar några filer till målet, tar det fortfarande lång tid på grund av filgenomsökningen.

Stegvisa instruktioner finns i följande självstudie:

För mallar, se följande:

Läsa in endast nya filer med hjälp av tidspartitionerat mapp- eller filnamn.

Du kan kopiera endast nya filer, där filer eller mappar redan har tidspartitionerats med tidssektorinformation som en del av fil- eller mappnamnet (till exempel /åååå/mm/dd/fil.csv). Det är den mest effektiva metoden för inkrementell inläsning av nya filer.

Stegvisa instruktioner finns i följande självstudie:

Nästa steg

Fortsätt till följande självstudie:

Kopiera data stegvis från en tabell i Azure SQL Database till Azure Blob Storage