Översikt över resurs för ändringsdatainsamling

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Att anpassa sig till den molnbaserade stordatavärlden kan vara otroligt utmanande för datatekniker som ansvarar för att skapa komplexa dataintegrerings- och ETL-pipelines.

Azure Data Factory introducerar en ny mekanism för att göra datateknikerns livslängd enklare.

Genom att automatiskt identifiera dataändringar i källan utan att kräva komplex design eller kodning gör ADF det enkelt att skala dessa processer. Change Data Capture finns nu som en ny intern resurs på högsta nivån i Azure Data Factory Studio där datatekniker snabbt kan konfigurera jobb som körs kontinuerligt för att bearbeta stordata i stor skala med extrem effektivitet.

Den nya ändringsdatainsamlingsresursen i ADF möjliggör fullständig återgivning av datainsamling som kontinuerligt körs i nära realtid via en guidad konfigurationsupplevelse.

Screenshot of new top-level resource in Factory Resources panel.

Datakällor som stöds

  • Avro
  • Azure Cosmos DB (SQL API)
  • Azure SQL Database
  • Hanterad Azure SQL-instans
  • Avgränsad text
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

Mål som stöds

  • Avro
  • Azure SQL Database
  • SQL-hanterad instans
  • Avgränsad text
  • Delta
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Kända begränsningar

  • När du skapar käll-/målmappningar tillåts för närvarande endast varje källa och mål att användas en gång.
  • Komplexa typer stöds för närvarande inte.
  • Lokalt installerad integrationskörning (SHIR) stöds för närvarande inte.

Mer information om kända begränsningar och felsökningshjälp finns i den här felsökningsguiden.

Azure Synapse Analytics som mål

När du använder Azure Synapse Analytics som mål är mellanlagrings- Inställningar tillgängligt på huvudtabellarbetsytan. Det är obligatoriskt att aktivera mellanlagring när du väljer Azure Synapse Analytics som mål. Detta förbättrar avsevärt skrivprestandan genom att använda prestanda för massinläsning, till exempel COPY INTO-kommandot. Mellanlagring Inställningar kan konfigureras på två sätt: använda Fabriksinställningar eller välja anpassade inställningar. Fabriksinställningarna gäller på fabriksnivå. Om de här inställningarna inte har konfigurerats för första gången dirigeras du till avsnittet om global mellanlagringsinställning för konfiguration. När den har angetts använder alla CDC-resurser den här konfigurationen. Anpassade inställningar är endast begränsade för CDC-resursen som den är konfigurerad för och åsidosätter Fabriksinställningarna.

Kommentar

Eftersom vi använder kommandot COPY INTO för att överföra data från mellanlagringsplatsen till Azure Synapse Analytics rekommenderar vi att du ser till att alla nödvändiga behörigheter är förkonfigurerade i Azure Synapse Analytics.

Kommentar

Vi använder alltid den senast publicerade konfigurationen när vi startar en CDC. För att köra CDC:er debiteras du 4 v-kärnor av generell användning Dataflöde medan dina data bearbetas.

Relaterat innehåll