Panoramica delle risorse change data capture

  • Articolo

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi completa per le aziende. Microsoft Fabric copre tutti gli elementi, dallo spostamento dei dati all'analisi scientifica dei dati, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Scopri come avviare gratuitamente una nuova versione di valutazione .

L'adattamento al mondo dei Big Data cloud-first può essere estremamente complesso per i data engineer responsabili della creazione di pipeline ETL e di integrazione dei dati complesse.

Azure Data Factory introduce un nuovo meccanismo per semplificare la vita di un data engineer.

Rilevando automaticamente le modifiche ai dati nell'origine senza richiedere la progettazione o la codifica complesse, ADF lo rende un'operazione semplice per ridimensionare questi processi. Change Data Capture sarà ora disponibile come nuova risorsa nativa di primo livello nello studio di Azure Data Factory in cui i data engineer possono configurare rapidamente processi in esecuzione in modo continuo per elaborare Big Data su larga scala con un'efficienza estrema.

La nuova risorsa Change Data Capture in Azure Data Capture consente l'acquisizione completa dei dati delle modifiche fedeltà che viene eseguita in modo continuo quasi in tempo reale tramite un'esperienza di configurazione guidata.

Screenshot of new top-level resource in Factory Resources panel.

Origini dati supportate

  • Avro
  • Azure Cosmos DB (API SQL)
  • database SQL di Azure
  • Istanza gestita di SQL di Azure
  • Testo delimitato
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

Destinazioni supportate

  • Avro
  • Database SQL di Microsoft Azure
  • Istanza gestita di SQL
  • Testo delimitato
  • Delta
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Limitazioni note

  • Attualmente, quando si creano mapping di origine/destinazione, ogni origine e destinazione può essere usata una sola volta.
  • I tipi complessi non sono attualmente supportati.
  • Il runtime di integrazione self-hosted non è attualmente supportato.

Per altre informazioni sulle limitazioni note e sull'assistenza per la risoluzione dei problemi, vedere questa guida alla risoluzione dei problemi.

Azure Synapse Analytics come destinazione

Quando si usa Azure Synapse Analytics come destinazione, il Impostazioni di gestione temporanea è disponibile nell'area di disegno tabella principale. L'abilitazione della gestione temporanea è obbligatoria quando si seleziona Azure Synapse Analytics come destinazione. Ciò migliora significativamente le prestazioni di scrittura usando funzionalità di caricamento bulk efficienti, ad esempio il comando COPY INTO. La Impostazioni di gestione temporanea può essere configurata in due modi: l'uso delle impostazioni factory o la scelta di impostazioni personalizzate. Le impostazioni di factory si applicano a livello di factory. Per la prima volta, se queste impostazioni non sono configurate, si verrà indirizzati alla sezione delle impostazioni di gestione temporanea globale per la configurazione. Una volta impostata, tutte le risorse di livello superiore cdc adotteranno questa configurazione. Le impostazioni personalizzate hanno come ambito solo la risorsa CDC per la quale è configurata ed esegue l'override delle impostazioni factory.

Nota

Poiché si usa il comando COPY INTO per trasferire i dati dal percorso di gestione temporanea ad Azure Synapse Analytics, è consigliabile assicurarsi che tutte le autorizzazioni necessarie siano preconfigurati in Azure Synapse Analytics.

Nota

Quando si avvia un CDC, si usa sempre l'ultima configurazione pubblicata. Per l'esecuzione di CDC, durante l'elaborazione dei dati, verranno fatturati 4 v-core di Flusso di dati per utilizzo generico.

Contenuto correlato