Inserimento di flussi e modifiche dello schemaStreaming ingestion and schema changes

BackgroundBackground

Nodi cluster schema della cache dei database che ricevono dati tramite l'inserimento di flussi.Cluster nodes cache schema of databases that receive data via streaming ingestion. Questo processo ottimizza le prestazioni e l'utilizzo delle risorse del cluster, ma può causare ritardi di propagazione in caso di modifica dello schema.This process optimizes performance and utilization of cluster resources, but can cause propagation delays when schema changes.

Di seguito sono riportati alcuni esempi di modifiche dello schema:Examples of schema changes are:

  • Creazione ed eliminazione di database e tabelleCreation and deletion of databases and tables
  • Aggiunta, rimozione, riimmissione o ridenominazione delle colonne della tabellaAdding, removing, retyping, or renaming the columns of the table
  • Aggiunta o rimozione di mapping di inserimento creati in precedenzaAdding or removing pre-created ingestion mappings
  • Aggiunta, rimozione o modifica di criteriAdding, removing, or altering policies

Se le modifiche dello schema e i flussi di inserimento del flusso non sono coordinati, alcune delle richieste di inserimento di flussi potrebbero non riuscire.If schema changes and streaming ingestion flows are uncoordinated, some of the streaming ingestion requests may fail. Gli errori possono includere errori correlati allo schema o l'inserimento di dati incompleti o distorti nella tabella.The failures could include schema-related errors, or the insertion of incomplete or distorted data into the table. Quando si implementa un'applicazione di inserimento personalizzata, è consigliabile gestire gli errori correlati allo schema eseguendo nuovi tentativi per un periodo di tempo limitato oppure reindirizzando i dati dalle richieste non riuscite tramite metodi di inserimento in coda.When implementing custom ingestion application it is highly recommended to handle the schema-related failures by performing retries for a limited time, or by rerouting data from the failed requests via queued ingestion methods.

Cancellazione della cache degli schemiClearing the schema cache

Ridurre gli effetti del ritardo di propagazione cancellando esplicitamente la cache degli schemi nei nodi del cluster.Reduce the effects of propagation delay by explicitly clearing the schema cache on the cluster nodes. Deselezionare la cache dello schema usando una delle opzioni di cancellazione dello schema per i comandi di gestione dell'inserimento di flussi.Clear the schema cache using one of the Clear schema cache for streaming ingestion management commands. Se il flusso di inserimento del flusso e le modifiche dello schema sono coordinati, è possibile eliminare completamente gli errori e la distorsione dei dati associata.If the streaming ingestion flow and schema changes are coordinated, you can completely eliminate failures and their associated data distortion.

Esempio di flusso coordinato:Coordinated flow example:

  1. Sospendere l'inserimento di flussi.Suspend streaming ingestion.
  2. Attendere il completamento di tutte le richieste di inserimento di streaming in attesa>Wait until all outstanding streaming ingestion requests are complete>
  3. Apportare modifiche allo schema.Do schema changes.
  4. Eseguire uno o più .clear cache streaming ingestion comandi dello schema.Issue one or several .clear cache streaming ingestion schema commands.
    • Ripetere fino a quando non riesce e tutte le righe nell'output del comando indicano l'esito positivoRepeat until successful and all rows in the command output indicate success
  5. Riprendere l'inserimento del flusso.Resume streaming ingestion.

Nota

L'uso frequente dei comandi per lo schema di inserimento di flussi della cache può avere un effetto negativo sulle prestazioni di inserimento del flusso.Using clear cache streaming ingestion schema commands frequently may have an adverse effect on the performance of streaming ingestion.