Прием потоковой передачи данных и изменения схемы

Фон

Узлы кластера. схема кэша баз данных, получающих данные посредством приема потоковой передачи. Этот процесс оптимизирует производительность и использование ресурсов кластера, но может привести к задержкам распространения при изменениях схемы.

Ниже приведены примеры изменений схемы.

  • Создание и удаление баз данных и таблиц
  • Добавление, удаление, переввод или переименование столбцов таблицы
  • Добавление или удаление предварительно созданных сопоставлений приема
  • Добавление, удаление или изменение политик

Если изменения схемы и потоки приема потоковой передачи не согласованы, некоторые запросы приема потоковой передачи могут завершиться ошибкой. Ошибки могут включать ошибки, связанные с схемой, или вставку неполных или искаженных данных в таблицу. При реализации пользовательского приложения приема настоятельно рекомендуется обрабатывать ошибки, связанные со схемой, выполняя повторные попытки в течение ограниченного времени или переправляя данные из невыполненных запросов с помощью методов приема в очереди.

Очистка кэша схемы

Уменьшите влияние задержки распространения, явно очистив кэш схемы на узлах кластера. Очистите кэш схемы, используя один из кэша очистки схемы для команд управления приема потоковой передачи . Если поток приема потоковой передачи и изменения схемы согласованы, можно полностью устранить сбои и связанные с ними искажения данных.

Пример скоординированного потока:

  1. Приостановка приема потоковой передачи.
  2. Дождитесь завершения всех необработанных запросов приема потоковой передачи>
  3. Внесите изменения в схему.
  4. Выполните одну или несколько .clear cache streaming ingestion команд схемы.
    • Повторяйте до успешного выполнения, и все строки в выходных данных команды указывают на успешное выполнение
  5. Возобновление приема потоковой передачи.

Примечание

Использование команды «Очистить схему приема потоковой передачи» часто может оказать негативное воздействие на производительность приема потоковой передачи.