Политика Инжестионбатчинг

Общие сведения

В процессе приема Kusto пытается оптимизировать пропускную способность за счет пакетирования небольших входных фрагментов данных вместе с ожиданием приема. Такой тип пакетной обработки сокращает количество ресурсов, потребляемых процессом приема, и не требует ресурсов после приема для оптимизации небольших сегментов данных, созданных непакетированным приемом.

Однако существует недостаток для выполнения пакетной обработки перед приемом, что представляет собой введение в принудительную задержку, так что пришло время от получения полного времени от запроса приема данных до тех пор, пока он не будет готов к выполнению запроса.

Чтобы разрешить управление этим компромиссом, используйте IngestionBatching политику. Эта политика применяется только к приему в очереди и обеспечивает максимальную принудительную задержку, позволяющую выполнять пакетную обработку небольших BLOB-объектов.

Сведения

Как упоминалось выше, существует оптимальный размер данных для массового приема. В настоящее время этот размер составляет около 1 ГБ несжатых данных. Прием, который выполняется в больших двоичных объектах, которые содержат гораздо меньший объем данных, чем оптимальный, не является оптимальным, и поэтому в очереди приема Kusto будет группировать небольшие большие двоичные объекты вместе.

Пакеты запечатаны при выполнении первого условия:

  1. Общий размер пакетных данных достигает размера, установленного IngestionBatching политикой.
  2. Достигнуто максимальное время задержки
  3. Достигнуто число больших двоичных объектов, заданных IngestionBatching политикой

IngestionBatchingПолитику можно задать для баз данных или таблиц. Значения по умолчанию: 5 минут максимальное время задержки, 1000 элементов, общий размер 1 ГБ.

Важно!

Влияние установки этой политики на очень небольшие значения — увеличение COGS (стоимость проданных товаров) кластера и снижение производительности. Кроме того, уменьшение количества значений политики пакетной обработки может фактически приводить к повышению эффективности сквозной задержки приема, так как в параллельном режиме издержки на управление несколькими процессами приема.

Типы пакетной обработки

В следующих списках показаны все возможные типы триггеров для пакетного запечатывания. Пакет запечатан и принимается при выполнении первого условия.

Определяется политикой пакетной обработки

  • Размер: достигнут предел размера пакета, определяемый политикой пакетной обработки
  • Count: достигнут предел числа пакетных файлов, определенный политикой пакетной обработки
  • Время: срок действия пакетной обработки, определенный в политике пакетной обработки, истек

Прием одного большого двоичного объекта

  • SingleBlob_FlushImmediately: прием одного большого двоичного объекта, так как задано значение "флушиммедиатели"
  • SingleBlob_IngestIfNotExists: прием одного большого двоичного объекта, так как задано значение "инжестифнотексистс"
  • SingleBlob_IngestByTag: прием одного большого двоичного объекта, так как был задан тег приема по
  • SingleBlob_SizeUnknown: прием одного большого двоичного объекта, так как размер BLOB-объекта неизвестен

Другое

  • Системфлуш: системе пришлось сбрасывать данные, например из-за масштабирования кластера или внутреннего сброса системных компонентов.

Другие ресурсы