Настройте прием потоковой передачи в кластере Azure Data Explorer с помощью портала Azure

Используйте прием потоковой передачи для загрузки данных, если требуется низкая задержка между приемом и запросом. Операция приема потоковой передачи завершается в течение 10 секунд, и данные сразу становятся доступными для запроса после завершения. Этот метод приема подходит для приема большого объема данных, например тысяч записей в секунду, распределенных по тысячам таблиц. Каждая таблица получает относительно небольшой объем данных, например несколько записей в секунду.

Используйте массовый прием вместо приема потоковой передачи, когда объем получаемых данных превышает 4 ГБ в час на таблицу.

Дополнительные сведения о различных методах приема см. в разделе Обзор приема данных.

Предварительные требования

Включите прием потоковой передачи в своем кластере

Включение потоковой передачи при создании нового кластера на портале Azure

Вы можете включить прием потоковой передачи при создании нового кластера обозревателя данных Azure.

На вкладке Конфигурации выберите Прием потоковой передачи > Вкл.

Включите прием потоковой передачи при создании кластера в Azure Data Explorer.

Включение приема потоковой передачи в существующем кластере на портале Azure

  1. На портале Azure перейдите к кластеру Azure Data Explorer.

  2. Под разделом Параметры выберите пункт Конфигурации.

  3. В области Конфигурации выберите Вкл. , чтобы включить Прием потоковой передачи.

  4. Нажмите кнопку Сохранить.

    Включите прием потоковой передачи в Azure Data Explorer.

Предупреждение

Перед включением приема потоковой передачи ознакомьтесь с ограничениями.

Создайте целевую таблицу и определите политику на портале Azure

  1. На портале Azure перейдите к своему кластеру.

  2. Выберите Запрос.

    Выберите запрос на портале Azure Data Explorer, чтобы включить прием потоковой передачи.

  3. Чтобы создать таблицу, которая будет получать данные посредством потоковой передачи, скопируйте следующую команду в Панель запросов и выберите Выполнить.

    .create table TestTable (TimeStamp: datetime, Name: string, Metric: int, Source:string)
    

    Создайте таблицу для потоковой передачи в Azure Data Explorer.

  4. Определите политику приема потоковой передачи для созданной вами таблицы или для базы данных, содержащей эту таблицу.

    Совет

    Политика, которая определяется на уровне базы данных, применяется ко всем существующим и будущим таблицам в базе данных.

  5. Скопируйте одну из следующих команд в Панель запросов и выберите Выполнить.

    .alter table TestTable policy streamingingestion enable
    

    или

    .alter database StreamingTestDb policy streamingingestion enable
    

    Определите политику приема потоковой передачи в Azure Data Explorer.

Используйте потоковую передачу данных в свой кластер

Поддерживаются два типа приема потоковой передачи:

Выбор соответствующего типа приема потоковой передачи

Критерий Концентратор событий Настраиваемая загрузка
Задержка данных между инициированием приема и данными, доступными для запроса Более длительная задержка Более короткая задержка
Затраты на разработку Быстрая и простая установка, без дополнительных затрат на разработку Высокие накладные расходы на разработку приложения для обработки ошибок и обеспечения согласованности данных

Отключение приема потоковой передачи в кластере

Предупреждение

Отключение приема потоковой передачи может занять несколько часов.

Перед отключением приема потоковой передачи в кластере Azure обозреватель данных удалите политику приема потоковой передачи из всех соответствующих таблиц и баз данных. Удаление политики приема потоковой передачи активирует перестановку данных в кластере Azure обозреватель данных. Данные приема потоковой передачи перемещаются из первоначального хранилища в постоянное хранилище в хранилище столбцов (экстентов или сегментов). Этот процесс может занять от нескольких секунд до нескольких часов в зависимости от объема данных в первоначальном хранилище.

Отбросьте политику приема потоковой передачи на портале Azure

  1. На портале Azure перейдите в кластер Azure Data Explorer и выберите Запрос.

  2. Чтобы удалить политику приема потоковой передачи из таблицы, скопируйте следующую команду в Панель запросов и выберите Выполнить.

    .delete table TestTable policy streamingingestion 
    

    Удалите политику приема потоковой передачи в Azure Data Explorer.

  3. Под разделом Параметры выберите пункт Конфигурации.

  4. В области Конфигурации выберите Выкл. , чтобы включить Прием потоковой передачи.

  5. Нажмите кнопку Сохранить.

    Отключите прием потоковой передачи в Azure Data Explorer.

Ограничения

  • Курсоры базы данных не поддерживаются для базы данных, если в самой базе данных или в любой из ее таблиц определена и включена Политика приема потоковой передачи .
  • Сопоставления данных должны быть предварительно созданы для использования при приеме потоковой передачи. Отдельные запросы на прием потоковой передачи не поддерживает встроенные сопоставления данных.
  • Производительность приема потоковой передачи и масштабирование емкости с увеличением размера виртуальной машины и кластера. Число одновременных запросов приема ограничено шестью на ядро. Например, для 16 основных SKU, таких как D14 и L16, максимальный поддерживаемый объем нагрузки составляет 96 параллельных запросов приема. Для двух основных номеров SKU, например D11, максимально поддерживаемая нагрузка составляет 12 параллельных запросов приема.
  • Предельный размер данных для запроса приема потоковой передачи составляет 4 МБ.
  • Обновления схемы, такие как создание и изменение таблиц и сопоставлений приема, могут занять до пяти минут для службы приема потоковой передачи. Дополнительные сведения см. в статье прием потоковой передачи и изменения схемы.
  • Включение приема потоковой передачи в кластере, даже если данные не принимаются через потоковую передачу, использует часть локального диска SSD компьютеров кластера для данных приема потоковой передачи и сокращает объем хранилища, доступного для оперативного кэша.
  • Невозможно задать теги экстентов для данных приема потоковой передачи.
  • Обновление политики. Политика обновления может ссылаться только на недавно полученные данные в исходной таблице, а не на другие данные или таблицы в базе данных.
  • Если прием потоковой передачи используется в любой из таблиц базы данных, эта база данных не может использоваться в качестве лидера для баз данных-следов или в качестве поставщика данных для общего ресурса данных Azure.

Дальнейшие действия