Создание ресурсов вручную для приема в Сетке событий

• Портал
• Портал - создавайте ресурсы вручную
• C#
• Python
• Шаблон Azure Resource Manager

Azure Data Explorer предлагает непрерывную загрузку из хранилища Azure (хранилище BLOB-объектов Azure и хранилище Azure Data Lake Storage 2-го поколения) с помощью конвейера приема Сетки событий. В конвейере приема Сетки событий служба сетки событий Azure направляет созданные или переименованные большие двоичные объекты из учетной записи хранения в Azure Data Explorer через концентратор событий Azure.

Из этой статьи вы узнаете, как вручную создать ресурсы, необходимые для приема сетки событий: подписку сетки событий, пространство имен Центров событий и концентратор событий. Пространство имен Центров событий и создание концентратора событий описаны в разделе Предварительные требования. Чтобы использовать автоматическое создание этих ресурсов при определении приема сетки событий, см. раздел Создание подключения к данным сетки событий в Azure Data Explorer.

Предварительные требования

• Подписка Azure. Создайте бесплатную учетную запись Azure.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Учетная запись хранения. Подписку на уведомления Сетки событий можно настроить в учетных записях службы хранилища Azure для BlobStorage, StorageV2или Data Lake Storage 2-го поколения.
• Пространство имен Центров событий и концентратор событий.

Примечание

Для обеспечения максимальной производительности создавайте все ресурсы в том же регионе, что и кластер Azure Data Explorer.

Создание подписки Сетки событий

1. Войдите в свою учетную запись хранения на портале Azure.

2. В левом меню выберите События>Подписка на события.

   

3. В окне Создание подписки на событие на вкладке Основные введите следующие значения:

   

   Параметр	Рекомендуемое значение	Описание поля
   Название	test-grid-connection	Имя подписки сетки событий, которую вы хотите создать.
   Схема событий	Схема сетки событий	Схема, которая должна использоваться для службы "Сетка событий Azure".
   Тип раздела	Учетная запись хранения	Тип раздела Сетки событий. Заполняется автоматически.
   Исходный ресурс	gridteststorage1	Имя учетной записи хранения. Заполняется автоматически.
   Имя системного раздела	gridteststorage1...	Системный раздел, в котором служба хранилища Azure публикует события. Затем этот системный раздел пересылает событие подписчику, который получает и обрабатывает события. Заполняется автоматически.
   Фильтр по типам событий	Blob created (Большой двоичный объект создан)	Позволяет указать, о каких конкретных событиях нужно получать уведомления. При создании подписки выберите один из поддерживаемых типов: Microsoft.Storage.BlobCreated или Microsoft.Storage.BlobRenamed. Переименование BLOB-объектов поддерживается только для хранилища ADLSv2.

4. В КОНЕЧНЫЕ ДЕТАЛИ выберите Центры событий.

   

5. Выберите Выбрать конечную точку и заполните созданный вами концентратор событий, например test-hub.

6. Выберите вкладку Фильтры, если хотите отфильтровать события.

   Используйте фильтры тем, чтобы отслеживать определенные события тем. Настройте фильтры для получения уведомлений следующим образом:

   

   1. Выберите Включить фильтрацию тем
   2. Поле Тема начинается с - это буквальный префикс темы. Фильтр по типам событий Поскольку применяемый шаблон является startswith, он может охватывать несколько контейнеров, папок или больших двоичных объектов. Подстановочные знаки не допускаются.
      • Чтобы определить фильтр для контейнера больших двоичных объектов, задайте в поле следующее: /blobServices/default/containers/[container prefix] .
      • Чтобы определить фильтр для префикса большого двоичного объекта (или папки в Azure Data Lake Gen2), задайте в поле следующее: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix] .
   3. Поле Тема заканчивается на — это суффикс литерала большого двоичного объекта. Подстановочные знаки не допускаются.
   4. Поле Соответствие темы с учетом регистра указывает, учитываются ли фильтры префикса и суффикса.

   Дополнительные сведения о фильтрации событий см. в разделе События хранилища больших двоичных объектов.

   Используйте расширенные фильтры, чтобы добавить пользовательские фильтры, соответствующие вашим требованиям.

   Например, при использовании пакета SDK для Azure Data Lake для отправки файла создание файла запускает событие Сетки событий с размером 0. Azure Data Explorer отменяет это событие. Очистка файла вызывает другое событие, если для параметра Закрыть установлено значение true. Это событие означает, что это последнее обновление и файловый поток закрыт. Чтобы избежать ненужных ошибок обработки и приема пустых файлов, отфильтруйте события CreateFile с помощью следующего фильтра:

   

   Параметр	Рекомендуемое значение	Описание поля
   Клавиши	data.api	Поле в схеме событий, используемое для фильтрации.
   Оператор	Строка не находится в	Оператор, который будет вычисляться для выбранного ключа.
   Значение	CreateFile	Значение, используемое для оценки ключа.

7. Нажмите кнопку Создать

Следующий шаг

Создание подключения к данным в Сетке событий