Создание подключения к данным Центров событий для Azure Data Explorer

Azure Data Explorer предлагает прием из Центров событий, платформы потоковой передачи больших данных и службы приема событий. Центры событий могут обрабатывать миллионы событий в секунду практически в реальном времени.

В этой статье описано, как подключиться к концентратору событий и принять данные в azure Data Explorer. Общие сведения о приеме данных из Центров событий см. в статье подключение к данным Центры событий Azure.

Сведения о создании подключения с помощью пакетов SDK для Kusto см. в статье Создание подключения к данным Центров событий с помощью пакетов SDK.

Примеры кода на основе предыдущих версий пакета SDK см. в архивной статье.

Создание подключения к данным концентратора событий

В этом разделе описано, как установить подключение между концентратором событий и таблицей azure Data Explorer. Пока это подключение установлено, данные передаются из концентратора событий в целевую таблицу. Если концентратор событий перемещен в другой ресурс или подписку, необходимо обновить или повторно создать подключение.

Получение данных

Предварительные требования

• Учетная запись Майкрософт или удостоверение пользователя Microsoft Entra. Подписка Azure не обязательна.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Прием потоковой передачи необходимо настроить в кластере Azure Data Explorer.

Получение данных

1. В меню слева выберите Запрос.

2. Щелкните правой кнопкой мыши базу данных, в которой вы хотите принять данные. Выберите Получить данные.

   

Source

В окне Получение данных выбрана вкладка Источник .

Выберите источник данных из списка доступных. В этом примере вы будете принимать данные из Центров событий.

Configure

1. Выберите целевую базу данных и таблицу. Если вы хотите принять данные в новую таблицу, выберите + Новая таблица и введите имя таблицы.

   Примечание

   Имена таблиц могут содержать до 1024 символов, включая пробелы, буквы и цифры, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

   

2. Заполните следующие поля:

   Параметр	Описание поля
   Подписка	Идентификатор подписки, в которой размещается ресурс концентратора событий.
   Пространство имен концентратора событий	Имя, которое идентифицирует ваше пространство имен.
   концентратор событий;	Концентратор событий, который вы хотите
   Группа потребителей	Группа потребителей, определенная в событии
   Имя подключения к данным	Имя, которое идентифицирует ваше подключение для передачи данных.
   Расширенные фильтры
   Сжатие	Тип сжатия полезных данных сообщений концентратора событий.
   Свойства системы событий	Системные свойства концентратора событий. При наличии нескольких записей в одном сообщении о событии к первому из них добавляются системные свойства. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
   Дата начала получения события	Подключение к данным извлекает существующие события Центров событий, созданные после даты начала получения события. Можно извлекать только события, сохраненные в течение срока хранения Центров событий. Если дата начала получения события не указана , то по умолчанию используется время создания подключения к данным.

3. Щелкните Далее.

Изучение

Откроется вкладка Проверка с предварительным просмотром данных.

Чтобы завершить процесс приема, нажмите кнопку Готово.

При необходимости

• Если данные, отображаемые в окне предварительного просмотра, не завершены, может потребоваться больше данных для создания таблицы со всеми необходимыми полями данных. Используйте следующие команды для получения новых данных из концентратора событий:

  • Отменить и получить новые данные. Удаляет представленные данные и ищет новые события.

  • Получить больше данных: Поиск дополнительных событий в дополнение к уже найденным.

    Примечание

    Чтобы увидеть предварительный просмотр ваших данных, концентратор событий должен отправлять события.

• Выберите Средство просмотра команд , чтобы просмотреть и скопировать автоматические команды, созданные на основе входных данных.

• Используйте раскрывающийся список Файл определения схемы , чтобы изменить файл, из который выводится схема.

• Измените автоматически выводимый формат данных, выбрав нужный формат в раскрывающемся списке. Сведения о приеме см. в статье Форматы данных, поддерживаемые azure Data Explorer.

• Изменение столбцов.

• Ознакомьтесь с дополнительными параметрами на основе типа данных.

Изменить столбцы

Примечание

• Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить существующий столбец, сначала удалите новый столбец.
• Нельзя изменить тип существующего столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

• Тип таблицы — новая или существующая.
• Тип сопоставления — новое или существующее.

Тип таблицы	Тип сопоставления	Доступные корректировки
Новая таблица	Новое сопоставление	Переименование столбца, изменение типа данных, изменение источника данных, преобразование сопоставления, добавление столбца, удаление столбца
Существующая таблица	Новое сопоставление	Добавление столбца (в котором затем можно изменить тип данных, переименовать и обновить)
Существующая таблица	Существующее сопоставление	нет

Преобразования сопоставлений

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время приема. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне Изменение столбцов .

Преобразования сопоставления могут выполняться для столбца типа string или datetime, при этом источник имеет тип данных int или long. Поддерживаются следующие преобразования сопоставлений:

• DateTimeFromUnixSeconds;
• DateTimeFromUnixMilliseconds;
• DateTimeFromUnixMicroseconds;
• DateTimeFromUnixNanoseconds.

Дополнительные параметры на основе типа данных

Табличный (CSV, TSV, PSV):

• При приеме табличных форматов в существующей таблице можно выбрать Дополнительно>Сохранить текущую схему таблицы. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. Если этот параметр установлен, сопоставление выполняется по порядку, а схема таблицы остается прежней. Если этот флажок снят, для входящих данных создаются новые столбцы независимо от структуры данных.

• Чтобы использовать первую строку в качестве имен столбцов, выберите Дополнительно Первая>строка является заголовком столбца.

  

JSON:

• Чтобы определить разделение данных JSON по столбцам, выберите Расширенные>вложенные уровни от 1 до 100.

• Если выбран параметр Дополнительно>Игнорировать ошибки формата данных, данные будут приниматься в формате JSON. Если оставить этот проверка флажок не выбран, данные будут приниматься в формате multijson.

  

Сводка

В окне Подготовка данных все три шага помечаются зеленым проверка по завершении приема данных. Вы можете просмотреть команды, которые использовались для каждого шага, или выбрать карта для запроса, визуализации или удаления данных.

Портал — страница Data Explorer Azure

Предварительные требования

• Подписка Azure. Создайте бесплатную учетную запись Azure.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Целевая таблица. Создайте таблицу или используйте существующую таблицу.
• Сопоставление приема для таблицы.
• Концентратор событий с данными для приема.

Получение данных

1. В портал Azure перейдите к кластеру и выберите Базы данных. Затем выберите базу данных, содержащую целевую таблицу.

   

2. В меню слева выберите Прием данных. Затем на верхней панели выберите Добавить подключение к данным.

3. Заполните форму, указав следующую информацию, а затем нажмите кнопку Создать.

   Параметр	Рекомендуемое значение	Описание поля
   Имя подключения к данным	test-hub-connection	Имя создаваемого подключения к обозревателю данных Azure.
   Подписка		Идентификатор подписки, в которой размещается ресурс концентратора событий.
   Пространство имен концентратора событий	Уникальное имя пространства имен	Имя, выбранное ранее и определяющее пространство имен.
   концентратор событий;	test-hub	Созданный концентратор событий.
   Группа потребителей	test-group	Группа получателей событий, определенная в созданном концентраторе событий.
   Свойства системы событий	Выбор необходимых свойств	Системные свойства концентратора событий. При наличии нескольких записей в одном сообщении о событии к первой записи добавляются системные свойства. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
   Сжатие	Нет	Тип сжатия полезных данных сообщений концентратора событий. Поддерживаемые типы сжатия: нет, GZip.
   Управляемое удостоверение (рекомендуется)	Назначаемое системой	Управляемое удостоверение, используемое кластером Azure Data Explorer для доступа к чтению из концентратора событий. Для управления доступом к концентратору событий рекомендуется использовать управляемые удостоверения. Примечание. При создании нового подключения к данным: * назначаемые системой удостоверения создаются автоматически, если еще не существуют; * управляемому удостоверению автоматически назначается роль приемника данных Центров событий Azure, которая добавляется в кластер Azure Data Explorer. Рекомендуется проверить, назначена ли роль и добавлено ли удостоверение в кластер.

   Примечание

   При наличии подключения к данным, которое не использует управляемые удостоверения, рекомендуется обновить его для использования управляемых удостоверений.

Портал — страница Центры событий Azure

Предварительные требования

• Подписка Azure. Создайте бесплатную учетную запись Azure.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Целевая таблица. Создайте таблицу или используйте существующую таблицу.
• Сопоставление приема для таблицы.
• Концентратор событий с данными для приема.

Получение данных

1. В портал Azure перейдите к экземпляру Центров событий.

2. В боковом меню Компоненты выберите Анализ данных с помощью Kusto.

3. Нажмите кнопку Пуск, чтобы открыть мастер приема в Azure Data Explorer.

   

   Примечание

   • У вас должны быть по крайней мере разрешения пользователя базы данных .
   • Сведения о том, как включить доступ между кластером и учетной записью хранения без общего доступа, см. в статье Создание управляемой частной конечной точки.
   • Кластер и концентратор событий должны быть связаны с теми же клиентами. В противном случае используйте один из вариантов пакета SDK, например C# или Python.

4. Откроется панель Прием данных с выбранной вкладкой Назначение . Выберите из раскрывающихся списков поля Кластер и База данных . Убедитесь, что выбран работающий кластер. В противном случае вы не сможете выбрать пункт База данных и продолжить процесс приема.

5. В разделе Таблица выберите Создать таблицу и введите имя новой таблицы. Кроме того, можно использовать существующую таблицу.

6. Выберите Далее: Источник.

7. В разделе Тип источника тип концентратора событий и сведения заполняются автоматически в зависимости от экземпляра Центров событий, с которым вы начали работу.

8. В разделе Подключение к данным заполните следующие поля и выберите Далее: схема.

   Параметр	Рекомендуемое значение	Описание поля
   Подписка		Идентификатор подписки, в которой размещается ресурс концентратора событий.
   Пространство имен концентратора событий		Имя, которое идентифицирует ваше пространство имен.
   концентратор событий;		Концентратор событий, который вы хотите использовать.
   Имя подключения к данным	TestDataConnection	Имя, которое идентифицирует ваше подключение для передачи данных.
   Группа потребителей		Группа потребителей, определенная в вашем концентраторе событий.
   Сжатие		Тип сжатия полезных данных сообщений концентратора событий.
   Свойства системы событий	Выбор необходимых свойств	Системные свойства концентратора событий. При наличии нескольких записей в одном сообщении о событии к первому из них добавляются системные свойства. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
   Дата начала получения события	Время в формате UTC	Подключение к данным извлекает существующие события Центров событий, созданные после даты начала получения события. Можно извлекать только события, сохраненные в течение срока хранения Центров событий. Если дата начала получения события не указана , то по умолчанию используется время создания подключения к данным.

9. Если для кластера включена потоковая передача , можно выбрать Прием потоковой передачи. Если потоковая передача не включена для кластера, задайте задержку пакетной обработки данных. Для Центров событий рекомендуемое время пакетной обработки составляет 30 секунд.

   

10. Выберите формат данных. Для данных в формате CSV игнорируйте первую запись , чтобы игнорировать строку заголовка файла. Для данных в формате JSON выберите Игнорировать ошибки формата данных , чтобы принимать данные в формате JSON, или оставить не выбранным, чтобы принимать данные в формате multijson. Выберите вложенные уровни, чтобы определить деление данных столбца таблицы.

11. Если данные, отображаемые в окне предварительного просмотра, не завершены, может потребоваться больше данных для создания таблицы со всеми необходимыми полями данных. Используйте следующие команды для получения новых данных из концентратора событий:

    • Отменить и получить новые данные: отбрасывает представленные данные и выполняет поиск новых событий.
    • Получить больше данных: Поиск дополнительных событий в дополнение к уже найденным.

    Примечание

    Чтобы увидеть предварительный просмотр ваших данных, концентратор событий должен отправлять события.

12. По завершении выберите Next: Сводка.

13. В окне "Непрерывный прием из концентратора событий установлен" все шаги помечаются зеленым проверка метками после успешного завершения создания.

Шаблон ARM

Предварительные требования

• Подписка Azure. Создайте бесплатную учетную запись Azure.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Целевая таблица. Создайте таблицу или используйте существующую таблицу.
• Сопоставление приема для таблицы.
• Концентратор событий с данными для приема.

Шаблон ARM

В следующем примере показан шаблон Azure Resource Manager для добавления подключения к данным Центров событий. Вы можете изменить и развернуть шаблон на портале Azure с помощью формы.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Удаление подключения к данным концентратора событий

Получение данных

Удалите подключение к данным с помощью портал Azure, как описано на вкладке портала.

Портал

Чтобы удалить подключение концентратора событий из портал Azure, выполните указанные ниже действия.

1. Перейдите к кластеру. В меню слева выберите Базы данных. Затем выберите базу данных, содержащую целевую таблицу.
2. В меню слева выберите Подключения к данным. Затем установите флажок рядом с соответствующим подключением к данным концентратора событий.
3. В верхней строке меню выберите Удалить.

См. также

• Проверка подключения к примеру приложения для сообщений концентратора событий
• Запрос данных в пользовательском веб-интерфейсе