Создание подключения к данным Сетки событий для Azure Data Explorer

Статья
02/29/2024

В этой статье вы узнаете, как принимать большие двоичные объекты из вашей учетной записи хранения в Azure Data Explorer с помощью подключения к данным Сетки событий. Вы создадите подключение к данным Сетки событий, которое задает подписку Сетка событий Azure. Подписка на сетку событий направляет события из вашей учетной записи хранения в Azure Data Explorer через Центры событий Azure.

Примечание

Максимальный размер принимаемого файла составляет 6 ГБ. Для приема мы советуем файлы размером от 100 МБ до 1 ГБ.

Сведения о том, как создать подключение с помощью пакетов SDK Для Kusto, см. в статье Создание подключения к данным Сетки событий с помощью пакетов SDK.

Общие сведения о передаче данных в Azure Data Explorer из сетки событий см. в разделе Подключение к сетке событий.

Примечание

Чтобы добиться максимальной производительности с помощью подключения к Сетке событий, задайте rawSizeBytes свойство приема с помощью метаданных большого двоичного объекта. Дополнительные сведения см. в разделе Свойства приема.

Предварительные требования

Подписка Azure. Создайте бесплатную учетную запись Azure.
Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
Целевая таблица. Создайте таблицу или используйте существующую таблицу.
Сопоставление приема для таблицы.
Учетная запись хранения. Подписку на уведомления Сетки событий можно настроить в учетных записях службы хранилища Azure для BlobStorage, StorageV2или Data Lake Storage 2-го поколения.
Регистрация поставщика ресурсов Сетки событий.

Создание подключения к данным в Сетке событий

В этом разделе описано, как установить подключение между Сеткой событий и таблицей azure Data Explorer.

Перейдите к кластеру azure Data Explorer в портал Azure.
В разделе Данные выберите Базы данных>TestDatabase.
В разделе Параметры выберите Подключения к данным, а затем — Добавить сетку событий подключения к> данным(хранилище BLOB-объектов).

Заполните форму подключения к данным Сетки событий, указав следующие сведения:

Параметр	Рекомендуемое значение	Описание поля
Имя подключения к данным	test-grid-connection	Имя создаваемого подключения в Azure Data Explorer. Имена подключений к данным могут содержать только буквенно-цифровые, тире и точечные символы и содержать до 40 символов.
Подписка учетной записи хранения	идентификатор подписки;	Идентификатор подписки, в которой находится ваша учетная запись хранения.
Тип события	Созданный BLOB-объект или переименованный BLOB-объект	Тип события, запускающего загрузку. Переименование BLOB-объектов поддерживается только для хранилища ADLSv2. Чтобы переименовать большой двоичный объект, перейдите к большому двоичному объекту в портал Azure, щелкните его правой кнопкой мыши и выберите команду Переименовать. Поддерживаемые типы: Microsoft.Storage.BlobCreated или Microsoft.Storage.BlobRenamed.
Учетная запись хранения	gridteststorage1	Имя созданной ранее учетной записи хранения.
Создание ресурсов	Automatic (Автоматический)	Включение автоматического создания ресурсов означает, что azure Data Explorer создает подписку сетки событий, пространство имен Центров событий и Центры событий. В противном случае необходимо создать эти ресурсы вручную, чтобы обеспечить создание подключения к данным. См. раздел Создание ресурсов вручную для приема Сетки событий.

При необходимости можно отслеживать определенные темы Сетки событий. Настройте фильтры для получения уведомлений следующим образом:
- Поле Префикс — это буквальный префикс темы. Так как шаблон начинается с, он может охватывать несколько контейнеров, папок или BLOB-объектов. Подстановочные знаки не допускаются.
  - Чтобы определить фильтр для контейнера больших двоичных объектов, поле должно быть установлено следующим образом: /blobServices/default/containers/[container prefix].
  - Чтобы определить фильтр для префикса большого двоичного объекта (или папки в Azure Data Lake 2 поколения), поле должно быть установлено следующим образом: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Поле суффикс — это буквальный суффикс большого двоичного объекта. Подстановочные знаки не допускаются.
- Поле С учетом регистра указывает, учитываются ли фильтры префикса и суффикса.
Дополнительные сведения о фильтрации событий см. в разделе События хранилища BLOB-объектов.

При необходимости можно указать параметры маршрутизации данных в соответствии со следующими сведениями. Вам не нужно указывать все параметры маршрутизации данных. Принимаются также частично заполненные параметры.

Параметр	Рекомендуемое значение	Описание поля
Разрешить маршрутизацию данных в другие базы данных (подключение данных к нескольким базам данных)	Не разрешать	Включите этот параметр, если вы хотите переопределить целевую базу данных по умолчанию, связанную с подключением к данным. Дополнительные сведения о маршрутизации в базы данных см. в разделе Маршрутизация событий.
Имя таблицы	TestTable	Таблица, созданная в базе данных TestDatabase.
Формат данных	JSON	Поддерживаемые форматы: APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT и W3CLOG. Поддерживаются форматы сжатия ZIP и GZIP.
Имя сопоставления	TestTable_mapping	Сопоставление, созданное в таблице TestDatabase, которое сопоставляет входящие данные с именами столбцов и типами данных TestTable. Если значение не указано, сопоставление данных идентификации , производное от схемы таблицы, создается автоматически.
Пропуск ошибок формата	Пропуск	Включите этот параметр, если вы хотите игнорировать ошибки формата для формата данных JSON.

Примечание

Имена таблиц и сопоставлений чувствительны к регистру.

При необходимости в разделе Дополнительные параметры можно указать тип управляемого удостоверения , который используется подключением к данным. По умолчанию выбран параметр Назначаемый системой .

При выборе параметра Назначаемое пользователем необходимо вручную назначить управляемое удостоверение. Если выбрать пользователя, который еще не назначен кластеру, он будет назначен автоматически. Дополнительные сведения см. в статье Настройка управляемых удостоверений для кластера Azure Data Explorer.

Если выбрать нет, то учетная запись хранения и концентратор событий проходят проверку подлинности с помощью строк подключения. Этот метод не рекомендуется.

Выберите Создать.

Перейдите к учетной записи хранения в портал Azure.
Выберите События.
На вкладке Начало работы выберите вкладку Azure Data Explorer.
На плитке Создание непрерывного приема данных выберите Создать.

Выбор назначения для маршрутизации событий

Выберите кластер, в котором требуется принимать данные.
Выберите целевую базу данных.
Щелкните Выбрать.

Создание подключения к данным

Заполните форму, указав следующую информацию.

Параметр	Рекомендуемое значение	Описание поля
Имя подключения к данным	test-grid-connection	Имя создаваемого подключения в Azure Data Explorer.
Подписка учетной записи хранения	идентификатор подписки;	Идентификатор подписки, в которой находится ваша учетная запись хранения.
Тип события	Созданный BLOB-объект или переименованный BLOB-объект	Тип события, запускающего загрузку. Переименование BLOB-объектов поддерживается только для хранилища ADLSv2. Чтобы переименовать большой двоичный объект, перейдите к большому двоичному объекту в портал Azure, щелкните его правой кнопкой мыши и выберите Команду Переименовать. Поддерживаемые типы: Microsoft.Storage.BlobCreated или Microsoft.Storage.BlobRenamed.
Учетная запись хранения	gridteststorage1	Учетная запись хранения, из которой вы обращались к этому мастеру, заполняется автоматически.
Создание ресурсов	Automatic (Автоматический)	Включение автоматического создания ресурсов означает, что Data Explorer Azure создает подписку сетки событий, пространство имен Центров событий и Центры событий. В противном случае необходимо создать эти ресурсы вручную, чтобы обеспечить создание подключения к данным. См. раздел Создание ресурсов вручную для приема сетки событий.

При необходимости можно отслеживать определенные темы Сетки событий. Настройте фильтры для получения уведомлений следующим образом:
- Поле Префикс — это буквальный префикс темы. Так как шаблон начинается с, он может охватывать несколько контейнеров, папок или BLOB-объектов. Подстановочные знаки не допускаются.
  - Чтобы определить фильтр для контейнера больших двоичных объектов, поле должно быть установлено следующим образом: /blobServices/default/containers/[container prefix].
  - Чтобы определить фильтр для префикса большого двоичного объекта (или папки в Azure Data Lake 2 поколения), поле должно быть установлено следующим образом: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Поле суффикс — это буквальный суффикс большого двоичного объекта. Подстановочные знаки не допускаются.
- Поле С учетом регистра указывает, учитываются ли фильтры префикса и суффикса.
Дополнительные сведения о фильтрации событий см. в разделе События хранилища BLOB-объектов.

Параметр	Рекомендуемое значение	Описание поля
Разрешить маршрутизацию данных в другие базы данных (подключение данных к нескольким базам данных)	Не разрешать	Переключите этот параметр, если вы хотите переопределить целевую базу данных по умолчанию, связанную с подключением к данным. Дополнительные сведения о маршрутизации в базы данных см. в разделе Маршрутизация событий.
Имя таблицы	TestTable	Таблица, созданная в базе данных TestDatabase.
Формат данных	JSON	Поддерживаемые форматы: APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT и W3CLOG. Поддерживаются форматы сжатия ZIP и GZIP.
Имя сопоставления	TestTable_mapping	Сопоставление, созданное в таблице TestDatabase, которое сопоставляет входящие данные с именами столбцов и типами данных TestTable. Если этот параметр не указан, сопоставление данных идентификации , полученное из схемы таблицы, создается автоматически.
Игнорировать ошибки формата	Пропуск	Переключите этот параметр, если вы хотите игнорировать ошибки форматирования для формата данных JSON.

Примечание

Имена таблиц и сопоставлений чувствительны к регистру.

При необходимости в разделе Дополнительные параметры можно указать тип управляемого удостоверения , который используется подключением к данным. По умолчанию выбран параметр Назначаемое системой .

При выборе параметра Назначаемое пользователем необходимо вручную назначить управляемое удостоверение. Если выбрать пользователя, который еще не назначен кластеру, он будет назначен автоматически. Дополнительные сведения см. в статье Настройка управляемых удостоверений для кластера Azure Data Explorer.

Если выбрать нет, то учетная запись хранения и концентратор событий проходят проверку подлинности с помощью строк подключения. Этот метод не рекомендуется.

Нажмите кнопку создания.

В следующем примере показан шаблон Azure Resource Manager для добавления подключения к данным Сетки событий. Вы можете изменить и развернуть шаблон на портале Azure с помощью формы.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Использование подключения к данным Сетки событий

В этом разделе показано, как активировать прием из Хранилище BLOB-объектов Azure или Azure Data Lake 2-го поколения в кластер после создания или переименования BLOB-объекта.

Выберите соответствующую вкладку в зависимости от типа пакета SDK хранилища, используемого для отправки BLOB-объектов.

Хранилище BLOB-объектов Azure
Azure Data Lake;

В следующем примере кода используется пакет SDK для Хранилище BLOB-объектов Azure для отправки файла в Хранилище BLOB-объектов Azure. Отправка активирует подключение к данным Сетки событий, которое передает данные в azure Data Explorer.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Примечание

Azure Data Explorer не удаляет прием сообщений больших двоичных объектов. Храните большие двоичные объекты в течение трех-пяти дней, используя жизненный цикл хранилища BLOB-объектов Azure для управления удалением больших двоичных объектов.

В следующем примере кода используется пакет SDK Azure Data Lake для отправки файла в Data Lake Storage 2-го поколения. Отправка активирует подключение к данным Сетки событий, которое передает данные в azure Data Explorer.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Примечание

При отправке файла с помощью пакета SDK для Azure Data Lake исходное событие создания файла имеет размер 0, который игнорируется azure Data Explorer во время приема данных. Чтобы обеспечить правильный прием, задайте Close для параметра значение true. Этот параметр приводит к тому, что метод отправки активирует событие FlushAndClose , указывающее, что выполнено окончательное обновление и файловый поток закрыт.
Чтобы уменьшить трафик, поступающий из Сетки событий, и оптимизировать прием событий в Azure Data Explorer, рекомендуется отфильтровать ключ data.api, чтобы исключить события CreateFile. Это гарантирует, что события создания файла с размером 0 будут отфильтрованы, что предотвращает ошибки приема пустого файла. Дополнительные сведения о очистке см. в разделе Метод очистки Azure Data Lake.

Переименование BLOB-объектов

В ADLSv2 можно переименовать каталоги. Однако важно отметить, что переименование каталога не запускает события переименования BLOB-объектов и не инициирует прием больших двоичных объектов, содержащихся в каталоге. Если вы хотите обеспечить прием больших двоичных объектов после переименования каталога, следует напрямую переименовать отдельные blob-объекты в каталоге.

В следующем примере кода показано, как переименовать BLOB-объект в учетной записи хранения ADLSv2.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Примечание

Если вы определили фильтры для отслеживания определенных объектов при создании подключения к данным или при создании ресурсов Сетки событий вручную, эти фильтры применяются к пути к конечному файлу.

Примечание

Активация приема после CopyBlob операции не поддерживается для учетных записей хранения, в которых включена функция иерархического пространства имен.

Удаление подключения к данным Сетки событий

Чтобы удалить подключение к Сетке событий из портал Azure, выполните следующие действия.

Перейдите в кластер. В меню слева выберите Базы данных. Затем выберите базу данных, содержащую целевую таблицу.
В меню слева выберите Подключения к данным. Затем установите флажок рядом с соответствующим подключением к данным Сетки событий.
В верхней строке меню выберите Удалить.

Обработка данных из концентратора событий с помощью Azure Stream Analytics

Создание подключения к данным Сетки событий для Azure Data Explorer

Предварительные требования

Создание подключения к данным в Сетке событий

Выбор назначения для маршрутизации событий

Создание подключения к данным

Использование подключения к данным Сетки событий

Переименование BLOB-объектов

Удаление подключения к данным Сетки событий

Обратная связь

Обратная связь

Дополнительные ресурсы

Создание подключения к данным Сетки событий для Azure Data Explorer

Предварительные требования

Создание подключения к данным в Сетке событий

Использование подключения к данным Сетки событий

Удаление подключения к данным Сетки событий

См. также

Обратная связь

Обратная связь

Дополнительные ресурсы