Сбор данных из Центров событий с помощью Azure Data Lake Storage 1-го поколенияUse Azure Data Lake Storage Gen1 to capture data from Event Hubs

В этой статье приведены сведения о сборе данных, полученных Центрами событий Azure, с помощью Azure Data Lake Storage 1-го поколения.Learn how to use Azure Data Lake Storage Gen1 to capture data received by Azure Event Hubs.

Технические условияPrerequisites

Назначение разрешений Центрам событийAssign permissions to Event Hubs

В этом разделе вы создадите папку в учетной записи, в которой необходимо собрать данные из Центров событий.In this section, you create a folder within the account where you want to capture the data from Event Hubs. Вы также можете назначить разрешения Центрам событий. Это позволит им записывать данные в учетную запись Data Lake Storage 1-го поколения.You also assign permissions to Event Hubs so that it can write data into a Data Lake Storage Gen1 account.

  1. Откройте учетную запись Data Lake Storage 1-го поколения, в которую необходимо собрать данные из Центров событий, и щелкните Обозреватель данных.Open the Data Lake Storage Gen1 account where you want to capture data from Event Hubs and then click on Data Explorer.

    Обозреватель данных Data Lake Storage 1-го поколенияData Lake Storage Gen1 data explorer

  2. Выберите Создать папку и введите имя папки, в которую необходимо сохранять данные.Click New Folder and then enter a name for folder where you want to capture the data.

    Создание папки в Azure Data Lake Storage 1-го поколенияCreate a new folder in Data Lake Storage Gen1

  3. Назначьте разрешения в корневой папке Data Lake Storage 1-го поколения.Assign permissions at the root of Data Lake Storage Gen1.

    a.a. Щелкните Обозреватель данных, выберите корневую папку учетной записи Data Lake Storage 1-го поколения, а затем — Доступ.Click Data Explorer, select the root of the Data Lake Storage Gen1 account, and then click Access.

    Назначение разрешений в корневой папке Data Lake Storage 1-го поколенияAssign permissions for the Data Lake Storage Gen1 root

    2.b. В разделе Доступ выберите Добавить, щелкните Выберите пользователя или группу, а затем найдите Microsoft.EventHubs.Under Access, click Add, click Select User or Group, and then search for Microsoft.EventHubs.

    Назначение разрешений в корневой папке Data Lake Storage 1-го поколенияAssign permissions for the Data Lake Storage Gen1 root

    Нажмите кнопку Выбрать.Click Select.

    c.c. В разделе Назначение разрешений выберите Выбор разрешений.Under Assign Permissions, click Select Permissions. Задайте для параметра Разрешения значение Выполнить.Set Permissions to Execute. Задайте для параметра Добавить к значение К этой папке и всем вложенным элементам.Set Add to to This folder and all children. Задайте для параметра Add as (Добавить как) значение Запись разрешений доступа и запись разрешений по умолчанию.Set Add as to An access permission entry and a default permission entry.

    Важно!

    Это простой способ обеспечения доступа к целевой папке при создании новой иерархии папок для записи данных, поступающих в Центры событий Azure.When creating a new folder hierarchy for capturing data received by Azure Event Hubs, this is an easy way to ensure access to the destination folder. Однако добавление разрешений для всех дочерних элементов папки верхнего уровня с многочисленными дочерними файлами и папками может занять много времени.However, adding permissions to all children of a top level folder with many child files and folders may take a long time. Если корневая папка содержит большое число файлов и папок, возможно, быстрее будет добавить разрешения на выполнение для Microsoft.EventHubs по отдельности в каждую папку в пути к конечной целевой папке.If your root folder contains a large number of files and folders, it may be faster to add Execute permissions for Microsoft.EventHubs individually to each folder in the path to your final destination folder.

    Назначение разрешений в корневой папке Data Lake Storage 1-го поколенияAssign permissions for the Data Lake Storage Gen1 root

    Последовательно выберите ОК.Click OK.

  4. Назначьте разрешения папке в учетной записи Data Lake Storage 1-го поколения, в которой необходимо сохранить данные.Assign permissions for the folder under the Data Lake Storage Gen1 account where you want to capture data.

    a.a. Щелкните Обозреватель данных, выберите папку в учетной записи Data Lake Storage 1-го поколения, а затем — Доступ.Click Data Explorer, select the folder in the Data Lake Storage Gen1 account, and then click Access.

    Назначение разрешений в папке Data Lake Storage 1-го поколенияAssign permissions for the Data Lake Storage Gen1 folder

    2.b. В разделе Доступ выберите Добавить, щелкните Выберите пользователя или группу, а затем найдите Microsoft.EventHubs.Under Access, click Add, click Select User or Group, and then search for Microsoft.EventHubs.

    Назначение разрешений в папке Data Lake Storage 1-го поколенияAssign permissions for the Data Lake Storage Gen1 folder

    Нажмите кнопку Выбрать.Click Select.

    c.c. В разделе Назначение разрешений выберите Выбор разрешений.Under Assign Permissions, click Select Permissions. Для параметра Разрешения установите флажки Чтение, Запись и Выполнить.Set Permissions to Read, Write, and Execute. Задайте для параметра Добавить к значение К этой папке и всем вложенным элементам.Set Add to to This folder and all children. Наконец, задайте для параметра Add as (Добавить как) значение Запись разрешений доступа и запись разрешений по умолчанию.Finally, set Add as to An access permission entry and a default permission entry.

    Назначение разрешений в папке Data Lake Storage 1-го поколенияAssign permissions for the Data Lake Storage Gen1 folder

    Последовательно выберите ОК.Click OK.

Настройка Центров событий для сбора данных в Data Lake Storage 1-го поколенияConfigure Event Hubs to capture data to Data Lake Storage Gen1

В этом разделе вы создаете концентратор событий в пространстве имен Центров событий.In this section, you create an Event Hub within an Event Hubs namespace. Кроме того, вы также настроите концентратор событий для записи данных в учетную запись Azure Data Lake Storage 1-го поколения.You also configure the Event Hub to capture data to an Azure Data Lake Storage Gen1 account. В этом разделе предполагается, что вы уже создали пространство имен Центров событий.This section assumes that you have already created an Event Hubs namespace.

  1. В области Обзор пространства имен Центров событий выберите +Концентратор событий.From the Overview pane of the Event Hubs namespace, click + Event Hub.

    Создание концентратора событийCreate Event Hub

  2. Чтобы настроить Центры событий для сбора данных в Data Lake Storage 1-го поколения, укажите приведенные ниже значения.Provide the following values to configure Event Hubs to capture data to Data Lake Storage Gen1.

    Создание концентратора событийCreate Event Hub

    a.a. Укажите имя концентратора событий.Provide a name for the Event Hub.

    2.b. В этом руководстве задайте для параметров Количество разделов и Хранение сообщений значения по умолчанию.For this tutorial, set Partition Count and Message Retention to the default values.

    c.c. Установите для параметра Запись значение Включено.Set Capture to On. Задайте окно времени (частота выполнения записи) и окно размера (размер данных для записи).Set the Time Window (how frequently to capture) and Size Window (data size to capture).

    d.d. Для параметра Capture Provider (Поставщик сбора) задайте значение Azure Data Lake Store и выберите учетную запись Data Lake Storage 1-го поколения, созданную ранее.For Capture Provider, select Azure Data Lake Store and then select the Data Lake Storage Gen1 account you created earlier. В качестве значения параметра Data Lake Path (Путь к Data Lake) введите имя папки, созданной в учетной записи Data Lake Storage 1-го поколения.For Data Lake Path, enter the name of the folder you created in the Data Lake Storage Gen1 account. Необходимо только указать относительный путь к папке.You only need to provide the relative path to the folder.

    д.e. Оставьте стандартное значение параметра Воспользуйтесь поиском, чтобы отфильтровать репликации.Leave the Sample capture file name formats to the default value. Этот параметр определяет структуру папки, созданной в папке записи.This option governs the folder structure that is created under the capture folder.

    Е.f. Нажмите кнопку Создать.Click Create.

Тестирование настройкиTest the setup

Теперь вы можете протестировать решение, отправив данные в концентратор событий Azure.You can now test the solution by sending data to the Azure Event Hub. Инструкции см. в статье Отправка событий в Центры событий Azure с помощью платформы .NET Framework.Follow the instructions at Send events to Azure Event Hubs. Отправляемые данные отобразятся в Data Lake Storage 1-го поколения с использованием указанной структуры папок.Once you start sending the data, you see the data reflected in Data Lake Storage Gen1 using the folder structure you specified. Например, на снимке экрана ниже приведена структура папок, в которой отобразятся данные в учетной записи Data Lake Storage 1-го поколения.For example, you see a folder structure, as shown in the following screenshot, in your Data Lake Storage Gen1 account.

Пример данных концентратора событий в Data Lake Storage 1-го поколенияSample EventHub data in Data Lake Storage Gen1

Примечание

Даже если в Центры событий не поступают сообщения, они записывают пустые файлы лишь с заголовками в учетную запись Data Lake Storage 1-го поколения.Even if you do not have messages coming into Event Hubs, Event Hubs writes empty files with just the headers into the Data Lake Storage Gen1 account. Файлы записываются с интервалом времени, указанным при создании концентраторов событий.The files are written at the same time interval that you provided while creating the Event Hubs.

Анализ данных в Data Lake Storage 1-го поколенияAnalyze data in Data Lake Storage Gen1

Когда данные появятся в Data Lake Storage 1-го поколения, вы можете выполнить задания аналитики, чтобы обработать их.Once the data is in Data Lake Storage Gen1, you can run analytical jobs to process and crunch the data. Сведения об использовании Azure Data Lake Analytics для выполнения этих действий см. в примере USQL Avro.See USQL Avro Example on how to do this using Azure Data Lake Analytics.

См. такжеSee also