Сбор данных из Центров событий с помощью Azure Data Lake Storage 1-го поколения
В этой статье приведены сведения о сборе данных, полученных Центрами событий Azure, с помощью Azure Data Lake Storage 1-го поколения.
Предварительные требования
Подписка Azure. См. страницу бесплатной пробной версии Azure.
Учетная запись Azure Data Lake Storage 1-го поколения. За инструкциями по созданию учетной записи обращайтесь к статье Начало работы с Azure Data Lake Storage 1-го поколения.
Пространство имен Центров событий. Дополнительные сведения см. в разделе Создание пространства имен Центров событий. Убедитесь, что учетная запись Data Lake Storage 1-го поколения и пространство имен Центров событий находятся в одной подписке Azure.
Назначение разрешений Центрам событий
В этом разделе вы создадите папку в учетной записи, в которой необходимо собрать данные из Центров событий. Вы также можете назначить разрешения Центрам событий. Это позволит им записывать данные в учетную запись Data Lake Storage 1-го поколения.
Откройте учетную запись Data Lake Storage 1-го поколения, в которую необходимо собрать данные из Центров событий, и щелкните Обозреватель данных.
Выберите Создать папку и введите имя папки, в которую необходимо сохранять данные.
Назначьте разрешения в корневой папке Data Lake Storage 1-го поколения.
а. Щелкните Обозреватель данных, выберите корневую папку учетной записи Data Lake Storage 1-го поколения, а затем — Доступ.
b. В разделе Доступ выберите Добавить, щелкните Выберите пользователя или группу, а затем найдите
Microsoft.EventHubs.
Нажмите кнопку Выбрать.
c. В разделе Назначение разрешений выберите Выбор разрешений. Задайте для параметра Разрешения значение Выполнить. Задайте для параметра Добавить к значение К этой папке и всем вложенным элементам. Задайте для параметра Add as (Добавить как) значение Запись разрешений доступа и запись разрешений по умолчанию.
Важно!
Это простой способ обеспечения доступа к целевой папке при создании новой иерархии папок для записи данных, поступающих в Центры событий Azure. Однако добавление разрешений для всех дочерних элементов папки верхнего уровня с многочисленными дочерними файлами и папками может занять много времени. Если корневая папка содержит большое число файлов и папок, возможно, быстрее будет добавить разрешения на выполнение для
Microsoft.EventHubsпо отдельности в каждую папку в пути к конечной целевой папке.
Нажмите кнопку ОК.
Назначьте разрешения папке в учетной записи Data Lake Storage 1-го поколения, в которой необходимо сохранить данные.
а. Щелкните Обозреватель данных, выберите папку в учетной записи Data Lake Storage 1-го поколения, а затем — Доступ.
b. В разделе Доступ выберите Добавить, щелкните Выберите пользователя или группу, а затем найдите
Microsoft.EventHubs.Нажмите кнопку Выбрать.
c. В разделе Назначение разрешений выберите Выбор разрешений. Для параметра Разрешения установите флажки Чтение, Запись и Выполнить. Задайте для параметра Добавить к значение К этой папке и всем вложенным элементам. Наконец, задайте для параметра Add as (Добавить как) значение Запись разрешений доступа и запись разрешений по умолчанию.
Нажмите кнопку ОК.
Настройка Центров событий для сбора данных в Data Lake Storage 1-го поколения
В этом разделе вы создаете концентратор событий в пространстве имен Центров событий. Кроме того, вы также настроите концентратор событий для записи данных в учетную запись Azure Data Lake Storage 1-го поколения. В этом разделе предполагается, что вы уже создали пространство имен Центров событий.
В области Обзор пространства имен Центров событий выберите +Концентратор событий.
Чтобы настроить Центры событий для сбора данных в Data Lake Storage 1-го поколения, укажите приведенные ниже значения.
а. Укажите имя концентратора событий.
b. В этом руководстве задайте для параметров Количество разделов и Хранение сообщений значения по умолчанию.
c. Установите для параметра Запись значение Включено. Задайте окно времени (частота выполнения записи) и окно размера (размер данных для записи).
d. Для параметра Capture Provider (Поставщик сбора) задайте значение Azure Data Lake Store и выберите учетную запись Data Lake Storage 1-го поколения, созданную ранее. В качестве значения параметра Data Lake Path (Путь к Data Lake) введите имя папки, созданной в учетной записи Data Lake Storage 1-го поколения. Необходимо только указать относительный путь к папке.
д) Оставьте стандартное значение параметра Воспользуйтесь поиском, чтобы отфильтровать репликации. Этот параметр определяет структуру папки, созданной в папке записи.
е) Нажмите кнопку Создать.
Тестирование настройки
Теперь вы можете протестировать решение, отправив данные в концентратор событий Azure. Инструкции см. в статье Отправка событий в Центры событий Azure с помощью платформы .NET Framework. Отправляемые данные отобразятся в Data Lake Storage 1-го поколения с использованием указанной структуры папок. Например, на снимке экрана ниже приведена структура папок, в которой отобразятся данные в учетной записи Data Lake Storage 1-го поколения.
Примечание
Даже если в Центры событий не поступают сообщения, они записывают пустые файлы лишь с заголовками в учетную запись Data Lake Storage 1-го поколения. Файлы записываются с интервалом времени, указанным при создании концентраторов событий.
Анализ данных в Data Lake Storage 1-го поколения
Когда данные появятся в Data Lake Storage 1-го поколения, вы можете выполнить задания аналитики, чтобы обработать их. Сведения об использовании Azure Data Lake Analytics для выполнения этих действий см. в примере USQL Avro.