Управление Azure Data Lake Analytics с помощью портала AzureManage Azure Data Lake Analytics using the Azure portal

В этой статье описано, как управлять учетными записями, источниками данных, пользователями и заданиями Azure Data Lake Analytics с помощью портала Azure.This article describes how to manage Azure Data Lake Analytics accounts, data sources, users, and jobs by using the Azure portal.

Управление учетными записями Data Lake AnalyticsManage Data Lake Analytics accounts

Создание учетной записиCreate an account

  1. Войдите на портале Azure.Sign in to the Azure portal.
  2. Последовательно выберите Создать ресурс > Data + Analytics (Данные и аналитика) > Data Lake Analytics.Click Create a resource > Intelligence + analytics > Data Lake Analytics.
  3. Выберите значения для следующих параметров:Select values for the following items:
    1. Имя: имя учетной записи Data Lake Analytics.Name: The name of the Data Lake Analytics account.
    2. Подписка: подписка Azure, которая используется для учетной записи.Subscription: The Azure subscription used for the account.
    3. Группа ресурсов: группа ресурсов Azure, в которой создается учетная запись.Resource Group: The Azure resource group in which to create the account.
    4. Расположение: центр обработки данных Azure для учетной записи Data Lake Analytics.Location: The Azure datacenter for the Data Lake Analytics account.
    5. Data Lake Store: хранилище по умолчанию для учетной записи Data Lake Analytics.Data Lake Store: The default store to be used for the Data Lake Analytics account. Учетная запись Azure Data Lake Store и учетная запись Data Lake Analytics должны находиться в одном расположении.The Azure Data Lake Store account and the Data Lake Analytics account must be in the same location.
  4. Нажмите кнопку Создать.Click Create.

Удаление учетной записи Data Lake AnalyticsDelete a Data Lake Analytics account

Перед удалением учетной записи Data Lake Analytics необходимо удалить учетную запись Data Lake Store по умолчанию.Before you delete a Data Lake Analytics account, delete its default Data Lake Store account.

  1. На портале Azure выберите свою учетную запись Data Lake Analytics.In the Azure portal, go to your Data Lake Analytics account.
  2. Нажмите кнопку Delete(Удалить).Click Delete.
  3. Введите имя учетной записи.Type the account name.
  4. Нажмите кнопку Delete(Удалить).Click Delete.

Управление источниками данныхManage data sources

Data Lake Analytics в настоящее время поддерживает следующие источники данных:Data Lake Analytics supports the following data sources:

  • Data Lake StoreData Lake Store
  • Хранилище AzureAzure Storage

Вы можете использовать обозреватель данных для просмотра источников данных и выполнения основных операций управления файлами.You can use Data Explorer to browse data sources and perform basic file management operations.

Добавление источника данныхAdd a data source

  1. На портале Azure выберите свою учетную запись Data Lake Analytics.In the Azure portal, go to your Data Lake Analytics account.

  2. Щелкните Источники данных.Click Data Sources.

  3. Щелкните Добавить источник данных.Click Add Data Source.

    • Чтобы добавить учетную запись Data Lake Store, требуется имя учетной записи и доступ к учетной записи, чтобы отправить ей запрос.To add a Data Lake Store account, you need the account name and access to the account to be able to query it.
    • Чтобы добавить хранилище BLOB-объектов Azure, требуется учетная запись хранения и ключ учетной записи.To add Azure Blob storage, you need the storage account and the account key. Чтобы найти их, перейдите к учетной записи хранения на портале.To find them, go to the storage account in the portal.

Настройка правил брандмауэраSet up firewall rules

Data Lake Analytics позволяет дополнительно блокировать доступ к учетной записи Data Lake Analytics на уровне сети.You can use Data Lake Analytics to further lock down access to your Data Lake Analytics account at the network level. Вы можете включить брандмауэр, указать IP-адрес или определить диапазон IP-адресов для доверенных клиентов.You can enable a firewall, specify an IP address, or define an IP address range for your trusted clients. После этого к хранилищу смогут подключаться только клиенты с IP-адресами из определенного диапазона.After you enable these measures, only clients that have the IP addresses within the defined range can connect to the store.

Если другие службы Azure, например Azure Data Factory или виртуальные машины, будут подключаться к учетной записи Data Lake Analytics, убедитесь, что для параметра Разрешить использование служб Azure установлено значение Вкл.If other Azure services, like Azure Data Factory or VMs, connect to the Data Lake Analytics account, make sure that Allow Azure Services is turned On.

Настройка правила брандмауэра.Set up a firewall rule

  1. На портале Azure выберите свою учетную запись Data Lake Analytics.In the Azure portal, go to your Data Lake Analytics account.
  2. В меню слева щелкните Брандмауэр.On the menu on the left, click Firewall.

Добавление нового пользователяAdd a new user

Чтобы быстро подготовить новых пользователей Data Lake, используйте мастер добавления пользователей.You can use the Add User Wizard to easily provision new Data Lake users.

  1. На портале Azure выберите свою учетную запись Data Lake Analytics.In the Azure portal, go to your Data Lake Analytics account.
  2. В левой части экрана в разделе Приступая к работе щелкните Мастер добавления пользователей.On the left, under Getting Started, click Add User Wizard.
  3. Выберите пользователя и нажмите кнопку Выбрать.Select a user, and then click Select.
  4. Выберите роль и нажмите кнопку Выбрать.Select a role, and then click Select. Чтобы добавить нового разработчика в Azure Data Lake, выберите роль Разработчик Data Lake Analytics.To set up a new developer to use Azure Data Lake, select the Data Lake Analytics Developer role.
  5. Выберите списки управления доступом для баз данных U-SQL.Select the access control lists (ACLs) for the U-SQL databases. Когда нужные параметры настроены, нажмите кнопку Выбрать.When you're satisfied with your choices, click Select.
  6. Выберите списки управления доступом для файлов.Select the ACLs for files. Чтобы использовать хранилище по умолчанию, не изменяйте списки управления доступом для корневой папки "/" и для папки /system.For the default store, don't change the ACLs for the root folder "/" and for the /system folder. Нажмите кнопку Выбрать.Click Select.
  7. Просмотрите выбранные изменения и нажмите кнопку Выполнить.Review all your selected changes, and then click Run.
  8. После завершения работы мастера нажмите кнопку Готово.When the wizard is finished, click Done.

Управление доступом на основе ролейManage Role-Based Access Control

Подобно другим службам Azure, можно использовать управление доступом на основе ролей (RBAC), чтобы управлять взаимодействием пользователей со службой.Like other Azure services, you can use Role-Based Access Control (RBAC) to control how users interact with the service.

Стандартные роли RBAC имеют следующие возможности:The standard RBAC roles have the following capabilities:

  • Владелец: может отправлять и отслеживать задания, отменять задания от любого пользователя, а также настраивать учетные записи.Owner: Can submit jobs, monitor jobs, cancel jobs from any user, and configure the account.
  • Участник: может отправлять и отслеживать задания, отменять задания от любого пользователя, а также настраивать учетные записи.Contributor: Can submit jobs, monitor jobs, cancel jobs from any user, and configure the account.
  • Читатель: может отслеживать задания.Reader: Can monitor jobs.

Чтобы предоставить разработчикам доступ к U-SQL для использования службы Data Lake Analytics, используйте роль "Разработчик Data Lake Analytics".Use the Data Lake Analytics Developer role to enable U-SQL developers to use the Data Lake Analytics service. Роль "Разработчик Data Lake Analytics" можно использовать для:You can use the Data Lake Analytics Developer role to:

  • отправки заданий;Submit jobs.
  • отслеживания состояния и хода выполнения отправленных пользователями заданий;Monitor job status and the progress of jobs submitted by any user.
  • просмотра скриптов U-SQL в отправленных пользователями заданиях;See the U-SQL scripts from jobs submitted by any user.
  • отмены собственных заданий.Cancel only your own jobs.

Добавление пользователей или групп безопасности к учетной записи Data Lake AnalyticsAdd users or security groups to a Data Lake Analytics account

  1. На портале Azure выберите свою учетную запись Data Lake Analytics.In the Azure portal, go to your Data Lake Analytics account.
  2. Выберите Управление доступом (IAM) > Добавить назначение роли.Click Access control (IAM) > Add role assignment.
  3. Выберите роль.Select a role.
  4. Добавьте пользователя.Add a user.
  5. Последовательно выберите ОК.Click OK.

Примечание

Если пользователю или группе безопасности требуется отправлять задания, они также должны иметь разрешение в учетной записи хранения.If a user or a security group needs to submit jobs, they also need permission on the store account. Дополнительные сведения см. в статье Защита данных, хранимых в Azure Data Lake Store.For more information, see Secure data stored in Data Lake Store.

Управление заданиямиManage jobs

Отправка заданияSubmit a job

  1. На портале Azure выберите свою учетную запись Data Lake Analytics.In the Azure portal, go to your Data Lake Analytics account.

  2. Нажмите кнопку Создать задание.Click New Job. Настройте для каждого задания:For each job, configure:

    1. Имя задания. Имя задания.Job Name: The name of the job.
    2. Приоритет. Чем меньше число, тем выше приоритет.Priority: Lower numbers have higher priority. Если два задания поставлены в очередь, первым выполняется задание с более низким приоритетом.If two jobs are queued, the one with lower priority value runs first.
    3. Параллелизм. Максимальное количество вычислительных процессов, которые можно зарезервировать для этого задания.Parallelism: The maximum number of compute processes to reserve for this job.
  3. Щелкните Отправить задание.Click Submit Job.

Мониторинг заданийMonitor jobs

  1. На портале Azure выберите свою учетную запись Data Lake Analytics.In the Azure portal, go to your Data Lake Analytics account.
  2. Щелкните Просмотр всех заданий.Click View All Jobs. Отобразится список всех активных и недавно завершенных заданий в учетной записи.A list of all the active and recently finished jobs in the account is shown.
  3. При необходимости щелкните Фильтр для поиска заданий по значениям Диапазон времени, Имя задания и Автор.Optionally, click Filter to help you find the jobs by Time Range, Job Name, and Author values.

Отслеживание заданий конвейераMonitoring pipeline jobs

Задания конвейера определенного сценария выполнятся совместно в последовательном порядке.Jobs that are part of a pipeline work together, usually sequentially, to accomplish a specific scenario. Например, вы можете иметь конвейер, который очищает, извлекает, преобразует и содержит статистические данные, используемые при работе с клиентами.For example, you can have a pipeline that cleans, extracts, transforms, aggregates usage for customer insights. Задания конвейера определяются с помощью свойства Pipeline при отправке задания.Pipeline jobs are identified using the "Pipeline" property when the job was submitted. В заданиях, запланированных с помощью ADF V2, эти свойства заполняются автоматически.Jobs scheduled using ADF V2 will automatically have this property populated.

Чтобы просмотреть список заданий U-SQL конвейера, сделайте следующее:To view a list of U-SQL jobs that are part of pipelines:

  1. На портале Azure перейдите к своим учетным записям Data Lake Analytics.In the Azure portal, go to your Data Lake Analytics accounts.
  2. Выберите Подробные сведения о заданиях.Click Job Insights. По умолчанию на вкладке "Все задания" можно просмотреть список выполняющихся и завершенных заданий, а также заданий, поставленных в очередь.The "All Jobs" tab will be defaulted, showing a list of running, queued, and ended jobs.
  3. Перейдите на вкладку Задания конвейера. Список заданий конвейера будет отображаться со сводными статистическими данными по каждому конвейеру.Click the Pipeline Jobs tab. A list of pipeline jobs will be shown along with aggregated statistics for each pipeline.

Отслеживание повторяющихся заданийMonitoring recurring jobs

Повторяющиеся задания — это задания, которые имеют одинаковую бизнес-логику, но используют разные входные данные при каждом запуске.A recurring job is one that has the same business logic but uses different input data every time it runs. В идеале повторяющиеся задания должны всегда выполняться успешно и иметь относительно стабильное время выполнения. Отслеживание этого поведения поможет обеспечить работоспособность задания.Ideally, recurring jobs should always succeed, and have relatively stable execution time; monitoring these behaviors will help ensure the job is healthy. Повторяющиеся задания определяются с помощью свойства Recurrence.Recurring jobs are identified using the "Recurrence" property. В заданиях, запланированных с помощью ADF V2, эти свойства заполняются автоматически.Jobs scheduled using ADF V2 will automatically have this property populated.

Чтобы просмотреть список повторяющихся заданий U-SQL, сделайте следующее:To view a list of U-SQL jobs that are recurring:

  1. На портале Azure перейдите к своим учетным записям Data Lake Analytics.In the Azure portal, go to your Data Lake Analytics accounts.
  2. Выберите Подробные сведения о заданиях.Click Job Insights. По умолчанию на вкладке "Все задания" можно просмотреть список выполняющихся и завершенных заданий, а также заданий, поставленных в очередь.The "All Jobs" tab will be defaulted, showing a list of running, queued, and ended jobs.
  3. Откройте вкладку Повторяющиеся задания. Список повторяющихся заданий будет отображаться со сводными статистическими данными по повторяющемуся заданию.Click the Recurring Jobs tab. A list of recurring jobs will be shown along with aggregated statistics for each recurring job.

Дальнейшие действияNext steps