Управление Data Lake Analytics Azure с помощью Azure CLI

Важно!

Azure Data Lake Analytics прекращена 29 февраля 2024 г. Дополнительные сведения см. в этом объявлении.

Для аналитики данных ваша организация может использовать Azure Synapse Analytics или Microsoft Fabric.

Узнайте, как управлять учетными записями, источниками данных, пользователями и заданиями Azure Data Lake Analytics с помощью Azure CLI. Чтобы просмотреть разделы управления с помощью других средств, перейдите на вкладку выше.

Предварительные требования

Для работы с этим руководством вам потребуются следующие ресурсы:

Управление учетными записями

Перед выполнением любого задания аналитики озера данных необходимо иметь учетную запись аналитики озера данных. В отличие от Azure HDInsight, вы не платите за учетную запись Аналитики, когда она не выполняет задание. Вы платите только за время выполнения задания. Дополнительные сведения см. в разделе Обзор аналитики озера данных Azure.

Создание учетных записей

Чтобы создать учетную запись Data Lake, выполните следующую команду.

az dla account create --account "<Data Lake Analytics account name>" --location "<Location Name>" --resource-group "<Resource Group Name>" --default-data-lake-store "<Data Lake Store account name>"

Обновление учетных записей

Следующая команда используется для обновления свойств существующей учетной записи данных озера аналитики.

az dla account update --account "<Data Lake Analytics Account Name>" --firewall-state "Enabled" --query-store-retention 7

Список учетных записей

Список учетных записей аналитики озера данных в конкретной группе ресурсов

az dla account list "<Resource group name>"

Получение сведений об учетной записи

az dla account show --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

Удаление учетной записи

az dla account delete --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

Управление источниками данных

Data Lake Analytics сейчас поддерживает два источника данных:

При создании учетной записи аналитики необходимо указать учетную запись хранения озера данных Azure в качестве учетной записи хранения по умолчанию. В учетной записи хранения Data Lake, используемой по умолчанию, хранятся метаданные задания и журналы аудита задания. После создания учетной записи Аналитики можно добавить другие Data Lake Storage учетные записи и (или) учетную запись хранения Azure.

Поиск учетной записи хранения озера данных по умолчанию

Чтобы узнать, какая учетная запись Data Lake Store используется по умолчанию, выполните команду az dla account show. Имя учетной записи по умолчанию указано под свойством defaultDataLakeStoreAccount.

az dla account show --account "<Data Lake Analytics account name>"

Добавление других учетных записей хранения BLOB-объектов

az dla account blob-storage add --access-key "<Azure Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Storage account name>"

Примечание

Поддерживаются только короткие имена хранилищ BLOB-объектов. Не следует использовать полное доменное имя, например "myblob.blob.core.windows.net".

Добавление других учетных записей Data Lake Store

Следующая команда обновляет указанную учетную запись Data Lake Analytics с другой учетной записью Data Lake Store:

az dla account data-lake-store add --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Data Lake Store account name>"

Обновление существующего источника данных

Обновление существующего ключа учетной записи хранилища BLOB-объектов

az dla account blob-storage update --access-key "<New Blob Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

Получение списка источников данных

Чтобы получить список учетных записей Data Lake Store, используйте следующую команду:

az dla account data-lake-store list --account "<Data Lake Analytics account name>"

Чтобы получить список учетных записей хранилища BLOB-объектов, используйте следующую команду:

az dla account blob-storage list --account "<Data Lake Analytics account name>"

Снимок экрана, на котором показан Azure C L I с выделенной информацией

Удаление источников данных

Удаление учетной записи хранения озера данных Azure

az dla account data-lake-store delete --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Azure Data Lake Store account name>"

Удаление учетной записи хранения BLOB-объектов

az dla account blob-storage delete --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

Управление заданиями

Для создания любого задания требуется учетная запись аналитики озера данных. Дополнительные сведения см. в разделе Управление учетными записями Data Lake Analytics.

Список заданий

az dla job list --account "<Data Lake Analytics account name>"

Источник данных списка аналитики озера данных

Получение сведений о задании

az dla job show --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

Отправка заданий

Примечание

Приоритет задания по умолчанию — 1000, а степень параллелизма по умолчанию для задания — 1.

az dla job submit --account "<Data Lake Analytics account name>" --job-name "<Name of your job>" --script "<Script to submit>"

Отмена задания

Используйте команду list, чтобы найти идентификатор задания, а затем используйте команду cancel для отмены задания.

az dla job cancel --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

Конвейеры и повторения

Получение сведений о конвейерах и повторениях

Используйте команды az dla job pipeline, чтобы получить сведения о конвейерах для ранее отправленных заданий.

az dla job pipeline list --account "<Data Lake Analytics Account Name>"

az dla job pipeline show --account "<Data Lake Analytics Account Name>" --pipeline-identity "<Pipeline ID>"

Используйте команды az dla job recurrence, чтобы получить сведения о повторениях для ранее отправленных заданий.

az dla job recurrence list --account "<Data Lake Analytics Account Name>"

az dla job recurrence show --account "<Data Lake Analytics Account Name>" --recurrence-identity "<Recurrence ID>"

Дальнейшие действия