Начало работы с Azure Data Lake Storage 1-го поколения с помощью Azure CLI
Примечание
Azure Data Lake Storage 1-го поколения теперь прекращена. См. объявление о прекращении поддержки здесь. Data Lake Storage 1-го поколения ресурсы больше недоступны. Если вам нужна специальная помощь, свяжитесь с нами.
Узнайте, как использовать Azure CLI для создания учетной записи Azure Data Lake Storage 1-го поколения и выполнения основных операций, таких как создание папок, отправка и загрузка файлов данных, удаление вашей учетной записи и т. д. Дополнительные сведения о Data Lake Storage 1-го поколения см. в этой статье.
Azure CLI — это интерфейс командной строки Azure для управления ресурсами Azure. Его можно использовать в Windows, Linux и macOS. Дополнительные сведения см. в статье Инфраструктура Azure CLI. Полный список команд и синтаксис см. в справочнике интерфейса командной строки Azure Data Lake Storage 1-го поколения.
Предварительные требования
Перед началом работы с этой статьей необходимо иметь следующее:
Подписка Azure. См. страницу бесплатной пробной версии Azure.
Azure CLI. См. инструкции в статье об установке Azure CLI.
Аутентификация
В этой статье используется более простой подход к аутентификации в службе Data Lake Storage 1-го поколения, в которую выполняется вход от имени пользователя. Уровень доступа к учетной записи Data Lake Storage 1-го поколения и файловой системе зависит от уровня доступа пользователя, который вошел в систему. Существуют разные способы аутентификации в Data Lake Storage 1-го поколения, включая аутентификацию пользователей и аутентификацию между службами. Инструкции и дополнительные сведения об аутентификации см. в разделах Аутентификация пользователей и Аутентификация между службами.
Вход в подписку Azure
Войдите в подписку Azure.
az loginПолучите код для использования на следующем шаге. Откройте браузер и перейдите на страницу https://aka.ms/devicelogin. Введите код аутентификации. Вам будет предложено выполнить вход с использованием учетных данных.
После входа вы увидите список всех подписок Azure, связанных с вашей учетной записи. Чтобы выбрать определенную подписку, выполните следующую команду.
az account set --subscription <subscription id>
Создание учетной записи Azure Data Lake Storage 1-го поколения
Создание группы ресурсов В следующей команде укажите значения параметров, которые требуется использовать. Если имя расположения содержит пробелы, заключите его в кавычки. Например, "East US 2".
az group create --location "East US 2" --name myresourcegroupСоздайте учетную запись Data Lake Storage 1-го поколения.
az dls account create --account mydatalakestoragegen1 --resource-group myresourcegroup
Создание папок в учетной записи Data Lake Storage 1-го поколения
Чтобы хранить данные и управлять ими, вы можете создать папки в своей учетной записи Azure Data Lake Storage 1-го поколения. Используйте следующую команду, чтобы создать папку с именем mynewfolder в корневом каталоге Data Lake Storage 1-го поколения.
az dls fs create --account mydatalakestoragegen1 --path /mynewfolder --folder
Примечание
Команда создаст папку, используя параметр --folder. Если этот параметр отсутствует, команда создаст пустой файл с именем mynewfolder в корневом каталоге учетной записи Data Lake Storage 1-го поколения.
Отправка данных в учетную запись Data Lake Storage 1-го поколения
Данные можно передавать в Data Lake Storage 1-го поколения непосредственно на корневой уровень или в папку, созданную в учетной записи. Фрагменты кода ниже показывают, как передать некоторые примеры данных в папку (mynewfolder), которая была создана в предыдущем шаге.
Если у вас нет под рукой подходящих для этих целей данных, передайте папку Ambulance Data из репозитория Git для озера данных Azure. Скачайте файл и сохраните его в локальном каталоге на компьютере, например C:\sampledata.
az dls fs upload --account mydatalakestoragegen1 --source-path "C:\SampleData\AmbulanceData\vehicle1_09142014.csv" --destination-path "/mynewfolder/vehicle1_09142014.csv"
Примечание
Укажите полный путь в качестве назначения, включая имя файла.
Вывод списка файлов в учетной записи Data Lake Storage 1-го поколения
Чтобы вывести список файлов в учетной записи Data Lake Storage 1-го поколения, используйте следующую команду.
az dls fs list --account mydatalakestoragegen1 --path /mynewfolder
Результат этой команды должен выглядеть примерно так:
[
{
"accessTime": 1491323529542,
"aclBit": false,
"blockSize": 268435456,
"group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
"length": 1589881,
"modificationTime": 1491323531638,
"msExpirationTime": 0,
"name": "mynewfolder/vehicle1_09142014.csv",
"owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
"pathSuffix": "vehicle1_09142014.csv",
"permission": "770",
"replication": 1,
"type": "FILE"
}
]
Переименование, скачивание и удаление данных из учетной записи Data Lake Storage 1-го поколения
Чтобы переименовать файл, используйте следующую команду:
az dls fs move --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014.csv --destination-path /mynewfolder/vehicle1_09142014_copy.csvЧтобы загрузить файл, используйте следующую команду. Убедитесь, что указанный конечный путь уже существует.
az dls fs download --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014_copy.csv --destination-path "C:\mysampledata\vehicle1_09142014_copy.csv"Примечание
Команда создаст целевую папку, если она не существует.
Чтобы удалить файл, используйте следующую команду:
az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014_copy.csvЕсли вы хотите удалить папку mynewfolder и файл vehicle1_09142014_copy.csv с помощью одной команды, используйте параметр --recurse.
az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder --recurse
Работа с разрешениями и списками управления доступом для учетной записи Azure Data Lake Storage 1-го поколения
Из этого раздела вы узнаете, как управлять списками ACL и разрешениями с помощью Azure CLI. Подробные сведения о реализации списков ACL в Azure Data Lake Storage 1-го поколения см. в статье Контроль доступа в Azure Data Lake Storage 1-го поколения.
Чтобы обновить владельца файла или папки, используйте следующую команду:
az dls fs access set-owner --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --group 80a3ed5f-959e-4696-ba3c-d3c8b2db6766 --owner 6361e05d-c381-4275-a932-5535806bb323Чтобы обновить разрешения для файла или папки, используйте следующую команду:
az dls fs access set-permission --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --permission 777Чтобы получить списки ACL для определенного пути, используйте следующую команду:
az dls fs access show --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csvРезультат выполнения должен быть аналогичен следующему:
{ "entries": [ "user::rwx", "group::rwx", "other::---" ], "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20", "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20", "permission": "770", "stickyBit": false }Чтобы создать запись для ACL, используйте следующую команду:
az dls fs access set-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323:-w-Чтобы удалить запись для ACL, используйте следующую команду:
az dls fs access remove-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323Чтобы удалить весь стандартный список ACL, используйте следующую команду:
az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder --default-aclЧтобы удалить весь настраиваемый список ACL, используйте следующую команду:
az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder
Удаление учетной записи Data Lake Storage 1-го поколения
Чтобы удалить учетную запись Data Lake Storage 1-го поколения, используйте следующую команду.
az dls account delete --account mydatalakestoragegen1
При появлении запроса введите Y , чтобы удалить учетную запись.