Introdução ao Azure Data Lake Storage Gen1 com a CLI do Azure

  • Artigo

Nota

Azure Data Lake Storage Gen1 foi descontinuado. Veja o anúncio de descontinuação aqui. Data Lake Storage Gen1 recursos já não estão acessíveis. Se precisar de assistência especial, contacte-nos.

Saiba como utilizar a CLI do Azure para criar uma conta do Azure Data Lake Storage Gen1 e realizar operações básicas, como criar pastas, carregar e transferir ficheiros de dados, eliminar a sua conta, etc. Para obter mais informações sobre Data Lake Storage Gen1, consulte Descrição geral do Data Lake Storage Gen1.

A CLI do Azure é a experiência da linha de comandos do Azure para a gestão de recursos do Azure. Pode ser utilizada no macOS, no Linux e no Windows. Para obter mais informações, veja Descrição geral da CLI do Azure. Também pode ver a referência da CLI do Azure Data Lake Storage Gen1 para obter uma lista completa de comandos e sintaxe.

Pré-requisitos

Antes de começar este artigo, tem de ter o seguinte:

Autenticação

Este artigo utiliza uma abordagem de autenticação mais simples com Data Lake Storage Gen1 onde inicia sessão como utilizador final. O nível de acesso à conta Data Lake Storage Gen1 e ao sistema de ficheiros é regido pelo nível de acesso do utilizador com sessão iniciada. No entanto, também existem outras abordagens para autenticar com Data Lake Storage Gen1, que são a autenticação do utilizador final ou a autenticação serviço a serviço. Para obter instruções e obter mais informações sobre como autenticar, veja End-user authentication (Autenticação de utilizador final) ou Service-to-service authentication (Autenticação de serviço a serviço).

Inicie sessão na subscrição do Azure

  1. Inicie sessão na subscrição do Azure.

    az login

    Obtenha um código para utilizar no passo seguinte. Utilize um browser para abrir a página https://aka.ms/devicelogin e introduza o código para autenticar. É-lhe pedido para iniciar sessão com as suas credenciais.

  2. Depois de iniciar sessão, a janela lista todas as subscrições do Azure que estão associadas à sua conta. Utilize o seguinte comando para utilizar uma subscrição específica.

    az account set --subscription <subscription id>

Criar uma conta do Azure Data Lake Storage Gen1

  1. Criar um novo grupo de recursos. No seguinte comando, forneça os valores de parâmetros que pretende utilizar. Se o nome da localização contiver espaços, coloque-o entre aspas. Por exemplo, "E.U.A. Leste 2".

    az group create --location "East US 2" --name myresourcegroup

  2. Crie a conta Data Lake Storage Gen1.

    az dls account create --account mydatalakestoragegen1 --resource-group myresourcegroup

Criar pastas numa conta Data Lake Storage Gen1

Pode criar pastas na sua conta do Azure Data Lake Storage Gen1 para gerir e armazenar dados. Utilize o seguinte comando para criar uma pasta denominada mynewfolder na raiz da conta Data Lake Storage Gen1.

az dls fs create --account mydatalakestoragegen1 --path /mynewfolder --folder

Nota

O parâmetro --folder assegura que o comando cria uma pasta. Se este parâmetro não estiver presente, o comando cria um ficheiro vazio chamado mynewfolder na raiz da conta Data Lake Storage Gen1.

Carregar dados para uma conta Data Lake Storage Gen1

Pode carregar dados para Data Lake Storage Gen1 diretamente ao nível da raiz ou para uma pasta que criou na conta. Os fragmentos abaixo demonstram como carregar alguns dados de exemplo para a pasta (mynewfolder) que criou na secção anterior.

Se estiver à procura de alguns dados de exemplo para carregar, pode obter a pasta Ambulance Data a partir do Repositório de Git do Azure Data Lake. Transfira o ficheiro e armazene-o num diretório local no seu computador, como C:\sampledata.

az dls fs upload --account mydatalakestoragegen1 --source-path "C:\SampleData\AmbulanceData\vehicle1_09142014.csv" --destination-path "/mynewfolder/vehicle1_09142014.csv"

Nota

Para o destino, tem de especificar o caminho completo, incluindo o nome do ficheiro.

Listar ficheiros numa conta Data Lake Storage Gen1

Utilize o seguinte comando para listar os ficheiros numa conta Data Lake Storage Gen1.

az dls fs list --account mydatalakestoragegen1 --path /mynewfolder

O resultado deve ser semelhante ao seguinte:

[
    {
        "accessTime": 1491323529542,
        "aclBit": false,
        "blockSize": 268435456,
        "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "length": 1589881,
        "modificationTime": 1491323531638,
        "msExpirationTime": 0,
        "name": "mynewfolder/vehicle1_09142014.csv",
        "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "pathSuffix": "vehicle1_09142014.csv",
        "permission": "770",
        "replication": 1,
        "type": "FILE"
    }
]

Mudar o nome, transferir e eliminar dados de uma conta Data Lake Storage Gen1

  • Para mudar o nome de um ficheiro, utilize o seguinte comando:

    az dls fs move --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014.csv --destination-path /mynewfolder/vehicle1_09142014_copy.csv

  • Para transferir um ficheiro, utilize o seguinte comando: Certifique-se de que o caminho de destino especificado já existe.

    az dls fs download --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014_copy.csv --destination-path "C:\mysampledata\vehicle1_09142014_copy.csv"

    Nota

    O comando cria a pasta de destino se não existir.

  • Para eliminar um ficheiro, utilize o seguinte comando:

    az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014_copy.csv

    Se pretender eliminar a pasta mynewfolder e o ficheiro vehicle1_09142014_copy.csv em conjunto num comando, utilize o --parâmetro de recurso

    az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder --recurse

Trabalhar com permissões e ACLs para uma conta Data Lake Storage Gen1

Nesta secção, vai aprender a gerir ACLs e permissões com a CLI do Azure. Para um debate detalhado sobre como as ACLs são implementadas no Azure Data Lake Storage Gen1, veja Controlo de acesso no Azure Data Lake Storage Gen1.

  • Para atualizar o proprietário de um ficheiro/pasta, utilize o seguinte comando:

    az dls fs access set-owner --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --group 80a3ed5f-959e-4696-ba3c-d3c8b2db6766 --owner 6361e05d-c381-4275-a932-5535806bb323

  • Para atualizar as permissões de um ficheiro/pasta, utilize o seguinte comando:

    az dls fs access set-permission --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --permission 777

  • Para obter as ACLs de um determinado caminho, utilize o seguinte comando:

    az dls fs access show --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv

    O resultado deve ser semelhante ao seguinte:

    {
    "entries": [
    "user::rwx",
    "group::rwx",
    "other::---"
    ],
    "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
    "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
    "permission": "770",
    "stickyBit": false
}

  • Para definir uma entrada de uma ACL, utilize o seguinte comando:

    az dls fs access set-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323:-w-

  • Para remover uma entrada de uma ACL, utilize o seguinte comando:

    az dls fs access remove-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323

  • Para remover uma ACL predefinida completa, utilize o seguinte comando:

    az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder --default-acl

  • Para remover uma ACL não-predefinida completa, utilize o seguinte comando:

    az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder

Eliminar uma conta Data Lake Storage Gen1

Utilize o seguinte comando para eliminar uma conta Data Lake Storage Gen1.

az dls account delete --account mydatalakestoragegen1

Quando lhe for pedido, introduza S para eliminar a conta.

Passos seguintes