Copiar dados do Amazon S3 para o Armazenamento do Azure usando o AzCopy

  • Artigo

AzCopy é um utilitário de linha de comando que você pode usar para copiar blobs ou arquivos de ou para uma conta de armazenamento. Este artigo ajuda você a copiar objetos, diretórios e buckets do AWS (Amazon Web Services) S3 para o Armazenamento de Blobs do Azure usando o AzCopy.

Observação

O AzCopy dá suporte a URLs padrão de estilo hospedado virtual ou estilo de caminho definidas pela AWS. Por exemplo: https://bucket.s3.amazonaws.com ou https://s3.amazonaws.com/bucket.

Escolha como você fornecerá credenciais de autorização

  • Para autorizar com o Armazenamento do Azure, use o Microsoft Entra ID ou um token SAS (Assinatura de Acesso Compartilhado).

  • Para autorizar com o AWS S3, use uma chave de acesso da AWS e uma chave de acesso secreta.

Autorizar com o Armazenamento do Azure

Confira o artigo Introdução ao AzCopy para baixar o AzCopy e escolha como você fornecerá credenciais de autorização para o serviço de armazenamento.

Observação

Os exemplos neste artigo pressupõem que você autenticou sua identidade usando o comando AzCopy login. Em seguida, o AzCopy usa a sua conta do Microsoft Entra para autorizar o acesso aos dados no Armazenamento de Blobs.

Se você preferir usar um token SAS para autorizar o acesso a dados de blob, poderá acrescentar esse token à URL do recurso em cada comando AzCopy.

Por exemplo: https://mystorageaccount.blob.core.windows.net/mycontainer?<SAS-token>.

Autorizar com AWS S3

Reúna a chave de acesso da AWS e a chave de acesso secreta e defina estas variáveis de ambiente:

Sistema operacional Comando
Windows set AWS_ACCESS_KEY_ID=<access-key>
set AWS_SECRET_ACCESS_KEY=<secret-access-key>
Linux export AWS_ACCESS_KEY_ID=<access-key>
export AWS_SECRET_ACCESS_KEY=<secret-access-key>
macOS export AWS_ACCESS_KEY_ID=<access-key>
export AWS_SECRET_ACCESS_KEY=<secret-access-key>

Essas credenciais são usadas para gerar URLs pré-assinadas que são utilizadas para copiar objetos.

Copiar objetos, diretórios e buckets

O AzCopy usa a API Put Block From URL, de modo que os dados são copiados diretamente entre o AWS S3 e os servidores de armazenamento. Essas operações de cópia não usam a largura de banda de rede do computador.

Dica

Os exemplos nesta seção incluem argumentos de caminho com aspas simples (''). Use aspas simples em todos os shells de comando, exceto pelo shell de comando do Windows (cmd.exe). Se você estiver usando um shell de comando do Windows (cmd.exe), coloque os argumentos de caminho entre aspas duplas ("") em vez de aspas simples ('').

Esses exemplos também funcionam com contas que têm um namespace hierárquico. O Acesso de vários protocolos no Data Lake Storage permite que você use a mesma sintaxe de URL (blob.core.windows.net) nessas contas.

Copiar um objeto

Use a mesma sintaxe de URL (blob.core.windows.net) para contas que têm um namespace hierárquico.

Sintaxe

azcopy copy 'https://s3.amazonaws.com/<bucket-name>/<object-name>' 'https://<storage-account-name>.blob.core.windows.net/<container-name>/<blob-name>'

Exemplo

azcopy copy 'https://s3.amazonaws.com/mybucket/myobject' 'https://mystorageaccount.blob.core.windows.net/mycontainer/myblob'

Observação

Os exemplos neste artigo usam URLs de estilo de caminho para buckets do AWS S3 (por exemplo: http://s3.amazonaws.com/<bucket-name>).

Você também pode usar URLs de estilo hospedado virtualmente (por exemplo: http://bucket.s3.amazonaws.com).

Para saber mais sobre hospedagem virtual de buckets, confira Hospedagem virtual de buckets.

Copiar um diretório

Use a mesma sintaxe de URL (blob.core.windows.net) para contas que têm um namespace hierárquico.

Sintaxe

azcopy copy 'https://s3.amazonaws.com/<bucket-name>/<directory-name>' 'https://<storage-account-name>.blob.core.windows.net/<container-name>/<directory-name>' --recursive=true

Exemplo

azcopy copy 'https://s3.amazonaws.com/mybucket/mydirectory' 'https://mystorageaccount.blob.core.windows.net/mycontainer/mydirectory' --recursive=true

Observação

Este exemplo acrescenta o sinalizador --recursive para copiar arquivos em todos os subdiretórios.

Copiar o conteúdo de um diretório

Usando o símbolo curinga (*), você pode copiar o conteúdo de um diretório sem copiar o diretório propriamente dito.

Sintaxe

azcopy copy 'https://s3.amazonaws.com/<bucket-name>/<directory-name>/*' 'https://<storage-account-name>.blob.core.windows.net/<container-name>/<directory-name>' --recursive=true

Exemplo

azcopy copy 'https://s3.amazonaws.com/mybucket/mydirectory/*' 'https://mystorageaccount.blob.core.windows.net/mycontainer/mydirectory' --recursive=true

Copiar um bucket

Use a mesma sintaxe de URL (blob.core.windows.net) para contas que têm um namespace hierárquico.

Sintaxe

azcopy copy 'https://s3.amazonaws.com/<bucket-name>' 'https://<storage-account-name>.blob.core.windows.net/<container-name>' --recursive=true

Exemplo

azcopy copy 'https://s3.amazonaws.com/mybucket' 'https://mystorageaccount.blob.core.windows.net/mycontainer' --recursive=true

Copiar todos os buckets em todas as regiões

Use a mesma sintaxe de URL (blob.core.windows.net) para contas que têm um namespace hierárquico.

Sintaxe

azcopy copy 'https://s3.amazonaws.com/' 'https://<storage-account-name>.blob.core.windows.net' --recursive=true

Exemplo

azcopy copy 'https://s3.amazonaws.com' 'https://mystorageaccount.blob.core.windows.net' --recursive=true

Copiar todos os buckets em uma região específica do S3

Use a mesma sintaxe de URL (blob.core.windows.net) para contas que têm um namespace hierárquico.

Sintaxe

azcopy copy 'https://s3-<region-name>.amazonaws.com/' 'https://<storage-account-name>.blob.core.windows.net' --recursive=true

Exemplo

azcopy copy 'https://s3-rds.eu-north-1.amazonaws.com' 'https://mystorageaccount.blob.core.windows.net' --recursive=true

Lidar com as diferenças nas regras de nomenclatura de objeto

O AWS S3 tem um conjunto diferente de convenções de nomenclatura para nomes de bucket em comparação com os contêineres de blob do Azure. Você pode ler sobre elas aqui. Se você optar por copiar um grupo de buckets para uma conta do Armazenamento do Azure, a operação de cópia poderá falhar devido a diferenças de nomenclatura.

O AzCopy lida com dois dos problemas mais comuns que podem surgir: buckets que contêm pontos e buckets que contêm hifens consecutivos. Os nomes de bucket do AWS S3 podem conter pontos e hifens consecutivos, mas um contêiner no Azure não pode. O AzCopy substitui os pontos por hifens e hifens consecutivos por um número que representa o número de hifens consecutivos (por exemplo: um bucket chamado my----bucket se torna my-4-bucket.

Além disso, à medida que o AzCopy copia os arquivos, ele verifica se há conflitos de nomenclatura e tenta resolvê-los. Por exemplo, se há buckets com o nome bucket-name e bucket.name, o AzCopy resolve um bucket chamado bucket.name primeiro para bucket-name e, depois, para bucket-name-2.

Lidar com diferenças nos metadados do objeto

O AWS S3 e o Azure permitem conjuntos de caracteres diferentes nos nomes das chaves de objeto. Você pode ler sobre os caracteres que o AWS S3 usa aqui. No lado do Azure, as chaves de objeto de blob aderem às regras de nomenclatura para identificadores C#.

Como parte de um comando AzCopy copy, você pode fornecer um valor para tornar opcional o sinalizador s2s-handle-invalid-metadata, que especifica como você gostaria de tratar os arquivos em que os metadados do arquivo contêm nomes de chave incompatíveis. A tabela a seguir descreve cada valor de sinalizador.

Valor de sinalizador Descrição
ExcludeIfInvalid (Opção padrão) Os metadados não estão incluídos no objeto transferido. AzCopy registra um aviso.
FailIfInvalid Os objetos não são copiados. O AzCopy registra um erro e inclui esse erro na contagem de falhas que aparece no resumo da transferência.
RenameIfInvalid O AzCopy resolve a chave de metadados inválida e copia o objeto para o Azure usando o par de chave valor resolvido dos metadados. Para saber exatamente quais etapas o AzCopy executa para renomear as chaves de objeto, confira a seção Como o AzCopy renomeia as chaves de objeto abaixo. Se AzCopy não puder renomear a chave, o objeto não será copiado.

Como o AzCopy renomeia as chaves de objeto

O AzCopy executa estas etapas:

  1. Substitui caracteres inválidos por '_'.

  2. Adiciona a cadeia de caracteres rename_ ao início de uma nova chave válida.

    Essa chave será usada para salvar o valor original dos metadados.

  3. Adiciona a cadeia de caracteres rename_key_ ao início de uma nova chave válida. Essa chave será usada para salvar a chave inválida original dos metadados. Você pode usar essa chave para tentar recuperar os metadados no lado do Azure, pois a chave dos metadados é preservada como um valor no serviço de Armazenamento de Blobs.

Próximas etapas

Encontre mais exemplos nestes artigos:

Consulte estes artigos para definir configurações, otimizar o desempenho e solucionar problemas: