Tutorial: Copiar dados para o Azure Data Box por meio do NFS

  • Artigo

Importante

O Azure Data Box agora dá suporte à atribuição de camadas de acesso no nível do blob. As etapas contidas neste tutorial refletem o processo de cópia de dados atualizado e são específicas para blob de blocos.

Para obter ajuda na determinação da camada de acesso apropriada para seus dados de blob de blocos, consulte a seção Determinar as camadas de acesso apropriadas para blob de blocos. Siga as etapas contidas na seção Copiar dados para o Data Box para copiar seus dados para a camada de acesso apropriada.

As informações contidas nesta seção aplicam-se a pedidos feitos após 1º de abril de 2024.

Este tutorial descreve como conectar-se e copiar dados do computador host usando a IU da Web local.

Neste tutorial, você aprenderá como:

  • Pré-requisitos
  • Conectar-se à caixa de dados
  • Copiar dados para caixa de dados

Pré-requisitos

Antes de começar, verifique se:

  1. Você conclui o Tutorial: configurar o Azure Data Box.
  2. Você recebe o Data Box e o status do pedido no portal é Entregue.
  3. Você tem um computador host que tem os dados que você deseja copiar para o Data Box. Seu computador host deve:
    • Executar um Sistema operacional com suporte.
    • Estar conectado a uma rede de alta velocidade. É altamente recomendável que você tenha pelo menos uma conexão de 10 GbE. Se uma conexão de 10 GbE não estiver disponível, um link de dados de 1 GbE poderá ser usado, mas as velocidades de cópia serão afetadas.

Conectar-se à caixa de dados

Com base na conta de armazenamento selecionada, o Data Box cria até:

  • Três compartilhamentos para cada conta de armazenamento associada para GPv1 e GPv2.
  • Um compartilhamento para armazenamento premium.
  • Um compartilhamento para uma conta de armazenamento de blobs, contendo uma pasta para cada uma das quatro camadas de acesso.

A tabela a seguir identifica os nomes dos compartilhamentos do Data Box aos quais você pode se conectar e o tipo de dados carregados na sua conta de armazenamento de destino. Ele também identifica a hierarquia de compartilhamentos e diretórios nos quais você copia seus dados de origem.

Tipo de armazenamento Nome do compartilhamento Entidade de primeiro nível Entidade de segundo nível Entidade de terceiro nível
Blob de blocos <storageAccountName>_BlockBlob <\accessTier> <\containerName> <\blockBlob>
Blob de páginas <\storageAccountName>_PageBlob <\containerName> <\pageBlob>
Armazenamento de arquivos <\storageAccountName>_AzFile <\fileShareName> <\file>

Você não pode copiar arquivos diretamente para a pasta raiz de qualquer compartilhamento do Data Box. Em vez disso, crie pastas no compartilhamento do Data Box dependendo do caso de uso.

Os blobs de blocos dão suporte à atribuição das camadas de acesso no nível do arquivo. Antes de você copiar arquivos para o compartilhamento de blob de blocos, a melhor prática recomendada é adicionar novas subpastas na camada de acesso apropriada. Em seguida, depois de criar novas subpastas, continue adicionando arquivos a cada subpasta conforme for apropriado.

Um novo contêiner é criado em qualquer pasta que resida na raiz do compartilhamento de blob de blocos. Qualquer arquivo na pasta é copiado para a camada de acesso padrão da conta de armazenamento como um blob de blocos.

Para obter mais informações sobre as camadas de acesso de blob, consulte Camadas de acesso para dados de blob. Para obter informações mais detalhadas sobre as práticas recomendadas da camada de acesso, consulte Práticas recomendadas para usar as camadas de acesso de blob.

A tabela a seguir mostra o caminho UNC nos compartilhamentos no seu Data Box e na URL de caminho do Armazenamento do Azure correspondente para a qual os dados são carregados. A URL final de caminho do Armazenamento do Azure pode ser derivada do caminho de compartilhamento UNC.

Tipos de Armazenamento do Azure Compartilhamentos do Data Box
Blobs de blocos do Azure
  • Caminho UNC para compartilhamentos: \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt
  • URL do Armazenamento do Azure: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt
    		•
    Blobs de páginas do Azure
  • Caminho UNC para compartilhamentos: \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd
  • URL do Armazenamento do Azure: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd
    		•
    Arquivos do Azure
  • Caminho UNC para compartilhamentos: \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt
  • URL do Armazenamento do Azure: https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt
    		•

    Se você estiver usando um computador host Linux, execute as etapas a seguir para configurar o Data Box para permitir o acesso aos clientes NFS.

    1. Forneça os endereços IP dos clientes permitidos que podem acessar o compartilhamento. Na interface do usuário da web local, acesse Conectar e copiar a página. Nas Configurações do NFS, clique em Acesso de cliente NFS.

      Configurar o acesso do cliente NFS

    2. Forneça o endereço de IP do cliente NFS e selecione Adicionar. Você pode configurar o acesso para vários clientes NFS repetindo essa etapa. Selecione OK.

      Configurar o endereço IP de um cliente NFS

    3. Assegure-se de que o computador host Linux tenha uma versão suportada do cliente NFS instalado. Use a versão específica para sua distribuição do Linux.

    4. Depois que o cliente NFS for instalado, use o seguinte comando para montar o compartilhamento NFS em seu dispositivo Data Box:

      sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

      Use o exemplo a seguir para se conectar a um compartilhamento do Data Box usando o NFS. No exemplo, o IP do dispositivo Data Box é 10.161.23.130. O Mystoracct_Blob de compartilhamento é montado no ubuntuVM e o ponto de montagem é /home/databoxubuntuhost/databox.

      sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

      Quanto aos clientes Mac, você precisa adicionar uma opção extra da seguinte maneira:

      sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

      Importante

      Você não pode copiar arquivos diretamente para a pasta raiz da conta de armazenamento. Na pasta raiz de uma conta de armazenamento de blobs de blocos, você encontrará uma pasta correspondente a cada uma das camadas de acesso disponíveis.

      Para copiar seus dados para o Azure Data Box, primeiro você deve selecionar a pasta correspondente a uma das camadas de acesso. Em seguida, crie uma subpasta dentro da pasta dessa camada para armazenar seus dados. Por fim, copie seus dados para a subpasta recém-criada. Sua nova subpasta representa o contêiner criado na conta de armazenamento durante a ingestão. Seus dados são carregados nesse contêiner como blobs.

    Determinar as camadas de acesso apropriadas para blob de blocos

    Importante

    As informações contidas nesta seção se aplicam a pedidos feitos após 01º de abril de 2024.

    O Armazenamento do Microsoft Azure permite que você armazene dados de blob de blocos em vários camadas de acesso dentro da mesma conta de armazenamento. Essa capacidade permite que os dados sejam organizados e armazenados de forma mais eficiente com base na frequência com que são acessados. A tabela a seguir contém informações e recomendações sobre as camadas de acesso do Armazenamento do Microsoft Azure.

    Camada Recomendação Melhor prática
    Frequente Útil para dados online acessados ou modificados com frequência. Essa camada tem os custos de armazenamento mais elevados, mas os custos de acesso mais baixos. Os dados nessa camada devem estar em uso regular e ativo.
    Esporádico Útil para dados online acessados ou modificados com pouca frequência. Essa camada tem custos de armazenamento mais baixos e custos de acesso mais altos do que a camada de acesso frequente. Os dados nessa camada devem ser armazenados por pelo menos 30 dias.
    Frio Útil para dados online acessados ou modificados raramente, mas que ainda exigem recuperação rápida. Essa camada tem custos de armazenamento mais baixos e custos de acesso mais altos do que a camada fria. Os dados nessa camada devem ser armazenados por um mínimo de 90 dias.
    Arquivo Útil para dados offline raramente acessados e com requisitos de latência mais baixos. Os dados nessa camada devem ser armazenados por um período mínimo de 180 dias. Os dados removidos da camada de armazenamento de arquivos dentro de 180 dias estão sujeitos a uma taxa de exclusão antecipada.

    Para obter mais informações sobre as camadas de acesso de blob, consulte Camadas de acesso para dados de blob. Para obter práticas recomendadas mais detalhadas, consulte Práticas recomendadas para usar as camadas de acesso de blobs.

    Você pode transferir seus dados de blob de blocos para a camada de acesso apropriada copiando-os para a pasta correspondente no Data Box. Esse processo é discutido com mais detalhes na seção Copiar dados para o Azure Data Box.

    Copiar dados para caixa de dados

    Depois de você se conectar a um ou mais compartilhamentos do Data Box, a próxima etapa é copiar os dados. Antes de começar a copiar os dados, considere as seguintes limitações:

    • Certifique-se de copiar seus dados para o compartilhamento que corresponde ao formato de dados necessário. Por exemplo, copie os dados de blob de blocos para o compartilhamento de blobs de blocos. Copie os VHDs para o compartilhamento de blob de páginas. Se o formato de dados não corresponder ao tipo de compartilhamento apropriado, o upload de dados para o Azure falhará durante uma etapa posterior.
    • Ao copiar dados para o AzFile ou compartilhamentos do PageBlob, primeiro crie uma pasta na raiz do compartilhamento e copie os arquivos para essa pasta.
    • Ao copiar dados para o compartilhamento BlockBlob, crie uma subpasta na camada de acesso desejada e copie os dados para a subpasta recém-criada. A subpasta representa um contêiner no qual os dados são carregados como blobs. Você não pode copiar arquivos diretamente para a pasta raiz de um compartilhamento.
    • Ao copiar dados, verifique se o tamanho dos dados está de acordo com os limites de tamanho descritos em Limites de tamanho da conta de armazenamento do Azure.
    • Uploads simultâneos do Data Box e de outro aplicativo que não seja do Data Box podem resultar em falhas de trabalho de upload e corrupção de dados.
    • Se você usa os protocolos SMB e NFS para cópias de dados, recomendamos que você faça o seguinte:
      • Use contas de armazenamento diferentes para o SMB e o NFS.
      • Não copie os mesmos dados para o mesmo destino final no Azure usando tanto SMB quanto NFS. Nesses casos, o resultado final não poderá ser determinado.
      • Embora a cópia via SMB e NFS em paralelo possa funcionar, isso não é recomendado, pois esse processo é propenso a erros humanos. Aguarde até que a cópia de dados de SMB seja concluída antes de iniciar uma cópia de dados de NFS.
    • Ao copiar dados para o compartilhamento de blob de blocos, crie uma subpasta na camada de acesso desejada e copie dados para a subpasta recém-criada. A subpasta representa um contêiner para o qual os dados são carregados como blobs. Não é possível copiar arquivos diretamente na pasta raiz na conta de armazenamento.
    • Em caso de ingestão de diretório e nomes de arquivos que diferenciam maiúsculas de minúsculas de um compartilhamento NFS para NFS em Data Box:

      • O uso de maiúsculas e minúsculas é preservado no nome.

      • Os arquivos não diferenciam maiúsculas de minúsculas.

        Por exemplo, se estiver copiando SampleFile.txt e Samplefile.Txt, o caso será preservado no nome quando copiado para o Data Box. Porém, como eles são considerados o mesmo arquivo, o último arquivo carregado substitui o primeiro arquivo.

    Importante

    Certifique-se de manter uma cópia dos dados de origem até que você possa confirmar que os dados foram copiados no Armazenamento do Azure.

    Se você estiver usando um computador host Linux, use um utilitário de cópia semelhante ao Robocopy. Algumas das alternativas disponíveis no Linux são o rsync, o FreeFileSync, o Unison ou o Ultracopier.

    O comando cp é uma das melhores opções para copiar um diretório. Para mais informações sobre o uso, vá para cp man pages.

    Se você usar a opção rsync para obter uma cópia com multithread, siga estas diretrizes:

    • Instale o pacote CIFS Utils ou NFS Utils, dependendo do sistema de arquivos usado pelo seu cliente Linux.

      sudo apt-get install cifs-utils

      sudo apt-get install nfs-utils

    • Instale o rsync e o Parallel (varia dependendo da versão distribuída do Linux).

      sudo apt-get install rsync

      sudo apt-get install parallel

    • Crie um ponto de montagem.

      sudo mkdir /mnt/databox

    • Monte o volume.

      sudo mount -t NFS4 //Databox IP Address/share_name /mnt/databox

    • Espelhe a estrutura de pastas.

      rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databox

    • Copie arquivos.

      cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databox/{}

      em que j especifica o número de paralelização, X = número de cópias paralelas

      Recomendamos que você inicie com 16 cópias paralelas e aumente o número de segmentos, dependendo dos recursos disponíveis.

    Importante

    Não há suporte para os seguintes tipos de arquivo do Linux: links simbólicos, arquivos de caracteres, arquivos de bloco, soquetes e pipes. Esses tipos de arquivo resultarão em falhas durante a etapa Preparar para o envio.

    As notificações são exibidas durante a capacidade de cópia para identificar erros.

    Baixar e ver erros em Conectar e copiar

    Selecione Baixar lista de problemas.

    Baixar a lista de problemas para um erro de cópia

    Abra a lista para ver os detalhes do erro e selecione a URL de resolução para ver a resolução recomendada.

    Problemas em uma lista de problemas de erro de cópia

    Para obter mais informações, veja Exibir logs de erros durante a cópia de dados para o Data Box. Para obter uma lista detalhada de erros durante a cópia de dados, veja Solucionar problemas do Data Box.

    Para garantir a integridade dos dados, a soma de verificação é computada em linha à medida que os dados são copiados. Quando a cópia estiver concluída, verifique o espaço usado e o espaço livre no seu dispositivo.

    Verificar o espaço livre e usado no painel

    Próximas etapas

    Neste tutorial, você aprendeu sobre tópicos do Azure Data Box como:

    • Pré-requisitos de cópia de dados do Data Box
    • Conectando-se ao Data Box
    • Determinar as camadas de acesso apropriadas no blob de blocos
    • Copiar dados para o Data Box

    Avance para o próximo tutorial para saber como enviar o Data Box novamente à Microsoft.

    Envie o Azure Data Box para a Microsoft