Limites do Azure Data Box

Considere esses limites ao implantar e operar seu Microsoft Azure Data Box. A tabela a seguir descreve esses limites para o Data Box.

Limites do serviço Data Box

  • Se você usar várias contas de armazenamento com o serviço Data Box, todas as contas de armazenamento deverão pertencer à mesma região do Azure.
  • Recomendamos que você use no máximo três contas de armazenamento. O uso de mais contas de armazenamento pode afetar o desempenho.

Limites do Data Box

  • O Data Box pode armazenar um máximo de 500 milhões de arquivos para importação e exportação.
  • O Data Box suporta um máximo de 512 contêineres ou compartilhamentos na nuvem. Os diretórios de nível superior dentro do compartilhamento de usuário se tornam contêineres ou compartilhamentos de arquivos do Azure na nuvem.
  • A capacidade de uso do Data Box pode ser inferior a 80 TiB devido ao consumo de espaço de metadados ReFS.
  • O Data Box suporta um máximo de 10 conexões de cliente por vez em um compartilhamento NFS.

Limites de armazenamento do Azure

Esta seção descreve os limites do serviço de Armazenamento do Azure e as convenções de nomenclatura necessárias para Arquivos do Azure, blobs de bloco do Azure e blobs de página do Azure, conforme aplicável ao serviço Data Box. Reveja cuidadosamente os limites de armazenamento e siga todas as recomendações.

Para obter as informações mais recentes sobre limites de serviço de armazenamento do Azure e práticas recomendadas para nomear compartilhamentos, contêineres e arquivos, vá para:

Importante

Se houver arquivos ou diretórios que excedam os limites do serviço de Armazenamento do Azure ou não estejam em conformidade com as convenções de nomenclatura de Arquivos/Blobs do Azure, esses arquivos ou diretórios não serão ingeridos no Armazenamento do Azure por meio do serviço Data Box.

Advertências de cópia e upload de dados

Para ordem de importação

As advertências do Data Box para uma ordem de importação incluem:

  • Contêineres, compartilhamentos e pastas:
    • Não copie arquivos diretamente para nenhum dos compartilhamentos pré-criados. Você precisa criar uma pasta sob o compartilhamento e, em seguida, copiar arquivos para essa pasta.
    • Uma pasta sob o StorageAccount_BlockBlob e StorageAccount_PageBlob é um contêiner. Por exemplo, os contêineres são criados como StorageAccount_BlockBlob/container e StorageAccount_PageBlob/container.
    • Cada pasta criada diretamente sob StorageAccount_AzFile é convertida em um Compartilhamento de Arquivos do Azure.
    • O Armazenamento de Blobs do Azure não oferece suporte a diretórios. Se você criar uma pasta sob a pasta StorageAccount_BlockBlob , as pastas virtuais serão criadas no nome do blob. Para Arquivos do Azure, a estrutura de diretórios real é mantida.
  • Mesclando conteúdo da pasta:
    • Cada arquivo gravado em compartilhamentos StorageAccount_BlockBlob e StorageAccount_PageBlob é carregado como um blob de bloco e blob de página, respectivamente.
    • Se uma pasta tiver o mesmo nome de um contêiner existente, o conteúdo da pasta será mesclado com o conteúdo do contêiner. Arquivos ou blobs que ainda não estão na nuvem são adicionados ao contêiner. Se um arquivo ou blob tiver o mesmo nome que um arquivo ou blob que já está no contêiner, o arquivo ou blob existente será substituído.
    • Um carregamento para um blob na camada Arquivo falhará se o contêiner tiver um blob arquivado existente com o mesmo nome. Enquanto um blob estiver numa Camada de arquivo, não pode ser lido ou modificado. Se você precisar substituir um blob, verifique se o blob não está definido para arquivar. Para obter mais informações, consulte Camada de acesso ao arquivo.
    • Qualquer hierarquia de diretórios vazia (sem arquivos) criada em StorageAccount_BlockBlob e StorageAccount_PageBlob pastas não é carregada.
  • A importação de dados para compartilhamentos de arquivos do Azure NFS não é suportada pelo Azure Data Box. Copiar dados do Data Box para um compartilhamento de arquivos do Azure NFS existente com um nome idêntico ao da pasta de origem cria um conflito. Para resolver esse conflito, o Data Box renomeia o compartilhamento de origem e o carrega na conta de armazenamento de destino como um compartilhamento databox-<GUID> de arquivos do Azure SMB.
  • Se você usar os protocolos SMB e NFS para cópias de dados, recomendamos que:
    • Use contas de armazenamento diferentes para SMB e NFS.
    • Não copie os mesmos dados para o mesmo destino final no Azure usando SMB e NFS. Nestes casos, não é possível determinar o resultado final.
    • Embora copiar via SMB e NFS em paralelo possa funcionar, não recomendamos fazer isso, pois é propenso a erros humanos. Aguarde até que a cópia de dados SMB esteja concluída antes de iniciar uma cópia de dados NFS.
  • Gestão de uploads:
    • Para melhorar o desempenho durante carregamentos de dados, recomendamos que você habilite compartilhamentos de arquivos grandes na conta de armazenamento e aumente a capacidade de compartilhamento para 100 TiB.
    • Se houver erros ao carregar dados no Azure, um log de erros será criado na conta de armazenamento de destino. O caminho para esse log de erros estará disponível quando o carregamento for concluído e você poderá revisá-lo para tomar uma ação corretiva. Não exclua dados da fonte sem verificar os dados carregados.
    • Os metadados de arquivo e as permissões NTFS podem ser preservados quando os dados são carregados nos Arquivos do Azure usando as orientações em Preservando ACLs, atributos e carimbos de data/hora de arquivo com o Azure Data Box.
    • A hierarquia dos arquivos é mantida durante o carregamento na nuvem para blobs e Arquivos do Azure. Por exemplo, você copiou um arquivo neste caminho: <container folder>\A\B\C.txt. Este ficheiro é carregado para o mesmo caminho na nuvem.
    • Se o campo CreateTime ou LastWriteTime de um arquivo exceder o tamanho permitido durante um carregamento, "Sex, 31 Dec 9999 23:59:59" substituirá a data original na propriedade do arquivo do Azure. O upload do arquivo é bem-sucedido e nenhum erro é gerado.

Para ordem de exportação

As advertências do Data Box para uma ordem de exportação incluem:

  • O Data Box é um dispositivo baseado no Windows e não suporta nomes de ficheiros que diferenciam maiúsculas de minúsculas. Por exemplo, você pode ter dois arquivos diferentes no Azure com nomes que apenas diferem em maiúsculas. Não use o Data Box para exportar esses arquivos, pois os arquivos serão substituídos no dispositivo.
  • Se você tiver tags duplicadas em arquivos de entrada ou tags referentes aos mesmos dados, a exportação do Data Box poderá ignorar ou substituir os arquivos. O número de arquivos e o tamanho dos dados que o portal do Azure exibe podem diferir do tamanho real dos dados no dispositivo.
  • O Data Box exporta dados para o sistema baseado no Windows através de SMB e é limitado por limitações SMB para ficheiros e pastas. Os ficheiros e pastas com nomes não suportados não são exportados.
  • Há um mapeamento 1:1 do prefixo para o contêiner.
  • O tamanho máximo do nome do arquivo é de 1024 caracteres. Os nomes de arquivo que excedem esse comprimento não são exportados.
  • Prefixos duplicados no arquivo xml (carregados durante a criação do pedido) são exportados. Prefixos duplicados não são ignorados.
  • Os blobs de página e os nomes de contêiner diferenciam maiúsculas de minúsculas. Se o invólucro for incompatível, o blob e/ou recipiente não será encontrado.

Limites de tamanho da conta de armazenamento do Azure

Aqui estão os limites do tamanho dos dados copiados para uma conta de armazenamento. Certifique-se de que os dados carregados estão em conformidade com estes limites. Para obter as informações mais atualizadas sobre esses limites, consulte Metas de escalabilidade e desempenho para armazenamento de Blob e metas de desempenho e escalabilidade dos Arquivos do Azure.

Tamanho dos dados copiados para a conta de armazenamento do Azure Limite predefinido
Blob de bloco e blob de página O limite máximo é o mesmo que o limite de Armazenamento definido para a Subscrição do Azure e inclui dados de todas as origens, incluindo o Data Box.
Ficheiros do Azure
  • O Data Box suporta grandes compartilhamentos de arquivos (100 TiB) se ativado antes da criação da ordem do Data Box.
  • O Data Box suporta Partilhas de Ficheiros Premium do Azure, que permitem um total de 100 TiB para todas as partilhas na conta de armazenamento.
    • A capacidade máxima utilizável é um pouco menor devido ao espaço que os logs de cópia e auditoria usam. Um mínimo de 100 GiB cada é reservado para o log de cópia e log de auditoria. Para obter mais informações, consulte Logs de auditoria para o Azure Data Box, Azure Data Box Heavy.
    • Todas as pastas sob StorageAccount_AzFile devem seguir este limite. Para obter mais informações, consulte Criar um compartilhamento de arquivos do Azure.

Limites de tamanho de objeto do Azure

Aqui estão os tamanhos dos objetos do Azure que podem ser gravados. Certifique-se de que todos os ficheiros carregados estão em conformidade com estes limites.

Tipo de objeto do Azure Limite predefinido
Blob de blocos 14 TiB
Blob de páginas 4 TiB
Cada arquivo carregado no formato de blob de página deve estar 512 bytes alinhados (um múltiplo integral), caso contrário, o upload falhará.
VHD e VHDX são 512 bytes alinhados.
Ficheiros do Azure 1 TiB
Discos geridos 4 TiB
Para obter mais informações sobre tamanho e limites, consulte:
  • Metas de escalabilidade de SSDs padrão
  • Metas de escalabilidade de SSDs Premium
  • Metas de escalabilidade das HDD padrão
  • Preços e faturamento de discos gerenciados
  • Convenções de nomenclatura de bloco, blob de página e arquivo do Azure

    Entity Convenções
    Nomes de contêiner para blob de bloco e blob de página Deve ser um nome DNS válido com 3 a 63 caracteres.
    Tem de começar com uma letra ou um número.
    Pode conter apenas letras minúsculas, números e o hífen (-).
    Cada hífen (-) tem de ser imediatamente precedido e seguido por uma letra ou um número.
    Não são permitidas hífenes consecutivas em nomes.
    Compartilhar nomes para arquivos do Azure Mesmo que acima
    Diretórios e nomes de arquivo para arquivos do Azure
  • Preservação de maiúsculas e minúsculas, sem distinção entre maiúsculas e minúsculas e não deve exceder 255 caracteres.
  • Não pode terminar com a barra (/).
  • Se fornecido, ele será removido automaticamente.
  • Os seguintes caracteres não são permitidos: " \ / : | < > * ?
  • Os carateres de URL reservados devem ser escritos corretamente.
  • Caracteres de caminho de URL ilegais não são permitidos. Pontos de código como \uE000 não são caracteres Unicode válidos. Alguns caracteres ASCII ou Unicode, como caracteres de controle (0x00 a 0x1F, \u0081, etc.), também não são permitidos. Para regras que regem cadeias de caracteres Unicode em HTTP/1.1, consulte RFC 2616, Seção 2.2: Regras básicas e RFC 3987.
  • Os seguintes nomes de arquivo não são permitidos: LPT1, LPT2, LPT3, LPT4, LPT5, LPT6, LPT7, LPT8, LPT9, COM1, COM2, COM3, COM4, COM5, COM6, COM7, COM8, COM9, PRN, AUX, NUL, CON, CLOCK$, caractere de ponto (.), e dois caracteres de ponto (..).
  • Nomes de blobs para blob de blocos e blob de páginas
  • Os nomes de blobs são sensíveis a maiúsculas e minúsculas e podem conter qualquer combinação de carateres.
  • Um nome de blob tem de ter entre 1 e 1024 carateres de comprimento.
  • Os carateres de URL reservados devem ser escritos corretamente.
  • O número de segmentos de linha que inclui o nome do blob não pode exceder 254. Um segmento de linha é a cadeia de carateres entre os carateres delimitadores consecutivos (por exemplo, uma barra "/") que corresponde ao nome de um diretório virtual.