Pré-requisitos para o Azure HPC Cache

Antes de usar o portal do Azure para criar um novo cache do HPC, verifique se o seu ambiente atende a esses requisitos.

Visões gerais de vídeo

Assista a esses vídeos para obter uma visão geral rápida dos componentes do sistema e o que eles precisam para trabalhar juntos.

(Clique na imagem do vídeo ou no link para assistir.)

  • Como funciona – explica como o Azure HPC Cache interage com o armazenamento e os clientes

    imagem em miniatura do vídeo: Azure HPC Cache: como funciona (clique para acessar a página)

  • Pré-requisitos – descreve os requisitos para armazenamento NAS, armazenamento de Blobs do Azure, acesso à rede e acesso de cliente

    imagem em miniatura do vídeo: Azure HPC Cache: Pré-requisitos (clique para acessar a página)

Leia o restante deste artigo para obter recomendações específicas.

Assinatura do Azure

Uma assinatura paga é recomendada.

Infraestrutura da rede

Dois pré-requisitos relacionados à rede devem ser configurados antes que você possa usar o cache:

  • Uma sub-rede dedicada para a instância do Azure HPC Cache
  • Suporte a DNS para que o cache possa acessar o armazenamento e outros recursos

Sub-rede de cache

O Azure HPC Cache precisa de uma sub-rede dedicada com as seguintes qualidades:

  • Ela deve ter pelo menos 64 endereços IP disponíveis.
  • Ela não pode hospedar nenhuma outra VM, mesmo para serviços relacionados, como computadores cliente.
  • Se você usar várias instâncias do Azure HPC Cache, cada uma precisará de sua própria sub-rede.

A prática recomendada é criar uma nova sub-rede para cada cache. Você pode criar uma nova rede virtual e uma sub-rede como parte da criação do cache.

Acesso DNS

O cache precisa do DNS para acessar recursos fora de sua rede virtual. Dependendo de quais recursos estão sendo usados, talvez seja necessário configurar um servidor DNS personalizado, assim como o encaminhamento entre esse servidor e os servidores DNS do Azure:

  • Para acessar os pontos de extremidade do armazenamento de Blobs do Azure, e outros recursos internos, você precisa do servidor DNS baseado no Azure.
  • Para acessar o armazenamento local, você precisa configurar um servidor DNS personalizado que possa resolver seus nomes de host de armazenamento. Você deve fazer isso antes de criar o cache.

Se você usar apenas o armazenamento de Blobs, poderá usar o servidor DNS padrão fornecido pelo Azure para seu cache. No entanto, se precisar de acesso a armazenamento ou outros recursos fora do Azure, você deverá criar um servidor DNS personalizado e configurá-lo para encaminhar as solicitações de resolução específicas do Azure para o servidor DNS do Azure.

Para usar um servidor DNS personalizado, você precisa executar estas etapas de instalação antes de criar o cache:

  • Crie a rede virtual que hospedará o Azure HPC Cache.

  • Crie o servidor DNS.

  • Acrescente o servidor DNS à rede virtual do cache.

    Siga estas etapas para adicionar o servidor DNS à rede virtual no portal do Azure:

    1. Abra a rede virtual no portal do Azure.
    2. Escolha servidores DNS no menu Configurações na barra lateral.
    3. Selecionar Personalizado
    4. Insira o endereço IP do servidor DNS no campo correspondente.

Um servidor DNS simples também pode ser usado para balancear a carga de conexões de cliente entre todos os pontos de montagem de cache disponíveis.

Saiba mais sobre as configurações de servidor DNS e redes virtuais do Azure em Resolução de nomes para recursos em redes virtuais do Azure.

Permissões

Verifique esses pré-requisitos relacionados à permissão antes de começar a criar seu cache.

  • A instância de cache precisa ser capaz de criar NICs (interfaces de rede virtual). O usuário que cria o cache deve ter privilégios suficientes na assinatura para criar NICs.

  • Se estiver usando o armazenamento de Blobs, o cache HPC precisará de autorização para acessar a conta de armazenamento. Use o Azure RBAC (controle de acesso baseado em função) para fornecer ao cache acesso ao seu armazenamento de Blobs. São necessárias duas funções: colaborador da conta de armazenamento e colaborador de dados de blob de armazenamento.

    Siga as instruções em Adicionar destinos de armazenamento para adicionar essas funções.

Infraestrutura de armazenamento

O cache é compatível com contêineres de Blob do Azure, exportações de armazenamento de hardware NFS e contêineres de Blob ADLS montados em NFS. Adicione destinos de armazenamento depois de criar o cache.

O tamanho do seu cache determina quantos destinos de armazenamento ele pode dar suporte. Até 10 destinos de armazenamento para a maioria dos caches ou até 20 para os de tamanhos maiores. Leia Dimensione o cache corretamente para dar suporte aos destinos de armazenamento, para saber mais detalhes.

Cada tipo de armazenamento tem pré-requisitos específicos.

Requisitos de armazenamento de Blobs

Se você quiser usar o armazenamento de Blobs do Azure com o cache, precisará de uma conta de armazenamento compatível e de um contêiner de Blobs vazio, ou de um contêiner que preenchido com os dados formatados do Azure HPC Cache, conforme descrito em Mover dados para o armazenamento de Blobs do Azure.

Observação

Requisitos diferentes se aplicam ao armazenamento de Blobs montado em NFS. Leia Requisitos de armazenamento ADLS-NFS para ler mais detalhes.

Crie a conta antes de tentar adicionar um destino de armazenamento. Você pode criar um novo contêiner ao adicionar o destino.

Para criar uma conta de armazenamento compatível, use uma destas combinações:

Desempenho Tipo Replicação Camada de acesso
Standard StorageV2 (v2 de uso geral) LRS (armazenamento com redundância local) ou ZRS (armazenamento com redundância de zona) Frequente
Premium Blobs de bloco LRS (armazenamento com redundância local) Frequente

A conta de armazenamento precisa ser acessível da sub-rede privada do seu cache. Se a sua conta usar um ponto de extremidade privado ou um ponto de extremidade público restrito a redes virtuais específicas, será necessário habilitar o acesso da sub-rede do cache. (Um ponto de extremidade público aberto não é recomendado.)

Recomendamos usar uma conta de armazenamento na mesma região do Azure que o cache.

Você também deve conceder ao aplicativo de cache acesso à sua conta de armazenamento do Azure, conforme mencionado acima em Permissões. Siga o procedimento em Adicionar destinos de armazenamento para fornecer ao cache as funções de acesso necessárias. Se você não for o proprietário da conta de armazenamento, faça com que o proprietário execute esta etapa.

Requisitos de armazenamento NFS

Se estiver usando um sistema de armazenamento NFS (por exemplo, um sistema NAS de hardware local), verifique se ele atende a esses requisitos. Talvez seja necessário trabalhar com os administradores de rede ou os gerenciadores de firewall do seu sistema de armazenamento (ou data center) para verificar essas configurações.

Observação

A criação do destino de armazenamento falhará se o cache tiver acesso insuficiente ao sistema de armazenamento NFS.

Obtenha mais informações em Solucionar problemas de configuração do NAS e destino de armazenamento NFS.

  • Conectividade de rede: o Azure HPC Cache precisa de acesso à rede de alta largura de banda entre a sub-rede de cache e o data center do sistema NFS. O ExpressRoute ou acesso semelhante é recomendado. Se estiver usando uma VPN, talvez seja necessário configurá-la para fixar TCP MSS em 1350 para garantir que os pacotes grandes não sejam bloqueados. Leia Restrições de tamanho do pacote da VPN para obter mais ajuda solucionando problemas de configurações da VPN.

  • Acesso à porta: o cache precisa de acesso a portas TCP/UDP específicas no sistema de armazenamento. Tipos diferentes de armazenamento têm requisitos de porta diferentes.

    Para verificar as configurações do seu sistema, siga este procedimento.

    • Emita um comando rpcinfo ao sistema de armazenamento para verificar as portas necessárias. O comando a seguir lista as portas e formata os resultados relevantes em uma tabela. (Use o endereço IP do seu sistema no lugar do termo <storage_IP> .)

      É possível emitir esse comando de qualquer cliente Linux que tenha a infraestrutura de NFS instalada. Ao usar um cliente dentro da sub-rede do cluster, ele também poderá ajudar a verificar a conectividade entre a sub-rede e o sistema de armazenamento.

      rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
      

    Verifique se todas as portas retornadas pela consulta rpcinfo permitem o tráfego irrestrito da sub-rede do Azure HPC Cache.

    • Se você não puder usar o comando rpcinfo, verifique se essas portas comumente usadas permitem o tráfego de entrada e de saída:

      Protocolo Porta Serviço
      TCP/UDP 111 rpcbind
      TCP/UDP 2049 NFS
      TCP/UDP 4045 nlockmgr
      TCP/UDP 4046 mountd
      TCP/UDP 4047 status

      Alguns sistemas usam números de porta diferentes para esses serviços – consulte a documentação do seu sistema de armazenamento para ter certeza.

    • Verifique as configurações de firewall para garantir que elas permitam o tráfego em todas as portas necessárias. Não esqueça de verificar os firewalls usados no Azure, bem como firewalls locais no seu data center.

  • Acesso à raiz (leitura/gravação): o cache se conecta ao sistema back-end como ID de usuário 0. Verifique essas configurações no seu sistema de armazenamento:

    • Habilitar no_root_squash. Essa opção garante que o usuário raiz remoto possa acessar arquivos pertencentes à raiz.

    • Verifique as políticas de exportação para certificar-se de que elas não incluem restrições de acesso à raiz da sub-rede do cache.

    • Se o armazenamento tiver quaisquer exportações que sejam subdiretórios de outra exportação, verifique se o cache tem acesso à raiz para o segmento mais baixo do caminho. Leia a seção Acesso à raiz em caminhos de diretório no artigo sobre solução de problemas do destino de armazenamento NFS para obter detalhes.

  • O armazenamento de back-end NFS deve ser uma plataforma de hardware/software compatível. Contate a equipe do Azure HPC Cache para obter detalhes.

Requisitos de armazenamento de Blobs (ADLS-NFS) montados em NFS

O Azure HPC Cache também pode usar um contêiner de Blob montado com o protocolo NFS como um destino de armazenamento.

Leia mais sobre esse recurso em Suporte ao protocolo NFS 3.0 no armazenamento de Blobs do Azure.

Os requisitos da conta de armazenamento são diferentes para um destino de armazenamento de Blobs ADLS-NFS e para um destino de armazenamento de Blobs padrão. Siga as instruções em Montar o armazenamento de Blobs usando o protocolo NFS 3.0 com cuidado para criar e configurar a conta de armazenamento habilitada para NFS.

Esta é uma visão geral das etapas. Essas etapas podem ser alteradas, portanto, sempre consulte as instruções do ADLS-NFS para obter os detalhes mais atuais.

  1. Verifique se os recursos necessários estão disponíveis nas regiões em que você planeja trabalhar.

  2. Habilite o recurso de protocolo NFS para sua assinatura. Faça isso antes de criar a conta de armazenamento.

  3. Crie uma VNet (rede virtual) segura para a conta de armazenamento. Você deve usar a mesma rede virtual para a conta de armazenamento habilitada para NFS e para o Azure HPC Cache. (Não use a mesma sub-rede que o cache.)

  4. Crie a conta de armazenamento.

    • Em vez de usar as configurações da conta de armazenamento para uma conta de armazenamento de Blobs padrão, siga as orientações no documento de instruções. O tipo de conta de armazenamento com suporte pode variar por região do Azure.

    • Na seção rede, escolha um ponto de extremidade privado na rede virtual segura que você criou (recomendado) ou escolha um ponto de extremidade público com acesso restrito da VNet segura.

    • Não se esqueça de concluir a seção Avançada, onde você habilita o acesso ao NFS.

    • Conceda ao aplicativo de cache acesso à conta de armazenamento do Azure, conforme mencionado acima em Permissões acima. Você pode fazer isso na primeira vez em que criar um destino de armazenamento. Siga o procedimento em Adicionar destinos de armazenamento para fornecer ao cache as funções de acesso necessárias.

      Se você não for o proprietário da conta de armazenamento, faça com que o proprietário execute esta etapa.

Saiba mais sobre como usar destinos de armazenamento ADLS-NFS com o Azure HPC Cache em Usar armazenamento de blobs montado em NFS com o Azure HPC Cache.

Configurar o acesso de CLI do Azure (opcional)

Se você quiser criar ou gerenciar o Azure HPC Cache na CLI do Azure (interface de linha de comando do Azure), precisará instalar o software da CLI e a extensão do cache do HPC. Siga as instruções em Configurar a CLI do Azure para o Azure HPC Cache.

Próximas etapas