Editar

Modelação digital baseada em imagens no Azure

Azure Blob Storage
Azure Key Vault
Azure Virtual Machines

Atenção

Este artigo faz referência ao CentOS, uma distribuição Linux que está se aproximando do status de Fim da Vida Útil (EOL). Por favor, considere o seu uso e planeje de acordo. Para obter mais informações, consulte as diretrizes de Fim da Vida Útil do CentOS.

Este cenário de exemplo fornece orientação de arquitetura e design para qualquer organização que queira executar modelagem baseada em imagem na infraestrutura como serviço (IaaS) do Azure. O cenário foi projetado para executar o software de fotogrametria em Máquinas Virtuais (VMs) do Azure usando armazenamento de alto desempenho que acelera o tempo de processamento. O ambiente pode ser dimensionado para cima e para baixo conforme necessário e suporta terabytes de armazenamento sem sacrificar o desempenho.

Arquitetura

Diagrama que mostra uma arquitetura para executar modelagem baseada em imagem no Azure IaaS.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de Trabalho

  1. O usuário envia várias imagens para o PhotoScan.
  2. O PhotoScan Scheduler é executado em uma VM do Windows que serve como nó principal e direciona o processamento das imagens do usuário.
  3. O PhotoScan procura pontos comuns nas fotografias e constrói a geometria (malha) usando os nós de processamento do PhotoScan executados em VMs com unidades de processamento gráfico (GPUs).
  4. O Avere vFXT for Azure fornece uma solução de armazenamento de alto desempenho no Azure baseada no Network File System versão 3 (NFSv3) e composta por pelo menos quatro VMs.
  5. O PhotoScan renderiza o modelo.

Componentes

  • Agisoft PhotoScan: O PhotoScan Scheduler é executado em uma VM do Windows 2016 Server e os nós de processamento usam cinco VMs com GPUs que executam o CentOS Linux 7.5.
  • O Avere vFXT for Azure é uma solução de cache de arquivos que usa o armazenamento de objetos e o tradicional armazenamento conectado à rede (NAS) para otimizar o armazenamento de grandes conjuntos de dados. Inclui:
    • Avere Controller. Esta VM executa o script que instala o cluster Avere vFXT e executa o Ubuntu 18.04 LTS. A VM pode ser usada posteriormente para adicionar ou remover nós de cluster e para destruir o cluster também.
    • Cluster vFXT. Pelo menos três VMs são usadas, uma para cada um dos nós Avere vFXT baseados no Avere OS 5.0.2.1. Essas VMs formam o cluster vFXT, que é anexado ao armazenamento de Blob do Azure.
  • Os controladores de domínio do Microsoft Ative Directory permitem que o host acesse recursos de domínio e fornecem resolução de nomes DNS. O Avere vFXT adiciona vários registros A — por exemplo, cada registro A em um cluster vFXT aponta para o endereço IP de cada nó do Avere vFXT. Nessa configuração, todas as VMs usam o padrão round-robin para acessar as exportações vFXT.
  • Outras VMs servem como caixas de salto usadas pelo administrador para acessar o agendador e os nós de processamento. A jumpbox do Windows é obrigatória para permitir que o administrador acesse o nó principal via protocolo de área de trabalho remota. O segundo jumpbox é opcional e executa Linux para administração dos nós de trabalho.
  • Os grupos de segurança de rede limitam o acesso ao endereço IP público (PIP) e permitem que as portas 3389 e 22 acessem as VMs conectadas à sub-rede do Jumpbox.
  • O emparelhamento de rede virtual conecta uma rede virtual PhotoScan a uma rede virtual Avere.
  • O armazenamento de Blob do Azure funciona com o Avere vFXT como o filer principal para armazenar os dados confirmados que estão sendo processados. O Avere vFXT identifica os dados ativos armazenados no Blob do Azure e os coloca em camadas em unidades de estado sólido (SSD) usadas para armazenamento em cache em seus nós de computação enquanto um trabalho do PhotoScan está em execução. Se forem feitas alterações, os dados serão confirmados de forma assíncrona de volta ao arquivador principal.
  • O Azure Key Vault é usado para armazenar as senhas de administrador e o código de ativação do PhotoScan.

Alternativas

  • Para tirar partido dos serviços do Azure para gerir um cluster HPC, utilize ferramentas como o Azure CycleCloud ou o Azure Batch em vez de gerir os recursos através de modelos ou scripts.
  • Implante o sistema de arquivos virtual paralelo BeeGFS como o armazenamento back-end no Azure em vez do Avere vFXT. Use o modelo BeeGFS para implantar essa solução de ponta a ponta no Azure.
  • Implante a solução de armazenamento de sua escolha, como GlusterFS, Lustre ou Windows Storage Spaces Direct. Para fazer isso, edite o modelo PhotoScan para trabalhar com a solução de armazenamento desejada.
  • Implante os nós de trabalho com o sistema operacional Windows em vez do Linux, a opção padrão. Quando você usa nós do Windows, as opções de integração de armazenamento não são executadas pelos modelos de implantação. Você deve integrar manualmente o ambiente com uma solução de armazenamento existente ou personalizar o modelo do PhotoScan para fornecer essa automação, conforme descrito no repositório.

Detalhes do cenário

Este exemplo descreve o uso do software de fotogrametria Agisoft PhotoScan apoiado pelo armazenamento Avere vFXT. PhotoScan foi escolhido por sua popularidade em aplicações de sistema de informação geográfica (SIG), documentação de patrimônio cultural, desenvolvimento de jogos e produção de efeitos visuais. É adequado tanto para fotogrametria de curta distância como para fotogrametria aérea.

Os conceitos neste artigo se aplicam a qualquer carga de trabalho de computação de alto desempenho (HPC) com base em um agendador e nós de trabalho gerenciados como infraestrutura. Para esta carga de trabalho, o Avere vFXT foi selecionado por seu desempenho superior durante testes de benchmark. No entanto, o cenário separa o armazenamento do processamento para que outras soluções de armazenamento possam ser usadas (consulte as alternativas mais adiante neste documento).

Essa arquitetura também inclui controladores de domínio do Ative Directory para controlar o acesso aos recursos do Azure e fornecer resolução de nomes internos por meio do DNS (Sistema de Nomes de Domínio). As caixas de salto fornecem acesso de administrador às VMs do Windows e Linux que executam a solução.

Potenciais casos de utilização

Os casos de uso relevantes incluem:

  • Modelação e medição de edifícios, estruturas de engenharia e cenas de acidentes forenses.
  • Criação de efeitos visuais para jogos de computador e filmes.
  • Usando imagens digitais para gerar indiretamente medidas de objetos de várias escalas como em planejamento urbano e outras aplicações.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

Este cenário foi projetado especificamente para fornecer armazenamento de alto desempenho para uma carga de trabalho HPC, seja ela implantada no Windows ou Linux. Em geral, a configuração de armazenamento da carga de trabalho HPC deve corresponder às práticas recomendadas apropriadas usadas para implantações locais.

As considerações de implantação dependem dos aplicativos e serviços usados, mas algumas notas se aplicam:

  • Ao criar aplicativos de alto desempenho, use o Armazenamento Premium do Azure e otimize a camada de aplicativos. Otimize o armazenamento para acesso frequente usando o acesso de camada de acesso de Blob do Azure.
  • Use uma opção de replicação de armazenamento que atenda aos seus requisitos de disponibilidade e desempenho. Neste exemplo, o Avere vFXT é configurado para alta disponibilidade por padrão, com armazenamento localmente redundante (LRS). Para balanceamento de carga, todas as VMs nesta configuração usam o padrão round-robin para acessar as exportações vFXT.
  • Se o armazenamento de back-end for consumido por clientes Windows e Linux, use servidores Samba para suportar os nós do Windows. Uma versão deste cenário de exemplo baseada no BeeGFS usa o Samba para dar suporte ao nó do agendador da carga de trabalho HPC (PhotoScan) em execução no Windows. Um balanceador de carga é implantado para agir como um substituto inteligente para o round robin DNS.
  • Execute aplicativos HPC usando o tipo de VM mais adequado para sua carga de trabalho Windows ou Linux .
  • Para isolar a carga de trabalho HPC dos recursos de armazenamento, implante cada um em sua própria rede virtual e, em seguida, use o emparelhamento de rede virtual para conectar os dois. O emparelhamento cria uma conexão de baixa latência e alta largura de banda entre recursos em diferentes redes virtuais e roteia o tráfego através da infraestrutura de backbone da Microsoft apenas por meio de endereços IP privados.

Segurança

A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Visão geral do pilar de segurança.

Este exemplo se concentra na implantação de uma solução de armazenamento de alto desempenho para uma carga de trabalho HPC e não é uma solução de segurança. Certifique-se de envolver sua equipe de segurança para quaisquer alterações.

Para maior segurança, esta infraestrutura de exemplo permite que todas as VMs do Windows sejam associadas ao domínio e usa o Ative Directory para autenticação central. Ele também fornece serviços DNS personalizados para todas as VMs. Para ajudar a proteger o ambiente, este modelo depende de grupos de segurança de rede. O grupo de segurança de rede oferece filtros de tráfego básicos e regras de segurança.

Considere as seguintes opções para melhorar ainda mais a segurança nesse cenário:

Otimização de custos

A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.

O custo de execução desse cenário pode variar muito, dependendo de vários fatores. O número e o tamanho das VMs, a quantidade de armazenamento necessária e a quantidade de tempo para concluir um trabalho determinarão seu custo.

O perfil de custo de exemplo a seguir na calculadora de preços do Azure é baseado em uma configuração típica para Avere vFXT e PhotoScan:

  • 1 A1_v2 Ubuntu VM para executar o controlador Avere.
  • 3 D16s_v3 VMs do Avere OS, uma para cada um dos nós do Avere vFXT que formam o cluster vFXT.
  • 5 NC24_v2 VMs Linux para fornecer as GPUs necessárias para os nós de processamento do PhotoScan.
  • 1 D8s_v3 VM CentOS para o nó do agendador PhotoScan.
  • 1 DS2_v2 CentOS usado como jumpbox de administrador.
  • 2 DS2_v2 VMs para os controladores de domínio do Ative Directory.
  • Discos gerenciados premium.
  • Armazenamento de Blob de uso geral v2 (GPv2) com LRS e acesso de camada quente (somente contas de armazenamento GPv2 expõem o atributo Camada de Acesso).
  • Rede virtual com suporte para transferência de dados de 10 TB.

Próximos passos

Os recursos a seguir fornecerão mais informações sobre os componentes usados nesse cenário, juntamente com abordagens alternativas para computação em lote no Azure.