Share via

Seu trabalho é uma boa opção para o Azure HPC Cache?

  • Artigo

O Azure HPC Cache pode acelerar o acesso a dados para trabalhos de computação de alto desempenho em uma variedade de disciplinas. Mas não é perfeito para todos os tipos de fluxos de trabalho. Este artigo fornece diretrizes sobre como decidir se o HPC Cache é uma boa opção para suas necessidades.

O artigo de Visão geral também fornece uma breve descrição de quando usar o Azure HPC Cache e alguns exemplos de casos de uso.

Leia também este artigo sobre como usar o armazenamento de blobs montado em NFS de maneira eficaz.

Aplicativos NFS versão 3.0

O Azure HPC Cache dá suporte apenas a clientes NFS 3.0.

Alta taxa de leitura para gravação

As cargas de trabalho em que os clientes de computação leem mais do que gravam são normalmente boas candidatas para um cache. Por exemplo, se a taxa de leitura para gravação for 80/20 ou 70/30, o Azure HPC Cache poderá ajudar fornecendo do cache arquivos solicitados com frequência em vez de ter que obtê-los do armazenamento remoto repetidamente.

Buscar um arquivo e armazená-lo no cache pela primeira vez tem uma pequena latência adicional em relação a uma solicitação de cliente normal diretamente para o armazenamento, de modo que o aumento da eficiência é a próxima vez que um cliente solicita o mesmo arquivo. Isso é especialmente verdadeiro para governança. Se cada solicitação do cliente for exclusiva, o impacto do HPC Cache será limitado. Mas, quanto maior o arquivo, melhor o desempenho será ao longo do tempo após o primeiro acesso.

Carga de trabalho analítica baseada em arquivo

O Azure HPC Cache é ideal para um pipeline que usa dados baseados em arquivo e é executado em um grande número de clientes de computação, especialmente se os clientes de computação forem máquinas virtuais do Azure. Ele pode ajudar a corrigir o desempenho lento ou inconsistente causado por tempos de acesso a arquivos longos.

Acesso a dados remotos

O Azure HPC Cache pode ajudar a reduzir a latência se sua carga de trabalho precisar acessar dados remotos que não podem ser movidos para mais perto dos recursos de computação. Por exemplo, os registros podem estar na extremidade distante de um ambiente de WAN, em uma região do Azure diferente ou em um data center de cliente. (Às vezes, isso é chamado de "File-bursting".)

Carga de solicitação pesada

Se um grande número de clientes solicitar dados da fonte ao mesmo tempo, o Azure HPC Cache poderá acelerar o acesso a arquivos. Por exemplo, quando é usado com um cluster de computação de alto desempenho, o Azure HPC Cache fornece escalabilidade para grandes números de solicitações simultâneas por meio do cache.

Os recursos de computação estão localizados no Azure

As máquinas virtuais do Azure são uma resposta escalonável e econômica à carga de trabalho de computação de alto desempenho. O Azure HPC Cache pode ajudar colocando as informações necessárias mais perto delas, especialmente se os dados originais estiverem armazenados em um sistema remoto.

Se um cliente deseja executar o pipeline atual "no estado atual" nas máquinas virtuais do Azure, o Azure HPC Cache pode fornecer uma solução de armazenamento compartilhado baseada em POSIX (ou cache) para escalabilidade.

Ao usar Azure HPC Cache, não é necessário refazer a arquitetura do pipeline de trabalho para fazer chamadas nativas para o Armazenamento de Blobs do Azure. É possível acessar os dados no sistema original ou usar o Azure HPC Cache para movê-lo para um novo contêiner de blobs.

Próximas etapas