Este artigo fornece uma visão geral técnica do uso do Microsoft Azure para dar suporte e aprimorar a computação em grade de risco no setor bancário. O artigo explora os sistemas recomendados e as arquiteturas de alto nível.
Este documento é destinado a Arquitetos de Soluções e, em alguns casos, a Tomadores de Decisão Técnica, que desejam um mergulho profundo em soluções propostas para computação de risco.
Introdução
Os modelos de análise de risco financeiro são normalmente processados como trabalhos em lote. Eles têm cargas de computação pesadas, gerando alta demanda por potência de computação, acesso a dados e análise. A demanda por cálculos de computação em grade de risco geralmente cresce com o tempo, e a necessidade de recursos de computação aumenta com isso.
A ampla gama de produtos e serviços disponíveis no Azure significa que pode haver mais de uma solução para a maioria dos problemas. Este artigo fornece uma visão geral das tecnologias, padrões e práticas mais eficazes para uma solução de computação em grade de risco no setor bancário que usa o Lote do Microsoft Azure.
O Lote do Azure é um serviço gratuito que fornece soluções econômicas e seguras. As soluções são para a infraestrutura e as várias fases do processamento em lote que são normalmente usadas com modelos de computação em grade de risco. O Lote do Microsoft Azure pode aumentar, estender ou até mesmo substituir investimentos atuais de recursos de computação locais usando redes híbridas ou movendo todo o processo em lote para o Azure. Os dados podem ser transferidos para cima e para baixo a partir da nuvem ou permanecer no local. Outros dados podem ser processados por nós de computação em um modelo de intermitência para nuvem, quando os recursos locais estiverem escassos.
Anatomia de uma execução do Lote do Azure
Normalmente, há pelo menos dois aplicativos envolvidos em uma execução em lote. Um aplicativo, normalmente executado em um "nó principal", envia o trabalho para o pool e, às vezes, orquestra os nós de computação. A orquestração também pode ser configurada por meio do portal do Azure. O outro aplicativo é executado pelos nós de computação como uma tarefa (veja a Figura 1).
O aplicativo de nó de cálculo executa a tarefa de arquivos de modelagem de risco de processamento paralelo. Pode haver mais de um aplicativo instalado e executado nos nós de computação.
Esses aplicativos podem ser carregados por meio da API do Lote, diretamente pelo portal do Azure ou pelos comandos da CLI do Azure para o Lote.
Figura 1: computação em grade do Lote do Microsoft Azure
Uma execução do Lote do Azure consiste em vários elementos lógicos. A Figura 2 mostra o modelo lógico de um trabalho em lotes. Um pool é um contêiner para as VMs envolvidas na execução do Batch e provisiona as VMs do nó de cálculo. Um pool também é o contêiner para os aplicativos instalados nos nós de computação. Os trabalhos são criados e executados no pool. Tarefas são executadas pelos trabalhos. As tarefas são uma execução do aplicativo de trabalho e são chamadas por uma instrução de linha de comando.
O aplicativo de trabalho é instalado no nó de computação quando ele é criado.
Figura 2: modelo conceitual de lote lógico
Quando o trabalho é executado, o pool fornece as VMs de trabalho necessárias e instala os aplicativos de trabalho. O trabalho atribui tarefas a esses nós de computação, que, por sua vez, executam uma CLI (instrução de linha de comando). O script da CLI normalmente chama os aplicativos ou scripts instalados.
Usar o Lote normalmente segue um padrão prototípico, descrito da seguinte maneira:
- Crie um grupo de recursos para conter os ativos do Lote.
- Dentro do grupo de recursos, crie uma conta em lote.
- Crie uma conta de armazenamento vinculada.
- Crie um pool no qual você possa provisionar as VMs de trabalho.
- Carregue o aplicativo ou os scripts do nó de cálculo no pool.
- Crie um trabalho para atribuir tarefas às VMs no pool.
- Adicione o trabalho para o pool.
- Começa a execução do lote.
- O trabalho enfileira as tarefas a serem executadas nos nós de cálculo.
- Os nós de computação executam as tarefas conforme as VMs se tornam disponíveis.
Uma ilustração deste processo é mostrada na Figura 3.
Figura 3: modelo conceitual de lote lógico
Quando as tarefas estiverem concluídas, pode ser útil remover os nós de cálculo para não incorrer em valores enquanto não estiverem em uso. Para excluí-los, via código ou portal, é possível excluir o pool de contêineres, o que removerá as VMs de trabalho.
Para obter instruções passo a passo mais detalhadas sobre como começar a usar o Lote, os Inícios rápidos de 5 minutos mostram o processo em vários idiomas, além de mostrar como usar o portal do Azure.
Agendamento de processos de lote
O Lote do Microsoft Azure possui um agendador interno para que o agendamento de cada execução possa ser definido no portal ou por meio de APIs. O Agendador de tarefas em lote pode definir vários agendamentos para disparar vários trabalhos. Cada trabalho tem suas próprias propriedades, como o que fazer quando o trabalho é iniciado e finalizado. As programações de tarefas podem ser definidas em intervalos recorrentes ou para uma execução única.
Muitos sistemas de computação em grade do banco já possuem seu próprio serviço de agendamento. Pode não haver necessidade imediata de mover meu agendador para o Azure. Isso pode funcionar perfeitamente porque o Lote do Azure pode ser invocado manualmente ou por meio de um SDK. Essa capacidade permite que o agendamento ainda ocorra no local e que as cargas de trabalho sejam processadas no Azure.
O processamento em lote pode ocorrer em um agendamento predeterminado ou sob demanda. Em ambos os casos, não há necessidade de manter as VMs do nó de computação ativas quando não estiverem sendo usadas. Ao usar centenas, se não milhares, de nós de computação de VM, é possível obter uma economia significativa de custos ao desprovisionar os servidores quando eles terminarem de executar suas tarefas na fila.
Aplicativos de nó de computação
Os nós de computação precisam de um aplicativo para ser executado quando uma tarefa é invocada. Esses aplicativos são gravados pela empresa para executar as tarefas de processamento quando instaladas nos trabalhadores. Em cenários de computação em grade de risco no setor bancário, esse aplicativo geralmente assume a tarefa de transformar dados em formatos especialmente adequados para análise downstream ou outro tipo de processamento.
Ao fornecer o aplicativo ao pool para distribuição aos nós de computação, ele é carregado em um pacote de aplicativos. Um pacote de aplicativos pode ser outra versão de um pacote de aplicativos carregado anteriormente. Mais de um pacote de aplicativos pode ser instalado em um nó de computação. O trabalho contém os pacotes de aplicativos para carregar nas máquinas de trabalho.
A implantação do pacote de aplicativos também pode ser gerenciada por versão. Se várias versões de um pacote de aplicativos tiverem sido carregadas em um pool, uma versão específica poderá ser designada para uso em uma execução em lote, conforme mostrado na Figura 4. Isso pode ser necessário em ambientes de auditoria ou quando a empresa deseja reproduzir uma execução anterior. Ele também pode ser usado para propósitos de reversão se um bug for introduzido no aplicativo de trabalho.
Figura 4: aplicativos de tarefa do nó de computação de controle de versão
Um pacote de aplicativos é carregado no pool como um arquivo .zip. O arquivo contém os binários do aplicativo e os arquivos de suporte necessários para que as tarefas executem o aplicativo. Há dois escopos para pacotes de aplicativos. Você pode designar um pacote de aplicativos no escopo do pool ou no escopo das tarefas.
Pacotes de aplicativos do pool
Esses pacotes são implantados em todos os nós de computação no pool. Quando uma VM de nó de computação é provisionada, reinicializada ou tem a imagem refeita, uma nova cópia de qualquer pacote de aplicativos do pool é instalada, se houver um aplicativo atualizado. Um ou mais pacotes de aplicativos podem ser atribuídos a um pool, o que significa que os nós de computação obterão todos os pacotes designados.
Pacotes de aplicativos de tarefa
Os pacotes de aplicativos destinados ao nível da tarefa são instalados apenas para calcular os nós planejados para executar uma tarefa. Os pacotes de aplicativos de tarefas devem ser usados quando mais de um trabalho for executado em um pool.
Os aplicativos de tarefas são úteis ao agregar dados produzidos por trabalhos em nível de pool. Esses aplicativos podem ser relevantes em cenários de computação em grade de risco. Por exemplo, um aplicativo de tarefa pode executar um conjunto de cálculos de risco que geram dados a serem usados posteriormente no fluxo de trabalho de cálculo de risco.
Dimensionamento de trabalhos em lotes
Os bancos geralmente executam execuções em lote de análise de risco nos finais de semana ou à noite quando os recursos de computação são subutilizados. Embora esse modelo funcione para alguns, ele pode ser superado rapidamente, exigindo mais capital para adicionar mais máquinas de trabalho à rede.
Se os trabalhos do Lote do Azure demorarem muito para serem executados ou se você quiser mais potência de computação em suas execuções do Lote, o Azure oferece várias opções.
- Alocar mais máquinas de nó de computação para escalar horizontalmente.
- Aloque máquinas de nó de computação mais poderosas para aumentar a escala. As máquinas do Azure podem ser provisionadas para atender às necessidades de alto desempenho dos núcleos e da memória, e até mesmo do poder de computação da GPU.
Observação: o uso do Microsoft HPC Pack com o Lote é um modelo mais complexo e não é discutido neste artigo.
Em um cluster de processamento em lote, você pode ter apenas duas VMs de processamento. Ou você pode ter milhares de tarefas simultâneas em execução em milhares de nós de computação de VM, com dezenas de milhares de núcleos. Cada VM é responsável por executar uma única tarefa por vez. O número de VMs em um pool pode ser dimensionado manual ou automaticamente, conforme configurado quando a carga aumenta ou diminui.
Intermitência para nuvem
Quando os recursos de computação em uma grade local estão em baixa devido à execução de uma grande tarefa de análise, o “burst to cloud” oferece uma maneira de aumentar esses recursos adicionando mais nós de computação no Azure. A intermitência para nuvem é um modelo no qual as nuvens privadas ou a infraestrutura distribuem sua carga de trabalho para servidores em nuvem, quando a demanda por recursos locais é alta.
Esses nós de computação podem ser pré-configurados como máquinas virtuais Linux ou Windows a serem provisionadas na plataforma IaaS do Azure. Além disso, os servidores podem ser provisionados e configurados automaticamente para funcionar com investimentos existentes, como o Tibco Gridserver e o IBM Symphony.
Fórmulas de dimensionamento automático
Essa elasticidade pode ser configurada no portal do Azure ou usando fórmulas de dimensionamento automático. As fórmulas de dimensionamento automático são scripts carregados no Agendador de processamento em lote para um controle refinado do comportamento em lotes. O dimensionamento automático em um pool de nós de computação é feito associando os nós a fórmulas de dimensionamento automático.
O exemplo a seguir é de uma fórmula de dimensionamento automático que direciona o dimensionamento automático para iniciar com uma VM e escalonar verticalmente até 50 VMs, conforme necessário. À medida que as tarefas são concluídas, as VMs se libertam uma por uma e a fórmula de dimensionamento automático reduz o pool.
startingNumberOfVMs = 1;
maxNumberofVMs = 50;
pendingTaskSamplePercent = $PendingTasks.GetSamplePercent(180 * TimeInterval_Second);
pendingTaskSamples = pendingTaskSamplePercent < 70 ? startingNumberOfVMs : avg($PendingTasks.GetSample(180 * TimeInterval_Second));
$TargetDedicatedNodes=min(maxNumberofVMs, pendingTaskSamples);
Outras técnicas de escala
O dimensionamento automático também pode ser habilitado pelo cmdlet Enable-AzureBatchAutoScale do PowerShell. O cmdlet Enable-AzureBatchAutoScale permite o dimensionamento automático do pool especificado. Há um exemplo a seguir.
- O primeiro comando define uma fórmula e, em seguida, salva-a na variável
$Formula. - O segundo comando permite o dimensionamento automático no pool chamado
RiskGridPoolusando a fórmula em$Formula.
C:\> $Formula = ‘startingNumberOfVMs = 1;
maxNumberofVMs = 50;
pendingTaskSamplePercent = $PendingTasks.GetSamplePercent(180 * TimeInterval_Second?WT.mc_id=gridbanksg-docs-dastarr);
pendingTaskSamples = pendingTaskSamplePercent < 70 ? startingNumberOfVMs : avg($PendingTasks.GetSample(180 * TimeInterval_Second));
$TargetDedicatedNodes=min(maxNumberofVMs, pendingTaskSamples);’;
C:\> Enable-AzureBatchAutoScale -Id "RiskGridPool" -AutoScaleFormula $Formula -BatchContext $Context
A dimensionamento também pode ser realizado usando a CLI do Azure com o comando az batch pool resize e por meio do portal do Azure.
Armazenamento e retenção de dados
Depois que os dados são ingeridos e processados por um nó de computação, os dados de saída resultantes podem ser armazenados em um banco de dados. Os dados de saída podem ser processados e analisados ou transformados após a ingestão, antes do armazenamento, a fim de garantir os formatos adequados para o processamento downstream. O Microsoft Azure oferece várias opções de armazenamento. A escolha de qual tecnologia de armazenamento de dados usar depende em grande parte das necessidades de análise e / ou de relatórios nos processos de recebimento de dados.
Ao usar uma rede híbrida, o destino de armazenamento de dados pode estar no local. Ao usar o Lote em uma rede híbrida, os nós de computação podem gravar dados em um repositório de dados local sem usar um local de armazenamento baseado no Azure. Os trabalhos também podem gravar no Armazenamento de Arquivos do Azure, que pode ser montado como um disco em um computador local. Essa configuração permite fácil acesso a qualquer processo que trabalhe com os arquivos locais.
Monitoramento e registro em log
Para otimizar futuras execuções do trabalho em lote, os dados devem ser registrados para ajudar a identificar áreas de otimização. Por exemplo, se os funcionários estiverem executando perto da capacidade da CPU, a adição de núcleos aos nós de computação pode ajudar a evitar a limitação da CPU e a conclusão da tarefa mais rapidamente. Cada aplicativo executado na tarefa Lote possui suas próprias características e as otimizações feitas nas VMs nas execuções do Lote podem ser diferentes. Para tarefas com uso intensivo de memória, mais memória pode ser alocada configurando os computadores de forma diferente na próxima execução.
O registro em log pode ser feito pelos aplicativos do nó de computação e do nó principal da grade ou por um trabalho usando o Log de diagnóstico do Lote. As informações de registro sobre o desempenho das execuções em lote podem ser configuradas para ajudar a identificar quais áreas devem ser aprimoradas para melhor desempenho e conclusão de tarefa mais rápida.
Monitoramento e registro em log personalizados em lote
O aplicativo de controle e os aplicativos de nó de cálculo podem gerar esses dados e armazená-los para análise adicional. Os dados encontrados úteis na otimização de trabalhos em lote incluem:
- Horário inicial e final de cada tarefa
- A hora em que cada nó de cálculo está ativo e executando tarefas
- A hora em que cada nó de cálculo está ativo e não está executando tarefas
- O tempo total de execução do trabalho em lote
Log de diagnóstico do Lote
Há uma alternativa para usar os aplicativos do controlador e do nó de computação para emitir dados de instrumentação. O Log de diagnóstico em lote pode capturar vários dos dados de execução. O Log de diagnóstico do Lote não está habilitado por padrão e deve ser habilitado para a conta do Lote.
O Log de diagnóstico do Lote fornece uma quantidade significativa de dados que ajudam na solução de problemas e na otimização de execuções do Lote. Horários de início e término de trabalhos e tarefas, contagem de núcleos, contagem total de nós e várias outras métricas.
O registro em log do Lote requer um destino de armazenamento para os registros emitidos, armazenando eventos produzidos pela execução do Lote, como criação de pool, execução de trabalho, execução de tarefa e assim por diante. Além de armazenar eventos de log de diagnóstico em uma conta do Armazenamento do Azure, os eventos de log de serviço do Lote podem ser transmitidos para uma instância do Hubs de Eventos do Azure. Os eventos podem então ser enviados para o Azure Log Analytics.
Usando esses dados, a computação central e os aplicativos do nó principal podem ser otimizados. Isso pode reduzir os custos, devido a coisas como o desprovisionamento mais rápido de VMs de trabalho, quando elas não são mais necessárias, em vez de esperar a conclusão da execução do Lote.
Ferramentas de gerenciamento do lote
O portal do Azure fornece um painel de monitoramento do Lote que mostra informações sobre o Lote à medida que os trabalhos são executados e até mesmo o uso da cota da conta. Isso é suficiente para a maioria dos aplicativos de trabalho em lotes.
Além das ferramentas de gerenciamento e visualização de lotes disponíveis no portal do Azure, há uma ferramenta de código aberto gratuita, o Batch Explorer, para gerenciar o Batch. Esta é uma ferramenta de cliente autônoma para ajudar a criar, depurar e monitorar aplicativos do Lote do Azure. Baixe um pacote de instalação para Mac, Linux ou Windows.
Modelos de rede
Análise de riscos geralmente requer centenas, senão milhares, de documentos para ser ingeridos em que o processo de computação em grade risco. Esses arquivos são geralmente localizado no local em um armazenamento de arquivos, compartilhamento de rede ou outro repositório. Ao usar VMs baseadas no Azure para acessar e processar esses arquivos, geralmente é útil que a rede local esteja perfeitamente conectada à rede do Azure, para que o acesso aos arquivos seja simples e rápido. Essa abordagem pode até significar que nenhuma alteração de código é necessária para o código que faz o processamento nos nós de computação.
O Azure oferece dois modelos para conectar de forma segura e confiável os sistemas locais atuais ao Azure, Microsoft Azure ExpressRoute e Gateway de VPN. Ambos oferecem conectividade segura e confiável, embora haja diferenças na implementação, desempenho e outros atributos.
Como alternativa, o nó principal da computação em grade de risco pode residir no local e executar a tarefa em lote por meio das APIs REST ou SDKs no .NET e em outros idiomas.
Existem outras técnicas para colmatar a lacuna entre o Azure e os recursos locais sem uma solução de rede híbrida. Para obter mais informações sobre isso são fornecidas abaixo.
Rota Expressa
O ExpressRoute vincula sua rede local ou de datacenter ao Azure por meio de uma conexão privada facilitada por um parceiro de conectividade, como seu provedor de serviços de Internet atual. Isso permite que as duas redes vejam umas às outras como a mesma instância de rede, fornecendo acesso contínuo entre as redes. A integração de rede é fundamental quando você deseja integrar sistemas locais existentes a uma rede do Azure, e o ExpressRoute oferece as velocidades de conexão mais rápidas possíveis.
Informações adicionais de preços para o Azure ExpressRoute podem ser encontradas aqui.
Gateway de VPN
Um Gateway de VPN é outra maneira de conectar sua rede do Azure. A desvantagem desse modelo é o tráfego fluir pela Internet. Como resultado, a conexão pode ser menos resiliente e as velocidades de rede não podem alcançar as do ExpressRoute. No entanto, isso pode não ser uma barreira para um cenário de computação em grade de risco, já que a leitura de arquivos de dados é normalmente uma operação rápida.
Informações adicionais de preços para o Gateway de VPN podem ser encontradas aqui.
Opções para obter detalhes de conectividade
Existem basicamente dois modelos para estender sua rede para o Azure, conforme mostrado na Figura 5.
- Gateway virtual – site a site
- ExpressRoute - provedor Exchange ou ISP
Figura 5: Site a Site e ExpressRoute
Integração site a site do gateway virtual
Um Gateway de VPN site a site conecta sua rede local a uma rede virtual do Azure. Isso preenche a lacuna entre as redes essencialmente tornando-as partes da mesma rede, com acesso bidirecional a recursos, servidores e artefatos. Isso permite o acesso direto aos arquivos de dados das VMs de trabalho do Azure que executam o trabalho em lotes de computação em grade de risco.
Integração do ExpressRoute
Uma conexão ExpressRoute facilitada por um provedor de rede de parceiro do Azure oferece os mesmos benefícios de uma conexão Site a Site, mas com velocidades e confiabilidade mais altas.
Obtenha mais informações sobre os modelos de conectividade do ExpressRoute.
Processamento em lote sem uma rede híbrida do Azure
Outro cenário em lote é o upload de todos os arquivos de dados para o armazenamento do Azure para processamento posterior por máquinas de computação baseadas no Azure. O armazenamento de arquivos e o armazenamento de Blobs são candidatos prováveis para armazenar dados de computação em grade de risco.
Nesse cenário, o controlador de tarefas e todos os nós de computação residem no Azure, como mostra a Figura 6. O destino provável dos dados processados é um armazenamento de dados do Azure, em preparação para processamento adicional pelas soluções do Azure Machine Learning ou outros sistemas. Esse processamento adicional está além do escopo deste artigo.
Figura 6: Upload em lote para o ciclo de vida de execução
Recursos de conectividade de rede híbrida
Várias configurações podem ser aplicáveis em sua situação. Para ajudar nas decisões e na orientação arquitetural sobre como conectar a conectividade de rede ao Azure, consulte o artigo Conecte uma rede local ao Azure pelo grupo patterns & practices.
- Consulte este artigo para alternativas de configuração de Gateway de VPN.
- Saiba mais sobre Modelos de conectividade do ExpressRoute.
- Calcular preços do ExpressRoute.
- Calcular preços do Gateway de VPN.
Considerações sobre segurança
Uma rede virtual do Azure (VNet) pode ser criada e os nós de computação do pool criados nela. Isso fornece um nível extra de isolamento para as execuções em lote e permite a autenticação usando o Microsoft Entra ID. Para obter mais informações, confira Configuração da rede de pool.
Há duas maneiras de autenticar um aplicativo em lote usando o Microsoft Entra ID:
Autenticação integrada do. Um aplicativo em lote usando contas do Microsoft Entra pode usar a conta para obter recursos para armazenamentos de dados e outros recursos.
Entidade de serviço. As entidades de serviço do Microsoft Entra definem a política de acesso e as permissões para usuários e aplicativos. Uma entidade de serviço fornece autenticação aos usuários usando uma chave secreta vinculada a esse aplicativo. Isso permite autenticar um aplicativo autônomo com uma chave secreta. Uma entidade de serviço define a política e as permissões para um aplicativo representar o aplicativo ao acessar recursos no runtime. Saiba mais aqui.
Para obter mais informações sobre segurança no processamento em lote com o Microsoft Entra ID, consulte este artigo.
O serviço em lote também pode autenticar com uma chave compartilhada. O serviço de autenticação requer que dois valores de cabeçalho sejam adicionados à solicitação, aos dados e à autorização HTTP. Veja aqui para mais sobre autenticação de chave compartilhada.
Otimização de custo
Não há cobrança para usar o Lote do Azure. Você paga apenas pelos recursos subjacentes consumidos, como tempo de atividade, armazenamento e rede da máquina virtual. No entanto, as VMs de nós de computação ainda custam dinheiro quando estão ociosas, portanto, é uma boa ideia desprovisioná-las quando não forem mais necessárias. Geralmente, isso é feito, excluindo o pool que os contém.
Ao criar um pool, você pode especificar quais tipos de nós de computação deseja e o número de cada um. Os dois tipos de nós de computação são os seguintes:
Nós de computação dedicados são reservados para suas cargas de trabalho. Elas são mais caras do que os nós de baixa prioridade, mas têm a garantia de nunca serem preteridas.
Nós de computação de baixa prioridade aproveitam a capacidade excedente no Azure para executar cargas de trabalho em lote. Nós de baixa prioridade são mais baratos por hora do que nós dedicados e permitem cargas de trabalho que exigem muita capacidade de computação. Para obter mais informações, consulte Usar VMs de baixa prioridade com o Lote.
Nós dedicados e de baixa prioridade podem existir no mesmo pool.
Para informações sobre preços de ambos os nós de computação de baixa prioridade e dedicado, consulte Preços de Lote.
Ao usar o serviço Log de Diagnóstico de Lote, os dados emitidos para o armazenamento do Azure têm um custo. Esses são dados de armazenamento, como qualquer outro dado, e o preço é afetado pela quantidade de dados de diagnóstico retidos.
Introdução
Embora existam muitos locais para começar com um domínio complexo, como a computação em lote para computação em grade de risco, aqui estão alguns pontos de partida lógicos para entender melhor a tecnologia em lote.
A documentação do Lote do Azure é um ótimo lugar para começar. A documentação inclui exemplos de portal, referências de API e tutoriais passo a passo com exemplos de código. Os aplicativos de amostra do Lote do Microsoft Azure também estão disponíveis gratuitamente no GitHub.
Abaixo estão alguns tutoriais rápidos para ajudá-lo a criar um aplicativo simples para criar e executar tarefas de computação em lote. Opções de criação do aplicativo são da seguinte maneira:
- Batch .NET API
- Batch SDK para Python
- Batch SDK para Node.js
- Gerenciamento em lote com o PowerShell
- Gerenciamento do lote com a CLI do Azure
Considere lançar uma iniciativa de prova de conceito. Qual será a sua abordagem para ingestão de dados no Azure? Você usará uma rede híbrida ou fará o upload de dados por meio de uma interface SDK ou REST? Se estiver pensando em criar uma rede híbrida, considere a possibilidade de lançar um piloto para colocar isso em prática.
Avalie o tamanho de seus trabalhos de computação do Lote e, em seguida, selecione a solução de dimensionamento correta. As fórmulas de dimensionamento automático permitem cenários de agendamento complexos, enquanto cenários mais simples podem ser obtidos usando o portal do Azure.
Componentes
O Lote do Azure fornece recursos para executar trabalhos de processamento paralelo em grande escala na nuvem.
O Microsoft Entra ID é um serviço de gerenciamento de identidades e diretório baseado em nuvem multilocatário que combina serviços de diretório principais, gerenciamento de acesso a aplicativos e proteção de identidade em uma única solução.
Fórmulas de dimensionamento automáticas são scripts carregados no agendador de processamento em lote para um controle refinado dos comportamentos de escalonamento em lote.
Log de Diagnóstico em Lote é um recurso do Lote do Microsoft Azure que permite a criação de um log detalhado das execuções do Batch e dos eventos gerados. Os logs são armazenados no Armazenamento do Microsoft Azure.
O Batch Explorer é um aplicativo autônomo para monitoramento e gerenciamento de lotes disponível para Windows, macOS e Linux.
ExpressRoute é uma solução de rede híbrida de alta velocidade e confiabilidade para unir redes locais e Azure.
O Gateway de VPN do Azure é uma solução de rede híbrida que usa a Internet para unir redes locais e do Azure.
Conclusão
Este documento forneceu uma visão geral das soluções e considerações técnicas ao usar o Lote do Microsoft Azure para a computação em grade de risco do setor bancário. O artigo foi muito abrangente sobre a definição do Lote do Microsoft Azure para opções de rede e até mesmo considerações de custo.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Principais autores:
Próximas etapas
Ao considerar avançar na avaliação do Lote do Microsoft Azure para a computação em grade de risco, esta página é um bom recurso para começar. Ele fornece tutoriais de exemplo guiado para o processamento de arquivos paralelos, que é inerente em risco a computação em grade. Os tutoriais são fornecidos usando o Portal do Azure, a CLI do Azure, o .NET e o Python.
Documentação do produto:
- O que é o Lote do Azure?
- O que é o Microsoft Entra ID?
- O que é o Azure ExpressRoute?
- O que é um Gateway de VPN?