Bewerken

Share via

Verwerking van batchtransacties met grote volumes

Azure Kubernetes Service (AKS)
Azure Service Bus
Azure Virtual Machines

De architectuur maakt gebruik van AKS voor het implementeren van rekenclusters van de toepassingen die grote volumes aan transacties verwerken. De toepassingen ontvangen de transacties in berichten van Service Bus-onderwerpen of -wachtrijen. De onderwerpen en wachtrijen kunnen zich in Azure-datacenters in verschillende geografische regio's bevinden en meerdere AKS-clusters kunnen invoer van deze clusters lezen.

Notitie

Deze architectuur past bij een type batchtransactieverwerking dat, op IBM mainframes, vaak wordt geïmplementeerd met behulp van de IBM MQ-serie van berichtgeoriënteerde middleware.

Architectuur

Diagram of an architecture implemented by using AKS and Service Bus.

Een Visio-bestand van deze architectuur downloaden.

Workflow

De genummerde cirkels in het diagram komen overeen met de genummerde stappen in de volgende lijst.

  1. De architectuur maakt gebruik van Service Bus-onderwerpen en -wachtrijen om de invoer voor batchverwerking te ordenen en om deze downstream door te geven voor verwerking.
  2. Azure Load Balancer, een load balancer van Laag 4 (TCP, UDP), distribueert binnenkomend verkeer tussen gezonde exemplaren van services die zijn gedefinieerd in een set met gelijke taakverdeling. Taakverdeling en beheer van verbindingen optimaliseren de verwerking.
  3. De werkknooppunten van het AKS-cluster luisteren naar Service Bus-wachtrijeindpunten voor invoer.
  4. De Java-knooppunten gebruiken Java Message Service om verbinding te maken met Service Bus en Java-interfaces zoals Java Database Verbinding maken iviteit om verbinding te maken met andere gegevensbronnen. Ze gebruiken indien nodig andere Java-API's.
  5. De herstelbare transacties worden samen met de bedrijfscode voor elke batchstap uitgevoerd.
  6. De batchinfrastructuur maakt gebruik van versnelde Netwerken van Azure voor snelheid.
  7. Azure Cache voor Redis, Azure Cosmos DB en Azure Stream Analytics bieden indien nodig werkende opslag.
  8. De permanente gegevenslaag maakt gebruik van Azure Data Factory voor gegevensintegratie en Azure SQL Managed Instance, bedrijfskritieke prestatielaag, voor hoge beschikbaarheid. De permanente opslag is losjes gekoppeld voor eenvoudige overschakeling naar andere databasetechnologieën en voor optimalisatie van opslagorganisatie (bijvoorbeeld met behulp van shards of partities).
  9. De gegevensoplossingen (overgang en permanent) maken gebruik van de grS-optie (geografisch redundante opslag) van Azure Storage om te beschermen tegen onherstelbare fouten.

Onderdelen

De architectuur maakt gebruik van deze onderdelen:

  • Azure Virtual Network biedt een beveiligd particulier netwerk in de cloud. Het kan virtuele machines (VM's) met elkaar verbinden, internet en on-premises netwerken.
  • Azure ExpressRoute biedt privéverbindingen tussen Azure-datacenters en on-premises infrastructuur.
  • Azure Bastion biedt privé- en volledig beheerde RDP- en SSH-toegang tot VM's.
  • Azure Virtual Machines biedt de flexibiliteit van virtualisatie zonder dat u de hardware hoeft te bieden en te onderhouden die als host fungeert. De keuzen van het besturingssysteem omvatten Windows en Linux.
  • Een VIRTUELE machine die is gemaakt met versneld netwerken maakt gebruik van I/O-virtualisatie met één hoofdmap (SR-IOV), waardoor de netwerkprestaties aanzienlijk worden verbeterd. Zie Een Virtuele Windows-machine maken met versneld netwerken met behulp van Azure PowerShell en Overzicht van I/O-virtualisatie met één hoofdmap (SR-IOV) voor meer informatie.
  • Een Azure-netwerkinterface verbindt een virtuele machine met internet en met Azure- en on-premises resources. Zoals in deze architectuur wordt weergegeven, kunt u elke onderliggende VM een eigen netwerkinterface en ip-adres geven. Zie Een netwerkinterface maken, wijzigen of verwijderen voor meer informatie over netwerkinterfaces.
  • Azure Managed Disks zijn krachtige, zeer duurzame blokopslag voor VM's. Er zijn vier schijfopslagopties voor de cloud: Ultra Disk Storage, Premium SSD, Standard SSD en Standard HDD.
  • Azure Kubernetes Service (AKS) is een volledig beheerde Kubernetes-service voor het implementeren en beheren van toepassingen in containers.
  • Service Bus biedt betrouwbare cloudberichten als een service (MaaS) en eenvoudige hybride integratie.
  • Azure-taakverdelingsservices bieden schaalaanpassing voor hoge beschikbaarheid en hoge prestaties. Deze architectuur maakt gebruik van Load Balancer. Het biedt taakverdelingsmogelijkheden voor laag 4 met lage latentie (TCP, UDP) om verkeer tussen VM's en over hybride apps met meerdere lagen te verdelen.
  • Azure Cache voor Redis is een razendsnelle en volledig beheerde cacheservice in het geheugen voor het delen van gegevens en status tussen rekenresources.
  • Azure Cosmos DB is een snelle NoSQL-database met open API's voor elke schaal.
  • Azure Stream Analytics biedt realtime analyses over snel bewegende gegevensstromen van toepassingen en apparaten.
  • Azure Databricks is een snelle, eenvoudige en samenwerkingsservice voor big data-analyses op basis van Apache SparkTM.
  • Azure SQL is een reeks SQL-clouddatabases die een uniforme ervaring bieden voor uw hele SQL-portfolio en een breed scala aan implementatieopties van edge tot cloud.
  • Azure SQL Managed Instance, onderdeel van het Azure SQL-serviceportfolio, is een beheerd, veilig en altijd up-to-date SQL-exemplaar in de cloud.
  • Data Factory is een volledig beheerde en serverloze oplossing voor gegevensintegratie voor het voorbereiden en transformeren van al uw gegevens op schaal.
  • Data Factory ondersteunt de Parquet-bestandsindeling voor bestandsindelingen. Zie De Parquet-indeling in Azure Data Factory voor meer informatie.
  • Log Analytics is een hulpprogramma in Azure Portal dat wordt gebruikt om logboekquery's in Azure Monitor-logboeken te bewerken en uit te voeren. Zie Overzicht van Log Analytics in Azure Monitor voor meer informatie.
  • De optie voor geografisch redundante opslag (GRS) van Azure Storage kopieert uw gegevens drie keer synchroon binnen één fysieke locatie in de primaire regio en kopieert deze vervolgens asynchroon naar één fysieke locatie in de secundaire regio. Zie Azure Storage-redundantie voor meer informatie.
  • Azure Blob Storage is zeer schaalbaar en veilig op REST gebaseerde objectopslag voor cloudworkloads, archieven, data lakes, high-performance computing en machine learning.
  • Azure Files biedt eenvoudige, veilige en serverloze bestandsshares op ondernemingsniveau in de cloud. U gebruikt de industriestandaard SMB-protocollen (Server Message Block) en Network File System (NFS) voor toegang tot de shares.

Scenariodetails

In Azure kunt u batchtransactieverwerking implementeren, zoals het boeken van betalingen naar accounts, met behulp van een architectuur op basis van Microsoft Azure Kubernetes Service (AKS) en Azure Service Bus. Dit type architectuur biedt de snelheid, schaalaanpassing en betrouwbaarheid van transactieverwerking die vereist is voor batchverwerking met grote volumes.

Normaal gesproken blijft een bericht in de wachtrij totdat de transactie is voltooid, waardoor herstel mogelijk is als er een fout optreedt. U kunt ook onderwerpen en wachtrijen repliceren naar andere regio's, om workloads te delen en de verwerking voort te zetten, zelfs als een regio uitvalt.

Potentiële gebruikscases

De oplossing is ideaal voor de financiële, onderwijs- en wetenschapsindustrie. Deze architectuur is bedoeld voor het verwerken van batches van transacties met grote volumes, met name onafhankelijke transacties die parallel kunnen worden verwerkt. Het is daarom een waarschijnlijke kandidaat voor gebruik bij het migreren van mainframe batchverwerking. Mogelijke toepassingen zijn:

  • Verwerking van financiële transacties, zoals salarisadministratie, orders en betalingen.
  • Verwerking van experimentele gegevens verzameld door wetenschappelijke instrumenten.
  • Andere mainframe batchverwerking.

Overwegingen

De volgende overwegingen, op basis van het Goed ontworpen Framework van Azure, zijn van toepassing op deze oplossing:

Beschikbaarheid

  • De Azure Site Recovery-service voor herstel na noodgevallen beschermt tegen grote storingen. Het is betrouwbaar, rendabel en eenvoudig te implementeren.
  • Beschikbaarheidssets voor VM's zorgen ervoor dat er voldoende VM's beschikbaar zijn om te voldoen aan bedrijfskritieke batchprocessen.
  • Service Bus, AKS en Azure SQL Managed Instance bieden hoge beschikbaarheid en herstelmogelijkheden in geografische regio's.

Operationeel

  • Azure Resource Manager-sjablonen (ARM-sjablonen) bieden een configuratietaal voor het beschrijven van uw resources in sjablonen die u kunt gebruiken voor gescripte implementatie. De sjablonen bieden ook mogelijkheden voor bewaking en waarschuwingen.

Prestatie-efficiëntie

  • De architectuur is ontworpen voor parallelle verwerking van onafhankelijke transacties.
  • Service Bus, AKS en andere Azure PaaS-functies bieden hoge prestaties voor transactieverwerking, computing en gegevensopslag.

Schaalbaarheid

  • Service Bus, AKS en andere Azure PaaS-functies worden indien nodig dynamisch geschaald.

Beveiliging

  • Alle onderdelen in de Service Bus-batcharchitectuur werken met Azure-beveiligingsonderdelen, zoals Microsoft Entra ID, Virtual Network en versleuteling.

Kostenoptimalisatie

Gebruik de prijscalculator om de kosten voor uw implementatie van deze oplossing te schatten.

De functies voor automatisch schalen van AKS-clusters en andere PaaS-functies (Azure Platform as a Service) die schaalaanpassing op aanvraag bieden, houden de kosten minimaal.

Hier volgen prijsoverwegingen voor specifieke onderdelen:

Volgende stappen