Geoptimaliseerde opslag: tijd op basis van Data Lake

Front Door
App Service
Functions
Cosmos DB
Data Lake

Oplossingsidee

Als u wilt dat we dit artikel uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsinformatie, laat het ons dan weten met GitHub Feedback!

Deze architectuur maakt gebruik van meerdere Azure-services om de opslagprestaties en -kosten te optimaliseren. Azure Cosmos DB bevat recente gegevens en voldoet aan de vereisten voor beschikbaarheid, prestaties en tolerantie van de toepassing. De native Azure Cosmos DB replicatiemogelijkheden repliceren de Azure Cosmos DB naar andere regio's. Regelmatig worden oudere Azure Data Factory verplaatst van Azure Cosmos DB naar Azure Data Lake om de opslagkosten te verlagen.

Potentiële gebruikscases

De architectuur is mogelijk geschikt voor elke toepassing die gebruikmaakt van enorme hoeveelheden gegevens die altijd beschikbaar moeten zijn. Voorbeelden hiervan zijn apps die:

  • Houd de bestedingsgewoonten en het winkelgedrag van klanten bij.
  • Weersvoorspelling.
  • Bied slimme verkeerssystemen aan of implementeert slimme verkeerssystemen of gebruik slimme technologie om verkeer te bewaken.
  • Analyseer productiegegevens Internet of Things (IoT).
  • Slimme metergegevens weergeven of slimme technologie gebruiken om metergegevens te bewaken.

Architectuur

Architectuur van een robuust systeem dat gebruikmaakt van twee soorten opslag om de kosten te verlagen.

Een Visio-bestand van deze architectuur downloaden.

  1. De client wordt geverifieerd met Azure Active Directory (Azure AD) en krijgt toegang tot webtoepassingen die worden gehost op Azure App Service.
  2. Azure Front Door firewall en laag 7-load balancer schakelt gebruikersverkeer over naar een andere Azure-regio in het geval van een regionale storing.
  3. Azure App Service host websites en RESTful-web-API's. Browser-clients voeren AJAX-toepassingen uit die gebruikmaken van de API's.
  4. Web-API's delegeren functie-apps voor het afhandelen van achtergrondtaken. De taken worden in de wachtrij geplaatst in Azure Queue Storage wachtrijen.
  5. De functie-apps die worden gehost Azure Functions voeren de achtergrondtaken uit, geactiveerd door de berichten in de wachtrij.
  6. Azure Cache voor Redis worden databasegegevens voor de functie-apps in de cache opgeslagen. Dit offloadt databaseactiviteit en versnelt de functie-apps en web-apps.
  7. Azure Cosmos DB bevat 3 tot 4 maanden van de meest recente gegevens die door de webtoepassingen worden gebruikt.
  8. Data Lake Storage bevat historische gegevens die worden gebruikt door de webtoepassingen.
  9. Regelmatig worden gegevens Azure Data Factory verplaatst van Azure Cosmos DB naar Azure Data Lake om de opslagkosten te verlagen.

Onderdelen

  • Azure Active Directory (Azure AD) is een service voor identiteits- en toegangsbeheer met meerdere tenants die kan worden gesynchroniseerd met een on-premises directory.
  • Azure DNS is een hostingservice met hoge beschikbaarheid voor DNS-domeinen die apps snelle DNS-query's en snelle updates voor DNS-records biedt. Het Azure DNS is hetzelfde als het beheren van andere Azure-services en maakt gebruik van dezelfde referenties, API's, hulpprogramma's en facturering.
  • Azure Front Door is een beveiligd netwerk voor contentlevering (CDN) en load balancer met directe failover. Het werkt aan de rand dicht bij gebruikers, wat de levering van inhoud versnelt en tegelijkertijd apps, API's en websites beveiligt tegen cyberbedreigingen.
  • Azure App Service is een volledig beheerde service voor het bouwen, implementeren en schalen van web-apps. U kunt apps bouwen met behulp van .NET, .NET Core, Node.js, Java, Python of PHP. Apps kunnen worden uitgevoerd in containers of op Windows of Linux. Bij een mainframemigratie kunnen de front-endschermen of webinterface worden gecodeerd als REST API's op basis van HTTP. Ze kunnen worden gescheiden en kunnen staatloos zijn om een systeem op basis van microservices te orkestreren. Zie RESTful web-API-ontwerpvoor meer informatie over web-API's.
  • Azure Functions biedt een omgeving voor het uitvoeren van kleine stukjes code, functies genoemd, zonder een toepassingsinfrastructuur tot stand te brengen. U kunt deze gebruiken om bulkgegevens te verwerken, systemen te integreren, met IoT te werken en eenvoudige API's en microservices te bouwen. Met microservices kunt u servers maken die verbinding maken met Azure-services en altijd up-to-date zijn.
  • Azure Storage is een set zeer schaalbare en veilige cloudservices voor gegevens, apps en workloads. Het bevat Azure Files, Azure Table Storage, Azure Queue Storageen Azure Data Lake Storage. Azure Files is vaak een effectief hulpprogramma voor het migreren van mainframe-workloads.
  • Azure Queue Storage eenvoudige, rendabele en duurzame berichtenwachtrijen voor grote workloads.
  • Azure Table Storage is een NoSQL-sleutel-waardeopslag voor snelle ontwikkeling die gebruikmaakt van enorme semi-gestructureerde gegevenssets. De tabellen zijn schemaloos en kunnen gemakkelijk worden aangepast wanneer de behoeften veranderen. Toegang is snel en rendabel voor veel soorten toepassingen en kost doorgaans minder dan andere typen sleutelopslag.
  • Azure Cache voor Redis is een volledig beheerde in-memory cachingservice en berichtenbroker voor het delen van gegevens en status tussen rekenbronnen. Het bevat zowel de opensource Redis als een commercieel product van Redis Labs als beheerde services. U kunt de prestaties van toepassingen voor online transactieverwerking met hoge doorvoer verbeteren door ze zo te ontwerpen dat ze kunnen worden geschaald en door gebruik te maken van een gegevensopslag in het geheugen, zoals Azure Cache voor Redis.
  • Azure Cosmos DB is de wereldwijd gedistribueerde, multimodeldatabase van Microsoft waarmee uw oplossingen doorvoer en opslag elastisch en onafhankelijk kunnen schalen in een groot aantal geografische regio's. Het biedt garanties voor doorvoer, latentie, beschikbaarheid en consistentie met uitgebreide service level agreements (SLA's).
  • Azure Data Factory is een beheerde service die gegevensver movement en gegevenstransformatie insteert en automatiseert.
  • Azure Data Lake Storage is een veilige en zeer schaalbare data lake die is gebouwd op Azure Blob Storage.

Alternatieven

  • Azure Traffic Manager inkomende DNS-aanvragen doorsturen naar de wereldwijde Azure-regio's op basis van uw keuze van verkeersrouteringsmethoden. Het biedt ook automatische failover en prestatieroutering.
  • Azure Content Delivery Network (CDN) cachet statische inhoud op edge-servers voor snelle reacties en maakt gebruik van netwerkoptimalisaties om de reactie op dynamische inhoud te verbeteren. CDN is vooral nuttig wanneer de gebruikersbasis globaal is.
  • Azure Kubernetes Service (AKS) is een volledig beheerde Kubernetes-service voor het implementeren en beheren van toepassingen in containers. U kunt deze gebruiken om een microservicearchitectuur te implementeren waarvan de onderdelen onafhankelijk op aanvraag worden geschaald.
  • Azure Container Instances biedt een snelle en eenvoudige manier om taken uit te voeren zonder dat u de infrastructuur moet beheren. Dit is handig tijdens de ontwikkeling of bij het uitvoeren van niet-geplande taken.
  • Azure Service Fabric is een platform voor het schalen en inschalen van containers en microservices.
  • Azure Service Bus is een betrouwbare cloudberichtenservice voor eenvoudige hybride integratie. Deze kan worden gebruikt in plaats van Storage in deze architectuur. Zie Storage wachtrijen en Service Bus - vergeleken en contrasterend voor meer informatie.
  • Azure Synapse Link voor Azure Cosmos DB is een cloudeigen HTAP-functie (hybride transactionele en analytische verwerking) waarmee u bijna realtime analyses kunt uitvoeren op operationele gegevens in Azure Cosmos DB. Azure Synapse Link zorgt voor een naadloze integratie tussen Azure Cosmos DB en Azure Synapse Analytics.
  • Azure Synapse Analytics is het snelle, flexibele en vertrouwde clouddatawarehouse waarmee u elastisch en onafhankelijk elastisch en onafhankelijk kunt schalen, berekenen en opslaan met een massively parallel verwerking.

Overwegingen

  • Historische gegevens moeten als een een time-activiteit naar Azure Data Lake worden gemigreerd om de kosteneffectiviteit van de oplossing te garanderen.
  • Toepassingsontwikkelaars moeten routines voor gegevensmigratie implementeren die Azure Data Factory gebruiken om gegevens van Azure Cosmos DB naar Azure Data Lake te verplaatsen.
  • Als u gegevens migreert van een oud opslagsysteem, moet u mogelijk routines schrijven om een deel van de oude gegevens te kopiëren naar Cosmos DB. Zorg ervoor dat u tijdstempel- en kopieervlaggen hebt om de voortgang van de migratie van gegevens bij te houden.
  • U kunt de algehele architectuur verder optimaliseren door Azure Redis Cache te vervangen door Azure Cosmos DB geïntegreerde cache.

Volgende stappen