Horizontale schaalaanpassing van clusters beheren (uitschalen) in Azure Data Explorer om tegemoet te komen aan veranderende vraag

  • Artikel

Het bepalen van de grootte van een cluster is essentieel voor de prestaties van Azure Data Explorer. Een statische clustergrootte kan leiden tot onder- of overgebruik, wat geen van beide ideaal is. Omdat de vraag op een cluster niet met absolute nauwkeurigheid kan worden voorspeld, is het beter om een cluster te schalen door capaciteit en CPU-resources toe te voegen en te verwijderen met veranderende vraag.

Er zijn twee werkstromen voor het schalen van een Azure Data Explorer-cluster:

  • Horizontaal schalen, ook wel in- en uitschalen genoemd.
  • Verticaal schalen, ook wel omhoog en omlaag schalen genoemd. In dit artikel wordt de werkstroom voor horizontaal schalen uitgelegd.

Horizontaal schalen configureren

Door horizontaal schalen te gebruiken, kunt u het aantal exemplaren automatisch schalen op basis van vooraf gedefinieerde regels en planningen. De instellingen voor automatische schaalaanpassing voor uw cluster opgeven:

  1. Ga in de Azure Portal naar uw Azure Data Explorer-clusterresource. Selecteer onder Instellingende optie Uitschalen.

  2. Selecteer in het venster Uitschalen de gewenste methode voor automatisch schalen: Handmatig schalen, Geoptimaliseerde automatische schaalaanpassing of Aangepaste automatische schaalaanpassing.

Handmatig schalen

In de optie voor handmatig schalen heeft het cluster een statische capaciteit die niet automatisch wordt gewijzigd. Selecteer de statische capaciteit met behulp van de balk Aantal exemplaren . Het schalen van het cluster blijft op de geselecteerde instelling totdat deze wordt gewijzigd.

Handmatige schaalmethode.

Geoptimaliseerde automatische schaalaanpassing is de standaardinstelling tijdens het maken van het cluster en de aanbevolen schaalmethode. Met deze methode worden de prestaties en kosten van het cluster als volgt geoptimaliseerd:

  • Als het cluster te weinig wordt gebruikt, wordt het ingeschaald om de kosten te verlagen zonder dat dit van invloed is op de vereiste prestaties.
  • Als het cluster te veel wordt gebruikt, wordt het uitgeschaald om optimale prestaties te behouden.

Geoptimaliseerde automatische schaalaanpassing configureren:

  1. Selecteer Geoptimaliseerde automatische schaalaanpassing.

  2. Geef een minimum- en maximumaantal exemplaren op. De automatische schaalaanpassing van het cluster varieert tussen deze waarden op basis van belasting.

  3. Selecteer Opslaan.

    Geoptimaliseerde methode voor automatisch schalen.

Geoptimaliseerde automatische schaalaanpassing werkt. De acties kunnen worden weergegeven in het activiteitenlogboek van het cluster in Azure.

Logica van geoptimaliseerde automatische schaalaanpassing

Geoptimaliseerde automatische schaalaanpassing wordt beheerd door voorspellende of reactieve logica. Voorspellende logica houdt het gebruikspatroon van het cluster bij en wanneer seizoensgebondenheid met hoge betrouwbaarheid wordt geïdentificeerd, wordt de schaal van het cluster beheerd. Anders wordt reactieve logica waarmee het werkelijke gebruik van het cluster wordt bijgehouden, gebruikt om beslissingen te nemen over bewerkingen voor clusterschaal op basis van het huidige resourcegebruik.

De belangrijkste metrische gegevens voor zowel voorspellende als reactieve stromen zijn:

  • CPU
  • Cachegebruiksfactor
  • Opnamegebruik

Zowel voorspellende als reactieve logica zijn gebonden aan de groottegrenzen van het cluster, het minimale en maximale aantal exemplaren, zoals gedefinieerd in de geoptimaliseerde configuratie voor automatisch schalen. Regelmatig uitschalen en inschalen van clusters is ongewenst vanwege de impact op de resources van het cluster en de benodigde tijd voor het toevoegen of verwijderen van exemplaren, evenals het opnieuw verdelen van de hot cache over alle knooppunten.

Voorspellende automatische schaalaanpassing

Voorspellende logica voorspelt het gebruik van het cluster voor de volgende dag op basis van het gebruikspatroon in de afgelopen weken. De prognose wordt gebruikt om een planning voor in- of uitschaalbewerkingen te maken om de grootte van het cluster van tevoren aan te passen. Hierdoor kunnen het schalen van het cluster en het opnieuw verdelen van gegevens op tijd worden voltooid voordat de belasting wordt gewijzigd. Deze logica is met name effectief voor seizoensgebonden patronen, zoals dagelijkse of wekelijkse gebruikspieken.

In scenario's waarin er echter een unieke piek in het gebruik is die de prognose overschrijdt, valt geoptimaliseerde automatische schaalaanpassing terug op reactieve logica. Wanneer dit gebeurt, worden bewerkingen voor in- of uitschalen ad-hoc uitgevoerd op basis van het meest recente niveau van resourcegebruik.

Reactief automatisch schalen

Uitschalen

Wanneer het cluster een status van overgebruik nadert, vindt er een uitschaalbewerking plaats om optimale prestaties te behouden. Een uitschaalbewerking wordt uitgevoerd wanneer ten minste een van de volgende omstandigheden zich voordoet:

  • Het cachegebruik is gedurende meer dan een uur hoog
  • Het CPU-gebruik is meer dan een uur hoog
  • Het opnamegebruik is hoog gedurende meer dan een uur

Inschalen

Wanneer het cluster te weinig wordt gebruikt, vindt er een schaalbewerking plaats om de kosten te verlagen terwijl de prestaties optimaal blijven. Er worden meerdere metrische gegevens gebruikt om te controleren of het veilig is om in het cluster te schalen .

Om ervoor te zorgen dat er geen overbelasting van resources is, worden de volgende metrische gegevens geëvalueerd voordat het inschalen wordt uitgevoerd:

  • Het cachegebruik is niet hoog
  • De CPU is onder het gemiddelde
  • Het opnamegebruik is onder het gemiddelde
  • Als streamingopname wordt gebruikt, is het gebruik van streamingopname niet hoog
  • Keep Alive-metrische gegevens zijn hoger dan een gedefinieerd minimum, worden correct verwerkt en op tijd aangegeven dat het cluster responsief is
  • Er is geen querybeperking
  • Het aantal mislukte query's is lager dan een gedefinieerd minimum

Notitie

Voor de logica voor inschalen is een evaluatie van 1 dag vereist voordat de geoptimaliseerde inschaling wordt geïmplementeerd. Deze evaluatie vindt eenmaal per uur plaats. Als er onmiddellijk een wijziging nodig is, gebruikt u handmatig schalen.

Aangepaste automatische schaalaanpassing

Hoewel geoptimaliseerde automatische schaalaanpassing de aanbevolen schaaloptie is, wordt aangepaste automatische schaalaanpassing van Azure ook ondersteund. Met aangepaste automatische schaalaanpassing kunt u uw cluster dynamisch schalen op basis van metrische gegevens die u opgeeft. Gebruik de volgende stappen om aangepaste automatische schaalaanpassing te configureren.

Regel schalen.

  1. Voer in het vak Naam van instelling voor automatisch schalen een naam in, zoals Uitschalen: cachegebruik.

  2. Voor Schaalmodus selecteert u Schalen op basis van een metrische waarde. Deze modus biedt dynamisch schalen. U kunt ook Schalen naar een specifiek aantal exemplaren selecteren.

  3. Selecteer + Een regel toevoegen.

  4. Voer in de sectie Regel schalen aan de rechterkant waarden in voor elke instelling.

    Criteria

    Instelling Beschrijving en waarde
    Tijdverzameling Selecteer een aggregatiecriteria, zoals Gemiddelde.
    Naam van metrische gegevens Selecteer de metrische waarde waarop u de schaalbewerking wilt baseren, zoals Cachegebruik.
    Tijdsintervalstatistieken Kies tussen Gemiddelde, Minimum, Maximum en Som.
    Operator Kies de juiste optie, zoals Groter dan of gelijk aan.
    Drempel Kies een geschikte waarde. Voor cachegebruik is 80 procent bijvoorbeeld een goed uitgangspunt.
    Duur (in minuten) Kies een geschikte tijdsduur voor het systeem om terug te kijken bij het berekenen van metrische gegevens. Begin met de standaardwaarde van 10 minuten.

    Actie

    Instelling Beschrijving en waarde
    Bewerking Kies de juiste optie om in of uit te schalen.
    Aantal exemplaren Kies het aantal knooppunten of exemplaren dat u wilt toevoegen of verwijderen wanneer aan een metrische voorwaarde wordt voldaan.
    Afkoelen (minuten) Kies een geschikt tijdsinterval om te wachten tussen schaalbewerkingen. Begin met de standaardwaarde van vijf minuten.

  5. Selecteer Toevoegen.

  6. Voer in de sectie Instantielimieten aan de linkerkant waarden in voor elke instelling.

    Instelling Beschrijving en waarde
    Minimum Het aantal exemplaren waaronder uw cluster niet wordt geschaald, ongeacht het gebruik.
    Maximum Het aantal exemplaren waarboven uw cluster niet wordt geschaald, ongeacht het gebruik.
    Standaard Het standaardaantal exemplaren. Deze instelling wordt gebruikt als er problemen zijn met het lezen van de metrische gegevens van de resource.

  7. Selecteer Opslaan.

U hebt nu horizontaal schalen geconfigureerd voor uw Azure Data Explorer-cluster. Voeg nog een regel toe voor verticaal schalen. Als u hulp nodig hebt bij problemen met het schalen van clusters, opent u een ondersteuningsaanvraag in de Azure Portal.

Gerelateerde inhoud