Správa horizontálního škálování clusteru (horizontálního navýšení kapacity) v Azure Data Explorer pro přizpůsobení měnící se poptávky

  • Článek

Pro výkon Azure Data Exploreru má rozhodující význam správné stanovení velikosti clusteru. Statická velikost clusteru může vést k nedostatečnému nebo nadměrnému využití, přičemž ani jedno z nich není ideální. Vzhledem k tomu, že poptávku po clusteru nejde předpovědět s absolutní přesností, je lepší cluster škálovat a přidávat a odebírat kapacitu a prostředky procesoru s měnícími se požadavky.

Existují dva pracovní postupy pro škálování clusteru Azure Data Explorer:

  • Horizontální škálování, označované také jako horizontální snížení a snížení kapacity.
  • Vertikální škálování, označované také jako vertikální navýšení a snížení kapacity. Tento článek vysvětluje pracovní postup horizontálního škálování.

Konfigurace horizontálního škálování

Pomocí horizontálního škálování můžete automaticky škálovat počet instancí na základě předdefinovaných pravidel a plánů. Nastavení automatického škálování pro cluster zadáte takto:

  1. V Azure Portal přejděte k prostředku clusteru Azure Data Explorer. V části Nastavení vyberte Horizontální navýšení kapacity.

  2. V okně Horizontální navýšení kapacity vyberte požadovanou metodu automatického škálování: Ruční škálování, Optimalizované automatické škálování nebo Vlastní automatické škálování.

Ruční škálování

U možnosti ručního škálování má cluster statickou kapacitu, která se nemění automaticky. Vyberte statickou kapacitu pomocí panelu Počet instancí . Škálování clusteru zůstává ve vybraném nastavení, dokud se nezmění.

Metoda ručního škálování.

Optimalizované automatické škálování je výchozím nastavením při vytváření clusteru a doporučenou metodou škálování. Tato metoda optimalizuje výkon a náklady clusteru následujícím způsobem:

  • Pokud je cluster nevyužitý, škáluje se na více instancí, aby se snížily náklady, aniž by to mělo vliv na požadovaný výkon.
  • Pokud je cluster nadměrně využitý, škáluje se na více instancí, aby se zachoval optimální výkon.

Konfigurace optimalizovaného automatického škálování:

  1. Vyberte Optimalizované automatické škálování.

  2. Zadejte minimální a maximální počet instancí. Automatické škálování clusteru se mezi těmito hodnotami pohybuje v závislosti na zatížení.

  3. Vyberte Uložit.

    Optimalizovaná metoda automatického škálování

Začne fungovat optimalizované automatické škálování. Jeho akce je možné zobrazit v protokolu aktivit clusteru v Azure.

Logika optimalizovaného automatického škálování

Optimalizované automatické škálování se spravuje pomocí prediktivní nebo reaktivní logiky. Prediktivní logika sleduje vzor využití clusteru, a když s vysokou jistotou identifikuje sezónnost, spravuje škálování clusteru. V opačném případě se k rozhodování o operacích škálování clusteru na základě aktuální úrovně využití prostředků používá reaktivní logika, která sleduje skutečné využití clusteru.

Hlavní metriky pro prediktivní i reaktivní toky jsou:

  • Procesor
  • Faktor využití mezipaměti
  • Využití příjmu dat

Prediktivní i reaktivní logika jsou svázaná s hranicemi velikosti clusteru, minimálním a maximálním počtem instancí, jak je definováno v optimalizované konfiguraci automatického škálování. Časté operace škálování clusteru na více améně instancí jsou nežádoucí z důvodu dopadu na prostředky clusteru a času potřebného k přidání nebo odebrání instancí a také kvůli vyrovnávání horké mezipaměti napříč všemi uzly.

Prediktivní automatické škálování

Prediktivní logika předpovídá využití clusteru na další den na základě jeho vzorce využití za posledních několik týdnů. Prognóza se používá k vytvoření plánu operací horizontálního snížení nebo horizontálního snížení kapacity, aby se velikost clusteru upravila předem. To umožňuje, aby se škálování clusteru a vyrovnávání dat dokončilo v čase, kdy se zatížení změní. Tato logika je zvlášť účinná pro sezónní vzorce, jako jsou denní nebo týdenní špičky využití.

Ve scénářích, kdy dojde k jedinečnému prudkému nárůstu využití, který přesahuje prognózu, se ale optimalizované automatické škálování vrátí k reaktivní logice. V takovém případě se operace horizontálního snížení nebo snížení kapacity provádějí ad hoc na základě nejnovější úrovně využití prostředků.

Reaktivní automatické škálování

Horizontální navýšení kapacity

Když se cluster blíží stavu nadměrného využití, provede se operace škálování na více instancí , aby se zachoval optimální výkon. Operace horizontálního navýšení kapacity se provede, když nastane alespoň jedna z následujících podmínek:

  • Využití mezipaměti je vysoké po dobu více než hodiny
  • Vysoké využití procesoru po dobu více než hodiny
  • Využití příjmu dat je na vysoké úrovni více než hodinu.

Horizontální snížení kapacity

Pokud je cluster nevyužitý, provede se operace škálování , aby se snížily náklady při zachování optimálního výkonu. K ověření, že škálování clusteru je bezpečné, se používá více metrik.

Aby se zajistilo, že nedojde k přetížení prostředků, vyhodnocují se před horizontálním snížením kapacity následující metriky:

  • Využití mezipaměti není vysoké.
  • Využití procesoru je pod průměrem.
  • Využití příjmu dat je pod průměrem.
  • Pokud se používá ingestování streamování, využití ingestování streamování není vysoké.
  • Metrika zachování je nad definovaným minimem, zpracovává se správně a včas značí, že cluster reaguje.
  • Nedochází k omezování dotazů.
  • Počet neúspěšných dotazů je nižší než definované minimum.

Poznámka

Logika škálování vyžaduje 1 denní vyhodnocení před implementací optimalizovaného horizontálního snížení kapacity. Toto vyhodnocení probíhá jednou za hodinu. Pokud je potřeba okamžitá změna, použijte ruční škálování.

Vlastní automatické škálování

I když je optimalizované automatické škálování doporučenou možností škálování, podporuje se také vlastní automatické škálování Azure. Pomocí vlastního automatického škálování můžete cluster dynamicky škálovat na základě metrik, které zadáte. Ke konfiguraci vlastního automatického škálování použijte následující postup.

Pravidlo škálování.

  1. Do pole Název nastavení automatického škálování zadejte název, například Horizontální navýšení kapacity: využití mezipaměti.

  2. V části Režim škálování vyberte Škálovat na základě metriky. Tento režim poskytuje dynamické škálování. Můžete také vybrat Škálovat na konkrétní počet instancí.

  3. Vyberte + Přidat pravidlo.

  4. V části Pravidlo škálování na pravé straně zadejte hodnoty pro každé nastavení.

    Kritéria

    Nastavení Popis a hodnota
    Časová agregace Vyberte kritéria agregace, například Průměr.
    Název metriky Vyberte metriku, na které má být operace škálování založena, například Využití mezipaměti.
    Statistika agregačního intervalu Vyberte si mezi průměrem, minimem, maximem a součtem.
    Operátor Zvolte vhodnou možnost, například Větší než nebo rovno.
    Prahová hodnota Zvolte vhodnou hodnotu. Například pro využití mezipaměti je dobrým výchozím bodem 80 procent.
    Doba trvání (v minutách) Zvolte přiměřenou dobu, po kterou se má systém vrátit při výpočtu metrik. Začněte výchozí hodnotou 10 minut.

    Akce

    Nastavení Popis a hodnota
    Operace Zvolte vhodnou možnost horizontálního navýšení nebo horizontálního navýšení kapacity.
    Počet instancí Zvolte počet uzlů nebo instancí, které chcete přidat nebo odebrat při splnění podmínky metriky.
    Přestávka (minuty) Zvolte vhodný časový interval pro čekání mezi operacemi škálování. Začněte výchozím nastavením pěti minut.

  5. Vyberte Přidat.

  6. V části Omezení instancí na levé straně zadejte hodnoty pro každé nastavení.

    Nastavení Popis a hodnota
    Minimální Počet instancí, pod které se váš cluster nebude škálovat, bez ohledu na využití.
    Maximální Počet instancí, nad které váš cluster nebude škálovat, bez ohledu na využití.
    Default Výchozí počet instancí. Toto nastavení se použije v případě problémů se čtením metrik prostředků.

  7. Vyberte Uložit.

Teď jste pro cluster Azure Data Explorer nakonfigurovali horizontální škálování. Přidejte další pravidlo pro vertikální škálování. Pokud potřebujete pomoc s problémy se škálováním clusteru, otevřete žádost o podporu v Azure Portal.

Související obsah