Gerir a escala horizontal do cluster (escala para fora) no Azure Data Explorer para acomodar a mudança da procuraManage cluster horizontal scaling (scale out) in Azure Data Explorer to accommodate changing demand

Dimensionar um cluster adequadamente é fundamental para o desempenho do Azure Data Explorer.Sizing a cluster appropriately is critical to the performance of Azure Data Explorer. Um tamanho de cluster estático pode levar à subutilização ou à utilização excessiva, nenhuma das quais é ideal.A static cluster size can lead to under-utilization or over-utilization, neither of which is ideal. Como a procura num cluster não pode ser prevista com precisão absoluta, é melhor escalar um cluster, adicionando e removendo a capacidade e os recursos da CPU com a mudança da procura.Because demand on a cluster can’t be predicted with absolute accuracy, it's better to scale a cluster, adding and removing capacity and CPU resources with changing demand.

Existem dois fluxos de trabalho para escalar um cluster Azure Data Explorer:There are two workflows for scaling an Azure Data Explorer cluster:

  • Escala horizontal, também chamada de escala dentro e fora.Horizontal scaling, also called scaling in and out.
  • Escala vertical,também chamada de escala para cima e para baixo.Vertical scaling, also called scaling up and down. Este artigo explica o fluxo de trabalho de escala horizontal.This article explains the horizontal scaling workflow.

Configurar o dimensionamento horizontalConfigure horizontal scaling

Ao utilizar a escala horizontal, pode escalar a contagem de ocorrências automaticamente, com base em regras e horários pré-definidos.By using horizontal scaling, you can scale the instance count automatically, based on predefined rules and schedules. Para especificar as definições de escala automática para o seu cluster:To specify the autoscale settings for your cluster:

  1. No portal Azure, aceda ao seu recurso de cluster Azure Data Explorer.In the Azure portal, go to your Azure Data Explorer cluster resource. Em Definições, selecione Scale out.Under Settings, select Scale out.

  2. Na janela Scale out, selecione o método de escala automática que deseja: Escala manual, escala automática otimizadaou escala automática personalizada.In the Scale out window, select the autoscale method that you want: Manual scale, Optimized autoscale, or Custom autoscale.

Escala manualManual scale

A escala manual é a definição padrão durante a criação do cluster.Manual scale is the default setting during cluster creation. O cluster tem uma capacidade estática que não muda automaticamente.The cluster has a static capacity that doesn't change automatically. Selecione a capacidade estática utilizando a barra de contagem de instâncias.You select the static capacity by using the Instance count bar. A escala do cluster permanece nesse cenário até que faça outra mudança.The cluster's scaling remains at that setting until you make another change.

Método de escala manual

Escala automática otimizadaOptimized autoscale

Escala automática otimizada é o método de escala automática recomendado.Optimized autoscale is the recommended autoscale method. Este método otimiza o desempenho do cluster e os custos.This method optimizes cluster performance and costs. Se o cluster se aproximar de um estado de subutilização, será escalado.If the cluster approaches a state of under-utilization, it will be scaled in. Esta ação reduz os custos, mas mantém o nível de desempenho.This action lowers costs but keeps performance level. Se o cluster se aproximar de um estado de sobreutilização, será dimensionado para manter o desempenho ideal.If the cluster approaches a state of over-utilization, it will be scaled out to maintain optimal performance. Para configurar a escala automática otimizada:To configure Optimized autoscale:

  1. Selecione escala automática otimizada.Select Optimized autoscale.

  2. Selecione uma contagem mínima de instância e uma contagem máxima de instância.Select a minimum instance count and a maximum instance count. A escala automática do cluster varia entre estes dois números, com base na carga.The cluster auto-scaling ranges between those two numbers, based on load.

  3. Selecione Guardar.Select Save.

    Método de escala automática otimizado

A escala automática otimizada começa a funcionar.Optimized autoscale starts working. As suas ações são agora visíveis no registo de atividade do Azure do cluster.Its actions are now visible in the Azure activity log of the cluster.

Lógica da escala automática otimizadaLogic of optimized autoscale

Aumentar horizontalmenteScale out

Quando o seu cluster se aproximar de um estado de sobreutilização, estem para manter o desempenho ideal.When your cluster approaches a state of over-utilization, scale out to maintain optimal performance. A escala para fora ocorrerá quando:Scale out will occur when:

  • O número de casos de cluster é inferior ao número máximo de instâncias definidas pelo utilizador.The number of cluster instances is below the maximum number of instances defined by the user.
  • A utilização da cache é alta por mais de uma hora.The cache utilization is high for over an hour.
  • A CPU está alta há mais de uma hora.The CPU is high for over an hour.
  • A utilização da ingestão é alta por mais de uma hora.The ingestion utilization is high for over an hour.

Reduzir horizontalmenteScale in

Quando o seu cluster se aproxima de um estado de subutilização, dimensione para custos mais baixos, mas mantenha o desempenho.When your cluster approaches a state of under-utilization, scale in to lower costs but maintain performance. Várias métricas são usadas para verificar se é seguro escalar no cluster.Multiple metrics are used to verify that it's safe to scale in the cluster. As seguintes regras são avaliadas de hora em hora durante 6 horas antes da escala:The following rules are evaluated hourly for 6 hours before scale in is performed:

  • O número de ocorrências é superior a 2 e acima do número mínimo de ocorrências definidas.The number of instances is above 2 and above the minimum number of instances defined.
  • Para garantir que não há sobrecarga de recursos, as seguintes métricas devem ser verificadas antes da escala:To ensure that there's no overloading of resources, the following metrics must be verified before scale in is performed:
    • A utilização da cache não é alta.Cache utilization isn't high
    • CpU está abaixo da médiaCPU is below average
    • A utilização da ingestão está abaixo da médiaIngestion utilization is below average
    • A utilização da ingestão de streaming (se for utilizada a ingestão de streaming) não é elevadaStreaming ingest utilization (if streaming ingest is used) isn't high
    • Manter os eventos vivos estão acima de um mínimo definido, processado corretamente, e a tempo.Keep alive events are above a defined minimum, processed properly, and on time.
    • Sem estrangulamento de consultaNo query throttling
    • O número de consultas falhadas está abaixo de um mínimo definido.Number of failed queries are below a defined minimum.

Nota

A escala lógica requer atualmente uma avaliação de 1 dia antes da implementação da escala otimizada.The scale in logic currently requires a 1-day evaluation before implementation of optimized scale in. Esta avaliação ocorre uma vez a cada 6 horas.This evaluation takes place once every 6 hours. Se for necessária uma alteração imediata, utilize a balança manual.If an immediate change is needed, use manual scale.

Escala automática personalizadaCustom autoscale

Ao utilizar a escala automática personalizada, pode escalar o seu cluster dinamicamente com base em métricas que especifica.By using custom autoscale, you can scale your cluster dynamically based on metrics that you specify. O gráfico seguinte mostra o fluxo e os passos para configurar a escala automática personalizada.The following graphic shows the flow and steps to configure custom autoscale. Mais detalhes seguem o gráfico.More details follow the graphic.

  1. Na caixa de definição de escala automática, introduza um nome, como Scale-out: utilizaçãode cache .In the Autoscale setting name box, enter a name, such as Scale-out: cache utilization.

    Regra da escala

  2. Para o modo Escala, selecione Escala com base numa métrica.For Scale mode, select Scale based on a metric. Este modo proporciona uma escala dinâmica.This mode provides dynamic scaling. Também pode selecionar Escala para uma contagem de instâncias específica.You can also select Scale to a specific instance count.

  3. Selecione + Adicione uma regra.Select + Add a rule.

  4. Na secção de regra de escala à direita, introduza valores para cada definição.In the Scale rule section on the right, enter values for each setting.

    CritériosCriteria

    DefiniçãoSetting Descrição e valorDescription and value
    Agregação de tempoTime aggregation Selecione um critério de agregação, como a Média.Select an aggregation criteria, such as Average.
    Nome da métricaMetric name Selecione a métrica em que pretende que a operação de escala se baseie, como a Utilizaçãoda Cache .Select the metric you want the scale operation to be based on, such as Cache Utilization.
    Estatística do intervalo de agregaçãoTime grain statistic Escolha entre média, mínima, máximae soma.Choose between Average, Minimum, Maximum, and Sum.
    OperadorOperator Escolha a opção adequada, tal como Maior ou igual a.Choose the appropriate option, such as Greater than or equal to.
    LimiarThreshold Escolha um valor apropriado.Choose an appropriate value. Por exemplo, para a utilização de cache, 80 por cento é um bom ponto de partida.For example, for cache utilization, 80 percent is a good starting point.
    Duração (em minutos)Duration (in minutes) Escolha uma quantidade adequada de tempo para o sistema olhar para trás ao calcular as métricas.Choose an appropriate amount of time for the system to look back when calculating metrics. Comece com o padrão de 10 minutos.Start with the default of 10 minutes.

    AçãoAction

    DefiniçãoSetting Descrição e valorDescription and value
    OperaçãoOperation Escolha a opção adequada para escalar ou escalar para fora.Choose the appropriate option to scale in or scale out.
    Contagem de exemplosInstance count Escolha o número de nós ou instâncias que pretende adicionar ou remover quando uma condição métrica é satisfeita.Choose the number of nodes or instances you want to add or remove when a metric condition is met.
    Repouso (minutos)Cool down (minutes) Escolha um intervalo de tempo adequado para esperar entre operações de escala.Choose an appropriate time interval to wait between scale operations. Comece com o padrão de cinco minutos.Start with the default of five minutes.
  5. Selecione Adicionar.Select Add.

  6. Na secção de limites por exemplo à esquerda, introduza valores para cada definição.In the Instance limits section on the left, enter values for each setting.

    DefiniçãoSetting Descrição e valorDescription and value
    MínimoMinimum O número de casos que o seu cluster não escala abaixo, independentemente da utilização.The number of instances that your cluster won't scale below, regardless of utilization.
    MáximoMaximum O número de casos que o seu cluster não escala acima, independentemente da utilização.The number of instances that your cluster won't scale above, regardless of utilization.
    PredefiniçãoDefault O número padrão de casos.The default number of instances. Esta definição é utilizada se houver problemas de leitura das métricas de recursos.This setting is used if there are problems with reading the resource metrics.
  7. Selecione Guardar.Select Save.

Configurao escala horizontal para o seu cluster Azure Data Explorer.You've now configured horizontal scaling for your Azure Data Explorer cluster. Adicione outra regra para escala vertical.Add another rule for vertical scaling. Se precisar de assistência com problemas de escala de cluster, abra um pedido de apoio no portal Azure.If you need assistance with cluster-scaling issues, open a support request in the Azure portal.

Passos seguintesNext steps