변경 수요에 맞게 Azure 데이터 탐색기의 클러스터 수평적 크기 조정 (규모 확장) 관리Manage cluster horizontal scaling (scale out) in Azure Data Explorer to accommodate changing demand

클러스터 크기를 적절하게 조정하는 것은 Azure 데이터 탐색기의 성능에 중요합니다.Sizing a cluster appropriately is critical to the performance of Azure Data Explorer. 정적 클러스터 크기는 사용량 미달 또는 사용량 초과로 이어질 수 있으며, 둘 다 이상적인 경우는 아닙니다.A static cluster size can lead to under-utilization or over-utilization, neither of which is ideal. 클러스터의 수요는 절대 정확도로 예측할 수 없기 때문에 클러스터 크기를 조정 하 고 수요를 변경 하 여 용량 및 CPU 리소스를 추가 및 제거 하는 것이 좋습니다.Because demand on a cluster can’t be predicted with absolute accuracy, it's better to scale a cluster, adding and removing capacity and CPU resources with changing demand.

Azure 데이터 탐색기 클러스터의 크기를 조정 하는 데는 두 가지 워크플로가 있습니다.There are two workflows for scaling an Azure Data Explorer cluster:

  • 수평 확장 (확장 및 축소 라고도 함)Horizontal scaling, also called scaling in and out.
  • 수직 크기조정 (확장 및 축소 라고도 함)Vertical scaling, also called scaling up and down. 이 문서에서는 가로 크기 조정 워크플로에 대해 설명 합니다.This article explains the horizontal scaling workflow.

가로 크기 조정 구성Configure horizontal scaling

수평 확장을 사용 하면 미리 정의 된 규칙 및 일정에 따라 인스턴스 수를 자동으로 조정할 수 있습니다.By using horizontal scaling, you can scale the instance count automatically, based on predefined rules and schedules. 클러스터에 대 한 자동 크기 조정 설정을 지정 하려면:To specify the autoscale settings for your cluster:

  1. Azure Portal에서 Azure 데이터 탐색기 클러스터 리소스로 이동 합니다.In the Azure portal, go to your Azure Data Explorer cluster resource. 설정아래에서 Scale out을 선택 합니다.Under Settings, select Scale out.

  2. 규모 확장 창에서 수동 크기조정, 최적화 된 자동 크기 조정또는 사용자 지정 자동 크기조정 등 원하는 자동 크기 조정 메서드를 선택 합니다.In the Scale out window, select the autoscale method that you want: Manual scale, Optimized autoscale, or Custom autoscale.

수동 크기 조정Manual scale

수동 크기 조정은 클러스터를 만드는 동안 기본 설정입니다.Manual scale is the default setting during cluster creation. 클러스터에는 자동으로 변경 되지 않는 고정 용량이 있습니다.The cluster has a static capacity that doesn't change automatically. 인스턴스 개수 막대를 사용 하 여 정적 용량을 선택 합니다.You select the static capacity by using the Instance count bar. 클러스터의 크기 조정은 다른 변경을 수행할 때까지 해당 설정으로 유지 됩니다.The cluster's scaling remains at that setting until you make another change.

수동 크기 조정 방법

최적화 된 자동 크기 조정Optimized autoscale

최적화 된 자동 크기 조정 방법은 권장 되는 자동 크기 조정 방법입니다.Optimized autoscale is the recommended autoscale method. 이 방법은 클러스터 성능과 비용을 최적화 합니다.This method optimizes cluster performance and costs. 클러스터가 미달 사용 상태에 가까워지면에서 크기가 조정 됩니다.If the cluster approaches a state of under-utilization, it will be scaled in. 이 작업은 비용을 절감 하지만 성능 수준을 유지 합니다.This action lowers costs but keeps performance level. 클러스터가 과도 한 사용률에 도달 하는 경우 최적의 성능을 유지 하기 위해 확장 됩니다.If the cluster approaches a state of over-utilization, it will be scaled out to maintain optimal performance. 최적화 된 자동 크기 조정을 구성 하려면:To configure Optimized autoscale:

  1. 최적화 된 자동 크기 조정을 선택 합니다.Select Optimized autoscale.

  2. 최소 인스턴스 수 및 최대 인스턴스 수를 선택 합니다.Select a minimum instance count and a maximum instance count. 클러스터 자동 크기 조정 범위는 부하에 따라 두 숫자 사이에 있습니다.The cluster auto-scaling ranges between those two numbers, based on load.

  3. 저장을 선택합니다.Select Save.

    최적화 된 자동 크기 조정 방법

최적화 된 자동 크기 조정이 작동 하기 시작 합니다.Optimized autoscale starts working. 이제 해당 작업이 클러스터의 Azure 활동 로그에 표시 됩니다.Its actions are now visible in the Azure activity log of the cluster.

최적화 된 자동 크기 조정 논리Logic of optimized autoscale

규모 확장Scale out

클러스터가 과도 한 사용률 상태에 가까워지면 최적의 성능을 유지 하기 위해 규모를 확장 합니다.When your cluster approaches a state of over-utilization, scale out to maintain optimal performance. 규모 확장은 다음과 같은 경우에 발생 합니다.Scale out will occur when:

  • 클러스터 인스턴스 수가 사용자가 정의한 최대 인스턴스 수를 벗어났습니다.The number of cluster instances is below the maximum number of instances defined by the user.
  • 캐시 사용률은 한 시간 이상에 대해 높습니다.The cache utilization is high for over an hour.
  • CPU는 한 시간 이상에 대해 높습니다.The CPU is high for over an hour.
  • 수집 사용률은 한 시간 이상에 대해 높습니다.The ingestion utilization is high for over an hour.

규모 감축Scale in

클러스터가 미달 사용 상태에 도달 하는 경우 비용을 절감 하지만 성능을 유지 합니다.When your cluster approaches a state of under-utilization, scale in to lower costs but maintain performance. 여러 메트릭을 사용 하 여 클러스터에서 크기를 조정 하는 것이 안전한 지 확인 합니다.Multiple metrics are used to verify that it's safe to scale in the cluster. 다음 규칙은 scale in이 수행 되기 전에 6 시간 마다 계산 됩니다.The following rules are evaluated hourly for 6 hours before scale in is performed:

  • 인스턴스 수가 정의 된 최소 인스턴스 수를 2 이상 초과 합니다.The number of instances is above 2 and above the minimum number of instances defined.
  • 리소스가 오버 로드 되지 않도록 하려면 scale in이 수행 되기 전에 다음 메트릭을 확인 해야 합니다.To ensure that there's no overloading of resources, the following metrics must be verified before scale in is performed:
    • 캐시 사용률은 높지 않습니다.Cache utilization isn't high
    • CPU 평균 미만CPU is below average
    • 수집 사용률이 평균 미만입니다.Ingestion utilization is below average
    • 스트리밍 수집 사용률 (스트리밍 수집을 사용 하는 경우)이 크지 않음Streaming ingest utilization (if streaming ingest is used) isn't high
    • 연결 유지 이벤트는 정의 된 최소, 적절 하 게 처리 된 시간 이상입니다.Keep alive events are above a defined minimum, processed properly, and on time.
    • 쿼리 제한 없음No query throttling
    • 실패 한 쿼리 수가 정의 된 최소값 보다 낮은 경우Number of failed queries are below a defined minimum.

참고

논리 확장은 현재에서 최적화 된 규모의 구현 전에 1 일 평가판을 요구 합니다.The scale in logic currently requires a 1-day evaluation before implementation of optimized scale in. 이 평가는 6 시간 마다 한 번씩 수행 됩니다.This evaluation takes place once every 6 hours. 즉각적인 변경이 필요한 경우 수동 크기 조정을사용 합니다.If an immediate change is needed, use manual scale.

사용자 지정 자동 스케일링Custom autoscale

사용자 지정 자동 크기 조정을 사용 하 여 지정한 메트릭에 따라 동적으로 클러스터를 확장할 수 있습니다.By using custom autoscale, you can scale your cluster dynamically based on metrics that you specify. 다음 그림에는 사용자 지정 자동 크기 조정을 구성 하는 흐름과 단계가 나와 있습니다.The following graphic shows the flow and steps to configure custom autoscale. 자세한 내용은 그래픽을 참조 하세요.More details follow the graphic.

  1. 크기 자동 조정 설정 이름 상자에 확장: 캐시 사용률등의 이름을 입력 합니다.In the Autoscale setting name box, enter a name, such as Scale-out: cache utilization.

    크기 조정 규칙

  2. 크기 조정 모드의 경우 메트릭에 따라 크기 조정을 선택 합니다.For Scale mode, select Scale based on a metric. 이 모드는 동적 크기 조정을 제공 합니다.This mode provides dynamic scaling. 특정 인스턴스 수로 크기 조정을선택할 수도 있습니다.You can also select Scale to a specific instance count.

  3. + 규칙 추가를선택 합니다.Select + Add a rule.

  4. 오른쪽의 크기 조정 규칙 섹션에서 각 설정에 대 한 값을 입력 합니다.In the Scale rule section on the right, enter values for each setting.

    조건Criteria

    설정Setting 설명 및 값Description and value
    시간 집계Time aggregation 평균 같은 집계 기준을 선택합니다.Select an aggregation criteria, such as Average.
    메트릭 이름Metric name 캐시 사용률과 같이 크기 조정 작업의 기준이 될 메트릭을 선택합니다.Select the metric you want the scale operation to be based on, such as Cache Utilization.
    시간 조직 통계Time grain statistic 평균, 최솟값, 최댓값, 합계 중에서 선택합니다.Choose between Average, Minimum, Maximum, and Sum.
    연산자Operator 보다 크거나 같음과 같은 적절한 옵션을 선택합니다.Choose the appropriate option, such as Greater than or equal to.
    임계값Threshold 적절한 값을 선택합니다.Choose an appropriate value. 예를 들어 캐시 사용률의 경우 80%가 좋은 시작점입니다.For example, for cache utilization, 80 percent is a good starting point.
    기간 (분)Duration (in minutes) 시스템이 메트릭을 계산하는 경우에 다시 확인하는 적절한 기간을 선택합니다.Choose an appropriate amount of time for the system to look back when calculating metrics. 처음에는 기본값 10분으로 시작합니다.Start with the default of 10 minutes.

    작업Action

    설정Setting 설명 및 값Description and value
    연산Operation 규모를 감축하거나 규모를 확장하는 적절한 옵션을 선택합니다.Choose the appropriate option to scale in or scale out.
    인스턴스 수Instance count 메트릭 조건을 충족할 경우 추가하거나 제거할 노드 또는 인스턴스 수를 선택합니다.Choose the number of nodes or instances you want to add or remove when a metric condition is met.
    정지(분)Cool down (minutes) 크기 조정 작업 간의 적절한 시간 간격을 선택합니다.Choose an appropriate time interval to wait between scale operations. 기본값 5분으로 시작합니다.Start with the default of five minutes.
  5. 추가를 선택합니다.Select Add.

  6. 왼쪽의 인스턴스 제한 섹션에서 각 설정에 대 한 값을 입력 합니다.In the Instance limits section on the left, enter values for each setting.

    설정Setting 설명 및 값Description and value
    최소Minimum 사용률에 관계없이 클러스터가 인스턴스 수를 이보다 낮게 줄이지 않습니다.The number of instances that your cluster won't scale below, regardless of utilization.
    최댓값Maximum 사용률에 관계없이 클러스터가 인스턴스 수를 이보다 높게 늘리지 않습니다.The number of instances that your cluster won't scale above, regardless of utilization.
    기본값Default 기본 인스턴스 수입니다.The default number of instances. 이 설정은 리소스 메트릭을 읽는 데 문제가 있는 경우에 사용 됩니다.This setting is used if there are problems with reading the resource metrics.
  7. 저장을 선택합니다.Select Save.

이제 Azure 데이터 탐색기 클러스터에 대해 수평적 크기 조정을 구성 했습니다.You've now configured horizontal scaling for your Azure Data Explorer cluster. 수직 크기 조정을 위한 다른 규칙을 추가 합니다.Add another rule for vertical scaling. 클러스터 크기 조정 문제에 대 한 지원이 필요한 경우 Azure Portal에서 지원 요청을 여세요 .If you need assistance with cluster-scaling issues, open a support request in the Azure portal.

다음 단계Next steps