변화하는 요구를 수용하도록 Azure Data Explorer에서 클러스터 수평 크기 조정(스케일 아웃) 관리

클러스터 크기를 적절하게 조정하는 것은 Azure 데이터 탐색기의 성능에 중요합니다. 정적 클러스터 크기는 사용량 미달 또는 사용량 초과로 이어질 수 있으며, 둘 다 이상적인 경우는 아닙니다. 클러스터에 대한 요구는 절대적으로 정확하게 예측할 수 없기 때문에 클러스터를 크기 조정하여 변화하는 요구에 따라 용량과 CPU 리소스를 추가하고 제거하는 것이 좋습니다.

Azure Data Explorer 클러스터를 크기 조정하기 위한 두 가지 워크플로가 있습니다.

• 수평 크기 조정(스케일 인 및 스케일 아웃이라고도 함)
• 수직 크기 조정(스케일 업 및 스케일 다운이라고도 함) 이 문서에서는 수평 크기 조정 워크플로를 설명합니다.

수평 크기 조정 구성

수평 크기 조정을 사용하면 미리 정의된 규칙과 일정에 따라 인스턴스 수를 자동으로 크기 조정할 수 있습니다. 클러스터의 자동 크기 조정 설정을 지정하려면 다음을 수행합니다.

1. Azure Portal에서 Azure Data Explorer 클러스터 리소스로 이동합니다. 설정에서 스케일 아웃을 선택합니다.

2. 스케일 아웃 창에서 수동 크기 조정, 최적화된 자동 크기 조정 또는 사용자 지정 자동 크기 조정 중에 원하는 자동 크기 조정 방법을 선택합니다.

수동 크기 조정

수동 크기 조정 옵션에서 클러스터에는 자동으로 변경되지 않는 정적 용량이 있습니다. 인스턴스 수 표시줄을 사용하여 정적 용량을 선택합니다. 클러스터의 크기 조정은 변경될 때까지 선택한 설정에 유지됩니다.

최적화된 자동 크기 조정(권장 옵션)

최적화된 자동 크기 조정은 클러스터를 만드는 동안 기본 설정이며 권장되는 크기 조정 방법입니다. 이 방법은 다음과 같이 클러스터 성능과 비용을 최적화합니다.

• 클러스터가 충분히 활용되지 않으면 필요한 성능에 영향을 주지 않고 비용을 절감하도록 스케일 인됩니다.
• 클러스터가 과도하게 활용되면 최적의 성능을 유지하기 위해 스케일 아웃됩니다.

최적화된 자동 크기 조정을 구성하려면 다음을 수행합니다.

1. 최적화된 자동 크기 조정을 선택합니다.

2. 최소 및 최대 인스턴스 수를 지정합니다. 클러스터 자동 크기 조정 범위는 부하에 따라 이들 값 사이에서 정해집니다.

3. 저장을 선택합니다.

   

최적화된 자동 크기 조정이 작동하기 시작합니다. 해당 작업은 Azure의 클러스터 활동 로그에서 볼 수 있습니다.

최적화된 자동 크기 조정의 논리

최적화된 자동 크기 조정은 예측 또는 반응 논리에 의해 관리됩니다. 예측 논리는 클러스터의 사용 패턴을 추적하고 높은 신뢰도로 계절성을 식별하면 클러스터의 크기 조정을 관리합니다. 그렇지 않으면 클러스터의 실제 사용량을 추적하는 반응 논리를 사용하여 현재 리소스 사용 수준을 기반으로 클러스터 크기 조정 작업을 결정합니다.

예측 및 반응 흐름 모두에 대한 주요 메트릭은 다음과 같습니다.

• CPU
• 캐시 사용률 팩터
• 수집 사용률

예측 및 반응 논리는 최적화된 자동 크기 조정 구성에 정의된 대로 클러스터의 크기 경계, 최소 및 최대 인스턴스 수에 바인딩됩니다. 클러스터 리소스에 대한 영향 그리고 인스턴스를 추가하거나 제거할 때뿐만 아니라 모든 노드에 걸쳐 핫 캐시의 균형을 재조정하는 데 시간이 걸리기 때문에, 빈번한 클러스터 스케일 아웃 및 스케일 인 작업은 바람직하지 않습니다.

예측 자동 크기 조정

예측 논리는 지난 몇 주 동안의 사용 패턴에 따라 다음 날 클러스터의 사용량을 예측합니다. 예측은 스케일 인 또는 스케일 아웃 작업의 일정을 만들어 클러스터의 크기를 미리 조정하는 데 사용됩니다. 이렇게 하면 부하가 변경되는 시간에 맞춰 클러스터 크기 조정 및 데이터 재조정이 완료됩니다. 이 논리는 매일 또는 매주 사용량 급증과 같은 계절적 패턴에 특히 효과적입니다.

그러나 고유 사용량이 예측보다 급증하는 경우 최적화된 자동 크기 조정이 반응 논리로 대체됩니다. 이 경우 스케일 인 또는 스케일 아웃 작업은 최신 수준의 리소스 사용량을 기준으로 임시로 수행됩니다.

반응 자동 크기 조정

규모 확장

클러스터가 사용량 초과 상태에 가까워지면 최적의 성능을 유지하기 위해 스케일 아웃 작업이 수행됩니다. 다음 조건 중 하나 이상이 발생하는 경우 스케일 아웃 작업이 수행됩니다.

• 1시간 넘게 캐시 사용률이 높음
• 1시간 넘게 CPU 사용률이 높음
• 1시간 넘게 수집 사용률이 높음

스케일 인

클러스터가 충분히 활용되지 않는 경우 최적의 성능을 유지하면서 비용을 절감하기 위해 스케일 인 작업이 수행됩니다. 여러 메트릭을 사용하여 클러스터에서 스케일 인하는 것이 안전한지 확인합니다.

리소스 오버로드가 없는지 확인하려면 스케일 인이 수행되기 전에 다음 메트릭을 평가합니다.

• 캐시 사용률이 높지 않음
• CPU가 평균 미만임
• 수집 사용률이 평균 미만임
• 스트리밍 수집을 사용하는 경우 스트리밍 수집 사용률이 높지 않음
• 연결 유지 메트릭이 정의된 최솟값을 초과하고, 제 시간에 제대로 처리되어, 클러스터가 응답함을 나타냄
• 쿼리 제한이 없음
• 실패한 쿼리 수가 정의된 최솟값보다 적음

참고

스케일 인 논리는 최적화된 스케일 인를 구현하기 전에 하루 동안 평가해야 합니다. 이 평가는 1시간에 한 번 수행됩니다. 즉시 변경해야 하는 경우 수동 크기 조정을 사용합니다.

사용자 지정 자동 스케일링

최적화된 자동 크기 조정이 권장되는 크기 조정 옵션이지만 Azure 사용자 지정 자동 크기 조정도 지원됩니다. 사용자 지정 자동 크기 조정을 사용하면 지정한 메트릭에 따라 클러스터를 동적으로 크기 조정할 수 있습니다. 다음 단계를 사용하여 사용자 지정 자동 크기 조정을 구성합니다.

1. 자동 크기 조정 설정 이름 상자에 이름을 입력합니다(예: ‘스케일 아웃: 캐시 사용률’).

2. 크기 조정 모드에 대해 메트릭 기준 크기 조정을 선택합니다. 이 모드는 동적 크기 조정을 제공합니다. 특정 인스턴스 수로 크기 조정을 선택할 수도 있습니다.

3. + 규칙 추가를 선택합니다.

4. 오른쪽 크기 조정 규칙 섹션에서 각 설정의 값을 입력합니다.

   조건

   설정	설명 및 값
   시간 집계	평균 같은 집계 기준을 선택합니다.
   메트릭 이름	캐시 사용률과 같이 크기 조정 작업의 기준이 될 메트릭을 선택합니다.
   시간 조직 통계	평균, 최솟값, 최댓값, 합계 중에서 선택합니다.
   연산자	보다 크거나 같음과 같은 적절한 옵션을 선택합니다.
   임계값	적절한 값을 선택합니다. 예를 들어, 캐시 사용률의 경우 80%가 좋은 시작점입니다.
   기간(분)	시스템이 메트릭을 계산하는 경우에 다시 확인하는 적절한 기간을 선택합니다. 처음에는 기본값 10분으로 시작합니다.

   동작

   설정	설명 및 값
   연산	규모를 감축하거나 규모를 확장하는 적절한 옵션을 선택합니다.
   인스턴스 수	메트릭 조건을 충족할 경우 추가하거나 제거할 노드 또는 인스턴스 수를 선택합니다.
   정지(분)	크기 조정 작업 간의 적절한 시간 간격을 선택합니다. 기본값 5분으로 시작합니다.

5. 추가를 선택합니다.

6. 왼쪽 인스턴스 제한 섹션에서 각 설정의 값을 입력합니다.

   설정	설명 및 값
   최소	사용률에 관계없이 클러스터가 인스턴스 수를 이보다 낮게 줄이지 않습니다.
   최댓값	사용률에 관계없이 클러스터가 인스턴스 수를 이보다 높게 늘리지 않습니다.
   기본	기본 인스턴스 수입니다. 이 설정은 리소스 메트릭을 읽는 데 문제가 있는 경우에 사용됩니다.

7. 저장을 선택합니다.

이제 Azure Data Explorer 클러스터의 수평 크기 조정을 구성했습니다. 수직 크기 조정의 또 다른 규칙을 추가합니다. 클러스터 크기 조정 문제와 관련하여 도움이 필요한 경우 Azure Portal에서 지원 요청을 엽니다.

관련 콘텐츠

• 메트릭을 사용하여 Azure Data Explorer 성능, 상태 및 사용량 모니터링
• 클러스터의 적절한 크기 조정을 위해 클러스터 수직 크기 조정을 관리합니다.