수동 크기 조정

아티클
02/26/2024

Important

이 기능은 현지 미리 보기로 제공됩니다. Microsoft Azure 미리 보기에 대한 보충 사용 약관에는 베타 또는 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 약관이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보를 참조하세요. 질문이나 기능 제안이 있는 경우 AskHDInsight에서 세부 정보와 함께 요청을 제출하고 Azure HDInsight 커뮤니티에서 더 많은 업데이트를 확인하세요.

HDInsight는 클러스터의 작업자 노드 수를 스케일 업 및 스케일 다운하는 옵션을 제공하여 탄력성을 보장합니다. 이러한 탄력성은 리소스 사용률을 높이고 비용 효율성을 개선하는 데 도움이 됩니다.

클러스터 크기를 조정하는 유틸리티

HDInsight on AKS는 클러스터를 수동으로 스케일링하는 다음 방법을 제공합니다.

유틸리티	설명
Azure Portal	HDInsight 클러스터 창을 열고 왼쪽 메뉴에서 클러스터 크기를 선택한 다음, 클러스터 크기 창에서 작업자 노드 수를 입력하고 저장을 선택합니다.
REST API	REST API를 사용하여 AKS 클러스터에서 실행 중인 HDInsight를 스케일링하려면 컴퓨팅 프로필의 업데이트된 수를 사용하여 동일한 리소스에 대한 후속 POST 요청을 만듭니다.

Azure Portal을 사용하여 클러스터 탐색 페이지의 “클러스터 크기” 메뉴에 액세스할 수 있습니다. 클러스터 크기 블레이드에서 “작업자 노드 수”를 변경하고 변경 사항을 저장하여 클러스터를 스케일 업하거나 스케일 다운합니다.

클러스터에 대한 스케일링 작업의 영향

스케일링 작업을 수행하면 서비스가 다시 시작되어 이미 실행 중인 작업에 오류가 발생할 수 있습니다.

AKS 클러스터의 운영 HDInsight에 노드를 추가하는 경우(스케일 업):

수동 스케일링을 사용한 스케일링 작업이 성공하면 클러스터에 작업자 노드가 추가됩니다.
스케일링 프로세스가 실행되는 동안 새 작업을 안전하게 제출할 수 있습니다.
스케일링 작업이 실패하면 클러스터가 “실패” 상태로 남습니다.
서비스가 다시 시작될 때 스케일링 작업 중에 작업 오류가 발생할 수 있습니다.

AKS 클러스터의 HDInsight에서 노드를 제거하는 경우(스케일 다운):

스케일링 작업이 완료되면 보류 중이거나 실행 중인 작업이 실패합니다. 이 오류는 크기 조정 프로세스 중 일부 서비스가 다시 시작되기 때문에 발생합니다. 클러스터 노드 수를 변경하는 영향은 각 클러스터 유형에 따라 달라집니다.

Important

스케일링 작업 중 할당량 오류를 방지하려면 구독에서 할당량을 계획하세요. 할당량이 부족한 경우 이 설명서를 사용하여 할당량을 늘릴 수 있습니다.
스케일 다운이 코디네이터/수신 및 기타 서비스를 호스트하는 헤드 노드를 선택하는 경우 가동 중지 시간이 발생합니다.

질문과 대답

일반

질문	답변
크기 조정 작업 중에 추가/제거할 수 있는 최소 노드는 무엇인가요?	하나의 노드.
AKS 클러스터의 HDInsight에서 지원되는 노드는 몇 개인가요?	클러스터당 500개 노드(공개 미리 보기)
클러스터를 수동으로 스케일 다운하려면 어떻게 해야 하나요?	ARM 요청에서 `computeProfile.count`를 업데이트하거나 Azure Portal을 사용하여 스케일 다운하기 위해 언급된 단계를 따릅니다.
수동 크기 조정 중에 클러스터에 사용자 지정 스크립트 작업을 추가할 수 있나요?	Apache Spark 클러스터 유형의 경우 스크립트 작업을 적용할 수 있습니다.
클러스터 노드의 수동 크기 조정 실패에 대한 로그를 확인하려면 어떻게 해야 하나요?	로그는 Log Analytics 모듈에서 사용할 수 있습니다. Azure Monitor 통합을 참조하세요.
로드 기반 또는 일정 기반 자동 스케일링이 지원되나요?	예. 자세한 내용은 자동 크기 조정을 참조하세요.

Trino

질문	답변
스케일링 작업 후에 Trino 서비스를 다시 시작하나요?	예, 스케일링 작업 중에 서비스가 다시 시작됩니다.

Apache Flink

질문	답변
Apache Flink 클러스터에 대한 스케일링 작업의 영향은 무엇인가요?	모든 스케일링 작업은 서비스의 다시 시작을 트리거하여 작업 실패를 일으킬 수 있습니다. 스케일링 프로세스가 완료되면 새 작업을 제출할 수 있습니다. Apache Flink에서 스케일 다운은 작업 다시 시작을 트리거하고 스케일 업 작업은 작업 다시 시작을 트리거할 수 없습니다.

Apache Spark

질문	답변
Spark 클러스터에 대한 스케일링 작업의 영향은 무엇인가요?	수동 스케일 다운 작업은 헤드 노드 서비스의 다시 시작을 트리거할 수 있습니다.

참고 항목

할당량 오류를 방지하려면 스케일링 작업 전에 구독에 설정된 할당량을 관리하는 것이 좋습니다. 규모를 축소하기 전에 AKS Trino 클러스터의 HDInsight가 작동하려면 최소 5개의 활성 노드가 필요합니다.

Share via