Azure Data Explorer Clusters Insights

Azure Data Explorer Clusters Insights는 클러스터 성능, 작업, 사용량 및 오류에 대한 통합 보기를 제공하여 클러스터에 대한 포괄적인 모니터링을 제공합니다.

다음을 제공합니다.

• 대규모 큐브 뷰. 클러스터의 기본 메트릭에 대한 스냅샷 보기를 통해 쿼리, 수집 및 내보내기 작업의 성능을 추적할 수 있습니다.
• 드릴다운 분석. 특정 Azure Data Explorer 클러스터로 드릴다운하여 자세한 분석을 수행할 수 있습니다.
• 사용자 지정. 표시할 메트릭을 변경하고, 제한에 맞도록 임계값을 수정 또는 설정하고, 사용자 고유의 사용자 지정 통합 문서를 저장할 수 있습니다. 통합 문서의 차트를 Azure 대시보드에 고정할 수 있습니다.

이 문서는 Azure Data Explorer Clusters Insights를 온보딩하고 사용하는 방법을 이해하는 데 도움이 됩니다.

Azure Monitor 보기(대규모 큐브 뷰)

Azure Monitor에서 클러스터에 대한 기본 성능 메트릭을 볼 수 있습니다. 이러한 메트릭에는 구독의 여러 클러스터의 쿼리, 수집 및 내보내기 작업에 대한 정보가 포함됩니다. 성능 문제를 식별하는 데 도움이 될 수 있습니다.

모든 구독의 클러스터 성능을 보려면 다음을 수행합니다.

1. Azure Portal에 로그인합니다.

2. 왼쪽 창에서 모니터링을 선택합니다. Insights Hub 섹션에서 Azure Data Explorer 클러스터를 선택합니다.

구독 개요 탭

선택한 구독의 개요 탭에서, 테이블은 구독 내에 그룹화된 Azure Data Explorer 클러스터 모음의 대화형 메트릭을 표시합니다. 다음 드롭다운 목록에서 선택하는 옵션을 기준으로 결과를 필터링할 수 있습니다.

• 구독: Azure Data Explorer 클러스터가 있는 구독만 나열됩니다.

• Azure Data Explorer 클러스터: 기본적으로 최대 5개의 클러스터만 미리 선택됩니다. 범위 선택기에서 모든 또는 여러 클러스터를 선택하면 최대 200개의 클러스터가 반환됩니다.

• 시간 범위: 기본적으로는 표에 선택한 항목을 기준으로 지난 24시간의 정보가 표시됩니다.

드롭다운 목록 아래의 카운터 타일은 선택한 구독에서 Azure Data Explorer 클러스터의 총 수를 제공하고 선택한 수를 보여 줍니다. 연결 유지, CPU, 수집 사용률 및 캐시 사용률과 같은 열에 대한 조건부 색 코딩이 있습니다. 주황색으로 코딩된 셀에는 클러스터에 대해 지속 가능하지 않은 값이 있습니다.

각 메트릭이 무엇을 의미하는지 보다 잘 이해하려면 Azure Data Explorer 메트릭에 대한 설명서를 참조하는 것이 좋습니다.

쿼리 성능 탭

쿼리 정보 탭에는 쿼리 기간, 총 동시 쿼리 수 및 제한된 쿼리의 총 수가 표시됩니다.

수집 성능 탭

수집 성능 탭은 수집 대기 시간, 성공 수집 결과, 실패한 수집 결과, 수집 볼륨 및 이벤트 허브와 IoT 허브에 대해 처리된 이벤트를 표시합니다.

스트리밍 수집 성능 탭

스트리밍 수집 성능 탭에는 평균 데이터 속도, 평균 기간 및 요청 속도에 대한 정보가 제공됩니다.

내보내기 성능 탭

내보내기 성능 탭은 연속 내보내기 작업의 내보낸 레코드, 지연, 보류 중인 개수 및 사용률 비율에 대한 정보를 제공합니다.

Azure Data Explorer 클러스터 리소스 보기(드릴다운 분석)

Azure Data Explorer 클러스터에서 직접 Azure Data Explorer Clusters Insights에 액세스하려면 다음을 수행합니다.

1. Azure Portal에서 Azure Data Explorer 클러스터를 선택합니다.

2. 목록에서 Azure Data Explorer 클러스터를 선택합니다. 모니터링 섹션에서 인사이트를 선택합니다.

Azure Monitor Insights 보기 내에서 Azure Data Explorer 클러스터의 리소스 이름을 선택하여 이러한 보기에 액세스할 수도 있습니다.

참고

Azure Data Explorer Clusters Insights는 로그와 메트릭을 모두 결합하여 글로벌 모니터링 솔루션을 제공합니다. 로그 기반 시각화를 포함하면 사용자는 Azure Data Explorer 클러스터의 진단 로깅을 사용하도록 설정하고 Log Analytics 작업 영역으로 보내야 합니다. 사용해야 하는 진단 로그는 Command, Query, SucceededIngestion, FailedIngestion, IngestionBatching, TableDetails 및 TableUsageStatistics입니다. (SucceededIngestion 로그를 활성화하면 비용이 많이 들 수 있습니다. 성공적인 수집을 모니터링해야 하는 경우에만 활성화합니다.)

개요 탭

개요 탭에는 다음이 표시됩니다.

• 빠른 상태 평가를 위해 클러스터의 가용성 및 전반적인 상태를 강조 표시하는 메트릭 타일입니다.

• 활성 Azure Advisor 권장 사항 및 리소스 상태에 대한 요약입니다.

• 시간이 지남에 따라 상위 CPU 및 메모리 소비자와 고유한 사용자 수를 보여 주는 차트

키 메트릭 탭

주요 메트릭 탭에는 클러스터 메트릭 중 일부에 대한 통합 보기가 표시됩니다. 일반 메트릭, 쿼리 관련 메트릭, 수집 관련 메트릭 및 스트리밍 수집 관련 메트릭으로 그룹화됩니다.

사용량 탭

사용자는 사용량 탭에서 클러스터의 명령 및 쿼리 성능에 대해 자세히 알아볼 수 있습니다. 이 탭에서는 다음을 수행할 수 있습니다.

• 가장 많은 쿼리를 전송하거나 가장 많은 CPU와 메모리를 사용하는 워크로드 그룹, 사용자 및 애플리케이션을 확인합니다. 그런 다음 처리할 클러스터에 대한 가장 무거운 쿼리를 제출하는 워크로드를 이해할 수 있습니다.
• 실패한 쿼리의 상위 작업 그룹, 사용자 및 애플리케이션을 식별합니다.
• 작업 그룹, 사용자 및 애플리케이션을 기준으로 지난 16일간의 일별 평균 기록과 비교하여 쿼리 수의 최근 변경 사항을 확인합니다.
• 작업 그룹, 사용자, 애플리케이션 및 명령 유형별로 쿼리 수, 메모리 및 CPU 사용량의 추세 및 최대치를 식별합니다.

사용 탭에는 사용자가 직접 수행하는 작업이 포함됩니다. 내부 클러스터 작업은 이 탭에 포함되지 않습니다.

테이블 탭

테이블 탭에서는 클러스터에 있는 테이블의 최신 및 기록 속성을 표시합니다. 공간을 가장 많이 사용하는 테이블을 확인할 수 있습니다. 테이블 크기, 핫 데이터 및 행 수를 기준으로 시간이 지남에 따른 증가 기록을 추적할 수 있습니다.

캐시 탭

사용자는 캐시 탭을 통해 실제 쿼리의 조회 기간 패턴을 분석하고 각 테이블에 대해 구성된 캐시 정책과 비교할 수 있습니다. 쿼리되지 않은 대부분의 쿼리 및 테이블에서 사용하는 테이블을 식별하고 이에 따라 캐시 정책을 적용할 수 있습니다.

Azure Advisor의 특정 테이블에 대한 캐시 정책 권장 사항을 가져올 수 있습니다. 현재 캐시 권장 사항은 기본 Azure Advisor 대시보드에서만 사용할 수 있습니다. 지난 30일 동안 실제 쿼리의 되돌아보기 기간과 쿼리의 95% 이상에 대한 최적화되지 않은 캐시 정책을 기반으로 합니다.

Azure Advisor의 캐시 감소 권장 사항은 “데이터에 제한된” 클러스터에 사용할 수 있습니다. 이는 클러스터의 CPU와 수집 사용률이 낮다는 것을 의미하며, 데이터 용량이 높기 때문에 클러스터가 스케일 인하거나 스케일 다운할 수 없습니다.

클러스터 경계 탭

클러스터 경계 탭에서는 사용량에 따라 클러스터 경계를 표시합니다. 이 탭에서 CPU, 수집 및 캐시 사용률을 검사할 수 있습니다. 이러한 메트릭은 낮음, 중간 또는 높음으로 점수가 매겨집니다. 이러한 메트릭과 점수는 클러스터에 대한 최적의 SKU 및 인스턴스 수를 결정할 때 중요합니다. Azure Advisor SKU/크기 권장 사항에서 고려됩니다.

이 탭에서 메트릭 타일 및 심층 분석을 선택하여 추세와 점수를 결정하는 방법을 파악할 수 있습니다. 클러스터에 대한 Azure Advisor SKU/크기 권장 사항을 볼 수도 있습니다. 예를 들어 다음 이미지에서 모든 메트릭이 낮음으로 점수가 매겨지는 것을 볼 수 있습니다. 클러스터는 스케일 인/다운 및 비용 절감을 허용하는 비용 권장 사항을 받습니다.

수집 탭(미리 보기 탭)

수집 탭을 사용하면 클러스터에 대한 대기 중인 수집 작업의 상태 모니터링할 수 있습니다.

큐에 대기 중인 수집 프로세스에서 데이터 수집은 높은 처리량에 최적화됩니다. 이는 구성 가능한 수집 일괄 처리 정책에 따라 들어오는 데이터의 작은 청크를 일괄 처리로 그룹화하여 수행됩니다.

수집 탭은 다음에 대한 자세한 정보를 제공합니다.

• 데이터베이스 또는 테이블 세분성별 큐에 대기 중인 수집의 결과입니다.
• 테이블별 수집 오류 세부 정보입니다.
• 수집된 데이터의 양
• 대기 중인 수집의 대기 시간 및 발생 위치입니다.
• 수집 일괄 처리 정책 및 일괄 처리가 밀봉된 방식에 대한 모니터링 정보를 포함한 일괄 처리 프로세스 자체입니다.
• Event Hubs, Event Grid 및 IoT Hub 수집의 경우: 클러스터로 수신된 이벤트 수 및 실제 수집을 위해 전송된 이벤트 수입니다.

Azure 대시보드에 고정

섹션의 오른쪽 위에 있는 압정 아이콘을 선택하여 “대규모” 큐브 뷰의 메트릭 섹션 중 하나를 Azure 대시보드에 고정할 수 있습니다.

Azure Data Explorer Clusters Insights 사용자 지정

통합 문서를 편집하여 데이터 분석 요구 사항을 지원하도록 사용자 지정할 수 있습니다.

• 항상 특정 구독 또는 Azure Data Explorer 클러스터를 선택하도록 통합 문서 범위를 지정합니다.
• 그리드에서 메트릭을 변경합니다.
• 임계값 또는 색 렌더링/코딩을 변경합니다.

상단 툴바에서 사용자 지정 단추를 선택하여 사용자 지정을 시작할 수 있습니다.

사용자 지정 항목은 게시된 통합 문서에서 기본 구성을 덮어쓰지 않도록 사용자 지정 통합 문서에 저장됩니다. 통합 문서는 리소스 그룹 내에서 프라이빗 위치인 내 보고서 섹션 또는 리소스 그룹에 대한 액세스 권한을 갖고 있는 모든 사용자가 액세스할 수 있는 공유 보고서 섹션에 저장됩니다. 사용자 지정 통합 문서를 저장한 후에는 통합 문서 갤러리로 이동하여 엽니다.

문제 해결

일반적인 문제 해결 지침은 통합 문서 기반 인사이트 문제 해결을 참조하세요.

다음 섹션에서는 Azure Data Explorer Clusters Insights를 사용할 때 발생할 수 있는 몇 가지 일반적인 문제를 진단하고 해결하는 데 도움이 됩니다.

구독 선택기에 내 구독이 전부 표시되지 않는 이유는 무엇인가요?

는 선택한 구독 필터에서 선택한 Azure Data Explorer 클러스터를 포함하는 구독만 표시합니다. Azure Portal의 디렉터리 + 구독에서 구독 필터를 선택합니다.

Azure Data Explorer 클러스터에 대한 데이터가 사용량, 테이블 또는 캐시 섹션에 표시되지 않는 이유는 무엇인가요?

로그 기반 데이터를 보려면 모니터링하려는 Azure Data Explorer 클러스터마다 진단 로그를 사용하도록 설정해야 합니다. 이 작업은 각 클러스터의 진단 설정에서 수행할 수 있습니다. Log Analytics 작업 영역으로 데이터를 보내야 합니다. 사용해야 하는 진단 로그는 Command, Query, TableDetails 및 TableUsageStatistics입니다.

Azure Data Explorer 클러스터에 대한 로그를 이미 사용하도록 설정했습니다. 명령 및 쿼리에서 데이터를 여전히 볼 수 없는 이유는 무엇인가요?

현재 진단 로그는 소급하여 작동하지 않습니다. Azure Data Explorer에서 작업을 수행한 후 데이터가 나타나기 시작합니다. Azure Data Explorer 클러스터를 활성화하는 방법에 따라 몇 시간에서 하루까지 걸릴 수 있습니다.

참고

Azure Portal에서 메트릭 및 인사이트 페이지의 원시 메트릭 데이터는 Azure Monitor에 저장됩니다. 이러한 페이지의 쿼리는 원시 메트릭 데이터를 직접 쿼리하여 가장 정확한 결과를 제공합니다. 진단 설정 기능을 사용하는 경우 원시 메트릭 데이터를 Log Analytics 작업 영역으로 마이그레이션할 수 있습니다. 마이그레이션하는 동안 반올림으로 인해 일부 데이터 정밀도가 손실될 수 있습니다. 따라서 쿼리 결과는 원래 데이터와 약간 다를 수 있습니다. 오차 범위는 1% 미만입니다.

관련 콘텐츠

• Azure Monitor 통합 문서를 사용하여 대화형 보고서를 만듭니다.