Azure HDInsight에서 스크립트 작업에 선택적 로깅 사용

  • 아티클

Azure Monitor Logs는 클라우드 및 온-프레미스 환경을 모니터링하는 Azure Monitor 서비스입니다. 모니터링은 가용성과 성능을 유지하는 데 도움이 됩니다.

Azure Monitor Logs는 클라우드 리소스, 온-프레미스 환경의 리소스 및 다른 모니터링 도구에서 생성된 데이터를 수집합니다. 이러한 데이터를 사용해서 여러 원본을 망라하는 분석을 제공합니다. 분석을 얻기 위해 Azure Portal에서 HDInsight에 대한 스크립트 작업을 사용하여 선택적 로깅 기능을 사용하도록 설정합니다.

선택적 로깅 정보

선택적 로깅은 Azure에서 전체 모니터링 시스템의 일부입니다. 클러스터를 Log Analytics 작업 영역에 연결하고 선택적 로깅을 사용하도록 설정한 후 HDInsight 보안 로그, Yarn Resource Manager 및 시스템 메트릭과 같은 로그 및 메트릭을 볼 수 있습니다. 작업 영역을 모니터링하고 클러스터 안정성에 미치는 영향을 볼 수 있습니다.

선택적 로깅을 사용하면 모든 테이블을 사용하도록 설정 또는 사용하지 않도록 설정하거나 Log Analytics 작업 영역에서 선택된 테이블을 사용하도록 설정할 수 있습니다. 각 테이블에 대해 원본 유형을 조정할 수 있습니다.

참고 항목

Log Analytics가 클러스터에 다시 설치된 경우 모든 테이블 및 로그 유형을 다시 사용하지 않도록 설정해야 합니다. 다시 설치하면 모든 구성 파일이 원래 상태로 재설정됩니다.

스크립트 작업 고려 사항

  • 모니터링 시스템은 통합된 로깅 레이어를 사용해서 로그 수집을 위해 메타데이터 서버 디먼(모니터링 에이전트) 및 Fluentd를 사용합니다.
  • 선택적 로깅은 스크립트 작업을 사용하여 테이블 및 해당 로그 형식을 사용하지 않도록 설정 또는 사용하도록 설정합니다. 선택적 로깅이 새 포트를 열거나 기존 보안 설정을 변경하지 않으므로 보안 변경 내용이 없습니다.
  • 스크립트 작업은 지정된 모든 노드에서 병렬로 실행되며 테이블 및 해당 로그 형식을 사용하지 않도록 설정 또는 사용하도록 설정하기 위한 구성 파일을 변경합니다.

필수 조건

  • Log Analytics 작업 영역 이 작업 영역은 자체의 데이터 리포지토리, 데이터 원본 및 솔루션을 포함한 고유한 Azure Monitor Logs 환경으로 생각할 수 있습니다. 지침은 Log Analytics 작업 영역 만들기를 참조하세요.
  • Azure HDInsight 클러스터를 만듭니다. 현재 다음 HDInsight 클러스터 유형에서 선택적 로깅 기능을 사용할 수 있습니다.
    • Hadoop은
    • HBase
    • 대화형 쿼리
    • Spark

HDInsight 클러스터를 만드는 방법에 대한 지침은 Azure HDInsight 시작을 참조하세요.

여러 테이블 및 로그 형식에 대한 스크립트 작업을 사용하여 로그를 사용하도록 설정 또는 사용하지 않도록 설정

  1. 클러스터에서 스크립트 작업으로 이동하고 새로 제출을 선택하여 스크립트 작업 만들기 프로세스를 시작합니다.

    Screenshot that shows the button for starting the process of creating a script action.

    스크립트 작업 제출 창이 표시됩니다.

    Screenshot that shows the pane for submitting a script action.

  2. 스크립트 유형에서 사용자 지정을 선택합니다.

  3. 스크립트 이름을 지정합니다. 예를 들어, 테이블 2개와 원본 2개를 사용하지 않도록 설정합니다.

  4. Bash 스크립트 URI는 selectiveLoggingScript.sh에 대한 링크여야 합니다.

  5. 클러스터에 적용되는 모든 노드 유형을 선택합니다. 옵션은 헤드 노드, 작업자 노드 및 ZooKeeper 노드입니다.

  6. 매개 변수를 정의합니다. 예시:

    • Spark: spark HDInsightSparkLogs:SparkExecutorLog --disable
    • 대화형 쿼리: interactivehive HDInsightSparkLogs:SparkExecutorLog --enable
    • Hadoop: hadoop HDInsightSparkLogs:SparkExecutorLog --disable
    • HBase: hbase HDInsightSparkLogs: HDInsightHBaseLogs --enable

    자세한 내용은 매개 변수 구문 섹션을 참조하세요.

  7. 만들기를 실행합니다.

  8. 몇 분 후 스크립트 작업 기록 옆에 녹색 확인 표시가 나타납니다. 이는 스크립트가 성공적으로 실행되었음을 나타냅니다.

    Screenshot that shows a successful run of a script to enable tables and log types.

Log Analytics 작업 영역의 변경 내용이 표시됩니다.

문제 해결

Log Analytics 작업 영역에 변경 내용이 표시되지 않음

스크립트 작업을 제출하지만 Log Analytics 작업 영역에 변경 내용이 없습니다.

  1. 대시보드에서 Ambari 홈을 선택하여 디버그 정보를 확인합니다.

    Screenshot that shows the location of the Ambari home dashboard.

  2. 설정 단추를 선택합니다.

    Screenshot that shows the Settings button.

  3. 백그라운드 작업 목록 위에서 실행된 최근 스크립트를 선택합니다.

    Screenshot that shows background operations.

  4. 모든 노드에서 개별적으로 스크립트 실행 상태를 확인합니다.

    Screenshot that shows the script run status for hosts.

  5. 매개 변수 구문 섹션의 매개 변수 구문이 올바른지 확인합니다.

  6. Log Analytics 작업 영역이 클러스터에 연결되어 있고 Log Analytics 모니터링이 켜져 있는지 확인합니다.

  7. 실행한 스크립트 작업에 대해 클러스터에 새 노드가 추가되면 이 스크립트 동작이 계속 다시 실행되도록 합니다. 확인란이 선택되었는지 확인합니다.

    Screenshot that shows the checkbox for persisting a script action.

  8. 최근에 새 노드가 클러스터에 추가되었는지 확인합니다.

    참고 항목

    스크립트가 최신 클러스터에서 실행되도록 하려면 스크립트를 지속해야 합니다.

  9. 스크립트 작업에 원하는 모든 노드 유형이 선택되었는지 확인합니다.

    Screenshot that shows selected node types.

스크립트 작업 실패

스크립트 작업이 스크립트 작업 기록에 오류 상태로 표시되면 다음을 수행합니다.

  1. 매개 변수 구문 섹션의 매개 변수 구문이 올바른지 확인합니다.
  2. 스크립트 링크가 올바른지 확인합니다. https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScripts/selectiveLoggingScript.sh여야 합니다.

테이블 이름

Spark 클러스터

다음 테이블 이름은 Spark 테이블 내부의 서로 다른 로그 유형(원본)에 대한 이름입니다.

원본 번호 테이블 이름 로그 형식 설명
1. HDInsightAmbariCluster 경고 로그 형식 없음 이 테이블에는 클러스터의 각 노드(에지 노드 제외)의 Ambari 클러스터 경고가 포함되어 있습니다. 각 경고는 이 테이블의 레코드입니다.
2. HDInsightAmbariSystem 메트릭 로그 형식 없음 이 테이블에는 Ambari에서 수집된 시스템 메트릭이 포함되어 있습니다. 이제 메트릭은 두 헤드 노드 대신 클러스터의 각 노드(에지 노드 제외)에서 가져오게 됩니다. 각 메트릭은 열이며, 메트릭은 레코드별로 한 번만 보고됩니다.
3. HDInsightHadoopAnd YarnLogs 헤드 노드: MRJobSummary, Resource Manager, TimelineServer 작업자 노드: NodeManager 이 테이블에는 Hadoop 및 YARN 프레임워크에서 생성된 모든 로그가 포함되어 있습니다.
4. HDInsightSecurityLogs AmbariAuditLog, AuthLog 이 테이블에는 Ambari 감사 및 인증 로그의 레코드가 포함되어 있습니다.
5. HDInsightSparkLogs 헤드 노드: JupyterLog, LivyLog, SparkThriftDriverLog 작업자 노드: SparkExecutorLog, SparkDriverLog 이 테이블에는 Spark 및 관련 구성 요소인 Livy 및 Jupyter와 관련된 모든 로그가 포함되어 있습니다.
6. HDInsightHadoopAnd YarnMetrics 로그 형식 없음 이 테이블에는 Hadoop 및 YARN 프레임워크의 JMX 메트릭이 포함되어 있습니다. 이전 사용자 지정 로그 테이블과 동일한 JMX 메트릭을 모두 포함하고 중요한 것으로 간주된 메트릭을 포함합니다. 타임라인 서버, 노드 관리자 및 작업 기록 서버 메트릭을 추가했습니다. 레코드마다 메트릭이 하나씩 포함되어 있습니다.
7. HDInsightOozieLogs Oozie 이 테이블에는 Oozie 프레임워크에서 생성된 모든 로그가 포함되어 있습니다.

대화형 쿼리 클러스터

다음 테이블 이름은 대화형 쿼리 테이블 내부의 서로 다른 로그 유형(원본)에 대한 이름입니다.

원본 번호 테이블 이름 로그 형식 설명
1. HDInsightAmbariClusterAlerts 로그 형식 없음 이 테이블에는 클러스터의 각 노드(에지 노드 제외)의 Ambari 클러스터 경고가 포함되어 있습니다. 각 경고는 이 테이블의 레코드입니다.
2. HDInsightAmbariSystem 메트릭 로그 형식 없음 이 테이블에는 Ambari에서 수집된 시스템 메트릭이 포함되어 있습니다. 이제 메트릭은 두 헤드 노드 대신 클러스터의 각 노드(에지 노드 제외)에서 가져오게 됩니다. 각 메트릭은 열이며, 메트릭은 레코드별로 한 번만 보고됩니다.
3. HDInsightHadoopAndYarnLogs 헤드 노드: MRJobSummary, Resource Manager, TimelineServer 작업자 노드: NodeManager 이 테이블에는 Hadoop 및 YARN 프레임워크에서 생성된 모든 로그가 포함되어 있습니다.
4. HDInsightHadoopAndYarnMetrics 로그 형식 없음 이 테이블에는 Hadoop 및 YARN 프레임워크의 JMX 메트릭이 포함되어 있습니다. 이전 사용자 지정 로그 테이블과 동일한 JMX 메트릭을 모두 포함하고 중요한 것으로 간주된 메트릭을 포함합니다. 타임라인 서버, 노드 관리자 및 작업 기록 서버 메트릭을 추가했습니다. 레코드마다 메트릭이 하나씩 포함되어 있습니다.
5. HDInsightHiveAndLLAPLogs 헤드 노드: InteractiveHiveHSILog, InteractiveHiveMetastoreLog, ZeppelinLog 이 테이블에는 Hive, LLAP 및 관련 구성 요소인 WebHCat 및 Zeppelin에서 생성된 로그가 포함되어 있습니다.
6. HDInsightHiveAndLLAPmetrics 로그 형식 없음 이 테이블에는 Hive 및 LLAP 프레임워크의 JMX 메트릭이 포함되어 있습니다. 이전 사용자 지정 로그 테이블과 동일한 JMX 메트릭을 모두 포함합니다. 레코드마다 메트릭이 하나씩 포함되어 있습니다.
7. HDInsightHiveTezAppStats 로그 형식 없음
8. HDInsightSecurityLogs 헤드 노드: AmbariAuditLog, AuthLog ZooKeeper 노드, 작업자 노드: AuthLog 이 테이블에는 Ambari 감사 및 인증 로그의 레코드가 포함되어 있습니다.

HBase 클러스터

다음 테이블 이름은 HBase 테이블 내부의 서로 다른 로그 유형(원본)에 대한 이름입니다.

원본 번호 테이블 이름 로그 형식 설명
1. HDInsightAmbariClusterAlerts 다른 로그 형식 없음 이 테이블에는 클러스터의 각 노드(에지 노드 제외)의 Ambari 클러스터 경고가 포함되어 있습니다. 각 경고는 이 테이블의 레코드입니다.
2. HDInsightAmbariSystem 메트릭 다른 로그 형식 없음 이 테이블에는 Ambari에서 수집된 시스템 메트릭이 포함되어 있습니다. 이제 메트릭은 두 헤드 노드 대신 클러스터의 각 노드(에지 노드 제외)에서 가져오게 됩니다. 각 메트릭은 열이며, 메트릭은 레코드별로 한 번만 보고됩니다.
3. HDInsightHadoopAndYarnLogs 헤드 노드: MRJobSummary, Resource Manager, TimelineServer 작업자 노드: NodeManager 이 테이블에는 Hadoop 및 YARN 프레임워크에서 생성된 모든 로그가 포함되어 있습니다.
4. HDInsightSecurityLogs 헤드 노드: AmbariAuditLog, AuthLog 작업자 노드: AuthLog ZooKeeper 노드: AuthLog 이 테이블에는 Ambari 감사 및 인증 로그의 레코드가 포함되어 있습니다.
5. HDInsightHBaseLogs 헤드 노드: HDFSGarbageCollectorLog, HDFSNameNodeLog 작업자 노드: PhoenixServerLog, HBaseRegionServerLog, HBaseRestServerLog ZooKeeper 노드: HBaseMasterLog 이 테이블에는 HBase 및 관련 구성 요소인 Phoenix 및 HDFS의 로그가 포함되어 있습니다.
6. HDInsightHBaseMetrics 로그 형식 없음 이 테이블에는 HBase의 JMX 메트릭이 포함되어 있습니다. 이전 스키마 열에 나열된 테이블의 동일한 JMX 메트릭이 모두 포함되어 있습니다. 이전 테이블과 달리 각 행에는 하나의 메트릭이 포함됩니다.
7. HDInsightHadoopAndYarn Metrics 로그 형식 없음 이 테이블에는 Hadoop 및 YARN 프레임워크의 JMX 메트릭이 포함되어 있습니다. 이전 사용자 지정 로그 테이블과 동일한 JMX 메트릭을 모두 포함하고 중요한 것으로 간주된 메트릭을 포함합니다. 타임라인 서버, 노드 관리자 및 작업 기록 서버 메트릭을 추가했습니다. 레코드마다 메트릭이 하나씩 포함되어 있습니다.

Hadoop 클러스터

다음 테이블 이름은 Hadoop 테이블 내부의 서로 다른 로그 유형(원본)에 대한 이름입니다.

원본 번호 테이블 이름 로그 형식 설명
1. HDInsightAmbariClusterAlerts 로그 형식 없음 이 테이블에는 클러스터의 각 노드(에지 노드 제외)의 Ambari 클러스터 경고가 포함되어 있습니다. 각 경고는 이 테이블의 레코드입니다.
2. HDInsightAmbariSystem 메트릭 로그 형식 없음 이 테이블에는 Ambari에서 수집된 시스템 메트릭이 포함되어 있습니다. 이제 메트릭은 두 헤드 노드 대신 클러스터의 각 노드(에지 노드 제외)에서 가져오게 됩니다. 각 메트릭은 열이며, 메트릭은 레코드별로 한 번만 보고됩니다.
3. HDInsightHadoopAndYarnLogs 헤드 노드: MRJobSummary, Resource Manager, TimelineServer 작업자 노드: NodeManager 이 테이블에는 Hadoop 및 YARN 프레임워크에서 생성된 모든 로그가 포함되어 있습니다.
4. HDInsightHadoopAndYarnMetrics 로그 형식 없음 이 테이블에는 Hadoop 및 YARN 프레임워크의 JMX 메트릭이 포함되어 있습니다. 이전 사용자 지정 로그 테이블과 동일한 JMX 메트릭을 모두 포함하고 중요한 것으로 간주된 메트릭을 포함합니다. 타임라인 서버, 노드 관리자 및 작업 기록 서버 메트릭을 추가했습니다. 레코드마다 메트릭이 하나씩 포함되어 있습니다.
5. HDInsightHiveAndLLAPLogs 헤드 노드: HiveMetastoreLog, HiveServer2Log, WebHcatLog 이 테이블에는 Hive, LLAP 및 관련 구성 요소인 WebHCat 및 Zeppelin에서 생성된 로그가 포함되어 있습니다.
6. HDInsight Hive 및 LLAP 메트릭 로그 형식 없음 이 테이블에는 Hive 및 LLAP 프레임워크의 JMX 메트릭이 포함되어 있습니다. 이전 사용자 지정 로그 테이블과 동일한 JMX 메트릭을 모두 포함합니다. 레코드마다 메트릭이 하나씩 포함되어 있습니다.
7. HDInsight 보안 로그 헤드 노드: AmbariAuditLog, AuthLog ZooKeeper node: AuthLog 이 테이블에는 Ambari 감사 및 인증 로그의 레코드가 포함되어 있습니다.

매개 변수 구문

매개 변수는 클러스터 유형, 테이블 이름, 원본 이름 및 작업을 정의합니다.

Screenshot that shows the parameter syntax box.

매개 변수에는 세 부분이 포함됩니다.

  • 클러스터 유형
  • 테이블 및 로그 형식
  • 작업(--disable 또는 --enable)

여러 테이블의 구문

여러 테이블이 있는 경우 쉼표로 구분됩니다. 예시:

spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable

hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable

여러 원본 유형 및 로그 유형의 구문

여러 원본 유형 또는 로그 유형이 있는 경우 공백으로 구분됩니다.

원본을 사용하지 않도록 설정하려면 로그 유형과 콜론 그리고 실제 로그 유형 이름이 포함된 테이블 이름을 작성합니다.

TableName : LogTypeName

예를 들어 spark HDInsightSecurityLogs가 AmbariAuditLog 및 AuthLog의 두 가지 로그 유형을 갖는 테이블이라고 가정해 보세요. 두 로그 유형을 모두 사용하지 않도록 설정하기 위해 올바른 구문은 다음과 같습니다.

spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable

여러 테이블 및 원본 유형의 구문

2개의 테이블 및 2개의 원본 유형을 사용하지 않도록 설정하려면 다음 구문을 사용합니다.

  • Spark: HDInsightHiveAndLLAPLogs 테이블의 InteractiveHiveMetastoreLog 로그 유형
  • Hbase: HDInsightHiveAndLLAPLogs 테이블의 InteractiveHiveHSILog 로그 유형
  • Hadoop: HDInsightHiveAndLLAPMetrics 테이블
  • Hadoop: HDInsightHiveTezAppStats 테이블

테이블을 쉼표로 구분합니다. 원본이 있는 테이블 이름 뒤에 콜론을 사용하여 원본을 표시합니다.

이러한 경우 올바른 매개 변수 구문은 다음과 같습니다.

interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable

다음 단계