Azure Monitor ログを使用して HDInsight クラスターを監視するUse Azure Monitor logs to monitor HDInsight clusters

Azure Monitor ログを有効にして HDInsight で Hadoop クラスターの操作を監視する方法と、HDInsight 監視ソリューションを追加する方法を説明します。Learn how to enable Azure Monitor logs to monitor Hadoop cluster operations in HDInsight, and how to add an HDInsight monitoring solution.

Azure Monitor ログは、可用性やパフォーマンスの維持を目的としてクラウド環境とオンプレミス環境を監視する Azure Monitor のサービスです。Azure Monitor logs is a service in Azure Monitor that monitors your cloud and on-premises environments to maintain their availability and performance. Log Analytics を使用すると、クラウドおよびオンプレミスの環境内にあるリソースによって生成されたデータや、他の監視ツールのデータを収集し、複数のソースにわたる分析を行えます。It collects data generated by resources in your cloud and on-premises environments and from other monitoring tools to provide analysis across multiple sources.

注意

この記事は最近、Log Analytics ではなく Azure Monitor ログという用語を使うように更新されました。This article was recently updated to use the term Azure Monitor logs instead of Log Analytics. ログ データは引き続き Log Analytics ワークスペースに格納され、同じ Log Analytics サービスによって収集されて分析されます。Log data is still stored in a Log Analytics workspace and is still collected and analyzed by the same Log Analytics service. Azure Monitor のログの役割をより適切に反映させるために、用語を更新しています。We are updating the terminology to better reflect the role of logs in Azure Monitor. 詳しくは、Azure Monitor の用語の変更に関するページをご覧ください。See Azure Monitor terminology changes for details.

Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。If you don't have an Azure subscription, create a free account before you begin.

前提条件Prerequisites

  • Log Analytics ワークスペースA Log Analytics workspace. このワークスペースは、独自のデータ リポジトリ、データ ソース、およびソリューションを備えた一意の Azure Monitor ログ環境と考えることができます。You can think of this workspace as a unique Azure Monitor logs environment with its own data repository, data sources, and solutions. 手順については、Log Analytics ワークスペースの作成に関するページをご覧ください。For the instructions, see Create a Log Analytics workspace.

  • Azure HDInsight クラスターAn Azure HDInsight cluster. 現在、Azure Monitor ログは次の HDInsight クラスター タイプで使用できます。Currently, you can use Azure Monitor logs with the following HDInsight cluster types:

    • HadoopHadoop
    • hbaseHBase
    • Interactive QueryInteractive Query
    • KafkaKafka
    • SparkSpark
    • StormStorm

    HDInsight クラスターの作成手順については、Azure HDInsight の概要に関するページをご覧ください。For the instructions on how to create an HDInsight cluster, see Get started with Azure HDInsight.

  • Azure PowerShell Az モジュールAzure PowerShell Az module. 新しい Azure PowerShell Az モジュールの概要」を参照してください。See Introducing the new Azure PowerShell Az module.

注意

パフォーマンス向上のため、HDInsight クラスターと Log Analytics ワークスペースの両方を同じリージョンに配置することをお勧めします。It is recommended to place both the HDInsight cluster and the Log Analytics workspace in the same region for better performance. Azure Monitor ログは、すべての Azure リージョンで使用できるわけではありません。Azure Monitor logs is not available in all Azure regions.

ポータルを使用した Azure Monitor ログの有効化Enable Azure Monitor logs by using the portal

ここでは、ジョブやデバッグ ログなどを監視するために、Azure Log Analytics ワークスペースを使用するよう既存の HDInsight Hadoop クラスターを構成します。In this section, you configure an existing HDInsight Hadoop cluster to use an Azure Log Analytics workspace to monitor jobs, debug logs, etc.

  1. Azure portal でご自身のクラスターを選択します。From the Azure portal, select your cluster. 手順については、「クラスターの一覧と表示」を参照してください。See List and show clusters for the instructions. このクラスターは、新しいポータル ページで開かれます。The cluster is opened in a new portal page.

  2. 左側から、 [監視] の下にある [Operations Management Suite] を選択します。From the left, under Monitoring, select Operations Management Suite.

  3. メイン ビューから、 [OMS 監視] の下にある [有効化] を選択します。From the main view, under OMS Monitoring, select Enable.

  4. [ワークスペースを選択] ドロップダウン リストから、既存の Log Analytics ワークスペースを選択します。From the Select a workspace drop-down list, select an existing Log Analytics workspace.

  5. [保存] を選択します。Select Save. 設定を保存するまでしばらく時間がかかります。It takes a few moments to save the setting.

    HDInsight クラスターの監視の有効化Enable monitoring for HDInsight clusters

Azure PowerShell を使用した Azure Monitor ログの有効化Enable Azure Monitor logs by using Azure PowerShell

Azure PowerShell Az モジュールの Enable-AzHDInsightOperationsManagementSuite コマンドレットを使用して Azure Monitor ログを有効にすることができますYou can enable Azure Monitor logs using the Azure PowerShell Az module Enable-AzHDInsightOperationsManagementSuite cmdlet.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace -ResourceGroupName $resourceGroup -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace -ResourceGroupName $resourceGroup -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables Operations Management Suite
Enable-AzHDInsightOperationsManagementSuite -ResourceGroupName $resourceGroup -Name $cluster -WorkspaceId $WorkspaceId -PrimaryKey $PrimaryKey

無効にする場合は、Disable-AzHDInsightOperationsManagementSuite コマンドレットを使用します。To disable, the use the Disable-AzHDInsightOperationsManagementSuite cmdlet:

Disable-AzHDInsightOperationsManagementSuite -Name "<your-cluster>"

HDInsight クラスター管理ソリューションをインストールするInstall HDInsight cluster management solutions

HDInsight では、Azure Monitor ログに追加できるクラスター固有の管理ソリューションが提供されます。HDInsight provides cluster-specific management solutions that you can add for Azure Monitor logs. 管理ソリューションを使用すると、Azure Monitor ログに機能を追加して、追加のデータおよび分析ツールを提供できます。Management solutions add functionality to Azure Monitor logs, providing additional data and analysis tools. これらのソリューションは、HDInsight クラスターから重要なパフォーマンス メトリックを収集し、メトリックを検索するツールを提供します。These solutions collect important performance metrics from your HDInsight clusters and provide the tools to search the metrics. また、これらのソリューションは、HDInsight でサポートされるほとんどのクラスターの種類に対する視覚化とダッシュボードも提供します。These solutions also provide visualizations and dashboards for most cluster types supported in HDInsight. このソリューションで収集したメトリックを使用して、独自の監視ルールおよびアラートを作成できます。By using the metrics that you collect with the solution, you can create custom monitoring rules and alerts.

利用可能な HDInsight ソリューションは次のとおりです。These are the available HDInsight solutions:

  • HDInsight Hadoop MonitoringHDInsight Hadoop Monitoring
  • HDInsight HBase の監視HDInsight HBase Monitoring
  • HDInsight Interactive Query MonitoringHDInsight Interactive Query Monitoring
  • HDInsight Kafka MonitoringHDInsight Kafka Monitoring
  • HDInsight Spark MonitoringHDInsight Spark Monitoring
  • HDInsight Storm MonitoringHDInsight Storm Monitoring

管理ソリューションをインストールする手順については、「Azure の管理ソリューション」をご覧ください。For the instructions to install a management solution, see Management solutions in Azure. テスト用に HDInsight Hadoop Monitoring ソリューションをインストールします。To experiment, install a HDInsight Hadoop Monitoring solution. インストールが完了すると、 [概要] の下に HDInsightHadoop タイルが表示されます。When it is done, you see an HDInsightHadoop tile listed under Summary. HDInsightHadoop タイルを選択します。Select the HDInsightHadoop tile. HDInsightHadoop ソリューションは次のようになります。The HDInsightHadoop solution looks like:

HDInsight 監視ソリューションのビュー

クラスターは新規のクラスターであるため、レポートにはアクティビティが表示されません。Because the cluster is a brand new cluster, the report doesn't show any activities.

パフォーマンス カウンターの構成Configuring performance counters

Azure Monitor では、クラスター内のノードのパフォーマンス メトリックの収集と分析もサポートしています。Azure monitor also supports collecting and analyzing performance metrics for the nodes in your cluster. この機能の有効化および構成の詳細については、Azure Monitor での Linux パフォーマンス データ ソースに関するページを参照してください。For more information on enabling and configuring this feature, see Linux performance data sources in Azure Monitor.

クラスターの監査Cluster auditing

HDInsight では、次の種類のログをインポートすることによって、Azure Monitor ログを使用したクラスターの監査をサポートしています。HDInsight support cluster auditing with Azure Monitor logs, by importing the following types of logs:

  • log_gateway_audit_CL - このテーブルは、成功/失敗したログイン試行を示すクラスター ゲートウェイ ノードの監査ログを提供します。log_gateway_audit_CL - this table provides audit logs from cluster gateway nodes that show successful and failed login attempts.
  • log_auth_CL - このテーブルは、成功/失敗したログイン試行が含まれる SSH のログを提供します。log_auth_CL - this table provides SSH logs with successful and failed login attempts.
  • log_ambari_audit_CL - このテーブルは、Ambari からの監査ログを提供します。log_ambari_audit_CL - this table provides audit logs from Ambari.
  • log_ranger_audti_CL - このテーブルは、ESP クラスター上の Apache Ranger からの監査ログを提供します。log_ranger_audti_CL - this table provides audit logs from Apache Ranger on ESP clusters.

次の手順Next steps