イベント ハブへの Azure 監視データのストリーム配信Stream Azure monitoring data to an event hub

Azure Monitor では、Azure や他のクラウド、オンプレミスのアプリケーションとサービスに対する包括的なフル スタック監視ソリューションが提供されます。Azure Monitor provides a complete full stack monitoring solution for applications and services in Azure, in other clouds, and on-premises. Azure Monitor を使用してデータを分析し、さまざまな監視シナリオに活用するだけでなく、環境内にある別の監視ツールにそれを送信することが必要な場合もあります。In addition to using Azure Monitor for analyzing that data and leveraging it for different monitoring scenarios, you may need to send it to other monitoring tools in your environment. ほとんどの場合、監視データを外部ツールにストリーム配信するうえで最も効率的なのは、Azure Event Hubs を使用する方法です。The most effective method to stream monitoring data to external tools in most cases is using Azure Event Hubs. この記事では、各種ソースからイベント ハブに監視データをストリーム配信する方法について簡単に説明するほか、詳細なガイダンスへのリンクを紹介します。This article provides a brief description for how you can stream monitoring data from different sources to an event hub and links to detailed guidance.

Event Hubs 名前空間を作成しますCreate an Event Hubs namespace

データ ソースのストリーミングを構成する前に、Event Hubs 名前空間とイベント ハブを作成しておく必要があります。Before you configure streaming for any data source, you need to create an Event Hubs namespace and event hub. この名前空間とイベント ハブが、すべての監視データの送信先です。This namespace and event hub is the destination for all of your monitoring data. Event Hubs 名前空間は、同じアクセス ポリシーを共有するイベント ハブの論理的なグループであり、ストレージ アカウントがそのストレージ アカウント内に個別の BLOB ストレージを持つのと似たようなものです。An Event Hubs namespace is a logical grouping of event hubs that share the same access policy, much like a storage account has individual blobs within that storage account. 監視データのストリーム配信に使用する Event Hubs 名前空間とイベント ハブについては、次の詳細を考慮してください。Consider the following details about the event hubs namespace and event hubs that you use for streaming monitoring data:

  • イベント ハブのスループット スケールは、スループット単位の数によって増やすことができます。The number of throughput units allows you to increase throughput scale for your event hubs. 通常、必要なスループット ユニットは 1 つだけです。Only one throughput unit is typically necessary. 自分のログの使用量が増加してスケールアップする必要が生じた場合は、名前空間のスループット ユニット数を手動で増やすか、自動インフレを有効にすることができます。If you need to scale up as your log usage increases, you can manually increase the number of throughput units for the namespace or enable auto inflation.
  • 多数のコンシューマー間での消費量は、パーティションの数によって並列化することができます。The number of partitions allows you to parallelize consumption across many consumers. 1 つのパーティションでのサポート上限は 20 MBps です (1 秒あたり約 20,000 件のメッセージ)。A single partition can support up to 20MBps or approximately 20,000 messages per second. データの消費元のツールによっては、複数のパーティションからの消費をサポートできない場合もあります。Depending on the tool consuming the data, it may or may not support consuming from multiple partitions. 設定するパーティションの数がわからない場合は、まず 4 つのパーティションから始めることをお勧めします。Four partitions is reasonable to start if you're unsure about if you're not sure about the number of partitions to set.
  • イベント ハブでのメッセージの保持期間は 7 日以上に設定してください。You set message retention on your event hub to at least 7 days. そうすれば、消費元のツールが 1 日以上ダウンした場合でも、ダウンした時点から最大 7 日前までのイベントを復旧することができます。If your consuming tool goes down for more than a day, this ensures that the tool can pick up where it left off for events up to 7 days old.
  • イベント ハブには既定のコンシューマー グループを使用してください。You should use the default consumer group for your event hub. 2 つの異なるコンシューマー グループが同じイベント ハブから同じデータを使用するのでないかぎり、他のコンシューマー グループを作成したり、個別のコンシューマー グループを使用する必要はありません。There is no need to create other consumer groups or use a separate consumer group unless you plan to have two different tools consume the same data from the same event hub.
  • Azure アクティビティ ログについては、Event Hubs 名前空間を選択すると、Azure Monitor によって、その名前空間内に insights-logs-operational-logs という名前のイベント ハブが作成されます。For the Azure Activity log, you pick an Event Hubs namespace, and Azure Monitor creates an event hub within that namespace called insights-logs-operational-logs. その他のログ タイプについては、既存のイベント ハブを選択するか、Azure Monitor によってログ カテゴリごとにイベント ハブを作成することができます。For other log types, you can either choose an existing event hub or have Azure Monitor create an event hub per log category.
  • 通常、イベント ハブからのデータを消費するコンピューターまたは VNET では、送信ポート 5671 と 5672 を開く必要があります。Outbound port 5671 and 5672 must typically be opened on the computer or VNET consuming data from the event hub.

利用可能な監視データMonitoring data available

Azure アプリケーションの各種データ階層とそれぞれで利用できる監視データの種類については、「Azure Monitor で使用する監視データのソース」で説明しています。Sources of monitoring data for Azure Monitor describes the different tiers of data for Azure applications and the kinds of monitoring data available for each. 次の表に、これらの各階層の一覧と、イベント ハブにデータをストリーム配信する方法を示します。The following table lists each of these tiers and a description of how that data can be streamed to an event hub. 詳細については、記載されているリンクを参照してください。Follow the links provided for further detail.

レベルTier DataData 方法Method
Azure テナントAzure tenant Azure Active Directory 監査ログAzure Active Directory audit logs ご自分の AAD テナントでテナント診断設定を構成します。Configure a tenant diagnostic setting on your AAD tenant. 詳細については、「チュートリアル: Azure Active Directory ログを Azure イベント ハブにストリーム配信する」を参照してください。See Tutorial: Stream Azure Active Directory logs to an Azure event hub for details.
Azure サブスクリプションAzure subscription [Azure Activity Log (Azure アクティビティ ログ)]Azure Activity Log アクティビティ ログ イベントを Event Hubs にエクスポートするログ プロファイルを作成します。Create a log profile to export Activity Log events to Event Hubs. 詳細については、「Azure アクティビティ ログをストレージまたは Azure Event Hubs にエクスポートする」を参照してください。See Export Azure Activity log to storage or Azure Event Hubs for details.
Azure リソースAzure resources プラットフォームのメトリックPlatform metrics
診断ログDiagnostic logs
どちらの種類のデータも、リソース診断設定を使用してイベント ハブに送信されます。Both types of data are sent to an event hub using a resource diagnostic setting. 詳細については、イベント ハブへの Azure 診断ログのストリーム配信に関するページを参照してください。See Stream Azure Diagnostic logs to an event hub for details.
オペレーティング システム (ゲスト)Operating system (guest) Azure Virtual MachinesAzure virtual machines Azure の Windows と Linux 仮想マシンに、Azure Diagnostics 拡張機能をインストールします。Install the Azure Diagnostics Extension on Windows and Linux virtual machines in Azure. Windows VM の場合の詳細については「Event Hubs を利用してホット パスの Azure Diagnostics データをストリーム配信する」を、Linux VM の場合の詳細については「Linux Diagnostic Extension を使用して、メトリックとログを監視する」を参照してください。See Streaming Azure Diagnostics data in the hot path by using Event Hubs for details on Windows VMs and Use Linux Diagnostic Extension to monitor metrics and logs for details on Linux VMs.
アプリケーション コードApplication code Application InsightsApplication Insights Application Insights には、イベント ハブにデータを直接ストリーム配信する方法は備わっていません。Application Insights doesn't provide a direct method to stream data to event hubs. ストレージ アカウントへの Application Insights データの連続エクスポートを設定してから、「ロジック アプリを使用した手動ストリーム配信」の説明に従って、ロジック アプリを使用してデータをイベント ハブに送信できます。You can set up continuous export of the Application Insights data to a storage account and then use a Logic App to send the data to an event hub as described in Manual streaming with Logic App.

ロジック アプリを使用した手動ストリーム配信Manual streaming with Logic App

イベント ハブに直接ストリーム配信できないデータについては、Azure Storage に書き込んでから、時刻トリガー式のロジック アプリを使用し、データを BLOB ストレージからプルしてメッセージとしてイベント ハブにプッシュできます。For data that you can't directly stream to an event hub, you can write to Azure storage and then use a time-triggered Logic App that pulls data from blob storage and pushes it as a message to the event hub.

Azure Monitor とツールの統合Tools with Azure Monitor integration

Azure Monitor で監視データをイベント ハブにルーティングすると、外部の SIEM や監視ツールに簡単に統合することができます。Routing your monitoring data to an event hub with Azure Monitor enables you to easily integrate with external SIEM and monitoring tools. Azure Monitor とツールの統合例としては、次のものがあります。Examples of tools with Azure Monitor integration include the following:

ツールTool 説明Description
IBM QRadarIBM QRadar Microsoft Azure DSM および Microsoft Azure Event Hub Protocol は、IBM サポート Web サイトからダウンロードすることができます。The Microsoft Azure DSM and Microsoft Azure Event Hub Protocol are available for download from the IBM support website. Azure との統合の詳細については、「QRadar DSM の構成」を参照してください。You can learn more about the integration with Azure at QRadar DSM configuration.
SplunkSplunk Splunk 向けの Azure Monitor アドオンが、Splunkbase でオープンソース プロジェクトとして公開されています。The Azure Monitor Add-On for Splunk is an open source project available in Splunkbase. ドキュメントは、「Splunk 向けの Azure Monitor アドオン」でご覧いただけいます。The documentation is available at Azure Monitor Addon For Splunk.

プロキシの使用時や Splunk Cloud での実行時など、アドオンをご自分の Splunk インスタンスにインストールできない場合は、イベント ハブの新着メッセージによりトリガーされる Splunk 向け Azure 関数を使用して、Splunk HTTP イベント コレクターにこれらのイベントを転送できます。If you cannot install an add-on in your Splunk instance, if for example you're using a proxy or running on Splunk Cloud, you can forward these events to the Splunk HTTP Event Collector using Azure Function For Splunk, which is triggered by new messages in the event hub.
sumologicSumoLogic イベント ハブから Azure 監査アプリのログを収集する」で、イベント ハブのデータを使用するように SumoLogic を設定する手順が説明されています。Instructions for setting up SumoLogic to consume data from an event hub are available at Collect Logs for the Azure Audit App from Event Hub.
ArcSightArcSight ArcSight スマート コネクタ コレクションの一部として、ArcSight Azure イベント ハブ スマート コネクタが提供されています。The ArcSight Azure Event Hub smart connector is available as part of the ArcSight smart connector collection.
Syslog サーバーSyslog server Azure Monitor データを Syslog サーバーに直接ストリーム配信したい場合は、Azure 関数ベースのソリューションを使用できます。If you want to stream Azure Monitor data directly to a syslog server, you can use a solution based on an Azure function.

次の手順Next Steps