統合の概要
インジェスト、オーケストレーション、出力、データ クエリのプラットフォームとシームレスに連携する多くのデータ コネクタ、ツール、統合があります。 このドキュメントでは、使用可能なコネクタ、ツール、統合の概要について説明します。 各コネクタの詳細情報と、その完全なドキュメントへのリンクが記載されています。
特定の種類の統合に関する概要ページについては、次のいずれかのボタンを選択します。
比較テーブル
次の表は、各項目の機能をまとめたものです。 コネクタまたはツールと統合に対応するタブを選択します。 各項目の名前は、 その詳細な説明にリンクされます。
次の表は、使用可能なコネクタとその機能をまとめたものです。
名前 | 取り込み | エクスポート | 調整 | クエリ |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Apache Spark | ✔️ | ✔️ | ✔️ | |
Apache Spark for Azure Synapse Analytics | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure Data Factory | ✔️ | ✔️ | ||
Azure Event Grid | ✔️ | |||
Azure Event Hubs | ✔️ | |||
Azure Functions | ✔️ | ✔️ | ||
Azure IoT Hub | ✔️ | |||
Azure Stream Analytics | ✔️ | |||
Fluent Bit | ✔️ | |||
JDBC | ✔️ | |||
Logic Apps | ✔️ | ✔️ | ✔️ | |
Logstash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
Open Telemetry | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Serilog | ✔️ | |||
Splunk | ✔️ | |||
Splunk ユニバーサル フォワーダー | ✔️ | |||
Telegraf | ✔️ |
詳細な説明
コネクタとツールと統合の詳細な説明を次に示します。 コネクタまたはツールと統合に対応するタブを選択します。 使用可能なすべての項目は、上記の 比較表 にまとめられています。
Apache Kafka
Apache Kafka は、システムまたはアプリケーション間でデータを確実に移動するリアルタイム ストリーミング データ パイプラインを構築するための分散ストリーミング プラットフォームです。 Kafka Connect は、Apache Kafka と他のデータ システムとの間でスケーラブルかつ高い信頼性でデータをストリーム配信するためのツールです。 Kafka シンクは Kafka からのコネクタとして機能し、コードを使用する必要はありません。 これは Confluent によって認定されたゴールドです。品質、機能の完全性、標準への準拠、およびパフォーマンスに関する包括的なレビューとテストを行っています。
- 機能: 摂取
- インジェストの種類がサポートされています。 バッチ処理、ストリーミング
- ユース ケース: ログ、テレメトリ、時系列
- 基になる SDK:Java
- リポジトリ: Microsoft Azure - https://github.com/Azure/kafka-sink-azure-kusto/
- ドキュメント:Apache Kafka からデータを取り込む
- コミュニティ ブログ:Azure Data Explorer への Kafka インジェスト
Apache Flink
Apache Flink は、無制限および有界データ ストリームに対するステートフルな計算のためのフレームワークおよび分散処理エンジンです。 コネクタは、Azure Data Explorer クラスターと Flink クラスター間でデータを移動するためのデータ シンクを実装します。 Azure Data Explorer と Apache Flink を使用すると、データ ドリブン シナリオを対象とした高速でスケーラブルなアプリケーションを構築できます。 たとえば、機械学習 (ML)、ETL (抽出 - 読み込み - 変換)、および Log Analytics などです。
- 機能: 摂取
- インジェストの種類がサポートされています。 ストリーミング
- ユース ケース: テレメトリ
- 基になる SDK:Java
- リポジトリ: Microsoft Azure - https://github.com/Azure/flink-connector-kusto/
- ドキュメント:Apache Flink からデータを取り込む
Apache Log4J 2
Log4J は、Apache Foundation によって管理される Java アプリケーションの一般的なログ記録フレームワークです。 Log4j を使用すると、開発者はロガーの名前、ロガー レベル、およびメッセージ パターンに基づいて、任意の粒度で出力されるログ ステートメントを制御できます。 Apache Log4J 2 シンクを使用すると、ログ データをデータベースにストリーミングできます。ここで、ログをリアルタイムで分析して視覚化できます。
- 機能: 摂取
- インジェストの種類がサポートされています。 バッチ処理、ストリーミング
- ユース ケース: ログ
- 基になる SDK:Java
- リポジトリ: Microsoft Azure - https://github.com/Azure/azure-kusto-log4j
- ドキュメント:Apache Log4J 2 コネクタを使用してデータを取り込む
- コミュニティ ブログ:Apache Log4J と Azure Data Explorerの概要
Apache Spark
Apache Spark は、"大規模なデータ処理のための統合された分析エンジン" です。 Spark コネクタは、任意の Spark クラスターで実行できるオープンソース プロジェクトです。 Spark クラスターとの間でデータを移動するためのデータ ソースとデータ シンクを実装します。 Apache Spark コネクタを使用すると、データ ドリブン シナリオを対象とした高速でスケーラブルなアプリケーションを構築できます。 たとえば、機械学習 (ML)、ETL (抽出 - 読み込み - 変換)、および Log Analytics などです。 コネクタを使用すると、データベースは、読み取り、書き込み、書き込みStream などの標準的な Spark ソースおよびシンク操作の有効なデータ ストアになります。
- 機能: インジェスト、エクスポート
- インジェストの種類がサポートされています。 バッチ処理、ストリーミング
- ユース ケース: テレメトリ
- 基になる SDK:Java
- リポジトリ: Microsoft Azure - https://github.com/Azure/azure-kusto-spark/
- ドキュメント:Apache Spark コネクタ
- コミュニティ ブログ:Apache Spark を使用した Azure Data Explorer の Azure Data Explorer のデータ前処理
Apache Spark for Azure Synapse Analytics
Apache Spark は、ビッグ データ分析アプリケーションのパフォーマンスを向上させるためにメモリ内処理をサポートする並列処理フレームワークです。 Azure Synapse Analytics の Apache Spark は、クラウドでの Microsoft による Apache Spark の実装の 1 つです。 Azure Synapse Analytics 用の Apache Spark を使用してSynapse Studioからデータベースにアクセスできます。
- 機能: インジェスト、エクスポート
- インジェストの種類がサポートされています。 バッチ 処理
- ユース ケース: テレメトリ
- 基になる SDK:Java
- ドキュメント:Azure Synapse ワークスペースに接続する
Azure Cosmos DB
Azure Cosmos DB 変更フィード データ接続は、Cosmos DB 変更フィードをリッスンし、データをデータベースに取り込むインジェスト パイプラインです。
- 機能: 摂取
- インジェストの種類がサポートされています。 バッチ処理、ストリーミング
- ユース ケース: 変更フィード
- ドキュメント:Azure Cosmos DB からデータを取り込む (プレビュー)
Azure Data Factory
Azure Data Factory (ADF) は、異なるデータ ストアを統合し、データに対してアクティビティを実行できるクラウドベースのデータ統合サービスです。
- 機能: インジェスト、エクスポート
- インジェストの種類がサポートされています。 バッチ 処理
- ユース ケース: データ オーケストレーション
- ドキュメント:Azure Data Factoryを使用してデータベースにデータをコピーする
Azure Event Grid
Event Grid インジェストは、Azure ストレージをリッスンし、サブスクライブされたイベントが発生したときに情報をプルするようにデータベースを更新するパイプラインです。 BLOB の作成または BLOB 名の変更された通知のAzure Event Grid サブスクリプションを使用して、Azure Storage (Blob Storage と ADLSv2) からの継続的なインジェストを構成し、Azure Event Hubs経由で通知をストリーミングできます。
- 機能: 摂取
- インジェストの種類がサポートされています。 バッチ処理、ストリーミング
- ユース ケース: イベント処理
- ドキュメント:Event Grid データ接続
Azure Event Hubs
Azure Event Hubs は、ビッグ データのストリーミング プラットフォームとなるイベント インジェスト サービスです。 カスタマー マネージド Event Hubs から継続的インジェストを構成できます。
- 機能: 摂取
- インジェストの種類がサポートされています。 バッチ処理、ストリーミング
- ドキュメント:Azure Event Hubs データ接続
Azure Functions
Azure Functions、スケジュールに従って、またはイベントに応答して、クラウドでサーバーレス コードを実行できます。 Azure Functionsの入出力バインドを使用すると、データベースをワークフローに統合して、データを取り込み、データベースに対してクエリを実行できます。
- 機能: インジェスト、エクスポート
- インジェストの種類がサポートされています。 バッチ 処理
- ユース ケース: ワークフロー統合
- ドキュメント:入力バインディングと出力バインディングを使用したAzure Functionsの統合 (プレビュー)
- コミュニティ ブログ:Azure Functionsの Azure Data Explorer (Kusto) バインド
Azure IoT Hub
Azure IoT Hub は、クラウド内でホストされているマネージド サービスであり、IoT アプリケーションとそれが管理するデバイスの間の双方向通信に対する中央メッセージ ハブとして機能します。 デバイスからクラウドへのメッセージの組み込みエンドポイントに組み込まれている Event Hubs 互換を使用して、カスタマー マネージド IoT Hubs からの継続的インジェストを構成できます。
- 機能: 摂取
- インジェストの種類がサポートされています。 バッチ処理、ストリーミング
- ユース ケース: IoT データ
- ドキュメント:IoT Hub データ接続
Azure Stream Analytics
Azure Stream Analytics は、複数のソースから大量の高速ストリーミング データを同時に処理するように設計された、リアルタイム分析および複雑なイベント処理エンジンです。
- 機能: 摂取
- インジェストの種類がサポートされています。 バッチ処理、ストリーミング
- ユース ケース: イベント処理
- ドキュメント:Azure Stream Analytics からデータを取り込む
Fluent Bit
Fluent Bit は、さまざまなソースからログ、メトリック、トレースを収集するオープンソース エージェントです。 これにより、イベント データをストレージに送信する前に、フィルター処理、変更、集計することができます。
- 機能: 摂取
- インジェストの種類がサポートされています。 バッチ処理、ストリーミング
- ユース ケース: ログ、メトリック、トレース
- Repository:fluent-bit Kusto 出力プラグイン
- ドキュメント:Fluent Bit を使用して Azure Data Explorer にデータを取り込む
- コミュニティ ブログ:Fluent bit と Azure Data Explorer の概要
JDBC
Java Database Connectivity (JDBC) は、データベースへの接続とクエリの実行に使われる Java API です。 JDBC を使って Azure Data Explorer に接続できます。
- 機能: クエリ、視覚化
- 基になる SDK:Java
- ドキュメント:JDBC を使用して Azure Data Explorerに接続する
Logic Apps
Microsoft Logic Apps コネクタを使用すると、スケジュールされたタスクまたはトリガーされたタスクの一部として、クエリとコマンドを自動的に実行できます。
- 機能: インジェスト、エクスポート
- インジェストの種類がサポートされています。 バッチ 処理
- ユース ケース: データ オーケストレーション
- ドキュメント:Microsoft Logic Apps と Azure Data Explorer
Logstash
Logstash プラグインを使用すると、Logstash から Azure Data Explorer データベースにイベントを処理して、後で分析することができます。
- 機能: 摂取
- インジェストの種類がサポートされています。 バッチ 処理
- ユース ケース: ログ
- 基になる SDK:Java
- リポジトリ: Microsoft Azure - https://github.com/Azure/logstash-output-kusto/
- ドキュメント:Logstash からデータを取り込む
- コミュニティ ブログ:Elasticsearch から Azure Data Explorer に移行する方法
Matlab
MATLAB は、データの分析、アルゴリズムの開発、モデルの作成に使用されるプログラミングおよび数値コンピューティング プラットフォームです。 MATLAB で認証トークンを取得して、Azure Data Explorer内のデータに対してクエリを実行できます。
- 機能: クエリ
- ドキュメント:MATLAB を使用してデータのクエリを実行する
NLog
NLog は、.NET 標準を含むさまざまな .NET プラットフォーム向けの柔軟で無料のログ記録プラットフォームです。 NLog を使用すると、データベース、ファイル、コンソールなど、複数のターゲットに書き込みを行うことができます。 NLog を使用すると、その場でログ構成を変更できます。 NLog シンクは、ログ メッセージをデータベースに送信できる NLog のターゲットです。 プラグインは、ログをクラスターにシンクする効率的な方法を提供します。
- 機能: 摂取
- インジェストの種類がサポートされています。 バッチ処理、ストリーミング
- ユース ケース: テレメトリ、ログ、メトリック
- 基になる SDK:.NET
- リポジトリ: Microsoft Azure - https://github.com/Azure/azure-kusto-nlog-sink
- ドキュメント:NLog シンクを使用してデータを取り込む
- コミュニティ ブログ:NLog シンクと Azure Data Explorerの概要
ODBC
Open Database Connectivity (ODBC) は、データベース アクセスのために広く受け入れられているアプリケーション プログラミング インターフェイス (API) です。 Azure Data Explorer は、SQL Server通信プロトコル (MS-TDS) のサブセットと互換性があります。 この互換性により、Azure Data Explorer とのSQL Server用 ODBC ドライバーを使用できます。
- 機能: 摂取
- サポートされているインジェストの種類: バッチ処理、ストリーミング
- ユース ケース: テレメトリ、ログ、メトリック
- ドキュメント:ODBC を使用して Azure Data Explorerに接続する
Open Telemetry
OpenTelemetry コネクタでは 、多くのレシーバーからデータベースへのデータの取り込みをサポートしています。 Open テレメトリによって生成されたデータをデータベースに取り込むためのブリッジとして機能し、ニーズに応じてエクスポートされたデータの形式をカスタマイズします。
- 機能: 摂取
- サポートされているインジェストの種類: バッチ処理、ストリーミング
- ユース ケース: トレース、メトリック、ログ
- 基になる SDK:Go
- リポジトリ: テレメトリを開く - https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- ドキュメント:OpenTelemetry からデータを取り込む
- コミュニティ ブログ:Open Telemetry と Azure Data Explorer の概要
Power Apps
Power Apps は、ビジネス データに接続するカスタム アプリを構築するための迅速なアプリケーション開発環境を提供するアプリ、サービス、コネクタ、データ プラットフォームのスイートです。 Power Apps コネクタは、Azure Data Explorerでストリーミング データの大規模で増大するコレクションがあり、このデータを利用するために低コードで高度に機能するアプリを構築する場合に便利です。
- 機能: クエリ、インジェスト、エクスポート
- サポートされているインジェストの種類: バッチ 処理
- ドキュメント:Power Apps を使用して Azure Data Explorerのデータに対してクエリを実行する
Power Automate
Power Automate は、ビジネス プロセスを自動化するために使用されるオーケストレーション サービスです。 (以前の Power Automate Microsoft Flow) コネクタを使用すると、スケジュールされたタスクまたはトリガーされたタスクの一部として、フローの調整とスケジュール設定、通知の送信、アラートを行うことができます。
- 機能: インジェスト、エクスポート
- サポートされているインジェストの種類: バッチ 処理
- ユース ケース: データ オーケストレーション
- ドキュメント:Microsoft Power Automate コネクタ
Serilog
Serilog は、.NET アプリケーションで一般的なログ記録フレームワークです。 Serilog を使用すると、開発者はロガーの名前、ロガー レベル、およびメッセージ パターンに基づいて、任意の粒度で出力されるログ ステートメントを制御できます。 アペンダーとも呼ばれる Serilog シンクは、ログ データをデータベースにストリーミングし、ログをリアルタイムで分析および視覚化できます。
- 機能: 摂取
- サポートされているインジェストの種類: バッチ処理、ストリーミング
- ユース ケース: ログ
- 基になる SDK:.NET
- リポジトリ: Microsoft Azure - https://github.com/Azure/serilog-sinks-azuredataexplorer
- ドキュメント:Serilog シンクを使用してデータを取り込む
- コミュニティ ブログ:Serilog シンクと Azure Data Explorerの概要
Splunk
Splunk Enterprise は、多くのソースから同時にデータを取り込むソフトウェア プラットフォームです。Azure Data Explorer アドオンは、Splunk からクラスター内のテーブルにデータを送信します。
- 機能: 摂取
- サポートされているインジェストの種類: バッチ 処理
- ユース ケース: ログ
- 基になる SDK:Python
- リポジトリ: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- ドキュメント:Splunk からデータを取り込む
- Splunk Base:Microsoft Azure Data Explorer Add-On for Splunk
- コミュニティ ブログ:Microsoft Azure Data Explorer Add-On for Splunk の概要
Splunk ユニバーサル フォワーダー
- 機能: 摂取
- サポートされているインジェストの種類: バッチ 処理
- ユース ケース: ログ
- リポジトリ: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk
- ドキュメント:Splunk Universal Forwarder から Azure Data Explorer にデータを取り込む
- コミュニティ ブログ:Splunk ユニバーサル フォワーダーを使用して Azure Data Explorerにデータを取り込む
Telegraf
Telegraf は、ログ、メトリック、IoT データを含むテレメトリ データの収集、処理、書き込みを行うための、オープンソース、軽量、最小限のメモリ フットプリント エージェントです。 Telegraf では、数百の入力および出力プラグインがサポートされています。 これは、オープン ソース コミュニティで広く使用され、適切にサポートされています。 出力プラグインは Telegraf からのコネクタとして機能し、さまざまな種類の入力プラグインからデータベースへのデータの取り込みをサポートします。
- 機能: 摂取
- サポートされているインジェストの種類: バッチ処理、ストリーミング
- ユース ケース: テレメトリ、ログ、メトリック
- 基になる SDK:Go
- リポジトリ: InfluxData - https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- ドキュメント:Telegraf からデータを取り込む
- コミュニティ ブログ:Telegraf 用の新しい Azure Data Explorer 出力プラグインにより、SQL の大規模な監視が可能になります
関連コンテンツ
フィードバック
https://aka.ms/ContentUserFeedback」を参照してください。
以下は間もなく提供いたします。2024 年を通じて、コンテンツのフィードバック メカニズムとして GitHub の issue を段階的に廃止し、新しいフィードバック システムに置き換えます。 詳細については、「フィードバックの送信と表示