Share via

統合の概要

  • [アーティクル]

インジェスト、オーケストレーション、出力、データ クエリのプラットフォームとシームレスに連携する多くのデータ コネクタ、ツール、統合があります。 このドキュメントでは、使用可能なコネクタ、ツール、統合の概要について説明します。 各コネクタの詳細情報と、その完全なドキュメントへのリンクが記載されています。

特定の種類の統合に関する概要ページについては、次のいずれかのボタンを選択します。

データ統合

クエリの統合

視覚化の統合

比較テーブル

次の表は、各項目の機能をまとめたものです。 コネクタまたはツールと統合に対応するタブを選択します。 各項目の名前は、 その詳細な説明にリンクされます。

次の表は、使用可能なコネクタとその機能をまとめたものです。

名前 取り込み エクスポート 調整 クエリ
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Apache Spark for Azure Synapse Analytics ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Azure Data Factory ✔️ ✔️
Azure Event Grid ✔️
Azure Event Hubs ✔️
Azure Functions ✔️ ✔️
Azure IoT Hub ✔️
Azure Stream Analytics ✔️
Fluent Bit ✔️
JDBC ✔️
Logic Apps ✔️ ✔️ ✔️
Logstash ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
Open Telemetry ✔️
Power Apps ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Serilog ✔️
Splunk ✔️
Splunk ユニバーサル フォワーダー ✔️
Telegraf ✔️

詳細な説明

コネクタとツールと統合の詳細な説明を次に示します。 コネクタまたはツールと統合に対応するタブを選択します。 使用可能なすべての項目は、上記の 比較表 にまとめられています。

Apache Kafka

Apache Kafka は、システムまたはアプリケーション間でデータを確実に移動するリアルタイム ストリーミング データ パイプラインを構築するための分散ストリーミング プラットフォームです。 Kafka Connect は、Apache Kafka と他のデータ システムとの間でスケーラブルかつ高い信頼性でデータをストリーム配信するためのツールです。 Kafka シンクは Kafka からのコネクタとして機能し、コードを使用する必要はありません。 これは Confluent によって認定されたゴールドです。品質、機能の完全性、標準への準拠、およびパフォーマンスに関する包括的なレビューとテストを行っています。

Apache Flink は、無制限および有界データ ストリームに対するステートフルな計算のためのフレームワークおよび分散処理エンジンです。 コネクタは、Azure Data Explorer クラスターと Flink クラスター間でデータを移動するためのデータ シンクを実装します。 Azure Data Explorer と Apache Flink を使用すると、データ ドリブン シナリオを対象とした高速でスケーラブルなアプリケーションを構築できます。 たとえば、機械学習 (ML)、ETL (抽出 - 読み込み - 変換)、および Log Analytics などです。

Apache Log4J 2

Log4J は、Apache Foundation によって管理される Java アプリケーションの一般的なログ記録フレームワークです。 Log4j を使用すると、開発者はロガーの名前、ロガー レベル、およびメッセージ パターンに基づいて、任意の粒度で出力されるログ ステートメントを制御できます。 Apache Log4J 2 シンクを使用すると、ログ データをデータベースにストリーミングできます。ここで、ログをリアルタイムで分析して視覚化できます。

Apache Spark

Apache Spark は、"大規模なデータ処理のための統合された分析エンジン" です。 Spark コネクタは、任意の Spark クラスターで実行できるオープンソース プロジェクトです。 Spark クラスターとの間でデータを移動するためのデータ ソースとデータ シンクを実装します。 Apache Spark コネクタを使用すると、データ ドリブン シナリオを対象とした高速でスケーラブルなアプリケーションを構築できます。 たとえば、機械学習 (ML)、ETL (抽出 - 読み込み - 変換)、および Log Analytics などです。 コネクタを使用すると、データベースは、読み取り、書き込み、書き込みStream などの標準的な Spark ソースおよびシンク操作の有効なデータ ストアになります。

Apache Spark for Azure Synapse Analytics

Apache Spark は、ビッグ データ分析アプリケーションのパフォーマンスを向上させるためにメモリ内処理をサポートする並列処理フレームワークです。 Azure Synapse Analytics の Apache Spark は、クラウドでの Microsoft による Apache Spark の実装の 1 つです。 Azure Synapse Analytics 用の Apache Spark を使用してSynapse Studioからデータベースにアクセスできます。

Azure Cosmos DB

Azure Cosmos DB 変更フィード データ接続は、Cosmos DB 変更フィードをリッスンし、データをデータベースに取り込むインジェスト パイプラインです。

Azure Data Factory

Azure Data Factory (ADF) は、異なるデータ ストアを統合し、データに対してアクティビティを実行できるクラウドベースのデータ統合サービスです。

Azure Event Grid

Event Grid インジェストは、Azure ストレージをリッスンし、サブスクライブされたイベントが発生したときに情報をプルするようにデータベースを更新するパイプラインです。 BLOB の作成または BLOB 名の変更された通知のAzure Event Grid サブスクリプションを使用して、Azure Storage (Blob Storage と ADLSv2) からの継続的なインジェストを構成し、Azure Event Hubs経由で通知をストリーミングできます。

  • 機能： 摂取
  • インジェストの種類がサポートされています。 バッチ処理、ストリーミング
  • ユース ケース: イベント処理
  • ドキュメント:Event Grid データ接続

Azure Event Hubs

Azure Event Hubs は、ビッグ データのストリーミング プラットフォームとなるイベント インジェスト サービスです。 カスタマー マネージド Event Hubs から継続的インジェストを構成できます。

  • 機能： 摂取
  • インジェストの種類がサポートされています。 バッチ処理、ストリーミング
  • ドキュメント:Azure Event Hubs データ接続

Azure Functions

Azure Functions、スケジュールに従って、またはイベントに応答して、クラウドでサーバーレス コードを実行できます。 Azure Functionsの入出力バインドを使用すると、データベースをワークフローに統合して、データを取り込み、データベースに対してクエリを実行できます。

Azure IoT Hub

Azure IoT Hub は、クラウド内でホストされているマネージド サービスであり、IoT アプリケーションとそれが管理するデバイスの間の双方向通信に対する中央メッセージ ハブとして機能します。 デバイスからクラウドへのメッセージの組み込みエンドポイントに組み込まれている Event Hubs 互換を使用して、カスタマー マネージド IoT Hubs からの継続的インジェストを構成できます。

  • 機能： 摂取
  • インジェストの種類がサポートされています。 バッチ処理、ストリーミング
  • ユース ケース: IoT データ
  • ドキュメント:IoT Hub データ接続

Azure Stream Analytics

Azure Stream Analytics は、複数のソースから大量の高速ストリーミング データを同時に処理するように設計された、リアルタイム分析および複雑なイベント処理エンジンです。

Fluent Bit

Fluent Bit は、さまざまなソースからログ、メトリック、トレースを収集するオープンソース エージェントです。 これにより、イベント データをストレージに送信する前に、フィルター処理、変更、集計することができます。

JDBC

Java Database Connectivity (JDBC) は、データベースへの接続とクエリの実行に使われる Java API です。 JDBC を使って Azure Data Explorer に接続できます。

Logic Apps

Microsoft Logic Apps コネクタを使用すると、スケジュールされたタスクまたはトリガーされたタスクの一部として、クエリとコマンドを自動的に実行できます。

  • 機能： インジェスト、エクスポート
  • インジェストの種類がサポートされています。 バッチ 処理
  • ユース ケース: データ オーケストレーション
  • ドキュメント:Microsoft Logic Apps と Azure Data Explorer

Logstash

Logstash プラグインを使用すると、Logstash から Azure Data Explorer データベースにイベントを処理して、後で分析することができます。

Matlab

MATLAB は、データの分析、アルゴリズムの開発、モデルの作成に使用されるプログラミングおよび数値コンピューティング プラットフォームです。 MATLAB で認証トークンを取得して、Azure Data Explorer内のデータに対してクエリを実行できます。

NLog

NLog は、.NET 標準を含むさまざまな .NET プラットフォーム向けの柔軟で無料のログ記録プラットフォームです。 NLog を使用すると、データベース、ファイル、コンソールなど、複数のターゲットに書き込みを行うことができます。 NLog を使用すると、その場でログ構成を変更できます。 NLog シンクは、ログ メッセージをデータベースに送信できる NLog のターゲットです。 プラグインは、ログをクラスターにシンクする効率的な方法を提供します。

ODBC

Open Database Connectivity (ODBC) は、データベース アクセスのために広く受け入れられているアプリケーション プログラミング インターフェイス (API) です。 Azure Data Explorer は、SQL Server通信プロトコル (MS-TDS) のサブセットと互換性があります。 この互換性により、Azure Data Explorer とのSQL Server用 ODBC ドライバーを使用できます。

Open Telemetry

OpenTelemetry コネクタでは 、多くのレシーバーからデータベースへのデータの取り込みをサポートしています。 Open テレメトリによって生成されたデータをデータベースに取り込むためのブリッジとして機能し、ニーズに応じてエクスポートされたデータの形式をカスタマイズします。

Power Apps

Power Apps は、ビジネス データに接続するカスタム アプリを構築するための迅速なアプリケーション開発環境を提供するアプリ、サービス、コネクタ、データ プラットフォームのスイートです。 Power Apps コネクタは、Azure Data Explorerでストリーミング データの大規模で増大するコレクションがあり、このデータを利用するために低コードで高度に機能するアプリを構築する場合に便利です。

Power Automate

Power Automate は、ビジネス プロセスを自動化するために使用されるオーケストレーション サービスです。 (以前の Power Automate Microsoft Flow) コネクタを使用すると、スケジュールされたタスクまたはトリガーされたタスクの一部として、フローの調整とスケジュール設定、通知の送信、アラートを行うことができます。

  • 機能： インジェスト、エクスポート
  • サポートされているインジェストの種類: バッチ 処理
  • ユース ケース: データ オーケストレーション
  • ドキュメント:Microsoft Power Automate コネクタ

Serilog

Serilog は、.NET アプリケーションで一般的なログ記録フレームワークです。 Serilog を使用すると、開発者はロガーの名前、ロガー レベル、およびメッセージ パターンに基づいて、任意の粒度で出力されるログ ステートメントを制御できます。 アペンダーとも呼ばれる Serilog シンクは、ログ データをデータベースにストリーミングし、ログをリアルタイムで分析および視覚化できます。

Splunk

Splunk Enterprise は、多くのソースから同時にデータを取り込むソフトウェア プラットフォームです。Azure Data Explorer アドオンは、Splunk からクラスター内のテーブルにデータを送信します。

Splunk ユニバーサル フォワーダー

Telegraf

Telegraf は、ログ、メトリック、IoT データを含むテレメトリ データの収集、処理、書き込みを行うための、オープンソース、軽量、最小限のメモリ フットプリント エージェントです。 Telegraf では、数百の入力および出力プラグインがサポートされています。 これは、オープン ソース コミュニティで広く使用され、適切にサポートされています。 出力プラグインは Telegraf からのコネクタとして機能し、さまざまな種類の入力プラグインからデータベースへのデータの取り込みをサポートします。

関連コンテンツ