Azure データ エクスプローラーとはWhat is Azure Data Explorer?

Azure データ エクスプローラーは、ログと利用統計情報データのための高速で拡張性に優れたデータ探索サービスです。Azure Data Explorer is a fast and highly scalable data exploration service for log and telemetry data. 最新のソフトウェアによって生成される多数のデータ ストリームを処理できるので、データを収集、保存、分析できます。It helps you handle the many data streams emitted by modern software, so you can collect, store, and analyze data. Azure データ エクスプローラーは、Web サイト、アプリケーション、IoT デバイスなどのデータ ソースの大量の多様なデータの分析に最適です。Azure Data Explorer is ideal for analyzing large volumes of diverse data from any data source, such as websites, applications, IoT devices, and more. このデータは、診断、監視、報告、機械学習、付加的分析の各種機能に利用されます。This data is used for diagnostics, monitoring, reporting, machine learning, and additional analytics capabilities. Azure Data Explorer を利用することでこのデータの取り込みがシンプルになり、データに対する複雑なクエリやアドホック クエリを数秒で実行できます。Azure Data Explorer makes it simple to ingest this data and enables you to perform complex ad hoc queries on the data in seconds.

Azure データ エクスプローラーを唯一無二の存在にしている要素は何ですか?What makes Azure Data Explorer unique?

  • テラバイト単位のデータに数分でスケール アップします。データ探索を高速で繰り返し、関連する分析情報を見つけることができます。Scales quickly to terabytes of data, in minutes, allowing rapid iterations of data exploration to discover relevant insights.

  • 高性能なデータ分析のために最適化された画期的なクエリ言語を提供します。Offers an innovative query language, optimized for high performance data analytics.

  • 大量の異種データ (構造化データと非構造化データ) を分析します。Supports analysis of high volumes of heterogeneous data (structured and unstructured).

  • 他のサービスと組み合わせることで、包括的で対話型の高性能データ分析ソリューションを提供します。それにより、まさに必要としているものを構築し、デプロイすることができます。Provides the ability to build and deploy exactly what you need by combining with other services to supply an encompassing, powerful, and interactive data analytics solution.

データ ウェアハウスのワークフローData warehousing workflow

Azure データ エクスプローラーは他の主要なサービスと統合され、データの収集、取り込み、保管、インデックス作成、クエリ実行、視覚化を含むエンドツーエンド ソリューションを提供します。Azure Data Explorer integrates with other major services to provide an end-to-end solution that includes data collection, ingestion, storage, indexing, querying, and visualization. テラバイト単位の多様な未加工データでフローの EXPLORE ステップを実行することで、データ ウェアハウスにおいて中心的な役割を果たします。It has a pivotal role in the data warehousing flow by executing the EXPLORE step of the flow on terabytes of diverse raw data.

データ ウェアハウスの図

Azure データ エクスプローラーは、イベント ハブなどの一般サービスへの接続、.NET や Python など、SDK を利用したプログラミングによる取り込み、探索目的でのエンジンへの直接アクセスなど、さまざまな取り込み手法に対応しています。Azure Data Explorer supports several ingestion methods, including connectors to common services like Event Hub, programmatic ingestion using SDKs, such as .NET and Python, and direct access to the engine for exploration purposes. Azure データ エクスプローラーは分析サービスやモデル化サービスと統合され、データをさらに分析したり、視覚化したりできます。Azure Data Explorer integrates with analytics and modeling services for additional analysis and visualization of data.

Azure データ エクスプローラーのフローAzure Data Explorer flow

次は、Azure データ エクスプローラーの使用をさまざまな側面から見た図です。The following diagram shows the different aspects of working with Azure Data Explorer.

Azure データ エクスプローラーのフロー

Azure データ エクスプローラーの使用は一般的に次のパターンに従います。Work in Azure Data Explorer generally follows this pattern:

  1. データベースの作成: "クラスター" を作成してから、そのクラスターに 1 つまたは複数の "データベース" を作成します。Create database: Create a cluster and then create one or more databases in that cluster. クイック スタート:Azure Data Explorer クラスターとデータベースを作成するQuickstart: Create an Azure Data Explorer cluster and database

  2. データの取り込み: クエリを実行できるように、データをデータベース テーブルに読み込みます。Ingest data: Load data into database tables so that you can run queries against it. クイック スタート:イベント ハブから Azure Data Explorer にデータを取り込むQuickstart: Ingest data from Event Hub into Azure Data Explorer

  3. データベースのクエリ: Web アプリケーションを使用してクエリを実行し、結果を確認して共有します。Query database: Use our web application to run, review, and share queries and results. これは Azure portal で利用できます。また、スタンドアロン アプリケーションとして利用できます。It is available in the Azure portal and as a stand-alone application. さらに、(SDK を利用して) プログラミングでクエリを送信したり、REST API エンドポイントにクエリを送信したりできます。In addition, you can send queries programmatically (using an SDK) or to a REST API endpoint. クイック スタート:Azure Data Explorer でデータのクエリを実行するQuickstart: Query data in Azure Data Explorer

クエリの利用Query experience

Azure データ エクスプローラーのクエリは読み取り専用の要求であり、データを処理し、その処理の結果を返します。データやメタデータが修正されることはありません。A query in Azure Data Explorer is a read-only request to process data and return the results of this processing, without modifying the data or metadata. 分析を完了するまでクエリの微調整を続けます。You continue refining your queries until you have completed your analysis. このプロセスは、Azure Data Explorer を利用してアドホック クエリを非常に速く実行できるようになるため、簡単になります。Azure Data Explorer makes this process easy because of its very fast ad hoc query experience.

Azure データ エクスプローラーでは、大量の構造化データ、半構造化データ (JSON に似た、入れ子にされた型)、非構造化データ (フリーテキスト) が等しく処理されます。Azure Data Explorer handles large amounts of structured, semi-structured (JSON-like nested types) and unstructured (free-text) data equally well. 特定のテキスト語句を検索したり、特定のイベントを見つけたり、構造化データにメトリックスタイルの計算を実行したりできます。It allows you to search for specific text terms, locate particular events, and perform metric-style calculations on structured data. Azure データ エクスプローラーは、自由形式のテキスト フィールドから実行時に値を抽出することで、構造化されていないテキスト ログの領域と構造化されている数字や次元の領域の橋渡しとなります。Azure Data Explorer bridges the worlds of unstructured text logs and structured numbers and dimensions by extracting values in runtime from free-form text fields. データ探索は、高速のテキスト インデックス作成、列ストア、時系列操作を組み合わせることで簡素化されます。Data exploration is simplified by combining fast text indexing, column store, and time series operations.

Azure Data Explorer の機能は、Azure Monitor ログApplication InsightsTime Series InsightsWindows Defender Advanced Threat Protection など、その高性能なクエリ言語を基盤に構築された他のサービスにより拡張されます。Azure Data Explorer capabilities are extended by other services built on its powerful query language, including Azure Monitor logs, Application Insights, Time Series Insights, and Windows Defender Advanced Threat Protection.

フィードバックFeedback

Azure データ エクスプローラーとそのクエリ言語に関するフィードバックをお待ちしております。次の方法をご利用ください。We would be thrilled to hear your feedback regarding Azure Data Explorer and its query language at:

次の手順Next steps

クイック スタート:Azure Data Explorer クラスターとデータベースを作成するQuickstart: Create an Azure Data Explorer cluster and database

クイック スタート:イベント ハブから Azure Data Explorer にデータを取り込むQuickstart: Ingest data from Event Hub into Azure Data Explorer

クイック スタート:Azure Data Explorer でデータのクエリを実行するQuickstart: Query data in Azure Data Explorer