データ サービスを特定する
Microsoft Azure は、世界最大クラスの組織のアプリケーションと IT インフラストラクチャを強化するクラウド プラットフォームです。 トランザクションおよび分析データ ワークロードなど、クラウド ソリューションをサポートするための多くのサービスが含まれています。
データに最も一般的に使用されるいくつかのクラウド サービスについては、以下で説明します。
Note
このトピックでは、最新のトランザクションおよび分析ソリューションで最も一般的に使用される一部のデータ サービスについてのみ説明します。 その他のサービスも利用できます。
Azure SQL
Azure SQL は、Microsoft SQL Server データベース エンジンに基づくリレーショナル データベース ソリューション ファミリの総称です。 具体的な Azure SQL サービスには次のようなものがあります。
- Azure SQL Database – Azure でホストされるフル マネージドのサービスとしてのプラットフォーム (PaaS) データベース
- Aazure SQL Managed Instance – 自動メンテナンス機能を備えた SQL Server のホストされたインスタンス。これにより、Azure SQL DB よりも柔軟な構成が可能になりますが、所有者の管理責任が増えます。
- Azure SQL VM – SQL Server がインストールされている仮想マシン。すべての管理責任によって構成可能性が最大になります。
データベース管理者は、通常、トランザクション データを格納する必要がある基幹業務 (LOB) アプリケーションをサポートするために、Azure SQL データベース システムのプロビジョニングと管理を行います。
データ エンジニアは、分析システムにトランザクション データを取り込むため、''抽出''、''変換''、''読み込み'' (ETL) 操作を実行するデータ パイプラインのソースとして、Azure SQL データベース システムを使用する場合があります。
データ アナリストは、Azure SQL データベースに直接クエリを実行してレポートを作成する場合があります。しかし、大規模な組織では一般に、エンタープライズ分析をサポートするためにデータは分析データ ストア内の他のソースのデータと結合されます。
オープンソースのリレーショナル データベース用の Azure Database
Azure には、次のような、一般的なオープンソースのリレーショナル データベース システム用のマネージド サービスが含まれます。
Azure Database for MySQL - Linux、Apache、MySQL、および PHP (LAMP) スタック アプリで一般的に使用される使いやすいオープンソースのデータベース管理システム。
Azure Database for MariaDB - 新しいデータベース管理システムで、MySQL の初期の開発者たちによって作成されました。 それ以来、パフォーマンスを向上するためにデータベース エンジンが書き直され、最適化されています。 MariaDB は、Oracle Database (人気のある別の商用データベース管理システム) との互換性があります。
Azure Database for PostgreSQL - ハイブリッド リレーショナル オブジェクト データベース。 リレーショナル テーブルにデータを格納できますが、PostgreSQL データベースではカスタム データ型を独自の非リレーショナル プロパティと共に格納することもできます。
Azure SQL データベース システムと同様に、オープンソースのリレーショナル データベースは、トランザクション アプリケーションをサポートするためにデータベース管理者によって管理されます。また、分析ソリューション用のパイプラインを作成するデータ エンジニアやレポートを作成するデータ アナリストのためにデータ ソースを提供します。
Azure Cosmos DB
Azure Cosmos DB は、複数のアプリケーション プログラミング インターフェイス (API) をサポートする世界規模の非リレーショナル (NoSQL) データベース システムであり、JSON ドキュメント、キーと値のペア、列ファミリ、およびグラフとしてデータを格納および管理できます。
組織によっては、Cosmos DB インスタンスがデータベース管理者によってプロビジョニングおよび管理されることもありますが、多くの場合、ソフトウェア開発者がアプリケーション アーキテクチャ全体の一部として NoSQL データ ストレージを管理します。 多くの場合、データ エンジニアは、データ アナリストによるモデリングとレポート作成をサポートするエンタープライズ分析ソリューションに Cosmos DB のデータ ソースを統合する必要があります。
Azure Storage
Azure Storage は、以下にデータを格納できるようにするコア Azure サービスです。
- BLOB コンテナー - バイナリ ファイル用のスケーラブルでコスト効率の高いストレージ。
- ファイル共有 - 通常は企業ネットワークにあるようなネットワーク ファイル共有。
- テーブル - データ値の読み取りと書き込みを迅速に行う必要があるアプリケーションのキー値ストレージ。
データ エンジニアは Azure Storage を使用して、''データ レイク'' (分散ファイル システム内のフォルダーにファイルを整理できる階層型名前空間を備えた BLOB ストレージ) をホストします。
Azure Data Factory
Azure Data Factory は、データを転送および変換するデータ パイプラインを定義してスケジュールを設定できるようにする Azure サービスです。 パイプラインを他の Azure サービスと統合することで、クラウド データ ストアからデータを取り込み、クラウドベースのコンピューティングを使用してデータを処理し、結果を別のデータ ストアに保持することができます。
Azure Data Factory は、組織全体のトランザクション システムからのデータを、分析データ ストアに取り込むために、 "抽出"、"変換"、"読み込み" (ETL) ソリューションを構築する目的で、データ エンジニアに使用されます。
Azure Synapse Analytics
Azure Synapse Analytics は、データ分析用の包括的で統合されたサービスとしてのプラットフォーム (PaaS) ソリューションであり、次のような複数の分析機能に対して単一のサービス インターフェイスを提供します。
- パイプライン - Azure Data Factory と同じテクノロジに基づいています。
- SQL - 拡張性の高い SQL データベース エンジンであり、データ ウェアハウスのワークロード用に最適化されています。
- Apache Spark - Java、Scala、Python、SQL を含む複数のプログラミング言語と API をサポートするオープンソースの分散データ処理システム。
- Azure Synapse Data Explorer - Kusto クエリ言語 (KQL) を使用して、ログおよびテレメトリ データにリアルタイムでクエリを実行するために最適化された高パフォーマンスのデータ分析ソリューション。
データ エンジニアは Azure Synapse Analytics を使用して、1 つのサービスを介してデータ インジェスト パイプライン、データ ウェアハウス ストレージ、およびデータ レイク ストレージを組み合わせた統合データ分析ソリューションを作成できます。
データ アナリストは、対話型ノートブックを通じて SQL と Spark プールを使用してデータを探索および分析したり、Azure Machine Learning や Microsoft Power BI などのサービスとの統合を活用してデータ モデルを作成し、データから分析情報を抽出したりすることができます。
Azure Databricks
Azure Databricks は、一般的な Databricks プラットフォームの Azure 統合バージョンであり、Apache Spark データ処理プラットフォームと SQL データベース セマンティクスおよび統合管理インターフェイスを組み合わせて大規模なデータ分析を実現します。
データ エンジニアは既存の Databricks と Spark のスキルを使用して、Azure Databricks に分析データ ストアを作成できます。
データ アナリストは Azure Databricks のネイティブ ノートブック サポートを使用して、使いやすい Web ベースのインターフェイスでデータのクエリと視覚化を行うことができます。
Azure HDInsight
Azure HDInsight は、以下のように一般的な Apache オープンソースのビッグ データ処理テクノロジに対して、Azure でホストされるクラスターを提供する Azure サービスです。
- Apache Spark - Java、Scala、Python、SQL を含む複数のプログラミング言語と API をサポートする分散データ処理システム。
- Apache Hadoop - MapReduce ジョブを使用して、複数のクラスター ノード間で大量のデータを効率的に処理する分散システム。 MapReduce ジョブは Java で記述するか、Hadoop で実行される SQL ベースの API である Apache Hive などのインターフェイスで抽象化することができます。
- Apache HBase - 大規模な NoSQL データ ストレージとクエリのためのオープンソース システム。
- Apache Kafka - データ ストリーム処理用のメッセージ ブローカー。
データ エンジニアは Azure HDInsight を使用して、複数のオープンソース テクノロジに依存するビッグ データ分析ワークロードをサポートできます。
Azure Stream Analytics
Azure Stream Analytics は、リアルタイムのストリーム処理エンジンであり、入力からデータのストリームを取り込み、入力ストリームからデータを抽出して操作するクエリを適用し、分析またはさらに処理のために結果を出力に書き込みます。
データ エンジニアは、分析データ ストアへの取り込みやリアルタイムの視覚化のためにストリーミング データを取り込むデータ分析アーキテクチャに Azure Stream Analytics を組み込むことができます。
Azure Data Explorer
Azure Data Explore は、Azure Synapse Analytics の Azure Synapse Data Explorer ランタイムと同じ高パフォーマンスのログおよびテレメトリ データのクエリを提供するスタンドアロン サービスです。
データ アナリストは Azure Data Explorer を使用して、たとえば、ログ ファイルや ''モノのインターネット'' (IoT) テレメトリ データで一般的に検出されるタイムスタンプ属性を含むデータのクエリと分析を行うことができます。
Microsoft Purview
Microsoft Purview では、企業規模のデータ ガバナンスと検出可能性を実現するソリューションを提供します。 Microsoft Purview を使用して、データのマップを作成し、複数のデータ ソースとシステム間でデータ系列を追跡することができます。これにより、分析およびレポートのための信頼できるデータを見つけることができます。
データ エンジニアは Microsoft Purview を使用して、企業全体にわたってデータ ガバナンスを適用し、分析ワークロードをサポートするために使用されるデータの整合性を確保することができます。
Microsoft Fabric
Microsoft Fabric は、オープンで管理されたレイクハウスに基づく統合されたサービスとしてのソフトウェア (SaaS) 分析プラットフォームであり、以下をサポートする機能が含まれています。
- データ インジェストと ETL
- データ レイクハウス分析
- データ ウェアハウス分析
- データ サイエンスと機械学習
- リアルタイム分析
- データのビジュアル化
- データ ガバナンスと管理