Azure Data Lake へのエクスポートの概要

[アーティクル]
11/15/2023

Azure Data Lake へのエクスポートとは?

Azure Data Lake へのエクスポートにより、財務と運用環境を Data Lake に接続してデータで非表示にされているインサイトのロックを解除することができます。

ノート

この 12 か月間、ギャップを埋め、ユーザーコミュニティのメンバが強調表示した新しい機能を追加しました。 Power Apps に搭載された Dataverse サービスの Synapse Link は、財務と運用アプリの データレイクへのエクスポート機能 の後継機能が一般的に利用可能になり、準備が整いました。 Synapse Link は、すべての Microsoft Dynamics 365 アプリのデータを 1 つのエクスペリエンスで操作できます。

一日も早く、Synapse Link が提供するパフォーマンス、柔軟性、およびユーザーエクスペリエンスの向上のメリットを得る必要があります。そのため、2023 年 10 月 15 日をもって データレイクへのエクスポート 機能を廃止することを発表しました。すでに データレイクへのエクスポート機能を使用している場合は、2024 年 11 月 1 日まで引き続き使用できます。 データレイクへのエクスポート 機能を初めてご利用になる場合、または今後数カ月以内にこの機能を採用する予定の場合は、代わりに Synapse Link を使用することをお勧めします。

この移行が困難に困難が伴い可能性は理解していますが、よりスムーズな経験を提供し、ガイダンスを提供したいと考えています。開始するには、 Synapse Link 移行ガイドを参照してください。コミュニティーの声に耳を傾け、よりスムーズな移行ができるよう、複数の機能に取り組んでいます。移行プロセスに関するこの他の改善点については、新機能をオンライン化する際にお知らせします。連絡を取り合う場合は、https://aka.ms/SynapseLinkforDynamics のコミュニティに参加してください。

Azure Data Lake へのエクスポートアドインを有効にするとき、財務と運用環境を指定した Data Lake に接続します。承認されたユーザーは、財務と運用環境からその Data Lake にデータをコピーできます。 Power BI および Azure Synapse などのツールにより、Data Lake のデータに対して分析、ビジネスインテリジェンス、および機械学習のシナリオが有効になります。

財務と運用アプリのデータを選択すると、システムは Data Lake 内のデータの初期コピーを作成します。その初期コピーを作成した後、変更されたデータを継続的に挿入、更新、および削除することにより、システムは Data Lake 内のデータを最新に保ちます。サービスをエクスポートしたり管理したりする必要はなく、財務と運用ワークロードに負担になることはありません。

Data Lake に保存されたデータは、Common Data Model を使用してまとめられています。 Common Data Model によって、Data Lake のデータの価値が強化されます。たとえば、機械可読の JavaScript Object Notation (JSON) 形式で追加のメタデータが提供されますので、下流ツールはデータのセマンティクスを決定することができます。追加のメタデータには、テーブル構造、説明、およびデータ型が含まれます。

Azure Data Lake へのエクスポートは、Microsoft が完全に管理する、スケーラブルで可用性の高いサービスです。組み込みのディザスターリカバリーが含まれます。サポートされる機能の一部を次に示します。

最大 350 テーブル選択できます。データに対するすべての変更は、Data Lake 内で継続的に更新されます。これらの変更には、挿入、更新、および削除の操作が含まれます。
テーブルまたはエンティティを使用してデータを選択できます。エンティティを使用する場合、基本テーブルはサービスにより選択されます。
標準エンティティとカスタムエンティティおよびテーブルの両方を選択できます。
Microsoft Azure Synapse Analytics または他の多くのサードパーティツールを使用して、Data Lake でデータを処理することができます。

ストレージアカウントは、財務と運用環境と同じ Azure リージョンにある必要があります。サービスのインストール時に、ほぼリアルタイムのデータ変更やビジネスイベントを有効にするよう選択することもできます。

ほぼリアルタイムのデータ変更の有効化

この機能を選択した場合、データは Data Lake でほぼリアルタイムで挿入、更新、および削除されます。データが財務と運用環境内で変更されると、数分以内に Data Lake 内のデータが更新されます。

さらに、Data Lake 内の変更されたデータを使用して、下流のデータウェアハウスを更新することができます。変更データフォルダーを使用して、データに行われた変更を簡単に特定し、ほぼリアルタイムでデータパイプラインを作成することができます。

ほぼリアルタイムの変更フィードの詳細については、Azure Data Lake の変更データを参照してください。

ビジネスイベント

この機能を有効にすると、Data Lake の何か重要な問題が発生した場合に警告を発することができます。たとえば、レイクでデータが初期化されると警告を受け取る可能性があります。データの最初のコピーが完了すると、システムによってビジネスイベントが生成されます。ビジネスイベントは、Dynamics 365 と Dataverse のフレームワークであり、簡単にインテリジェントアクションと自動化を作成できます。たとえば、Power Platform に統合されているツールである Power Automate を使用して、自動化されたワークフローを構築し、ダウンストリームのデータパイプラインを自動的にトリガするなどのアクションを実行できます。

エクスポートから Data Lake サービスによって生成されたビジネスイベントの詳細については、エクスポートから Azure Data Lake サービスによって生成されたビジネスイベントを参照してください。

拡張メタデータ

データに加え、Data Lake には、データの名前、データ型、およびサイズを記述したメタデータが含まれています。レイクでは、データファイルに加え、データファイルに対応するフォルダーレベルでメタデータファイルが表示されます。 Data Lake 機能にエクスポートをインストールし、データレイクに追加するデータを選択すると、システムはデータに加えてメタデータファイルを書き込みます。 Data Lake にエクスポートをインストールするときに 拡張メタデータ オプションを選択すると、システムによって更に多くのメタデータが追加されます。メタデータと拡張メタデータ機能については、Azure Data Lake 内に格納されたデータとメタデータを参照してください。

よく寄せられる質問

Azure Data Lake とはなんですか? Azure Data Lake にはどのようなメリットがありますか。

Azure Data Lake は、Azure クラウドのテクノロジで、分析のために「ビッグデータ」の保存と操作を行い、機械学習と AI に適用することができます。この記事で、「Data Lake」という場合、Azure Data Lake Storage Gen2 に基づく記憶域テクノロジーのことを指します。

Data Lakes が提供するクラウドストレージは、リレーショナルデータベースが提供するものよりも安価です。そのため、大量のデータをクラウドに格納できます。このデータには、従来、業務システムとデータウェアハウス、およびデバイスとセンサーのデータに格納されている、デバイスからの信号などの業務データが含まれます。さらに、Data Lakeは、大量のデータの報告、照会、変換を実現する広範なツールとプログラミング言語に対応しています。

このサービスの費用はどのくらいか?

独自のサブスクリプションの Data Lake をプロビジョニングする必要があります。 Azure Data Lake へのエクスポートサービスは、データを独自の Data Lake にコピーします。 Power BI、Spark、および Microsoft や他のソースからの多くのツールを使用して、Data Lake のデータをクエリできます。

Azure Data Lake へのエクスポートは、Dynamics 365 サービスへのサブスクリプションに含まれるアドオンサービスです。

自身のサブスクリプションには Data Lake Storage Gen2 が含まれているため、Data Lake にデータを読み書きする際に発生するデータストレージや入出力 (I/O) のコストを負担する必要があります。また、財務と運用アプリが Data Lake にデータを書き込んだり、データを更新することにより、I/O コストが発生する場合もあります。領域内の I/O コストを削減するために、財務と運用アプリでは財務と運用環境と同じ国や地理的リージョンに Data Lake をプロビジョニングする必要があります。

FastTrack ソリューションテンプレートは、財務と運用アプリの業務量に基づいて、ストレージのコストを見積もるツールを提供します。詳細については、FastTrack for Dynamics 365- CostCalculator を参照してください。

現在、BYOD サービスを使用しています。 Data Lake へ移行する必要があるのはなぜですか?

顧客は、財務と運用アプリからデータを抽出するのに自分のデータベースの持ち込み (BYOD) を使用し、レポートや分析にそのデータを活用することができます。 BYOD では、財務と運用アプリからエクスポートされたデータを保存する際に、Azure SQL データベースのプロビジョニングとメンテナンスが必要となります。

運用レポートシナリオでは、BYOD でエクスポートされたデータ (つまり SQL データベース) はレポートを作成するために使用されます。

より複雑なデータウェアハウスシナリオでは、BYOD は、財務と運用データのスナップショットが保持されるステージング領域として使用されます。 BYOD ステージング領域からデータウェアハウスにデータをコピーする下流のデータパイプラインがある場合があります。

これらのタイプのシナリオに対して現在、BYOD を使用している場合、Data Lake へのエクスポート機能に移行できます。この場合、次のような恩恵が得られることがあります。

データが既に存在するため、エクスポートの必要がありません。 Data Lake 統合は、財務と運用アプリで変更された Data Lake への継続的なデータのエクスポートを管理します。 BYOD の場合のように、データエクスポートの監視と管理を行う必要はありません。
データストレージのコストが削減されます。 データは、BYOD が要求する SQL データベース内にではなく、Data Lake に格納されます。したがって、顧客は Azure SQL データベースよりも安価なストレージメディアを使用してデータを保存できます。
既存の下流/消費パイプラインを維持することができます。 Azure Synapse Analytics サーバーレス SQL プールを使用して、レイク内のデータに対して T-SQL ビュー定義を作成し、BYOD からデータを読み取るのと同じ方法でデータを読み取ることができます。データ統合パイプラインを再指定して、主なコストを発生させることなく、Data Lake でデータを使用することができる場合があります。

BYOD ソリューションは、財務と運用アプリから Azure SQL データベースにエンティティデータの形状をエクスポートします。 Data Lake へのエクスポート機能により、エンティティの形状またはテーブルを使用してデータを選択できます。 Data Lake にエクスポートされたデータを使用すると、 FastTrack for Dynamics 365- CDMUtilSolution を使用して、Azure Synapse Analytics サーバーレス SQL プール内のエンティティの形状を再作成できます。

データはどのように Data Lake に格納されますか?

Data Lake 内のデータは、システムによって管理されるフォルダー構造に CSV ファイルとして格納されます。フォルダー構造は、財務と運用アプリのデータ構成に基づいています。たとえば、財務、サプライチェーン、Commerce などの名前を持つフォルダーが表示され、これらのフォルダー内に、売掛金勘定、または買掛金勘定 などの名前を持つサブフォルダーが表示されます。下位階層には、各テーブルの実際のデータを含むフォルダーが表示されます。テーブルレベルのフォルダー内には、複数の CSV ファイルと、データの形式を説明するメタデータファイルが表示されます。

財務と運用アプリのデータが更新される際に、テーブルフォルダーの CSV ファイル内の対応するデータ行が更新されます。財務と運用アプリのテーブルに新しい行を追加するか、既存の行を削除すると、対応する CSV ファイルから新しい行が追加または削除されます。

たとえば、財務と運用アプリでデータ構造が変更された場合、テーブルに新しいフィールドを追加すると、その変更を反映するように、Data Lake 内のメタデータファイルが更新されます。データ構造の変更を破壊的に行う場合は、システムがテーブルフォルダー全体 (すべての CSV ファイル) を再設定する場合もあります。たとえば、財務と運用アプリのテーブルからフィールドが削除される場合、まれに破壊的なシナリオでは、テーブルフォルダー全体が再設定されます。新しいフィールドを追加した場合、すべてのデータファイルは再設定されません。変更された行を含むデータファイルだけが、新しいフィールドを含むように更新されます。多くの消費元のツールは、新しく追加されたデータフィールド (スキーマドリフトと呼ばれる機能) を使用できるため、システムはフォルダー全体を再設定できません。

Data Lake のデータをどのように消費できますか?

Microsoft およびサードパーティのさまざまなツールを使用して、Data Lake のデータを管理することができます。ほとんどのツールでは、CSV ファイルとして Data Lake 内に保存されているデータを消費できます。

Azure Synapse Analytics サーバーレス SQL プールを使用すると、Transact-SQL 言語 (T-SQL) を使用して、同じ言語のデータを消費することができます。 T-SQL 言語は、多くのツールによって広くサポートされています。データベースからデータを消費する場合と同様に、Synapse ワークスペースを Data Lake のデータ上で定義し、T-SQL、Spark または Syapse Pipelines を使用することができます。レイクのデータに Synapse ワークスペースを作成するには、FastTrack Solutions for Dynamics 365 - CDMUtilSolution を使用します。

既製のソリューションテンプレートを使用して、Data Lake から SQL Server データウェアハウスまたは別の接続先にデータをコピーすることもできます。詳細については、FastTrack Solutions for Dynamics 365 - SynapseToSQL_ADF を参照してください。

Data Lake のデータはどのくらいの頻度で更新されますか?

データを選択すると、Azure Data Lake へのエクスポートサービスは、Data Lake 内のデータの初期コピーを作成します。複数のテーブルを選択する場合、システムは一度に 10 個のテーブルを取得して初期コピーを作成します。データのサイズやテーブル内のレコード数によっては、このプロセスに数分または数時間かかる場合があります。エクスポートの進行状況が画面に表示されます。

初期コピーが作成された後、財務と運用アプリで変更が行われると、システムによってデータが継続的に更新されます。レコードの挿入、更新、または削除を行う場合、Data Lake 内のデータレコードは、それに応じて挿入、更新、または削除されます。

オプションのほぼリアルタイムの変更機能を使用すると、財務と運用環境の変更から数分以内に Data Lake 内のデータは更新されます。それ以外の場合は、財務と運用環境内の変更から数時間以内に Data Lake 内のデータは更新されます。

財務と運用環境にある Data Lake へのエクスポートのページは、Data Lake 内のデータが最後に更新された時のタイムスタンプを表示します。システムは、Data Lake 内のデータが更新された時刻を識別するのに役立つデータフィールドも追加します。ダウンストリームプロセスでは、タイムスタンプを使用して、Data Lake 内で変化するデータを検出して処理できます。

環境で Data Lake へのエクスポート機能が表示されないのはなぜですか?

Data Lake へのエクスポート機能は、米国、カナダ、英国、ヨーロッパ、スイス、東南アジア、インド、東アジア、オーストラリア、ラテンアメリカ、および日本の地域で使用できます。財務と運用環境がそれらの地域にある場合は、Microsoft Dynamics Lifecycle Services を使用して、環境でこの機能を有効にできます。機能は最終的により多くの地域で使用可能になります。

Data Lake へのエクスポート機能は、Tier 1 (開発者) 環境では使用できません。この機能を有効にするには、クラウドベースの Tier 2 またはそれ以上のサンドボックス環境が必要です。

レベル 1 (開発者) 環境では、FastTrack for Dynamics 365- GitHub ツールを使用してプロトタイプを使用、または機能の実装を計画できます。このツールを使用すると、機能がエクスポートしたのと同じ形式で、階層 1 またはサンドボックス環境のデータをストレージアカウントにエクスポートすることができます。

今後の機能に関してどのように連絡を取り合えますか?

数か月後に、Microsoft はより多くの地域で Data Lake へのエクスポート機能を有効にします。また、他の機能についても積極的に取り組んでいます。製品チームや他の顧客やパートナーに連絡して質問を行いますか? 製品チームに直接フィードバックを提供しますか? その場合、Synapse Link for Dynamics プレビュー Yammer グループに参加できます。毎週の「営業時間」のオンラインミーティングに参加し、Yammerオンラインフォーラムを使用して連絡を取り合い、質問することができます。