複合現実によるトレーニングと手順ガイダンスの強化

Media Services
Spatial Anchors
Video Indexer

ソリューションのアイデア

この記事にさらに多くの情報 (想定されるユース ケース、代替サービス、実装に関する考慮事項、価格ガイダンスなど) の掲載をご希望の方は、GitHub のフィードバックでお知らせください。

物理的なワークスペースの正確な場所にマップされた永続的なホログラフィックによる指示を提供することで、チームや従業員が誤りを減らして迅速かつ確実に新しいプロセスや教材を習得できるようにします。 HoloLens デバイスを使用したヘッドアップ、ハンズフリーのエクスペリエンスによって従業員の理解を促します。 また、Azure Spatial Anchors を使用すると、手順の最も重要なオブジェクトに指示を配置し、時間が経ってからもこのコンテンツに戻ることができます。

アーキテクチャ

アーキテクチャ図 このアーキテクチャの SVG をダウンロードしてください。

Data Flow

  1. トレーニング セッションを作成するユーザーが、HoloLens から Azure Active Directory の資格情報を使用して認証を行います。
  2. クライアント アプリケーションが、独自の Web サービスに接続してトレーニング セッションを作成します。 そのトレーニング セッションに関するメタデータは、Azure Cosmos DB に格納されます。
  3. ユーザーが環境をスキャンし、手順の最初のステップを実行する必要がある場所に最初のアンカーを配置します。 Azure Spatial Anchors によって、ユーザーが Azure AD を介してアンカーを作成するための十分なアクセス許可を持っていることが検証され、アンカーが保存されます。
  4. ユーザーが HoloLens で手順のビデオを録画し、Azure にアップロードします。
  5. ビデオは、Media Services を使用してエンコードされ、オンデマンドで視聴できるように準備されます。また、コンテンツ検索を向上させるために、Video Indexer を使用して処理されます。 Video Indexer によって、メタデータが Azure Cosmos DB に格納されます。
  6. アプリによって、最初のステップのアンカー ID とビデオへのリンクが Web サービスに保存されます。
  7. ユーザーが同じセッションでステップ 2 に進み、そこにアンカーを配置し、手順のビデオを再度録画して、生成されたアンカー ID とビデオ リンクを Web サービスに保存します。 その後、手順のすべてのステップが実行されるまでこのプロセスが繰り返されます。 ユーザーがステップ間を移動しても、以前のアンカーがそれぞれのステップ番号付きで引き続き表示されます。
  8. 受講者が参加し、トレーニング セッションを選択して、アンカー ID と手順に含まれているビデオへのリンクを取得します。
  9. 受講者は部屋をスキャンして、手順の各ステップの現実世界での場所を示すアンカーを見つけます。 1 つ見つかるとすぐにすべてのアンカーが取得され、アプリに表示されます。
  10. 受講者は、手順を記録したエキスパートの正確なステップをたどり、ラボ内の適切な場所で各ステップのホログラフィック ビデオを見ることができます。

Components

  • Spatial Anchors: 空間認識機能を備えたマルチユーザー対応の複合現実エクスペリエンスを作成
  • Azure Active Directory: オンプレミスのディレクトリを同期してシングル サインオンを可能に
  • Azure Cosmos DB:あらゆるスケールに対応するグローバル分散型のマルチモデル データベース
  • App Service: Web およびモバイル向けのパワフルなクラウド アプリを短期間で作成
  • Media Services: 大規模にビデオおよびオーディオをエンコード、保存、ストリーミング
  • Video Indexer: メディアを見つけやすくし、アクセスしやすくする

次のステップ