Mixed reality での共有エクスペリエンス

ホログラム、1人のユーザーのみにプライベートにする必要がありません。 Holographic アプリでは、1つの HoloLens、iOS、または Android デバイスから別のデバイスに空間アンカーを共有することができます。これにより、ユーザーは、複数のデバイスにわたって、実際の世界の同じ場所でホログラムをレンダリングできるようになります。

共有シナリオを定義する6つの質問

共有エクスペリエンスの設計を開始する前に、ターゲットシナリオを定義することが重要です。 これらのシナリオは、設計対象を明確にし、エクスペリエンスに必要な機能の比較とコントラストを行うための共通の語彙を確立するのに役立ちます。 主要な問題とソリューションのさまざまな手段を理解することは、この新しいメディアに固有の機会を明らかにするための鍵です。

HoloLens のパートナー機関からの内部プロトタイプと探索を通じて、共有シナリオの定義に役立つ6つの質問を作成しました。 これらの質問は、シナリオの重要な属性を抽出するために、包括的なものではなく、フレームワークを形成します。

1. 共有について教えてください。

プレゼンテーションは1つの仮想ユーザーによって主導される場合がありますが、複数のユーザーが共同作業を行うことができます。または、教師が仮想資料を扱う仮想学生にガイダンスを提供する場合もあります。このエクスペリエンスの複雑さは、ユーザーがシナリオで使用している機関のレベルに基づいて増加します。

Holograph on table を使用した Man と女性

共有するにはさまざまな方法がありますが、そのほとんどは次の3つのカテゴリに分類されています。

  • プレゼンテーション: 同じコンテンツが複数のユーザーに表示されている場合。 たとえば、すべてのユーザーに同じ holographic マテリアルを使用して、複数の学生に講義を行うことができます。 ただし、教授には、他のユーザーには表示されない可能性がある独自のヒントやメモを含めることができます。
  • 共同 作業: 複数の担当者が連携して、一般的な目標を達成します。 たとえば、次の例では、プロジェクトを使用して、ハートの手術を行う方法を学習しました。 学生は、共有スキルラボエクスペリエンスをペアにして作成します。これにより、医療学生はハートのモデルで共同作業を行い、学ぶことができます。
  • ガイダンス: 1 人のユーザーが、より1対1のスタイルの相互作用で問題を解決するのを支援しています。 たとえば、開発者が私の経験を持っている人が、共有された経験を持っているときに学生にガイダンスを提供します。

2. グループサイズとは何ですか。

1 対 1 の共有エクスペリエンスによって、強力なベースラインが提供され、概念実証をこのレベルで作成できることが理想的です。 ただし、(6 人を超える) 大規模なグループと共有すると、技術 (データとネットワーク) とソーシャル ( 複数のアバターを使用した部屋における影響) の両方が困難になる可能性があることに注意してください。 小規模 から 大規模なグループ に移行すると、複雑さが指数関数的に増加します。

グループのニーズは、次の3つのサイズのカテゴリに分類されることがわかりました。

  • 1:1
  • 小 < 7
  • 大きい >= 7

グループサイズは、次のように影響するため、重要な質問になります。

  • Holographic space での人間の表現
  • オブジェクトのスケール
  • 環境のスケール

3. だれが誰であるか。

混合現実の強みは、共有エクスペリエンスを同じ場所で実行できるようになったときに再生されます。 この 併置を呼び出します。 逆に、グループが配布され、少なくとも1つの参加要素が同じ物理空間にない場合 (通常、VR の場合と同じように)、 リモートエクスペリエンス を呼び出します。 多くの場合、グループには、共存とリモートの 両方 の参加要素があります (たとえば、会議室の2つのグループ)。

Holograph on table を持つ3人の人

次のカテゴリを使用すると、ユーザーの所在地を伝えることができます。

  • 併置: すべてのユーザーが同じ物理領域に配置さ れます。
  • リモート: すべてのユーザーが別々の物理スペースに配置されます。
  • 両方: ユーザーは、併置とリモートスペースを組み合わせたものになります。

この質問は、次のような影響を及ぼすため、非常に重要です。

  • 相手の通信方法
    • 例: アバターを使用する必要があるかどうか。
  • 表示されるオブジェクト。 すべてのオブジェクトが共有されていますか?
  • 環境に合わせて調整する必要があるかどうか。

4. 共有するのはいつですか?

一般に、共有エクスペリエンスが気になると、 同期 エクスペリエンスが考えられます。これは、すべてをまとめたものです。 しかし、他のユーザーによって追加された単一の仮想要素が含まれている場合は、 非同期 のシナリオがあります。 仮想環境にメモまたは音声メモを Imagine します。 どのようにして、設計に100の仮想メモをどのように処理しますか。 さまざまなレベルのプライバシーを持つ多数のユーザーがいる場合はどうでしょうか。

次のいずれかの時間について、エクスペリエンスを検討してください。

  • 同期的: holographic experience を同時に共有します。 たとえば、2人の学生が同時にスキルラボを実行するとします。
  • 非同期: さまざまなタイミングで holographic エクスペリエンスを共有します。 たとえば、2人の学生がスキルラボを使用していて、異なるタイミングで別のセクションを操作しているとします。
  • 両方: ユーザーは同期的に共有される場合がありますが、非同期的に共有される場合もあります。 たとえば、次の例では、学生が後で学生に対して実行した割り当てを再指定し、その日に生徒のメモを残します。

この質問は、次のような影響を与えるため重要です。

  • オブジェクトと環境の永続性。 たとえば、状態を格納して取得できるようにします。
  • ユーザーの視点。 たとえば、メモを残したときにユーザーが見ていたことを覚えているとします。

5. 物理的な環境を類似しているかどうか。

共存エクスペリエンス以外の2つの同一の実環境の可能性は、これらの環境が同一でない場合を除いて、スリムになります。 類似 した環境を使用している可能性が高くなります。 たとえば、会議室は似ています。通常は、中央に配置されたテーブルが椅子によって囲まれています。 一方、生きた部屋は異なる * * で、任意の数の家具を無制限のレイアウトの配列に含めることができます。

テーブル上の Holograph

共有エクスペリエンスは、次の2つのカテゴリのいずれかに分類されることを考慮してください。

  • 同様 に、類似した家具、アンビエント光とサウンド、物理的な部屋のサイズを持つ環境です。 たとえば、教授が講義の hall であり、学生が講演者 B にいるとします。講義を行うのは、B よりも椅子が少なくても、両方ともホログラムを配置する物理的な机がある可能性があります。
  • 異種: 家具の設定、部屋のサイズ、ライト、およびサウンドに関する考慮事項が異なる環境。 たとえば、教師はフォーカスを持つ部屋にありますが、生徒は大規模な講義のホールにあり、学生や教師によって設定されています。

次のように、 環境について考慮することが重要です。

  • これらのオブジェクトをどのように経験するかを説明します。 たとえば、ユーザーがテーブルを使用していて、ユーザーにテーブルがない場合は、次のようになります。 または平らな床面では、ユーザーには乱雑な領域があります。
  • オブジェクトのスケール。 たとえば、テーブルに6フィートのヒューマンモデルを配置することは困難な場合がありますが、ハートのモデルはうまく機能します。

6. 使用しているデバイス

現在のところ、2つの イマーシブデバイス 間で共有されたエクスペリエンスが見られる可能性があります (これらのデバイスはボタンと相対機能について若干異なる場合がありますが、これらのデバイスは、これらのデバイスを対象としているため、 holographic デバイス が異なる場合があります)。 ただし、2d デバイス (モバイル/デスクトップの参加要素またはオブザーバー) が、特に 2d および3d デバイスが混在 している場合に必要な考慮事項になるかどうかを検討してください。 参加者が使用するデバイスの種類を理解することは、さまざまな忠実性とデータの制約と機会があるだけでなく、各プラットフォームに固有の期待があるため、重要です。

共有エクスペリエンスの可能性の調査

上記の質問に対する回答を組み合わせると、共有シナリオをより深く理解し、エクスペリエンスを拡張する際の課題を crystallizing ことができます。 Microsoft のチームにとって、これにより、現在使用しているエクスペリエンスを向上させるためのロードマップを確立し、これらの複雑な問題の詳細を理解し、mixed reality で共有エクスペリエンスを活用する方法を理解できました。

たとえば、HoloLens 起動からの Skype のシナリオの1つを考えてみます。ユーザーは、離れた場所にあるエキスパートからのヘルプを使用して、破損したライトスイッチを修正する方法を説明しています。

HoloLens の Skype を使用したライトスイッチの修正

専門家は、 2d、デスクトップコンピューターから、 3d の混合現実 デバイスのユーザーに 1:1 のガイダンスを提供します。この ガイダンス は **同期であり、 物理的な環境は異なります。

このようなエクスペリエンスは、現在のエクスペリエンスからのステップ変更であり、ビデオと音声のパラダイムを新しいメディアに適用しています。 しかし、将来的に見られるように、混合現実の強度を反映するシナリオとビルドエクスペリエンスの機会をより適切に定義する必要があります。

NASA のジェット推進研究所によって開発された、 Onsight コラボレーションツールを考えてみましょう。 Mars rover ミッションのデータに取り組む科学者は、マートのランドスケープからのデータ内で同僚とリアルタイムで共同作業を行えます。

仕事仲間間の共同作業をリモートで分離し、Mars Rover の作業を計画する

科学者は 、3D および 2D デバイスを使用するリモートの同僚の小さなグループと 3D 複合現実デバイスを使用して環境を探索します。コラボレーション **は同期的 であり (ただし、非同期的に再検討できます)、物理環境は (事実上) 似 ています

OnSight のようなエクスペリエンスでは、共同作業を行う新しい機会が提供されます。 仮想環境内の要素を物理的に指し示すから、同僚の隣に立って、その結果を説明する観点を共有する。 OnSight では、経験とプレゼンスのレンズを使用して、Mixed Reality での共有エクスペリエンスを再考します。

直感的なコラボレーションは会話の岩場であり、連携し、この直感を複合現実の複雑さに適用する方法を理解することが重要です。 Mixed Reality で共有エクスペリエンスを再作成できるだけでなく、エクスペリエンスをスーパーチャージできる場合は、作業の将来のためのパラダイム シフトになります。 Mixed Reality での共有エクスペリエンスの設計は、新しく、楽しい空間であり、私たちは初めから始めます。

概要エクスペリエンスの構築

アプリケーションとシナリオに応じて、目的のエクスペリエンスを実現するためのさまざまな要件があります。 たとえば、次のようなシナリオがあります。

  • マッチ作成: セッションの作成、セッションのアドバタイズ、特定のユーザーの検出と招待をローカルとリモートの両方で行ってセッションに参加できます。
  • アンカー共有: 共通のローカル空間内の複数のデバイス間で座標を揃える機能。ホログラムがすべてのユーザーに対して同じ場所に表示されます。
  • ネットワーク: すべての参加者間で人とホログラムの位置、相互作用、および移動をリアルタイムで同期する機能。
  • 状態ストレージ: ホログラムの特性と場所を、セッション途中の結合のために空間に格納し、後で呼び出しを行い、ネットワークの問題に対する堅牢性を格納する機能。

共有エクスペリエンスの鍵となるのは、複数のユーザーが自分のデバイス上で同じホログラムを表示し、多くの場合、デバイス間で座標を調整するためにアンカーを共有することで行われます。

アンカーを共有するには、Azure Spatial Anchors を 使用します

  • まず、ユーザーがホログラムを設定します。
  • アプリは空間アンカー を作成し、そのホログラムを世界で正確にピン留めします。
  • アンカーは、Azure HoloLens を使用して、HoloLens、iOS、Android デバイスと共有Spatial Anchors。

共有空間アンカーを使用すると、各デバイス上のアプリに共通の座標系が用意され、コンテンツを配置できます。 これで、アプリはホログラムを同じ場所に配置し、向きを設定できます。

デバイスHoloLens、あるデバイスから別のデバイスにオフラインでアンカーを共有することもできます。 以下のリンクを使用して、アプリケーションに最適な情報を決定します。

技術オプションの評価

マルチユーザー Mixed Reality エクスペリエンスの構築に役立つさまざまなサービスとテクノロジのオプションがあります。 パスを選択するのが難しい場合があります。そのため、シナリオに焦点を当てたパースペクティブを使用すると、いくつかのオプションについて以下で詳しく説明します。

共有静的ホログラム (相互作用なし)

アプリ で Azure Spatial Anchors を活用します。 デバイス間で空間アンカーを有効にし、共有することで、ユーザーが同時に同じ場所にホログラムを表示するアプリケーションを作成できます。 ユーザーがホログラムと対話し、ホログラムの動きや状態の更新を確認するには、デバイス間での追加の同期が必要です。

一人一人の視点を共有する

PC や TV など、サポートされている Miracast レシーバーがある場合は、ローカル ユーザーに対して組み込みの Miracast サポートを利用します。追加のアプリ コードは必要はありません。

MixedReality-WebRTCをアプリ、リモート ユーザー、または共有する Miracast 以外のデバイスがある場合に利用します。 WebRTC 接続を有効にすると、ユーザー間で 1:1 のオーディオ/ビデオ ストリームが可能になります。また、デバイス間のメッセージング用のデータ チャネルも使用できます。 Mixed Reality の実装は、ユーザー HoloLensビューの Mixed Reality キャプチャ ビデオ ストリームを他のユーザーに提供することで、HoloLensに最適化されます。 複数のリモート クライアントにビデオ ストリーミングをスケールアップする場合は、 通常、MCU サービス プロバイダー (マルチポイント会議ユニット) が使用されます (SignalWireなど)。 Azure への 1 クリックの SignalWire デプロイは 、Freeswitch を介して利用できます

注意

SignalWire は有料サービスであり、Microsoft と所有または提携していない点に注意してください。

Presenter-Spectatorアプリケーションとデモ

MixedReality-SpectatorViewを活用して、アプリに spectator ビューの機能を取り込む。 他のデバイス (HL、Android、iOS、およびビデオ カメラ) を有効にして、HoloLens が同じ場所の別の観点から何を見たかを確認し、ホスト HoloLens ユーザーがホログラムと対話する操作に関する更新プログラムを受け取る。 同じアプリの見物人のコンパニオンを使用して、ホストがアプリケーション内のホログラムを使用して何を行うのかを、独自の空間の観点から見て、写真を撮り、ビデオを記録します。

注: 画像は、iOS/Android デバイスのスクリーンショットを使用して撮影されます。

マルチユーザー コラボレーション エクスペリエンス

まず 、ローカルユーザー向け Azure Spatial Anchors とシーン内のコンテンツ/状態を同期する Photon SDK を活用するマルチユーザー学習チュートリアルから始める。 各ユーザーがシーン内のホログラムに対して独自の視点を持ち、各ユーザーがホログラムと完全に対話できるローカルコラボレーション アプリケーションを作成します。 更新プログラムは、すべてのデバイスで提供され、相互作用の競合管理は Photon によって処理されます。

注意

Photon は Microsoft 以外の製品なので、使用量を高くするために製品化とスケーリングを行う際に、Photon との課金関係が必要になる場合があります。

今後の作業

コンポーネントの機能とインターフェイスは、さまざまなシナリオと基になるテクノロジ全体で一般的な一貫性と堅牢なサポートを提供するのに役立ちます。 それまでは、アプリケーションで実現しようとしているシナリオに合わせて最適なパスを選択します。

異なるシナリオや、別の技術/サービスを使用したい場合は、 対応するGitHub、このページの下部にある問題に関するフィードバックを提供するか、HoloDevelopers Slack にアクセスしてください

関連項目