Mixed Reality とは
複合現実は、メインフレーム、PC、スマートフォンに続くコンピューティングの次の波です。 複合現実は、コンシューマーと企業で主流になりつつあります。 生活空間や友人との間で、データを直感的に操作できるようにすることで、画面に縛り付けられたエクスペリエンスから解放してくれます。 世界中の何億人ものオンライン利用者が、ハンドヘルド デバイスを通じて複合現実を体験しています。 モバイル AR により、今日のソーシャル メディアで最も多くの主流の複合現実ソリューションが提供されています。 ユーザーは、Instagram で使用する AR フィルターが複合現実エクスペリエンスであることを認識していない場合さえあります。 Windows Mixed Reality は、非常に魅力的な人のホログラフィック表現、忠実度の高いホログラフィック 3D モデル、およびそれらを中心とした現実世界により、これらのすべてのユーザー エクスペリエンスを次のレベルに引き上げます。
複合現実は、物理とデジタルの世界を融合して、自然で直感的な 3D の人間、コンピューター、環境間の相互作用の扉を開きます。 この新しい現実は、コンピューター ビジョン、グラフィカル処理、ディスプレイ テクノロジ、入力システム、クラウド コンピューティングの進歩が基になっています。 "複合現実" という用語は、Paul Milgram と岸野文郎による 1994 年の論文『複合現実のビジュアル表示の分類』で初めて紹介されました。この論文では、"仮想現実連続体" の概念と、ビジュアル ディスプレイの分類が研究されていました。 それ以降、複合現実の応用は表示の範囲を超え、以下が含まれるようになっています。
- 環境の把握: 空間マッピングとアンカー。
- 人間の認識: ハンド トラッキング、目の追跡、音声入力。
- 立体音響。
- 物理と仮想の両方の空間における場所と位置。
- 複合現実空間における 3D 資産のコラボレーション。
図: 複合現実は物理的な世界とデジタル世界を融合したものです。
環境の入力と認識
ここ数十年の間に、人間とコンピューターの間の関係は、入力方式によって進化し続けてきました。 人間とコンピューターの相互作用 (HCI) と呼ばれる新しい分野が登場しています。 人間の入力は、キーボード、マウス、タッチ、インク、音声、Kinect の骨格追跡などを含めることができるようになっています。
センサーと処理能力の進歩により、高度な入力方法に基づく、環境の新しいコンピューター認識が作り出されています。 このため、環境情報を公開する Windows の API は、認識 API と呼ばれています。 環境入力では次のものをキャプチャできます。
- 物理的な世界での人の体の位置 (ヘッド トラッキング)
- 物、表面、境界 (空間マッピングとシーンの理解)
- 周囲の照明と音
- 物の認識
- 物理的な場所
図: コンピューター、人間、環境間の相互作用。
3 つの重要な要素の組み合わせにより、真の複合現実エクスペリエンスを作成するための準備が整います。
- クラウドを利用するコンピューターの処理
- 高度な入力方法
- 環境の認識
物理的な世界を移動すると、移動はデジタル現実にマップされます。 物理的な境界は、ゲームや製造施設におけるタスクベースのガイダンスなど、複合現実エクスペリエンスに影響を及ぼします。 環境の入力と認識により、エクスペリエンスによる物理現実とデジタル現実を融合が始まります。
複合現実の範囲
複合現実により、物理世界とデジタル世界の両方が融合されます。 これらの 2 つの現実は、"仮想現実連続体" と呼ばれる範囲の両端に位置します。 現実のこのような範囲を、"複合現実の範囲" と呼んでいます。 範囲の一方の端には、人間が存在する物理的な現実があります。 もう一方の端には、対応するデジタル現実があります。
拡張現実と仮想現実
現在市販されているほとんどの携帯電話には、環境を認識する機能はほとんどありません。 これらの携帯電話によって提供されるエクスペリエンスでは、物理とデジタルの現実を融合することはできません。
グラフィック、ビデオ ストリーム、またはホログラムを物理的な世界の重ね合わせるエクスペリエンスは、拡張現実と呼ばれます。 人の視野を遮って完全にイマーシブなデジタル エクスペリエンスを提供するエクスペリエンスは、仮想現実です。 拡張現実と仮想現実の間を移行できるエクスペリエンスによって複合現実が形成され、そこでは次のことが可能です。
- ホログラムなどのデジタル オブジェクトを、物理的に存在するかのように、物理的な世界に配置します。
- アバターの形で個人的およびデジタル的に物理的な世界に存在し、異なる時点にいる他のユーザーと非同期に共同作業を行います。
ユーザーが仮想現実の中にいるときは、ユーザーが壁や家具など自分の周りにある物理的な障害とぶつからないよう、それらの物理的な障害がエクスペリエンス内でデジタル的に表現されます。
図: 複合現実の範囲
現在利用可能なほとんどの拡張現実および仮想現実のエクスペリエンスは、複合現実のより大きな範囲の小さなサブセットを表します。 Windows 10 は、範囲全体を念頭に置いて構築されており、人間、場所、物のデジタル表現を現実の世界と融合できます。
デバイスとエクスペリエンス
Windows Mixed Reality のエクスペリエンスを提供するデバイスには、主に次の 2 種類があります。
- ホログラフィック デバイスの特徴は、現実の世界に存在しているかのように、デジタル オブジェクトを表示できることです。
- イマーシブ VR デバイスの特徴は、物理的な世界を遮断し、完全にイマーシブなデジタル エクスペリエンスで置き換えることによって、存在感を作成できることです。
| 特徴 | ホログラフィック デバイス | イマーシブ デバイス |
|---|---|---|
| デバイスの例 | Microsoft HoloLens | Samsung HMD Odyssey+ |
| ディスプレイ | シースルー ディスプレイ。 ユーザーはヘッドセットを装着している間も物理環境を見ることができます。 | 非透過ディスプレイ。 ユーザーはヘッドセットを装着している間は物理環境を見ることができません。 |
| 移動 | 回転と平行移動の両方で、6 自由度の完全な移動。 | 回転と平行移動の両方で、6 自由度の完全な移動。 |
注意
デバイスが (USB ケーブルまたは Wi-Fi 経由で) 別の PC にテザリングされているか、テザリングされていないかは、デバイスがホログラフィックかイマーシブかを表しているわけではありません。 モビリティを向上させる機能により、多くの場合、より優れたエクスペリエンスが提供されます。 ホログラフィック デバイスとイマーシブ デバイスは、テザリングすることもテザリングしないこともできます。
複合現実のエクスペリエンスは、技術的な進歩の結果です。 Windows 10 では、デバイスの製造元と開発者の両方に共通の複合現実プラットフォームを提供しています。 今日のどのデバイスでも、複合現実の範囲内の特定の範囲をサポートできます。 将来的には、より範囲の広い新しいデバイスが期待されます。ホログラフィック デバイスはよりイマーシブになり、イマーシブ デバイスはよりホログラフィックになります。
図: 複合現実の範囲におけるデバイスの位置付け
アプリケーション開発者またはゲーム開発者としては、どのような種類のエクスペリエンスを作成したいですか。 エクスペリエンスは、通常、範囲の特定の点または部分を対象としています。 対象とするデバイスの機能を考慮する必要があります。 たとえば、物理的な世界に依存するエクスペリエンスは、HoloLens で実行するのが最善です。
- 左に向かう (物理的な現実に近づく)。 ユーザーは、物理現実内に存在していて、その現実を離れたと信じさせられることはありません。
- 中央 (完全な複合現実)。 これらのエクスペリエンスでは、現実世界とデジタル世界が融合されています。 たとえば、映画『ジュマンジ』では、物語が展開する家の物理的な構造と、ジャングルの環境がブレンドされていました。
- 右に向かう (デジタル的な現実に近づく)。 ユーザーは、デジタル現実を体験し、自分の周りの物理的な現実は認識しません。
次の探索チェックポイント
ここでは、お客様向けの探索体験を始めるに当たり、複合現実の基本を調べました。 こちらから、次の基本トピックに進むことができます。