Mixed Reality とはWhat is mixed reality?

HoloLens 2 での手を使ったポイントとコミット

Mixed Reality は現実世界とデジタル世界を組み合わせたものです。Mixed reality is the result of blending the physical world with the digital world. Mixed Reality は、人間、コンピューター、および環境の相互作用における次の進化であり、これまでは想像することしかできなかった可能性が実現されます。Mixed reality is the next evolution in human, computer, and environment interaction and unlocks possibilities that before now were restricted to our imaginations. これは、コンピューター ビジョン、グラフィカル処理能力、ディスプレイ テクノロジ、および入力システムの進歩によって可能になります。It is made possible by advancements in computer vision, graphical processing power, display technology, and input systems. "複合現実" という用語は、ポール・ミルグラムと岸野文郎による 1994 年の論文『複合現実のビジュアル表示の分類』で初めて紹介されました。The term mixed reality was originally introduced in a 1994 paper by Paul Milgram and Fumio Kishino, "A Taxonomy of Mixed Reality Visual Displays." この論文では、"仮想現実連続体" の概念が導入され、表示への分類法のカテゴリの適用方法に焦点が当てられていました。Their paper introduced the concept of the virtuality continuum, and focused on how the categorization of taxonomy applied to displays. それ以降、複合現実の応用は表示の範囲を超えるものになっています。Since then, the application of mixed reality goes beyond displays. 環境入力、空間サウンド、場所も含まれるようになっています。It also includes environmental input, spatial sound, and location.

複合現実の範囲The mixed reality spectrum
図: 複合現実は現実世界とデジタル世界を組み合わせたものです。Image: Mixed reality is the result of blending the physical world with the digital world.



環境の入力と認識Environmental input and perception

過去数十年にわたり、人間とコンピューター入力の関係は十分に研究されてきました。Over the past several decades, the relationship between human and computer input has been well explored. また、"人間とコンピューターの相互作用" (HCI) と呼ばれる、広く研究されている分野もあります。It even has a widely studied discipline known as human computer interaction or HCI. 人間の入力は、キーボード、マウス、タッチ、インク、音声、さらには Kinect の骨格追跡など、さまざまな方法で行われます。Human input happens through a variety of means, including keyboards, mice, touch, ink, voice, and even Kinect skeletal tracking.

センサーと処理の進歩は、環境からのコンピューター入力の新しい領域を生み出しています。Advancements in sensors and processing are giving rise to a new area of computer input from environments. コンピューターと環境の間の相互作用とは、実質的に、環境を理解または "認識" することです。The interaction between computers and environments is effectively environmental understanding or perception. そのため、環境情報を公開する Windows の API は、認識 API と呼ばれています。Hence the API names in Windows that reveal environmental information are called the perception APIs. 環境入力では、世界での人の位置 (頭の追跡など)、表面と境界 (空間マッピングシーンの理解など)、環境光、環境音、オブジェクト認識、場所などがキャプチャされます。Environmental input captures things like a person's position in the world (e.g. head tracking), surfaces and boundaries (e.g. spatial mapping and scene understanding), ambient lighting, environmental sound, object recognition, and location.


コンピューター、人間、環境間の相互作用を示すベン図Venn diagram showing interactions between computers, humans and environments

図: コンピューター、人間、環境の間の相互作用。

Image: The interactions between between computers, humans and environments.


ここで、コンピューター処理、人間入力、環境入力の 3 つすべての組み合わせにより、真の複合現実エクスペリエンスを作成する機会が得られます。Now, the combination of all three--computer processing, human input, and environmental input--sets the opportunity to create true mixed reality experiences. 物理的な世界内の移動は、デジタル世界での動きに変換できます。Movement through the physical world can translate to movement in the digital world. 物理的な世界の境界は、デジタル環境でのゲーム プレイなどのアプリケーション エクスペリエンスに影響を与える可能性があります。Boundaries in the physical world can influence application experiences, such as game play, in the digital world. 環境入力がないと、エクスペリエンスで物理的な現実とデジタル的な現実を組み合わせることはできません。Without environmental input, experiences cannot blend between physical and digital realities.



複合現実の範囲The mixed reality spectrum

複合現実では物理世界とデジタル世界の両方が融合されるため、これらの 2 つの現実によって、仮想現実連続体と呼ばれる範囲の両端が定義されます。Since mixed reality blends both physical and digital worlds, these two realities define the polar ends of a spectrum known as the virtuality continuum. わかりやすくするため、これを "複合現実の範囲" と呼ぶことにします。For simplicity, we refer to this as the mixed reality spectrum. 左側には、人間が存在する物理的な現実があります。右側には、対応するデジタル的な現実があります。On the left-hand side we have physical reality in which we, humans, exist; on the right-hand side we have the corresponding digital reality.



拡張現実と仮想現実Augmented vs. virtual reality

現在市場にあるほとんどの携帯電話には、環境を理解する機能はほとんどありません。Most mobile phones on the market today have little to no environmental understanding capabilities. そのため、これらによって提供されるエクスペリエンスでは、物理現実とデジタル現実を混在させることはできません。Thus the experiences they offer cannot mix between physical and digital realities. 物理的な世界のビデオ ストリームにグラフィックを重ね合わせるエクスペリエンスは、"拡張現実" です。The experiences that overlay graphics on video streams of the physical world are augmented reality. 人の視野を遮ってデジタル エクスペリエンスを提供するエクスペリエンスは、"仮想現実" です。The experiences that occlude your view to present a digital experience are virtual reality. ご覧のように、これら 2 つの極端の間で可能になるエクスペリエンスが、"複合現実" です。As you can see, the experiences enabled between these two extremes is mixed reality:

  • 物理的な世界から始まって、ホログラムなどのデジタル オブジェクトが、実際に存在しているかのように配置されます。Starting with the physical world, placing a digital object, such as a hologram, as if it was really there.
  • 物理的な世界から始まって、別の人のデジタル表現 (アバター) を使用して、ノートを離れるときに立っていた場所が示されます。Starting with the physical world, a digital representation of another person--an avatar--shows the location where they were standing when leaving notes. つまり、異なる時点での非同期コラボレーションを表すエクスペリエンスです。In other words, experiences that represent asynchronous collaboration at different points in time.
  • デジタル世界から始まって、壁や家具など、物理的な世界の物理的な境界が、ユーザーが物理的なオブジェクトを回避できるように、エクスペリエンス内にデジタルで表示されます。Starting with a digital world, physical boundaries from the physical world, such as walls and furniture, appear digitally within the experience to help users avoid physical objects.

複合現実の範囲The mixed reality spectrum
図: 複合現実の範囲Image: The mixed reality spectrum


現在利用可能なほとんどの拡張現実および仮想現実の製品は、この範囲のごく一部を表しています。Most augmented reality and virtual reality offerings available today represent a very small part of this spectrum. ただし、それらはより大きな複合現実の範囲のサブセットです。They are, however, subsets of the larger mixed reality spectrum. Windows 10 は、範囲全体を念頭に置いて構築されており、人間、場所、物のデジタル表現を現実の世界と融合できます。Windows 10 is built with the entire spectrum in mind, and allows blending digital representations of people, places, and things with the real world.

デバイスとエクスペリエンスDevices and experiences

Windows Mixed Reality のエクスペリエンスを提供するデバイスには、主に次の 2 種類があります。There are two main types of devices that deliver Windows Mixed Reality experiences:

  1. ホログラフィック デバイス。Holographic devices. これらのデバイスの特徴は、実際にそこに存在するかのように、デジタル コンテンツを現実の世界に配置できることです。These are characterized by the device's ability to place digital content in the real world as if it were really there.
  2. イマーシブ デバイス。Immersive devices. これらのデバイスの特徴は、物理的な世界を隠し、デジタル エクスペリエンスで置き換えることによって、"存在感" を作成できることです。These are characterized by the device's ability to create a sense of "presence"--hiding the physical world, and replacing it with a digital experience.
特性Characteristic ホログラフィック デバイスHolographic devices イマーシブ デバイスImmersive devices
デバイスの例Example device Microsoft HoloLensMicrosoft HoloLens

Microsoft HoloLens 2 image
Samsung HMD Odyssey+Samsung HMD Odyssey+

Samsung HMD Odyssey+ image
DisplayDisplay シースルー ディスプレイ。See-through display. ユーザーはヘッドセットを装着している間も物理環境を見ることができます。Allows user to see the physical environment while wearing the headset. 非透過ディスプレイ。Opaque display. ユーザーはヘッドセットを装着している間は物理環境を見ることができません。Blocks out the physical environment while wearing the headset.
移動Movement 回転と平行移動の両方で、6 自由度の完全な移動。Full six-degrees-of-freedom movement, both rotation and translation. 回転と平行移動の両方で、6 自由度の完全な移動。Full six-degrees-of-freedom movement, both rotation and translation.

デバイスが (USB ケーブルまたは Wi-Fi 経由で) 別の PC に接続されているか、または自己完結型 (非接続) であるかは、デバイスがホログラフィックかイマーシブかに影響しないことに注意してください。Note, whether a device is connected to or tethered to a separate PC (via USB cable or Wi-Fi) or self-contained (untethered) does not reflect whether a device is holographic or immersive. 確かに、モビリティ向上機能によってエクスペリエンスは向上し、ホログラフィック デバイスとイマーシブ デバイスはどちらも接続式または非接続式にできます。Certainly, features that improve mobility lead to better experiences, and both holographic and immersive devices could be tethered or untethered.

技術的な進歩によって、複合現実エクスペリエンスは可能になりました。Technological advancement is what has enabled mixed reality experiences. 現在、すべての範囲でエクスペリエンスを実行できるデバイスはありません。There are no devices today that can run experiences across the entire spectrum. ただし、Windows 10 では、デバイスの製造元と開発者の両方に共通の複合現実プラットフォームが提供されています。However, Windows 10 provides a common mixed reality platform for both device manufacturers and developers. 今日のデバイスでは、混合現実の範囲内の特定の範囲をサポートできます。Devices today can support a specific range within the mixed reality spectrum. 時間の経過と共に、新しいデバイスによってその範囲が広がります。Over time, new devices will expand that range. 将来、ホログラフィック デバイスはよりイマーシブになり、イマーシブ デバイスはよりホログラフィックになります。In the future, holographic devices will become more immersive, and immersive devices will become more holographic.


混合現実の範囲におけるデバイスの種類Device types in the mixed reality spectrum
図: 混合現実の範囲におけるデバイスの位置づけImage: Where devices exist on the mixed reality spectrum

多くの場合、アプリケーションまたはゲームの開発者が作成しようとしているエクスペリエンスの種類を考えることをお勧めします。Often, it is best to think what type of experience an application or game developer wants to create. エクスペリエンスは、通常、範囲の特定の点または部分を対象としています。The experiences will typically target a specific point or part on the spectrum. 次に、開発者は、対象とするデバイスの機能を考慮する必要があります。Then, developers should consider the capabilities of devices they want to target. たとえば、物理的な世界に依存するエクスペリエンスは、HoloLens で実行するのが最善です。For example, experiences that rely on the physical world will run best on HoloLens.

  • 左に向かう (物理的な現実に近づく)。Towards the left (near physical reality). ユーザーは、物理的な環境内に存在していて、その環境を離れたと信じさせられることはありません。Users remain present in their physical environment and are never made to believe they have left that environment.
  • 中央 (完全な複合現実)。In the middle (fully mixed reality). これらのエクスペリエンスでは、現実世界とデジタル世界が融合されています。These experiences blend the real world and the digital world. 映画『ジュマンジ』を見た人なら、物語が展開する家の物理的な構造と、ジャングルの環境がどのようにブレンドされていたかわかります。Viewers who have seen the movie Jumanji can reconcile how the physical structure of the house where the story took place was blended with a jungle environment.
  • 右に向かう (デジタル的な現実に近づく)。Towards the right (near digital reality). ユーザーは、完全なデジタル環境を体験し、自分の周りの物理的な環境で起こっていることは認識しません。Users experience a completely digital environment, and are unaware of what occurs in the physical environment around them.

関連項目See also