Mixed Reality とはWhat is Mixed Reality?

HoloLens 2 での手を使ったポイントとコミット

Mixed Reality は、物理とデジタルの世界を融合し、人間、コンピューター、環境間の相互作用のリンクを解除します。Mixed Reality is a blend of physical and digital worlds, unlocking the links between human, computer, and environment interaction. この新しい現実は、コンピューター ビジョン、グラフィカル処理能力、ディスプレイ テクノロジ、および入力システムの進歩が基盤となっています。This new reality is based on advancements in computer vision, graphical processing power, display technology, and input systems. ただし、"Mixed Reality" という用語は、ポール・ミルグラムと岸野文郎による 1994 年の論文『複合現実のビジュアル表示の分類』で初めて紹介されました。However, the term Mixed Reality was introduced in a 1994 paper by Paul Milgram and Fumio Kishino, "A Taxonomy of Mixed Reality Visual Displays." この論文では、"仮想現実連続体" の概念と、表示に適用される分類法のカテゴリについて考察しています。Their paper explored the concept of the virtuality continuum and the categorization of taxonomy applied to displays. それ以降、Mixed Reality の応用は表示の範囲を超え、以下が含まれるようになっています。Since then, the application of Mixed Reality has gone beyond displays to include:

  • 環境入力Environmental input
  • 立体音響Spatial sound
  • 現実と仮想の両方の空間における場所と位置Locations and positioning in both real and virtual spaces

Mixed Reality の範囲の画像The Mixed Reality spectrum image
図: Mixed Reality は物理的な世界とデジタル世界を融合したものです。Image: Mixed Reality is the result of blending the physical world with the digital world.



環境の入力と認識Environmental input and perception

過去数十年にわたって、人間とコンピューターの入力の関係についての研究が続いており、"ヒューマン コンピューター インタラクション" または HCI と呼ばれる分野につながっています。Over the past several decades, exploration into the relationship between human and computer input has continued, leading to the discipline known as human computer interaction or HCI. 人間入力は、キーボード、マウス、タッチ、インク、音声、さらには Kinect の骨格追跡など、さまざまな方法で行われます。Human input happens through different means, including keyboards, mice, touch, ink, voice, and even Kinect skeletal tracking.

センサーと処理の進歩は、環境からのコンピューター入力の新しい領域を生み出しています。Advancements in sensors and processing are giving rise to a new area of computer input from environments. コンピューターと環境の間の相互作用とは、実質的に、環境を理解または "認識" することです。そのため、環境情報を公開する Windows の API は、認識 API シリーズと呼ばれています。The interaction between computers and environments is effectively environmental understanding or perception, which is why the API names in Windows that reveal environmental information are called the perception APIs. 環境入力では、世界での人の位置 (頭の追跡)、表面と境界 (空間マッピングシーンの理解)、環境光、環境音、オブジェクト認識、場所などがキャプチャされます。Environmental input captures things like a person's position in the world (head tracking), surfaces and boundaries (spatial mapping and scene understanding), ambient lighting, environmental sound, object recognition, and location.


コンピューター、人間、環境間の相互作用を示すベン図Venn diagram showing interactions between computers, humans and environments

図: コンピューター、人間、環境間の相互作用。

Image: The interactions between computers, humans, and environments.


コンピューター処理、人間入力、環境入力 の 3 つすべてを組み合わせにより、真の Mixed Reality エクスペリエンスを作成するための準備が整います。The combination of all three - computer processing, human input, and environmental input - sets the stage for creating true Mixed Reality experiences. 物理的な世界内の移動は、デジタル世界での動きに変換できます。Movement through the physical world can translate to movement in the digital world. 物理的な世界の境界は、デジタル環境でのゲーム プレイなどのアプリケーション エクスペリエンスに影響を与える可能性があります。Boundaries in the physical world can influence application experiences, such as game play, in the digital world. 環境入力がないと、エクスペリエンスで物理とデジタルの現実を融合することはできません。Without environmental input, experiences can't blend between physical and digital realities.



Mixed Reality の範囲The Mixed Reality spectrum

Mixed Reality では物理とデジタルの両方の世界が融合されるため、これらの 2 つの現実によって、仮想現実連続体と呼ばれる範囲の両端が定義されます。Since Mixed Reality blends both physical and digital worlds, these two realities define the polar ends of a spectrum known as the virtuality continuum. この現実の配列を "Mixed Reality の範囲" と呼んでいます。We refer to the array of realities as the Mixed Reality spectrum. 左側には、人間が存在する物理的な現実があります。On the left-hand side, we have the physical reality that we as humans exist in. 右側には、対応するデジタル的な現実があります。On the right-hand side, we have the corresponding digital reality.



拡張現実と仮想現実Augmented vs. virtual reality

現在市場にあるほとんどの携帯電話には、環境を理解する機能はほとんどありません。Most mobile phones on the market today have little to no environmental understanding capabilities. これらによって提供されるエクスペリエンスでは、物理とデジタルの現実を融合することはできません。The experiences they offer can't mix physical and digital realities. 物理的な世界のビデオ ストリームにグラフィックを重ね合わせるエクスペリエンスは、"拡張現実" です。The experiences that overlay graphics on video streams of the physical world are augmented reality. 人の視野を遮ってデジタル エクスペリエンスを提供するエクスペリエンスは、"仮想現実" です。The experiences that occlude your view to present a digital experience are virtual reality. 拡張現実と仮想現実の間で可能になるエクスペリエンスにより、"Mixed Reality" が形成されます。The experiences enabled between augmented and virtual reality form Mixed Reality:

  • 物理的な世界から始まって、ホログラムなどのデジタル オブジェクトが、そこに存在しているかのように配置されます。Starting with the physical world, placing a digital object, such as a hologram, as if it was there.
  • 物理的な世界から始まって、別の人のデジタル表現 (アバター) を使用して、ノートを離れるときに立っていた場所が示されます。Starting with the physical world, a digital representation of another person--an avatar--shows the location where they were standing when leaving notes. つまり、異なる時点での非同期コラボレーションを表すエクスペリエンスです。In other words, experiences that represent asynchronous collaboration at different points in time.
  • デジタル世界から始まって、壁や家具など、物理的な世界の物理的な境界が、ユーザーが物理的なオブジェクトを回避できるように、エクスペリエンス内にデジタルで表示されます。Starting with a digital world, physical boundaries from the physical world, such as walls and furniture, appear digitally within the experience to help users avoid physical objects.

Mixed Reality の範囲The Mixed Reality spectrum
図: Mixed Reality の範囲Image: The Mixed Reality spectrum


現在利用可能なほとんどの拡張現実および仮想現実の製品は、この範囲のごく一部を表しており、より大きな Mixed Reality の範囲のサブセットと見なされています。Most augmented reality and virtual reality offerings available today represent a small part of this spectrum and are considered subsets of the larger Mixed Reality spectrum. Windows 10 は、範囲全体を念頭に置いて構築されており、人間、場所、物のデジタル表現を現実の世界と融合できます。Windows 10 is built with the entire spectrum in mind, and allows blending digital representations of people, places, and things with the real world.

デバイスとエクスペリエンスDevices and experiences

Windows Mixed Reality のエクスペリエンスを提供するデバイスには、主に次の 2 種類があります。There are two main types of devices that deliver Windows Mixed Reality experiences:

  1. ホログラフィック デバイス の特徴は、そこに存在しているかのように、デジタル コンテンツを現実の世界に配置できることです。Holographic devices are characterized by the device's ability to place digital content in the real world as if it were there.
  2. イマーシブ デバイス の特徴は、物理的な世界を隠し、デジタル エクスペリエンスで置き換えることによって、"存在感" を作成できることです。Immersive devices are characterized by the device's ability to create a sense of "presence"--hiding the physical world, and replacing it with a digital experience.
特徴Characteristic ホログラフィック デバイスHolographic devices イマーシブ デバイスImmersive devices
デバイスの例Example device Microsoft HoloLensMicrosoft HoloLens

Microsoft HoloLens 2 image
Samsung HMD Odyssey+Samsung HMD Odyssey+

Samsung HMD Odyssey+ image
ディスプレイDisplay シースルー ディスプレイ。See-through display. ユーザーはヘッドセットを装着している間も物理環境を見ることができます。Allows user to see the physical environment while wearing the headset. 非透過ディスプレイ。Opaque display. ユーザーはヘッドセットを装着している間は物理環境を見ることができません。Blocks out the physical environment while wearing the headset.
移動Movement 回転と平行移動の両方で、6 自由度の完全な移動。Full six-degrees-of-freedom movement, both rotation and translation. 回転と平行移動の両方で、6 自由度の完全な移動。Full six-degrees-of-freedom movement, both rotation and translation.

注意

デバイスが (USB ケーブルまたは Wi-Fi 経由で) 別の PC に接続されているか、自己完結型 (非接続) であるかは、デバイスがホログラフィックかイマーシブかを表しているわけではありません。Whether a device is connected to or tethered to a separate PC (via USB cable or Wi-Fi) or self-contained (untethered) doesn't reflect whether a device is holographic or immersive. モビリティ向上機能によってエクスペリエンスは向上し、ホログラフィック デバイスとイマーシブ デバイスはどちらも接続式または非接続式にできます。Features that improve mobility lead to better experiences, and both holographic and immersive devices could be tethered or untethered.

技術的な進歩によって、Mixed Reality エクスペリエンスは可能になりました。Technological advancement is what has enabled Mixed Reality experiences. 現在、すべての範囲でエクスペリエンスを実行できるデバイスはありません。There are no devices today that can run experiences across the entire spectrum. Windows 10 では、デバイスの製造元と開発者の両方に共通の Mixed Reality プラットフォームを提供しています。Windows 10 provides a common Mixed Reality platform for both device manufacturers and developers. 今日のデバイスでは Mixed Reality の範囲内の特定の範囲をサポートでき、新しいデバイスにより、その範囲は広がっています。Devices today can support a specific range within the Mixed Reality spectrum, with new devices expanding that range. 将来、ホログラフィック デバイスはよりイマーシブになり、イマーシブ デバイスはよりホログラフィックになります。In the future, holographic devices will become more immersive, and immersive devices will become more holographic.


Mixed Reality の範囲におけるデバイスの種類Device types in the Mixed Reality spectrum
図: Mixed Reality の範囲におけるデバイスの位置付けImage: Where devices exist on the Mixed Reality spectrum

アプリケーションやゲームの開発者が作成しようとしているエクスペリエンスの種類を考えることをお勧めします。It's best to think what type of experience an application or game developer wants to create. エクスペリエンスは、通常、範囲の特定の点または部分を対象としています。The experiences will typically target a specific point or part on the spectrum. 開発者は、対象とするデバイスの機能を考慮する必要があります。Developers should consider the capabilities of devices they want to target. たとえば、物理的な世界に依存するエクスペリエンスは、HoloLens で実行するのが最善です。Experiences that rely on the physical world will run best on HoloLens.

  • 左に向かう (物理的な現実に近づく)。Towards the left (near physical reality). ユーザーは、物理的な環境内に存在していて、その環境を離れたと信じさせられることはありません。Users remain present in their physical environment and are never made to believe they have left that environment.
  • 中央 (完全な Mixed Reality)。In the middle (fully Mixed Reality). これらのエクスペリエンスでは、現実世界とデジタル世界が融合されています。These experiences blend the real world and the digital world. 映画『ジュマンジ』を見た人なら、物語が展開する家の物理的な構造と、ジャングルの環境がどのようにブレンドされていたかわかります。Viewers who have seen the movie Jumanji can reconcile how the physical structure of the house where the story took place was blended with a jungle environment.
  • 右に向かう (デジタル的な現実に近づく)。Towards the right (near digital reality). ユーザーは、デジタル環境を体験し、自分の周りの物理的な環境で起こっていることは認識しません。Users experience a digital environment, and are unaware of what occurs in the physical environment around them.

次の探索チェックポイントNext Discovery Checkpoint

私たちが用意した探索ツアーを進んでいる場合、あなたの現在地は Mixed Reality の基本の探索の中盤の段階です。If you're following the discovery journey we've laid out, you're in the midst of exploring the basics of Mixed Reality. ここから、次の基本トピックに進むことができます。From here, you can proceed to the next foundational topic: