Mixed Reality とはWhat is Mixed Reality?

複合現実は、メインフレーム、PC、スマートフォンに続くコンピューティングの次の波です。Mixed reality is the next wave in computing followed by mainframes, PCs, and smartphones. 複合現実は、コンシューマーと企業で主流になりつつあります。Mixed reality is going mainstream for consumers and businesses. 生活空間、仕事、友人との間で、データを直感的に操作できるようにすることで、画面に縛り付けられたエクスペリエンスから解放してくれます。It liberates us from screen-bound experiences, by offering instinctual interactions with data in our living spaces, among our things, and with our friends. 世界中の何億人ものオンライン利用者が、ハンドヘルド デバイスを通じて複合現実を体験しています。Online explorers, in hundreds of millions around the world, have experienced mixed reality through their handheld devices. モバイル AR により、今日のソーシャル メディアで最も多くの主流の複合現実ソリューションが提供されています。Mobile AR offers the most mainstream mixed reality solutions today on social media. ユーザーは、Instagram で使用する AR フィルターが複合現実エクスペリエンスであることを認識していない場合さえあります。People may not even realize that the AR filters they use on Instagram are Mixed Reality experiences. Microsoft Mixed Reality は、非常に魅力的な人のホログラフィック表現、忠実度の高いホログラフィック 3D モデル、およびそれらを中心とした現実世界を組み合わせることで、これらのすべてのユーザー エクスペリエンスを次のレベルにします。Microsoft Mixed Reality is to take all these user experiences to the next level with a combination of truly stunning holographic representations of people, high fidelity holographic 3D models and the real world around them.

HoloLens 2 での手を使ったポイントとコミット

Mixed Reality は、物理とデジタルの世界を融合して、自然で直感的な 3D の人間、コンピューター、環境間の相互作用の扉を開きます。Mixed Reality is a blend of physical and digital worlds, unlocking natural and intuitive 3D human, computer, and environment interactions. この新しい現実は、コンピューター ビジョン、グラフィカル処理、ディスプレイ テクノロジ、入力システム、クラウド コンピューティングの進歩が基になっています。This new reality is based on advancements in computer vision, graphical processing, display technologies, input systems, and cloud computing. 複合現実という用語は、ポール・ミルグラムと岸野文郎による 1994 年の論文『複合現実のビジュアル表示の分類』で初めて紹介されました。The term Mixed Reality was introduced in a 1994 paper by Paul Milgram and Fumio Kishino, "A Taxonomy of Mixed Reality Visual Displays." この論文では、"仮想現実連続体" の概念と、ビジュアル ディスプレイの分類が研究されていました。Their paper explored the concept of a virtuality continuum and the taxonomy of visual displays. それ以降、Mixed Reality の応用は表示の範囲を超え、以下が含まれるようになっています。Since then, the application of Mixed Reality has gone beyond displays to include:

  • 環境の把握: 空間マッピングとアンカー。Environmental understanding: spatial mapping and anchors.
  • 人間の認識: ハンド トラッキング、目の追跡、音声入力。Human understanding: hand-tracking, eye-tracking, and speech input.
  • 立体音響。Spatial sound.
  • 物理と仮想の両方の空間における場所と位置。Locations and positioning in both physical and virtual spaces.
  • 複合現実空間における 3D 資産のコラボレーション。Collaboration on 3D assets in mixed reality spaces.

Mixed Reality の範囲の画像The Mixed Reality spectrum image
図: Mixed Reality は物理的な世界とデジタル世界を融合したものです。Image: Mixed Reality is the result of blending the physical world with the digital world.



環境の入力と認識Environmental input and perception

過去数十年にわたり、人間とコンピューターの間の関係は、入力方式によって進化し続けてきました。In the past decades, the relationship between humans and computers has continued to evolve by the means of input methods. 人間とコンピューターの相互作用 (HCI) と呼ばれる新しい分野が登場しています。A new discipline emerged, which is known as human-computer interaction or HCI. 人間の入力は、キーボード、マウス、タッチ、インク、音声、Kinect の骨格追跡などを含めることができるようになっています。Human input can now include keyboards, mice, touch, ink, voice, and Kinect skeletal tracking.

センサーと処理能力の進歩により、高度な入力方法に基づく、環境の新しいコンピューター認識が作り出されています。Advancements in sensors and processing power are creating new computer perceptions of environments based on advanced input methods. このため、環境情報を公開する Windows の API は、認識 API と呼ばれています。This is why API names in Windows that reveal environmental information are called the perception APIs. 環境入力では次のものをキャプチャできます。Environmental inputs can capture:


コンピューター、人間、環境間の相互作用を示すベン図Venn diagram showing interactions between computers, humans and environments

図: コンピューター、人間、環境間の相互作用。

Image: The interactions between computers, humans, and environments.


3 つの重要な要素の組み合わせにより、真の Mixed Reality エクスペリエンスを作成するためのステージが設定されます。A combination of the three essential elements sets the stage for creating true Mixed Reality experiences:

  • クラウドを利用するコンピューターの処理Computer processing powered by the cloud
  • 高度な入力方法Advanced input methods
  • 環境の認識Environmental perceptions

物理的な世界を移動すると、移動はデジタル現実にマップされます。As we move through the physical world, our movements are mapped in a digital reality. ゲームや製造施設におけるタスク ベースのガイダンスのように、物理的な境界は、デジタル世界における複合現実エクスペリエンスに影響を及ぼします。Physical boundaries influence mixed reality experiences in the digital world, such as games or task-based guidance in a manufacturing facility. 環境の入力と認識により、エクスペリエンスによる物理現実とデジタル現実を融合が始まります。With environmental input and perceptions, experiences start to blend between physical and digital realities.



Mixed Reality の範囲The Mixed Reality spectrum

Mixed Reality により、物理世界とデジタル世界の両方が融合されます。Mixed Reality blends both physical and digital worlds. これらの 2 つの現実は、"仮想現実連続体" と呼ばれる範囲の両端に位置します。These two realities mark the polar ends of a spectrum known as the virtuality continuum. 現実のこのような範囲を、"Mixed Reality の範囲" と呼んでいます。We refer to this spectrum of realities as the Mixed Reality spectrum. 範囲の一方の端には、人間が存在する物理的な現実があります。On the end of the spectrum, we have the physical reality that we as humans exist. もう一方の端には、対応するデジタル現実があります。On the other end of the spectrum, we have the corresponding digital reality.



拡張現実と仮想現実Augmented vs. virtual reality

現在市販されているほとんどの携帯電話には、環境を認識する機能はほとんどありません。Most mobile phones on the market today have little to no environmental perception capabilities. これらの携帯電話によって提供されるエクスペリエンスでは、物理とデジタルの現実を融合することはできません。The experiences these phones offer can't mix physical and digital realities.

グラフィック、ビデオ ストリーム、またはホログラムを物理的な世界の重ね合わせるエクスペリエンスは、拡張現実と呼ばれます。The experiences that overlay graphics, video streams, or holograms in the physical world are called augmented reality. 人の視野を遮って完全にイマーシブなデジタル エクスペリエンスを提供するエクスペリエンスは、仮想現実です。The experiences that occlude your view to present a fully immersive digital experience are virtual reality. 拡張現実と仮想現実の間を移行できるエクスペリエンスによって複合現実が形成され、そこでは次のことが可能です。The experiences that can transition between augmented and virtual realities form Mixed Reality, where you can:

  • ホログラムなどのデジタル オブジェクトを、物理的に存在するかのように、物理的な世界に配置します。Place a digital object, such as a hologram, in the physical world, as if it were physically present.
  • アバターの形で個人的およびデジタル的に物理的な世界に存在し、異なる時点にいる他のユーザーと非同期に共同作業を行います。Be personally and digitally present in the physical world, in the form of an avatar, to asynchronously collaborate with others at different points in time.
  • ユーザーが物理的な障害とぶつからないよう、仮想現実では、壁や家具などの物理的な境界が、エクスペリエンス内にデジタル的に表示されます。In virtual reality, physical boundaries like walls and furniture appear digitally within the experience for users to avoid running into physical obstacles.

Mixed Reality の範囲The Mixed Reality spectrum
図: Mixed Reality の範囲Image: The Mixed Reality spectrum


現在利用可能なほとんどの拡張現実および仮想現実のエクスペリエンスは、Mixed Reality のより大きな範囲の小さなサブセットを表します。Most augmented reality and virtual reality experiences available today represent a small subsets of the larger Mixed Reality spectrum. Windows 10 は、範囲全体を念頭に置いて構築されており、人間、場所、物のデジタル表現を現実の世界と融合できます。Windows 10 is built with the entire spectrum in mind, and allows blending digital representations of people, places, and things with the real world.

デバイスとエクスペリエンスDevices and experiences

Windows Mixed Reality のエクスペリエンスを提供するデバイスには、主に次の 2 種類があります。There are two main types of devices that deliver Windows Mixed Reality experiences:

  1. ホログラフィック デバイス の特徴は、そこに存在しているかのように、デジタル コンテンツを現実の世界に配置できることです。Holographic devices are characterized by the device's ability to place digital content in the real world as if it were there.
  2. イマーシブ VR デバイス の特徴は、物理的な世界を遮断し、完全にイマーシブなデジタル エクスペリエンスで置き換えることによって、存在感を作成できることです。Immersive VR devices are characterized by the device's ability to create a sense of presence by blocking out the physical world and replacing it with a fully immersive digital experience.
特徴Characteristic ホログラフィック デバイスHolographic devices イマーシブ デバイスImmersive devices
デバイスの例Example device Microsoft HoloLensMicrosoft HoloLens

Microsoft HoloLens 2 image
Samsung HMD Odyssey+Samsung HMD Odyssey+

Samsung HMD Odyssey+ image
ディスプレイDisplay シースルー ディスプレイ。See-through display. ユーザーはヘッドセットを装着している間も物理環境を見ることができます。Allows the user to see the physical environment while wearing the headset. 非透過ディスプレイ。Opaque display. ユーザーはヘッドセットを装着している間は物理環境を見ることができません。Blocks out the physical environment while wearing the headset.
移動Movement 回転と平行移動の両方で、6 自由度の完全な移動。Full six-degrees-of-freedom movement, both rotation and translation. 回転と平行移動の両方で、6 自由度の完全な移動。Full six-degrees-of-freedom movement, both rotation and translation.

注意

デバイスが (USB ケーブルまたは Wi-Fi 経由で) 別の PC にテザリングされているか、テザリングされていないかは、デバイスがホログラフィックかイマーシブかを表しているわけではありません。Whether a device is tethered to a separate PC (via USB cable or Wi-Fi) or untethered doesn't reflect whether a device is holographic or immersive. モビリティを向上させる機能により、多くの場合、より優れたエクスペリエンスが提供されます。Features that improve mobility often provide better experiences. ホログラフィック デバイスとイマーシブ デバイスは、テザリングすることもテザリングしないこともできます。Holographic and immersive devices can be either tethered or untethered.

Mixed Reality のエクスペリエンスは、技術的な進歩の結果です。Mixed Reality experiences are the result of technological advancements. 現在、すべての範囲でエクスペリエンスを実行できるデバイスはありません。There aren't any devices today that can run experiences across the entire spectrum. Windows 10 では、デバイスの製造元と開発者の両方に共通の Mixed Reality プラットフォームを提供しています。Windows 10 provides a common Mixed Reality platform for both device manufacturers and developers. 今日のどのデバイスでも、混合現実の範囲内の特定の範囲をサポートできます。Any given device today can support a specific range within the Mixed Reality spectrum. 将来的には、より範囲の広い新しいデバイスが期待されます。ホログラフィック デバイスはよりイマーシブになり、イマーシブ デバイスはよりホログラフィックになります。In the future, new devices with more expansive range are expected: holographic devices will be more immersive, and immersive devices will be more holographic.


Mixed Reality の範囲におけるデバイスの種類Device types in the Mixed Reality spectrum
図: Mixed Reality の範囲におけるデバイスの位置付けImage: Where devices exist on the Mixed Reality spectrum

アプリケーション開発者またはゲーム開発者としては、どのような種類のエクスペリエンスを作成したいですか。As an application or game developer, what type of experiences do you want to create? エクスペリエンスは、通常、範囲の特定の点または部分を対象としています。The experiences will typically target a specific point or part on the spectrum. 対象とするデバイスの機能を考慮する必要があります。You will need to consider the capabilities of devices to target. たとえば、物理的な世界に依存するエクスペリエンスは、HoloLens で実行するのが最善です。Experiences that rely on the physical world will run best on HoloLens.

  • 左に向かう (物理的な現実に近づく)。Towards the left (near physical reality). ユーザーは、物理現実内に存在していて、その現実を離れたと信じさせられることはありません。Users remain present in their physical reality, and aren't made to believe they have left that reality.
  • 中央 (完全な Mixed Reality)。In the middle (fully Mixed Reality). これらのエクスペリエンスでは、現実世界とデジタル世界が融合されています。These experiences blend the real world and the digital world. たとえば、映画『ジュマンジ』では、物語が展開する家の物理的な構造と、ジャングルの環境がブレンドされていました。For example, in the movie Jumanji, the physical structure of the house where the story took place was blended with a jungle environment.
  • 右に向かう (デジタル的な現実に近づく)。Towards the right (near digital reality). ユーザーは、デジタル現実を体験し、自分の周りの物理的な現実は認識しません。Users experience a digital reality and are unaware of the physical reality around them.

次の探索チェックポイントNext Discovery Checkpoint

ここでは、お客様向けの探索体験を始めるに当たり、Mixed Reality の基本を調べました。You're in the beginning of the discovery journey we've laid out for you, and exploring the basics of Mixed Reality. こちらから、次の基本トピックに進むことができます。From here, you can continue to the next foundational topic: