什麼是混合實境?

混合實境是下列大型主機、電腦和智慧型手機運算的下一波。 混合實境對消費者和企業而言是主流。 它藉由提供與生活空間中的資料和朋友的直覺互動,從螢幕系結體驗中讓我們更輕鬆。 全球數以百萬計的線上總管,透過他們的手部裝置體驗混合實境。 行動 AR 目前在社交媒體上提供最主流的混合實境解決方案。 人員甚至可能不知道他們在 Rp 上使用的 AR 篩選器是混合實境體驗。 Windows Mixed Reality透過令人讚歎的全像攝影標記法、高逼真度全像攝影 3D 模型及其周圍的真實世界,將所有這些使用者體驗帶到下一個層級。

在 HoloLens 2 上手部指向和行動

混合實境是實體和數位世界的混合,可解除鎖定自然且直覺的 3D 人類、電腦和環境互動。 這個新的實境是以電腦視覺、圖形處理、顯示技術、輸入系統和雲端運算的進階為基礎。 「混合實境」一詞是在 1994 年白皮書中引進,由 Paul Milgram 和 Fumio Kishino,「混合實境視覺顯示分類法」所介紹。其檔探索 了虛擬持續性 的概念,以及視覺效果顯示的分類法。 之後,混合實境的應用程式已超出顯示範圍,包括:

  • 環境理解:空間對應和錨點。
  • 人類理解:手部追蹤、眼球追蹤和語音輸入。
  • 空間音效。
  • 實體和虛擬空間中的位置和位置。
  • 混合實境空間中 3D 資產的共同作業。

混合實境頻譜影像
影像:混合實境是將實體世界與數位世界混合的結果。



環境輸入和認知

最近數十年來,人類與電腦之間的關聯性會透過輸入方法持續演進。 新的專業領域已出現,稱為人類電腦互動或 「HCI」。 人類輸入現在可以包含鍵盤、滑鼠、觸控、筆跡、語音和 Kinect 基本架構追蹤。

感應器和處理能力的進階是根據進階輸入法建立環境的新電腦認知。 這就是為什麼 Windows 中顯示環境資訊的 API 名稱稱為 感知 API的原因。 環境輸入可以擷取:


顯示電腦、人類和環境之間互動的 Venn 圖表
影像:電腦、人類與環境之間的互動。


三個基本元素的組合會設定建立真實混合實境體驗的階段:

  • 由雲端提供的電腦處理能力
  • 進階輸入法
  • 環境感知

當我們在實體世界中移動時,我們的移動會以數位實境對應。 實體界限會影響混合實境體驗,例如製造設施中的遊戲或工作型指引。 有了環境輸入和認知,體驗就會開始在實體和數位實境之間混合。



混合實境頻譜

混合實境會混合實體和數位世界。 這兩個實境會標示稱為 虛擬持續性之頻譜的極端。 我們將這個實境範圍稱為 混合實境頻譜。 在一端的頻譜中,我們有人類存在的實體實境。 在頻譜的另一端,我們有對應的數位實境。



擴增與虛擬實境

目前市面上大部分的行動電話都幾乎沒有環境感知功能。 這些手機供應專案的體驗無法混合實體和數位實境。

重迭圖形、視訊串流或實體世界中全像投影的體驗稱為擴增實境。 遮蔽您檢視以呈現完全沉浸式數位體驗的體驗是虛擬實境。 可在擴增和虛擬實境之間轉換的體驗形成混合實境,您可以在其中:

  • 將數位物件,例如全像投影放在實體世界中,就像實際存在一樣。
  • 以虛擬人偶的形式,以個人和數位方式呈現在實體世界中,以非同步方式與其他人在不同時間點共同作業。

當使用者處於虛擬實境時,其立即周圍的實體障礙物,例如牆和廚房,會在體驗中以數位方式呈現,讓使用者可以避免與這些實體障礙物碰撞。


混合實境頻譜
影像:混合實境頻譜


現今可用的大部分擴增實境和虛擬實境體驗都代表較大混合實境頻譜的小型子集。 Windows 10 以整個頻譜為基礎,並可將數位方式呈現的人員、環境和事物與真實世界混合。

裝置和體驗

有兩種主要的裝置類型可提供 Windows Mixed Reality 體驗:

  1. 全像攝影裝置 的特性是裝置能夠顯示數位物件,就像它們存在於真實世界一樣。
  2. 沈浸式 VR 裝置 的特性是裝置能夠藉由封鎖實體世界,並將它取代為完全沉浸式數位體驗,來建立存在感。
特性 全像攝影裝置 沉浸式裝置
範例裝置 Microsoft HoloLens

Microsoft HoloLens 2 個影像
Samsung HMD Odyssey+

Samsung HMD Odyssey+ 影像
顯示器 透明顯示器。 允許使用者在戴上頭戴式裝置時查看實體環境。 不透明顯示器。 在穿戴頭戴式裝置時封鎖實體環境。
移動 完整的六度自由移動,包括旋轉和轉譯。 完整的六度自由移動,包括旋轉和轉譯。

注意

裝置是否透過 USB 纜線或 Wi-Fi) 或未連線來連線到個別電腦 (,都不會反映裝置是否為全像攝影或沉浸式。 改善行動性的功能通常會提供更好的體驗。 全像攝影和沉浸式裝置可以系結或未連線。

混合實境體驗是技術進展的結果。 Windows 10為裝置製造商和開發人員提供常見的混合實境平臺。 目前任何指定的裝置都可以在混合實境頻譜內支援特定範圍。 未來,預期會有更廣泛範圍的新裝置:全像攝影裝置會更沈浸式,而沈浸式裝置會更全像攝影。


混合實境頻譜中的裝置類型
影像:裝置存在於混合實境頻譜的位置

身為應用程式或遊戲開發人員,您想要建立哪種類型的體驗? 這些體驗通常會以頻譜上的特定點或部分作為目標。 您必須考慮您想要鎖定之裝置的功能。 仰賴實體世界的體驗在 HoloLens 上的效果最佳。

  • 向左 (接近實體實境)。 使用者仍會存在於其實體實境中,而且不會認為他們已離開該實境。
  • 中間 (完全混合實境) 。 這些體驗混合了真實世界與數位世界。 例如,在電影 Jumanji中,故事發生所在的房屋實體結構會與一個老式環境混合。
  • 向右 (接近數位實境)。 使用者遇到數位實境,而且不知道他們周圍的實體實境。

下一個探索檢查點

您是在為您配置 探索旅程 的開頭,並探索混合實境的基本概念。 您可以從這裡繼續進行下一個基本主題: