案例研究 - 代表混合實境中的人類

使用淺色的 James Turrell 設計。 逐步執行其工作模糊了一個深度和焦點。 牆看起來很接近且無限，亮度會提供陰影的方式。 透過仔細平衡光線的色彩和感覺來設計不熟悉的認知。 Turrell 會將這些情緒描述 為 「感覺您的眼睛」，這是一種擴充對現實理解的方式。 像圖拉ell 所想像的一樣，絕佳的世界是利用我們意義的強大工具，與現今混合實境的沉浸式環境不同。

如何在混合實境中代表複雜的真實世界環境？

代表 Turrell 在沉浸式體驗中的工作，可帶來吸引人的挑戰。 光源、縮放比例和空間音訊提供代表他工作的機會。 雖然展示的幾何周圍需要相對簡單的 3D 模型化，但它們是藝術師焦點的次要專案：光線對感知的影響。

Turrell 的星號、超簡的最低限度原則是他工作的標誌，但如果我們想要以更複雜的材質呈現混合實境中的展示，該怎麼辦？

在 2013 年，作者 AiWeiwei 在 2013 年，他有 一個尖峰 的藝術工作，其特徵是 886 個紀念品， 每個倂俚都來自一個具有高度價值的紀元，其中這些工具會在世代之間傳遞。 工具本身—木頭的精確度、片段的精確度、其謹慎放置，對於 Ai 對現代文化的評價至關重要。

音樂工具會透過其真確性來傳遞藝術師的訊息。 其實際標記法對於體驗至關重要，建立技術挑戰：手動打造 886 個工具的每一個都相當詳盡且昂貴。 模型和位置需要多久的時間？ 您要如何維護材質的真確性？ 從頭重新建立這些物件，有許多方式都會成為圖稿本身的解譯。 如何保留作者的意圖？

擷取混合實境資產的方法

從頭開始建立事物的替代方式是擷取真正的事物。 透過一組不斷前進的擷取方法，我們可以開發混合實境 (環境、物件和人員) 中每個核心資產類型的真確標記法。

廣泛的類別範圍從妥善建立的 2D 視訊到最新的音量視訊形式。 在 AiWeiwei 的展示案例中，掃描 (通常由其基本技術所參考，在建立展示期間可以採用相片測量) ，掃描每個工具本身。 360° 相片和視訊擷取是另一種虛擬化體驗的方法，其使用位於整個展示的高品質全向相機。 透過這些技術，其中一個開始瞭解縮放感，在理想情況下，有足夠的詳細資料可查看每個片段的擷取。 這一切雖然存在於數位形式中，但可讓新的遠景和透視無法實際運作。

當我們不僅能建立絕佳的元素，還能利用混合實境中環境、物件和人員最逼真的擷取時，會出現何種機會？ 探索這些方法之間的重迭有助於照亮媒體的前端。

對於環境和物件，360° 影像處理軟體會不斷演進，以包含相片測量的元素。 將深度資訊與場景隔離，進階 360° 影片有助於減輕在虛擬場景周圍時，頭部停滯在魚頭的感覺。

對於人員而言，新的方法會結合和擴充動作擷取和掃描：動作擷取是將詳細的人類移動帶入視覺效果和電影字元的基礎，而掃描則具有進階功能，可擷取臉部和手部等詳細人類視覺效果。 隨著轉譯技術的發展，稱為音量影片的新方法會建置這些技術，結合視覺和深度資訊，以建立新一代的 3D 人類擷取。

音量視訊和真人擷取的擷取

人類是最常人意的劇本說說的核心：人類說話、執行或作為故事的主旨。 現今早期沉浸式體驗的一些最沈浸式和眼球體驗是社交的：在生活室中共用混合實境體驗，在令人信服的新環境中看到您的朋友。 人類元素甚至讓最出色的實境成為現實。

沈浸式體驗中的虛擬人偶可讓您在劇本中提供一種全新的體驗。 最新的應用程式正在重新思考虛擬主體擁有權的概念，並設定世代躍點，以消除人員之間的距離。 Mindshow之類的公司正在開發運用虛擬人偶的創意工具，讓使用者可以接受全新的角色和字元。 其他人正在探索 運算式的方法，這是探索類似人類屬性的本質 (和必要) 的潛在無限創意機會。 目前，這種缺乏實境有助於避免 人類相似度不雅的低度， 以及日常開發人員的技術問題。 基於這些原因， (和更多) 可能是非實際虛擬人偶會成為可預測的未來預設值。 不過，雖然實境對混合實境造成大量挑戰， 但有一些關鍵案例需要 3D 空間中人類的實際呈現。

在 Microsoft，Microsoft Research 所生的小型小組在過去數年開發一種方法，可透過大量視訊擷取人類。 現今的程式類似于影片生產：而不是將移動套用至一般資產，而是完整的 3D 錄製。 效能和影像會即時擷取，不是藝術師的工作，它是真正的標記法。 雖然這項技術剛開始擴展至商業應用程式，但大量視訊的影響對於 Microsoft 對於更多個人運算的願景而言非常重要。

真人擷取可解除鎖定混合實境中新的獨特體驗類別。 看到您辨識的人，無論是名人、同事或愛人，都能夠在數位媒體中建立從未可能的深度。 其臉部、其運算式、移動中的細微差異全都是其身分的一部分。 當我們可以在 3D 空間中擷取這些人類特質時，哪些機會可以解除鎖定？

現在，小組將焦點放在娛樂與教育等產業，藉此推送音量視訊的範圍： Actiongram 具有創意字元和 名人 ，以建立混合實境劇本。 目的地：Mars 展示，現在位於 NASA 的太空中心，有圖例太空人布建 Aldrin 的音量影片。 此體驗可讓訪客在 Mars 表面四處走動，因為她引進了 Mars 上的人類氣氣。

人類是混合實境的基礎

設計讓這些影片成為自然的方式帶來挑戰，但小組看到大量潛在挑戰。 隨著技術變得更容易存取，這些機會也會擴大，並從錄製移至即時擷取。

Holoportation 是一項研究工作，以相同的基本技術為基礎、以真實方式擷取視覺和深度資訊，以及即時轉譯結果。 小組正在探索實際人類標記法對於交談和共用體驗的未來有何意義。 從世界各地從世界各地擷取某人的三維擷取可以新增至您的環境時，會發生什麼事？

從將新的沉浸式層級分層到像 Skype 這樣的日常應用程式，到徹底重新塑造數位會議與商務旅遊的概念—大量影片會開啟獨特的案例：一位專家幾乎訓練位於離遠大陸的醫生，或位於您生活室中的數位朋友。 將真正的人類標記法新增至混合實境體驗，將會大幅改變數字會議與商務旅遊的概念。

就像 James Turrell 的抽象藝術和 Ai Weiwei 的重要實境提供自己的獨特技術挑戰一樣，那麼方法就能將人類表示為創意虛擬人偶和真實擷取。 一個無法忽略另一個空間，並探索每個專案的可能性，可協助我們瞭解這個新空間中的人為互動。

關於作者

Mark Vitazko UX Designer @Microsoft