混合現實功能範例和應用程式

範例 參考文章 平台 描述
混合現實 OpenXR 與 Unity 範例 使用 OpenXR 外掛程式 Unity C# 這些範例專案展示如何使用 mixed reality OpenXR 外掛程式,為 HoloLens 2 或混合現實耳機建立 Unity 應用程式。

涵蓋下列範例案例:
OpenXR MRTK Base Unity 專案 請參閱 範例讀我檔案 Unity C# 此存放庫包含 Unity 專案,此專案是使用 Microsoft Mixed Reality 工具組基礎以及標準資產套件和 Microsoft OpenXR 外掛程式套件來設定。
使用 Unity 2020.3 和 MRTK 2.7。2 什麼是 MRTK Unity C# MRTK-Unity 是 Microsoft 導向的專案,它提供一組元件和功能,可用來加速 Unity 中的跨平臺 MR 應用程式開發。
OpenXR Explorer 請參閱 範例讀我檔案 c + +、Windows、Linux、OpenXR OpenXR Explorer 是方便 OpenXR 開發人員使用的偵錯工具。 它可讓您輕鬆地在 OpenXR 執行時間之間切換、顯示執行時間支援的延伸模組清單,並允許檢查通用屬性和列舉,以及 OpenXR 規格的相關部分的直接連結!
適用于混合現實開發人員的 OpenXR 範例 什麼是 OpenXR C++ 這些 OpenXR 範例使用 c + + 17 和 Direct3D 11。 相同的原始程式碼適用于在 HoloLens 2 上執行的 UWP 應用程式,以及 Windows Mixed Reality 沉浸式耳機 Windows 桌上型電腦上執行的 Win32 應用程式。

混合現實中的共同作業

在混合的現實情況下,人們幾乎可以分享經驗與共同作業。 此處所列的範例會示範一些可讓您共同作業的功能。

使用者身分識別

此範例會使用 Azure Active Directory (AAD) 認證來設定您的 HoloLens 2 裝置,然後將裝置設定為使用鳶尾花登入。

範例 參考文章
HoloLens 2 上的 AAD 登入 Microsoft 身分識別平臺總覽

WebRTC

MixedReality-WebRTC 專案是元件的集合,可協助混合現實應用程式開發人員將對等的音訊、影片和資料即時通訊整合到其應用程式中。 WebRTC 元件是以針對 Real-Time 通訊的 WebRTC 通訊協定為基礎,這是大多數新式網頁瀏覽器所支援的 (RTC) 。

範例 參考文章
WebRTC 範例應用程式 WebRTC

空間互動-基本全像影像範例

這個範例會在 Windows Mixed Reality 上執行,並呈現旋轉 cube。 您可以將它放在新的位置,並允許各種輸入方法,藉此與 cube 互動。 此範例適用于已連接耳機裝置的電腦,也適用于 Microsoft HoloLens。

範例 參考文章
Windows 通用範例-基本全息圖 請參閱 範例讀我檔案

場景理解

場景理解為混合的現實開發人員提供結構化、高階的環境表示。 場景理解是設計用來藉由結合現有混合現實執行時間的強大功能,來開發直覺且環保感知的應用程式。 這些執行時間是高精確度但較不具結構化的空間對應和新的 AI 驅動執行時間。

範例 參考文章 平台 描述
(SU SDK) 的混合現實場景理解範例 場景理解 Unity c # 和 SU SDK 以 Unity 為基礎的範例應用程式,展示 HoloLens 2 的場景理解。
場景理解範例 (MRTK + SU SDK) 場景理解觀察者 (MRTK) Unity c #、MRTK + SU SDK MRTK + 場景理解 SDK 範例。

內容資料覆蓋

內容資料是背景資訊,可讓您更深入瞭解事件、人員或專案。 利用增強的現實 (AR) ,這項資訊可以顯示並精確地與實體物件對齊,以提供見解、指示、服務記錄和其他重要資料。

QR 代碼

HoloLens 2 可以偵測頭戴式裝置周圍環境中的 QR 代碼,而在每個代碼的真實世界位置建立座標系統。

範例 參考文章
Unity 中的 QR 代碼追蹤 QR 代碼

海報追蹤器範例

它通常有助於將全息圖對齊真實世界的物件,或將多個 HoloLens 裝置對齊一組通用的全局座標,讓每個人都能看到相同位置中的相同全像。 比方說,在您的 Unity 場景中,您可以新增「海報」,讓您將場景錨定 (可能是遊戲面板) ,然後在其周圍新增全像投影。 然後,您可以列印海報、將它配置在表格上,然後執行校正/對齊工具,這會移動海報的全像版本,使其與海報的實體版本相符。 這會將所有連結的全像影像移至正確的對齊方式。

範例 參考文章
海報校正範例 請參閱 範例讀我檔案

打造混合現實的數位 twins

在此範例中,您將瞭解如何使用 Azure 數位 Twins 和 Unity (即時3d 平臺)來建立混合現實 HoloLens 2 應用程式。

範例 參考文章
使用 Azure 數位 Twins 和 Unity 建立混合現實數位 twins 完整學習路徑

攝影機捕獲

您的混合現實裝置所捕捉的非結構化環境感應器資料,會轉換成美國全球實體世界的強大抽象或全像攝影標記法。

全像攝影混合實境擷取

Mixed reality capture (MRC) 以相片或影片的形式,將真實和數位世界的第一員經驗,與其他人共用您所看到的內容。

範例 參考文章
混合實境擷取範例 混合實境擷取

觀眾檢視

Spectator view 會從 Unity 將來自 Unity 的全息圖轉譯成從捕捉卡的色彩框架。 此範例會使用校正應用程式的校正資料,以正確的大小和方向轉譯全像影像。

範例應用程式 參考文章
Spectator view mobile 安裝程式 查看 範例設定

研究模式

研究模式是在第一代 HoloLens 引進的,可讓您存取裝置上的主要感應器,特別是研究不打算進行部署的應用程式。 下列範例應用程式是存取及記錄研究模式串流以及使用內建 內建的範例。

範例應用程式 參考文章
HoloLens (第一代) 研究模式
HoloLens 2 研究模式

全像攝影遠端處理

全像攝影遠端處理播放程式是一種隨附的應用程式,可連線至支援全像攝影遠端處理的電腦應用程式和遊戲。 全像「全像」的遠端處理會使用 Wi-Fi 的連線,將電腦上的全像即時內容串流處理到您的 Microsoft HoloLens,HoloLens (第一代) 和 HoloLens 2。

範例 參考文章
全像攝影遠端處理範例 全像攝影遠端處理

使用者配戴並手動操作 HoloLens 的圖片

每個開發旅程一開始都會回顧其他開發人員已成功建置的內容 - 混合實境也是如此。 目前,我們所有的教學課程和範例應用程式都是在 Unity 或 Unreal 中建置。 隨著我們開發其他引擎和平台的內容,您會在目錄中的相關標題底下找到它們。

範例應用程式案例研究

開放原始碼範例應用程式是由我們的小組所建立,可協助您取得混合現實開發的一句。 我們已提供專案和完整的原始程式碼作為學習參考。

HoloLens 2 開放原始碼範例應用程式

這些範例應用程式是使用適用于 Unity 的混合現實工具組所建立。

元素2.0專案的定期資料表2.0

介面表面

HoloLens (第一代) 開放原始碼範例應用程式

功能範例

針對下面所列的每個開發人員案例,有一些功能範例對應至檔中涵蓋的特定執行,並涵蓋各種開發平臺和硬體裝置。

案例 功能範例 引擎 Description
打造基本 Unity 混合現實案例 使用 Unity 範例的 OpenXR Unity C# 使用最新的 Unity 2020. LTS 和 OpenXR 外掛程式開始使用跨平臺開發人員工具。
錨定策略 本機錨點 跨應用程式會話和跨裝置來保存和共用空間錨點。 請參閱 空間錨點 一文。
Azure 空間錨點範例 使用 Azure 空間錨點的基本功能來建立空間感知混合現實應用程式。
QR 代碼 Unity C# 偵測環境中的 QR 代碼。
混合現實中的共同作業 使用者身分識別 Unity C# 使用 Azure Active Directory (AAD) 認證來設定您的 HoloLens 2 裝置。
WebRTC 範例 Unity C# 將對等的音訊、影片和資料即時通訊整合到混合現實應用程式中。
Azure 空間錨點範例 使用 Azure 空間錨點的基本功能來建立空間感知混合現實應用程式。
空間互動 基本全像影像範例 Windows 10 c + + 在 Windows Mixed Reality 中轉譯旋轉 cube。
場景/物件理解 場景理解範例 Unity C# 協助設計環保感知的混合現實應用程式。
Azure 物件錨點範例 Unity C# 使用3D 模型偵測實體世界中的物件,並使用 Azure 物件錨點估計其6DoF 姿勢。
內容資料覆蓋 QR 代碼 Unity C# 偵測環境中的 QR 代碼。
海報追蹤器範例 Unity C# 使用真實世界物件對齊全像影像。
打造混合現實的數位 twins Unity C# 了解如何使用 Azure Digital Twins 和 Unity (即時 3D 平台) 來建立混合實境 應用程式。
捕獲相機資料 Mixed reality capture 範例 Windows 10 c + + 以相片或影片的形式,抓住將真實和數位世界混合的第一員經驗。
Spectator view 範例 Unity C# 以正確的大小和方向來捕捉和轉譯全像影像。
研究模式範例 Windows 10 c + + 存取 HoloLens 裝置上的主要感應器,以供研究應用程式使用。
全像遠端 全像遠端播放機 Windows 10 c + + 使用 Wi-Fi 連線,即時將來自電腦的全像攝影內容串流至您的 Microsoft HoloLens。
Azure 遠端轉譯範例 Unity C# 使用此處所列的範例資料資源來測試 Azure 遠端轉譯服務。
工作管理與指引 Dynamics 365 Remote Assist 使用 HoloLens、HoloLens 2、Android 或 iOS 裝置上的 Dynamics 365 Remote Assist,與不同的位置共同合作,以更有效率的方式進行共同作業。
Dynamics 365 Guides 說明操作員會在工作流程期間,在需要時提供全像位置的指示來學習。
世界鎖定的全像影像 全球鎖定物理範例 Unity C# 探索一些由全球鎖定工具的全球鎖定座標系統所啟用的虛擬物理體驗。
空間釘選範例 Unity C# 更接近需要將大型物件或物件與真實世界功能對齊的真實世界應用程式內部運作。 「空間 Pin」範例提供簡單且更專注的空間釘選功能。
光線釘選範例 Unity C# 示範如何使用 MRTK affordances 手動將標記物件操作至位置,以設定空間針腳。
使用 Azure 空間錨點的全球鎖定工具範例 Unity C# 提供穩定的座標系統,可跨會話保存,並在您的應用程式中跨裝置共用。 這是在結合 Unity 的全球鎖定工具 (WLT) 與 Azure 空間錨點 (ASA) 時所發生。

建立基本 OpenXR 案例

如果您不熟悉如何建立基本的混合現實案例,這些範例將協助您開始使用。

針對以 Unity 2020 為目標的開發人員建立 HoloLens 2 或混合現實應用程式,可以使用 OpenXR 外掛程式來取代 Windows XR 外掛程式,以獲得更佳的跨平臺相容性。 Mixed Reality OpenXR 外掛程式也適用于最新版本的混合現實工具組 (2.7. x) 。