運動控制器

動作控制器是可讓使用者在混合實境中採取動作 的硬體配件 。 動作控制器優於 手勢 的優點是控制器在空間中具有精確的位置,以便與數位對象進行精細的互動。 對於 Windows Mixed Reality 沉浸式頭戴式裝置,動作控制器是使用者在其世界中採取動作的主要方式。

影像:Windows Mixed Reality 動作控制器

Windows Mixed Reality 運動控制器



裝置支援

功能 HoloLens (第 1 代) HoloLens 2 沉浸式頭戴裝置
運動控制器 ✔️

硬體詳細數據

Windows Mixed Reality 動作控制器會使用沉浸式頭戴式裝置中的感測器,在您的視野中提供精確且響應的動作追蹤。 您不需要在空間的牆上安裝硬體。 這些動作控制器會提供與 Windows Mixed Reality 沉浸式頭戴式裝置相同的設定和可移植性。 我們的裝置合作夥伴計劃在此假日的零售商店上行銷和銷售這些控制器。

瞭解控制器
瞭解控制器

功能:

  • 光學追蹤
  • 觸發程序
  • 抓取按鈕
  • 遊戲桿
  • Touchpad

設定

開始之前

您將需要:

  • 一組兩個動作控制器。
  • 四個AA電池。
  • 支援藍牙 4.0 的電腦。

檢查 Windows、Unity 和驅動程式更新

配對控制器

動作控制器可以使用 Windows 設定與主電腦結合,就像任何其他藍牙裝置一樣。

  1. 將兩個 AA 電池插入控制器背面。 讓電池暫時關閉。
  2. 如果您使用外部 USB 藍牙適配卡,而不是內建藍牙無線電,請先檢閱 藍牙最佳做法 ,再繼續進行。 針對具有內建無線電的桌面設定,請確定天線已連線。
  3. 開啟 Windows 設定 -裝置 ->>新增藍牙或其他裝置 ->藍牙,並移除任何先前的「動作控制器 – 右」和「動作控制器 – 左」實例。 另請檢查清單底部的其他裝置類別。
  4. 選取 [新增藍牙或其他裝置 ],並查看它開始探索藍牙裝置。
  5. 按住控制器的 [Windows] 按鈕以開啟控制器,一旦按下並放開。
  6. 在電池區間) 按住配對按鈕 (索引卷標,直到LED開始跳動為止。
  1. 等候 「動作控制器 - 左方」或「動作控制器 - 向右」顯示到清單底部。 選取以配對。 控制器會在連線時震動一次。

    影像:選取 [動作控制器] 進行配對;如果有多個實例,請從清單底部選取一個實例

如果多個實例從清單底部顯示一個實例,請選取要配對的動作控制器

  1. 您會看到控制器出現在 [滑鼠、鍵盤、& 手寫筆] 類別 底下的藍牙設定中,顯示為 [ 已連線]。 此時,您可能會收到韌體更新 – 請參閱 下一節
  2. 重新附加電池覆蓋。
  3. 針對第二個控制器重複步驟 1-9。

成功配對這兩個控制器之後,您的設定看起來應該如下,在 [滑鼠、鍵盤、& 手寫筆] 類別

影像:已連線的動作控制器

已連線的動作控制器

如果控制器在配對之後關閉,其狀態會顯示為 [配對]。 對於永久在 [其他裝置] 類別之下的控制器,配對可能只有部分完成。 在此情況下,請再次執行配對步驟,以取得控制器的功能。

更新控制器韌體

  • 如果沉浸式頭戴式裝置已連線到具有新控制器韌體的計算機,則下次開啟時,韌體會自動推送至您的動作控制器。 控制器韌體更新是由迴圈動作中光源 LED 象限的模式表示,需要 1-2 分鐘的時間。
  • 韌體更新完成之後,控制器將會重新啟動並重新連線。 這兩個控制器都應該立即連線。

    影像:藍牙設定中聯機的控制器

線上控制器

  • 確認控制器正常運作:
    1. 啟動 Mixed Reality 入口網站,然後輸入您的 Mixed Reality 首頁。
    2. 移動控制器並驗證追蹤、測試按鈕,以及確認 遠端傳送 可運作。 如果沒有,請查看 動作控制器疑難解答

Gazing and pointing

Windows Mixed Reality 支援兩個主要的互動模型;注視和認可和指向並認可

  • 透過 注視和認可,使用者會以對象的 注視為目標,然後選取具有手部點選、遊戲板、按兩下器或其語音的物件。
  • 透過 點和認可,用戶可以將具有指向功能動作控制器的目標設為目標對象,然後使用控制器的觸發程式選取物件。

支援指向動作控制器的應用程式也應該儘可能啟用注視驅動互動,讓使用者選擇他們所使用的輸入裝置。

在指向時管理重新編製

使用動作控制器指向並認可時,您的使用者將會使用控制器來鎖定並透過提取觸發程式來互動。 提取觸發程式的用戶最終可能會在其觸發程式提取結束時,將控制器的目標設定為高於其預期。

若要管理使用者提取觸發程式時可能發生的任何這類復原,您的應用程式可以在觸發程式的模擬軸值高於0.0時貼齊其目標光線。 然後,只要最後一次按下在短時間範圍內發生最後一次按下,您就可以使用該目標光線,一旦觸發程式值達到 1.0,就可以採取動作。 使用較高層級 的複合點選手勢時,Windows 會為您管理此目標光線擷取和逾時。

底框姿勢與指向姿勢

Windows Mixed Reality 支援不同尺寸的動作控制器,每個控制器的設計在使用者手部位置與應用程式在轉譯控制器時應該用於指向的自然「向前」方向之間的關聯性不同。

為了更妥善地代表這些控制器,您可以調查每個互動來源的兩種姿勢; 底框姿勢指標姿勢

底框姿勢

手部姿勢代表 HoloLens 偵測到手部的手部位置,或手部按住動作控制器的手部位置。

在沈浸式頭戴式裝置上,底框姿勢最適合用來轉譯 使用者 手部或使用者手 上持有的物件,例如刀刀或手。 在可視化動作控制器時,也會使用底板姿勢,因為 Windows 為動作控制器提供的 可轉譯模型 會使用底板姿勢做為其原點和旋轉中心。

底框姿勢特別定義如下:

  • 控點位置:在自然地按住控制器時,將手掌心置中,靠左或向右調整,以置中控夾內的位置。 在 Windows Mixed Reality 動作控制器上,這個位置通常會與 [掌握] 按鈕對齊。
  • 手部方向的右軸:當您完全開啟手部以形成一般五指姿勢時,從左手 (往前的光線,從右手部向後向後)
  • 控點方向的正向軸:當您關閉手部部分 (就像按住控制器) 一樣,透過非指指形成之管的光線會指向「向前」。
  • 底框方向的向上軸:右方和正向定義所隱含的向上軸。

指標姿勢

指標姿勢代表指向正向的控制器提示。

當您轉譯 控制器模型本身時,系統提供的指標姿勢最適合用於 raycast。 如果您要轉譯一些其他虛擬物件來取代控制器,例如虛擬射擊,您應該指向該虛擬物件最自然的光線,例如沿著應用程式定義之射擊模型的筒形移動的光線。 因為使用者可以看到虛擬物件,而不是實體控制器,所以使用您的應用程式的虛擬物件可能更自然。

控制器追蹤狀態

如同頭戴式裝置,Windows Mixed Reality 運動控制器不需要設定外部追蹤感測器。 相反地,控制器會由頭戴式裝置本身的感測器追蹤。

如果使用者將控制器移出頭戴式裝置的檢視範圍,在大部分情況下,Windows 會繼續推斷控制器位置,並將其提供給應用程式。 當控制器遺失視覺追蹤的時間夠長時,控制器的位置會下降到近似精確度的位置。

此時,系統會將控制器主體鎖定給使用者,並在用戶移動時追蹤使用者的位置,同時仍使用其內部方向感測器公開控制器的真實方向。 許多使用控制器來指向並啟用UI元素的應用程式都可以正常運作,而不需要使用者注意到。


明確追蹤狀態的緣故

想要根據追蹤狀態以不同方式處理位置的應用程式可能會進一步檢查控制器狀態的屬性,例如 SourceLossRisk 和 PositionAccuracy:

追蹤狀態 SourceLossRisk PositionAccuracy TryGetPosition
高精確度 < 1.0 true
高精確度 (遺失) 的風險 == 1.0 true
近似精確度 == 1.0 大約 true
無位置 == 1.0 大約 false

這些動作控制器追蹤狀態的定義如下:

  • 高精確度: 雖然動作控制器位於頭戴式裝置的檢視範圍內,但通常會根據視覺追蹤提供高精確度位置。 暫時離開檢視欄位或暫時遮蔽頭戴式感測器的行動控制器 (,例如,使用者的另一手) 會根據控制器本身的慣性追蹤,繼續傳回短時間的高精確度姿勢。
  • 高精確度 (遺失) 的風險: 當使用者將動作控制器移至頭戴式裝置欄位的邊緣時,頭戴式裝置很快就會無法以可視化方式追蹤控制器的位置。 應用程式知道控制器何時到達此FOV界限,方法是看到 SourceLossRisk 達到1.0。 此時,應用程式可以選擇暫停需要高品質穩定數據流的控制器手勢。
  • 近似精確度: 當控制器遺失視覺追蹤的時間夠長時,控制器的位置會下降到近似精確度的位置。 此時,系統會將控制器主體鎖定給使用者,並在用戶移動時追蹤使用者的位置,同時仍使用其內部方向感測器公開控制器的真實方向。 許多使用控制器來指向並啟用UI元素的應用程式都可以正常運作,而不需要使用者注意到的近似精確度。 具有較重輸入需求的應用程式可能會透過檢查PositionAccuracy屬性,選擇從精確度到近似的精確度,例如,在這段期間,讓使用者在螢幕外目標上提供更寬鬆的點擊框。
  • 沒有位置: 雖然控制器可以長時間以近似精確度運作,但有時系統知道即使主體鎖定的位置目前沒有意義。 例如,開啟的控制器可能從未以視覺方式觀察到,或者使用者可能會放下由其他人挑選的控制器。 在這些時候,系統不會提供應用程式的任何位置, 而 TryGetPosition 會傳回 false。

互動:低階空間輸入

跨手部和動作控制器的核心互動包括 SelectMenuTouchpadThumbstickHome

  • 選取 是啟用全像投影的主要互動,其中包含按下后接發行。 針對動作控制器,您可以使用控制器的觸發程式執行 Select press。 執行 Select 的其他方式是說出 語音命令 「選取」。 您可以在任何應用程式內使用相同的選取互動。 將 [選取] 視為滑鼠按兩下的對等專案;您學習一次的通用動作,然後套用到所有應用程式。
  • 功能表 是用於在對象上執行動作的次要互動,用來提取操作功能表或採取一些其他次要動作。 使用動作控制器時,您可以使用控制器的功能表按鈕採取 功能表 動作。 (也就是說,其上具有漢堡「功能表」圖示的按鈕)
  • 了解 使用者如何直接對對對象採取動作,以操作物件。 透過運動控制器,您可以藉由緊密地捏合您的虛線來執行掌握動作。 動作控制器可能會偵測到具有抓取按鈕、手掌觸發程式或其他感測器的擷取。
  • 觸控板 可讓使用者沿著動作控制器的觸控板表面調整兩個維度的動作,按兩下觸控板來認可動作。 觸控板提供已按下的狀態、觸控狀態,以及正規化的 XY 座標。 X 和 Y 範圍從 -1 到 1,橫跨圓形觸控板的範圍,中心位於 (0, 0) 。 若為 X,-1 位於左側,而 1 位於右側。 若為 Y,-1 位於底部,而 1 位於頂端。
  • 遊戲桿 可讓使用者在兩個維度中移動動作控制器的遊戲桿在其圓形範圍內,藉由按兩下遊戲桿來認可動作。 遊戲桿也會提供按下的狀態和正規化的 XY 座標。 X 和 Y 範圍從 -1 到 1,橫跨圓形觸控板的範圍,中心位於 (0, 0) 。 若為 X,-1 位於左側,而 1 位於右側。 若為 Y,-1 位於底部,而 1 位於頂端。
  • 首頁 是一種特殊系統動作,用來返回 [開始] 功能表。 它類似於在鍵盤上按下 Windows 鍵或 Xbox 控制器上的 Xbox 按鈕。 您可以按下動作控制器上的 Windows 按鈕來返回首頁。 請注意,您一律可以返回 [開始],方法是說「Hey Cortana,Go Home」。 應用程式無法特別回應 Home 動作,因為這些動作是由系統處理。

複合手勢:高階空間輸入

手部手勢和動作控制器都可以經過一段時間追蹤,以偵測一組常見的高階複合手勢。 這可讓您的應用程式偵測高階 選、 按住操作瀏覽 手勢,無論用戶最終是使用手部或控制器。

轉譯動作控制器模型

3D 控制器模型 Windows 可為應用程式提供目前在系統中作用中之每個運動控制器的可轉譯模型。 藉由讓應用程式在運行時間動態載入並表達這些系統提供的控制器模型,您可以確定您的應用程式與任何未來的控制器設計都相容。

我們建議將所有可轉譯的模型呈現在控制器的 底板姿勢 上,因為模型的原點與實體世界中的這個點一致。 如果您要轉譯控制器模型,您可以接著從 指標姿勢將光線傳播到場景中,這代表使用者自然預期指向的光線,前提是該控制器的實體設計。

如需如何在 Unity 中動態載入控制器模型的詳細資訊,請參閱 在 Unity 中轉譯動作控制器模型一 節。

2D 控制器線條藝術師 雖然我們建議將應用程式內控制器秘訣和命令附加至應用程式內控制器模型本身,但有些開發人員可能會想要使用一般「教學課程」或「操作說明」UI 中動作控制器的 2D 線條藝術表示法。 針對這些開發人員,我們已在下方 (以滑鼠右鍵按下以儲存) ,讓 .png 動作控制器線條藝術檔案可供使用。

運動控制器線條圖的預覽

'''white'' 中的全解析度運動控制器線條藝術

'''black'' 中的全解析度運動控制器線條藝術

常見問題集

我可以將運動控制器配對到多部計算機嗎?

動作控制器支援與單一計算機配對。 請遵循 動作控制器設定 的指示,將您的控制器配對。

如何? 更新動作控制器韌體嗎?

動作控制器韌體是頭戴式裝置驅動程式的一部分,並視需要自動更新連線。 韌體更新通常需要 1-2 分鐘的時間,視藍牙無線電和鏈接品質而定。 在罕見的情況下,控制器韌體更新最多可能需要 10 分鐘的時間,這表示藍牙連線能力不佳或無線電干擾。 請參閱 「愛好者指南」中的藍牙最佳做法 ,以針對連線問題進行疑難解答。 韌體更新之後,控制器會重新啟動並重新連線到主計算機, (您可能會注意到LED亮起以追蹤) 。 例如,如果韌體更新中斷 (,控制器就會失去電源) ,下次控制器開機時會再次嘗試。

如何檢查電池電量?

Windows Mixed Reality 首頁中,您可以將控制器翻轉,以查看其虛擬模型的反向電池電量。 沒有實體電池電量指示器。

您是否可以使用這些沒有頭戴式裝置的控制器? 只是針對遊戲桿/觸發程式/etc 輸入嗎?

不適用於通用 Windows 應用程式。

疑難排解

請參閱愛好者指南中的 動作控制器疑難解答

提出動作控制器意見反應/Bug

使用 [Mixed Reality -> 輸入] 類別,在意見反應中樞提供意見反應。

另請參閱