以眼睛注視為基礎的互動HoloLens 2

MRTK 中的眼球追蹤示範

HoloLens 2的其中一項令人興奮的新功能是眼球追蹤。 在HoloLens 2頁面上的眼球追蹤中,我們提到每個使用者都必須經過校正、提供一些開發人員指引,並醒目提示眼球追蹤的使用案例。 眼球注視輸入仍然是新的使用者輸入類型,而且有許多學習內容。

雖然全像攝影殼層體驗中只會使用眼球注視輸入 (當您啟動HoloLens 2) 時看到的使用者介面,但數個應用程式,例如「HoloLens 遊樂場」,展示眼球注視輸入如何新增至全像攝影體驗的魔術的絕佳範例。 在此頁面上,我們將討論整合眼球注視輸入以與您的全像攝影應用程式互動的設計考慮。

您將瞭解重要優點,以及眼球注視輸入所帶來的獨特挑戰。 根據這些建議,我們提供數個設計建議,協助您建立滿足眼球注視支援的使用者介面。

裝置支援

功能 HoloLens (第 1 代) HoloLens 2 沉浸式頭戴裝置
眼球注視 ✔️

頭部和眼球追蹤設計概念示範

如果您想要查看作用中的頭部和眼球追蹤設計概念,請參閱下面的 設計全像投影 - 頭部追蹤和眼球追蹤 影片示範。 當您完成時,請繼續進行,以深入瞭解特定主題。

這段影片取自「設計全像投影」HoloLens 2應用程式。 在這裡下載並享受完整的體驗。

眼球注視輸入設計指導方針

建置利用快速移動眼球目標的互動可能會是一項挑戰。 在本節中,我們會摘要說明在設計應用程式時要考慮的主要優點和挑戰。

眼球注視輸入的優點

  • 高速指向。 眼球骨是人類身體中最快速的回應力。

  • 低心力。 幾乎不需要任何人為動作。

  • 隱含性。 使用者通常會將使用者描述為「心意閱讀」,使用者眼球移動的相關資訊可讓系統知道哪些目標使用者打算參與。

  • 替代輸入管道。 眼球注視可以根據使用者手部協調,為手部和語音輸入提供強大的支援輸入。

  • 視覺注意力。 另一個重要優點是推斷使用者正在注意什麼。 這可協助各種應用領域,範圍從更有效率地評估不同的設計,到協助更聰明的使用者介面和增強的遠端通訊社交提示。

簡單地說,使用眼球注視作為輸入可提供快速且輕鬆的內容輸入訊號。 這在與其他輸入結合時很強大,例如 語音手動 輸入,以確認使用者的意圖。

眼球注視作為輸入的挑戰

雖然眼球注視可用來建立滿足使用者體驗,這可讓您覺得是超級人,但也請務必知道不適合用來適當考慮這一點。 下列清單討論一些 考慮的挑戰 ,以及如何在處理眼球注視輸入時加以解決:

  • 您的眼睛注視是「永遠開啟」 當您開啟眼睛蓋子時,眼睛就會開始修正環境中的事物。 因應您所做的每一個外觀,並意外發出動作,因為您看過太久,所以會產生不滿意的體驗。 我們建議將眼球注視與 語音命令手勢按鈕按一下 或延伸停留結合,以觸發目標 (的選取,以取得詳細資訊,請參閱 眼球注視和認可) 。 此解決方案也允許一種模式,讓使用者可以自由地查看,而不會因為不小心觸發某些專案而造成負荷。 在查看目標時,設計視覺和稽核意見反應時,也應該考慮此問題。 請嘗試不要讓使用者因為立即快顯效果或暫留音效而造成負荷。 細微是索引鍵。 在討論 設計建議時,我們會進一步討論以下的一些最佳做法。

  • 觀察與控制項 假設您想要精確地將相片直接放在牆上。 您檢視了相框及其周圍環境,看看是否妥善對齊。 現在想像一下,當您想要使用眼睛注視做為移動圖片的輸入時,該怎麼做。 很難對吧? 這描述輸入和控制需要眼睛注視的雙重角色。

  • 按一下前保留: 為了快速選取目標,研究顯示使用者眼球注視可以在結束手動點選 (之前繼續進行,例如,空中點選) 。 請特別注意同步處理快速眼球注視訊與較慢的控制輸入 (,例如語音、手部、控制器) 。

  • 小型目標: 當您嘗試閱讀稍微太小而無法輕鬆閱讀的文字時,您知道感覺嗎? 這對您的眼睛感到壓力,可能會導致您感到情緒和失聲,因為您嘗試重新調整眼睛以更妥善地專注。 這是您在強制使用者使用眼球目標來選取應用程式太小的目標時,您可能會在使用者中叫用。 您的設計若要為使用者營造出愉快而舒適的體驗,我們建議目標的視角至少應為 2°,最好是更大。

  • 不完全的眼球注視移動 我們的眼睛會執行從固定到固定的快速移動。 如果您記錄眼球移動的掃描路徑,並加以檢視,您會發現它們呈現為不規則的路徑。 相較于 頭部注視手部動作,您的眼睛會快速移動並跳躍。

  • 追蹤可靠性: 眼球追蹤精確度可能會隨著您的眼睛調整為新的條件而降低一些光線。 雖然這不一定會影響您的應用程式設計,因為精確度應該在 2° 限制內,但使用者可能需要再次校正。

設計建議

以下是根據眼球注視輸入所描述優點和挑戰的特定設計建議清單:

  1. 眼睛注視與頭部注視不同:

    • 請考慮快速但不完全的眼球移動是否符合您的輸入工作: 雖然快速且不完全的眼球移動很適合在檢視領域中快速選取目標,但較不適用於需要順暢輸入路徑的工作 (,例如繪製或包圍批註) 。 在此情況下,手部或頭部指向應該較為合用。

    • 例如,避免將某個專案直接附加至使用者的眼睛注視 (,例如滑杆或游標) 。 使用資料指標時,這可能會導致「作用中游標」效果,因為投影的眼睛注視訊號稍微位移。 使用滑杆時,它可能會與您的眼睛控制滑杆的雙角色衝突,同時也想要檢查物件是否位於正確的位置。 針對滑杆的範例,使用眼球注視與手部手勢更合理。 這表示使用者可以快速且輕鬆地在許多滑杆之間切換,向上,並捏合其指紋和索引指以抓取並移動。 當捏合放開時,滑杆會停止移動。 使用者可能會過度負荷和干擾,特別是如果使用者的訊號不精確時。

  2. 結合眼球注視與其他輸入: 眼球追蹤與其他輸入整合,例如手勢、語音命令或按鈕按下,提供數個優點:

    • 允許免費觀察: 假設眼睛的主要角色是觀察環境,請務必讓使用者在不觸發任何 (視覺、稽核等) 意見反應或動作的情況下查看。 結合眼球追蹤與另一個輸入控制項,可在眼球追蹤觀察和輸入控制模式之間順暢地轉換。

    • 功能強大的內容提供者: 在說出語音命令或使用手勢時,使用使用者所查看的位置和內容的相關資訊,可讓您順暢地跨檢視欄位來通道輸入。 例如:假設 「放在該處」 ,藉由查看目標及其預定目的地,快速且流暢地選取並放置整個場景的全像投影。

    • 同步處理多模式輸入的需求: 結合快速眼球移動與更複雜的輸入,例如長語音命令或手勢,會承受使用者已在額外輸入命令完成並辨識之前繼續查看的風險。 例如,如果您建立自己的輸入控制項 (,則自訂手勢) ,請務必記錄此輸入或大約持續時間,使其與使用者過去查看的內容相互關聯。

  3. 眼球追蹤輸入的細微意見反應: 在查看目標時提供意見反應很有用,以指出系統如預期般運作,但應該保持細微。 這可以包括緩慢混合和放大、視覺醒目提示,或執行其他細微目標行為,例如緩慢動作,例如稍微增加目標大小。 這表示系統已正確偵測到使用者正在查看目標,而不會不必要地中斷使用者的目前工作流程。

  4. 避免以輸入方式強制執行非自然眼球移動: 請勿強制使用者使用特定眼球移動 (注視手勢,) 來觸發應用程式中的動作。

  5. 考慮不精確: 我們區分兩種類型的不精確,這對使用者很明顯:位移和抖動。 解決位移的最簡單方式是提供足夠大型的目標,以便與其互動。 建議您使用大於 2° 的視覺角度作為參考。 例如,當您伸展您的手部時,縮圖大約是視覺角度的 2° 。 據此我們提供下列指導方針:

    • 請勿強制使用者選取小型目標。 研究顯示,如果目標夠大,而且系統設計良好,使用者就會將其互動描述為輕鬆且令人驚奇。 如果目標太小,則使用者會反映體驗令人疲累又洩氣。

此頁面提供您良好的概觀,讓您開始瞭解眼球注視作為混合實境中的輸入。 若要開始開發,請查看我們在 Unity 中的眼球注視DirectX 中的眼球注視資訊。

另請參閱