眼球支援的目標選取 - MRTK2

MRTK

此頁面討論存取眼球注視資料和眼球注視特定事件的不同選項,以在 MRTK 中選取目標。 眼球追蹤可讓您使用使用者查看的其他輸入,例如 手部追蹤語音命令等資訊組合,快速且輕鬆選取目標:

  • 看 & 一下 [選取] (預設語音命令)
  • ) 的自訂語音命令 (看起來 &「分解」「快顯」
  • [查看 & 藍牙] 按鈕
  • 看起來 & 捏合 (,也就是將手放在您前面,並將您的拇指和食指放在一起)

若要使用眼部注視選取全像攝影內容,有數個選項:

1.使用主要焦點指標:

這可視為您排定優先順序的資料指標。 根據預設,如果手部處於檢視狀態,則這會是手部光線。 如果沒有手部處於檢視中,則優先順序的指標會是頭部或眼睛注視。 因此請注意,如果使用手部光線,則根據目前的設計頭部或眼球注視,會隱藏為游標輸入。

例如:

使用者想要選取遠距全像攝影按鈕。 身為開發人員,您想要提供彈性的解決方案,讓使用者能夠在各種情況下達成此工作:

  • 向上移至按鈕並加以點選
  • 從距離查看它,然後說「選取」
  • 以手部光線和執行捏合的按鈕為目標 在此案例中,最有彈性的解決方案是使用主要焦點處理常式,因為它會在目前排定優先順序的主要焦點指標觸發事件時通知您。 請注意,如果已啟用手部光線,當手部進入檢視時,就會停用頭部或眼睛注視焦點指標。

重要

請注意,如果已啟用手部光線,當手部進入檢視時,就會停用頭部或眼睛注視焦點指標。 如果您想要支援 「外觀和捏合」 互動,您必須停用手部光線。 在我們的眼球追蹤範例場景中,我們已停用手部光線,以允許使用眼睛 + 手部動作來展示更豐富的互動,請參閱例如 眼球支援的定位

2.同時使用眼睛焦點和手部光線:

在某些情況下,您可能想要更具體地指定哪一種類型的焦點指標可以觸發特定事件,並允許同時使用多個遠距互動技術。

例如:在您的應用程式中,使用者可以使用遠手光線來操作某些全像攝影機械設定,例如抓取並按住一些遠的全像攝影引擎元件,並就地保存它們。 這麼做時,使用者必須完成一些指示,並記下其進度,方法是標示一些核取方塊。 如果使用者的手 不忙碌,則只要觸碰核取方塊,或使用手部光線加以選取會是直覺的。 不過,如果使用者的手部忙碌中,如同在我們的案例中保留一些全像攝影引擎元件,您想要讓使用者使用眼睛注視順暢地捲動指示,並直接查看核取方塊並說「核取它!」。

若要啟用此功能,您必須使用與核心 MRTK FocusHandlers 無關的眼球特定 EyeTrackingTarget 腳本,並將在下面進一步討論。

1.使用泛型焦點和指標處理常式

如果正確設定眼球追蹤 (請參閱 基本 MRTK 設定以使用眼球追蹤) ,讓使用者能夠使用眼睛選取全像投影,與任何其他焦點輸入 (相同,例如頭部注視或手部光線) 。這提供彈性方式的優點,可讓您根據使用者的需求在 MRTK 輸入指標設定檔中定義主要焦點類型,同時讓程式碼保持不變,以彈性的方式與您的全像投影互動。 這可讓您在頭部或眼睛注視之間切換,而不需變更一行程式碼,或將手部光線取代為眼部目標,以進行遠距互動。

專注于全像投影

若要偵測全像投影何時聚焦,請使用提供您兩個介面成員的 'IMixedRealityFocusHandler' 介面: OnFocusEnterOnFocusExit

以下是 ColorTap.cs 在查看時變更全像投影色彩的簡單範例。

public class ColorTap : MonoBehaviour, IMixedRealityFocusHandler
{
    void IMixedRealityFocusHandler.OnFocusEnter(FocusEventData eventData)
    {
        material.color = color_OnHover;
    }

    void IMixedRealityFocusHandler.OnFocusExit(FocusEventData eventData)
    {
        material.color = color_IdleState;
    }
    ...
}

選取焦點全像投影

若要選取焦點全像投影,請使用 PointerHandler 接聽輸入事件來確認選取專案。 例如,新增 IMixedRealityPointerHandler 會讓它們回應簡單的指標輸入。 IMixedRealityPointerHandler介面需要實作下列三個介面成員:OnPointerUpOnPointerDownOnPointerClicked

在下列範例中,我們會查看全像投影並捏合或說「選取」來變更全像投影的色彩。 觸發事件的必要動作是由定義, eventData.MixedRealityInputAction == selectAction 我們可以在 Unity 編輯器中設定 的型 selectAction 別,預設為 「選取」動作。 您可以透過MRTK 組態設定檔- >Input -Input - >Input Actions,在 MRTK 設定檔中設定可用的MixedRealityInputActions類型。

public class ColorTap : MonoBehaviour, IMixedRealityFocusHandler, IMixedRealityPointerHandler
{
    // Allow for editing the type of select action in the Unity Editor.
    [SerializeField]
    private MixedRealityInputAction selectAction = MixedRealityInputAction.None;
    ...

    void IMixedRealityPointerHandler.OnPointerUp(MixedRealityPointerEventData eventData)
    {
        if (eventData.MixedRealityInputAction == selectAction)
        {
            material.color = color_OnHover;
        }
    }

    void IMixedRealityPointerHandler.OnPointerDown(MixedRealityPointerEventData eventData)
    {
        if (eventData.MixedRealityInputAction == selectAction)
        {
            material.color = color_OnSelect;
        }
    }

    void IMixedRealityPointerHandler.OnPointerClicked(MixedRealityPointerEventData eventData) { }
}

眼球注視特定 BaseEyeFocusHandler

假設眼睛注視與其他指標輸入可能非常不同,您可能想要確保只有在 焦點注視 時才會回應焦點輸入,而且它目前是主要輸入指標。 針對此目的,您會使用 BaseEyeFocusHandler 眼球追蹤特有的 ,以及衍生自 的 BaseFocusHandler 。 如前所述,只有在眼球注視目標目前是主要指標輸入 (時,才會觸發,也就是沒有作用中的手部光線) 。 如需詳細資訊,請參閱 如何支援眼球注視 + 手部手勢

以下是 (EyeTrackingDemo-03-Navigation Assets/MRTK/Examples/Demos/EyeTracking/Scenes) 的範例。 在此示範中,有兩個 3D 全像投影會根據物件的哪個部分來開啟:如果使用者查看全像投影的左側,該部分會緩慢地移至使用者正面。 如果查看右側,該部分會緩慢地移至前方。 這是一種行為,您可能不想要隨時使用中,也可能不想要意外由手部光線或頭部注視觸發。 附加之後 OnLookAtRotateByEyeGaze ,GameObject 會在查看時旋轉。

public class OnLookAtRotateByEyeGaze : BaseEyeFocusHandler
{
    ...

    protected override void OnEyeFocusStay()
    {
        // Update target rotation
        RotateHitTarget();
    }

    ...

    ///
    /// This function computes the rotation of the target to move the currently
    /// looked at aspect slowly to the front.
    ///
    private void RotateHitTarget()
    {
        // Example for querying the hit position of the eye gaze ray using EyeGazeProvider
        Vector3 TargetToHit = (this.gameObject.transform.position - InputSystem.EyeGazeProvider.HitPosition).normalized;

        ...
    }
}

請參閱 API 檔,以取得 可用事件 BaseEyeFocusHandler 的完整清單:

  • OnEyeFocusStart: 一旦眼睛注視光線 開始 與這個目標的碰撞器交集,就會觸發。
  • OnEyeFocusStay: 當眼睛注視光線與這個目標的碰撞器交集 觸發。
  • OnEyeFocusStop: 一旦眼睛注視光線 停止 與這個目標的碰撞器交集,就會觸發。
  • OnEyeFocusDwell: 一旦眼睛注視光線與這個目標的碰撞器交集一段時間,就會觸發。

2. 獨立眼部注視特定 EyeTrackingTarget

最後,我們會為您提供解決方案,讓您透過腳本完全獨立于其他焦點指標 EyeTrackingTarget 的眼球型輸入。

這有三 個優點

  • 您可以確定全像投影只會回應使用者的眼睛注視。
  • 這與目前作用中的主要輸入無關。 因此,您可以一次處理多個輸入,例如,結合快速眼球目標與手勢。
  • 已設定數個 Unity 事件,以便快速且方便處理和重複使用 Unity 編輯器中的現有行為,或透過程式碼。

也有一些 缺點:

  • 更努力個別處理個別的輸入。
  • 沒有簡潔的降低:它只支援眼球目標。 如果眼球追蹤無法運作,您需要一些額外的後援。

BaseFocusHandler類似, EyeTrackingTarget 已準備好數個眼部注視特定的 Unity 事件,您可以透過 Unity 編輯器輕鬆接聽 (請參閱下列範例) 或使用程式碼中的 AddListener ()

  • OnLookAtStart ()
  • WhileLookingAtTarget ()
  • OnLookAway ()
  • OnDwell ()
  • OnSelected ()

在下列範例中,我們會逐步引導您使用 EyeTrackingTarget的一些範例。

範例 #1:眼部支援的智慧通知

EyeTrackingDemo-02-TargetSelection (Assets/MRTK/Examples/Demos/EyeTracking/Scenes) 中,您可以找到回應眼睛注視的 「智慧型通知」 範例。 這些是可在場景中放置的 3D 文字方塊,且會在查看時順暢地放大並轉向使用者,以簡化可讀性。 當使用者正在讀取通知時,資訊會保持清楚且清楚顯示。 讀取通知並離開通知之後,通知會自動關閉並淡出。為了達成這一點,有一些不專屬於眼球追蹤的一般行為腳本,例如:

這種方法的優點是各種事件可以重複使用相同的腳本。 例如,全像投影可能會根據語音命令或按下虛擬按鈕之後,開始面向使用者。 若要觸發這些事件,您可以直接參考應該在附加至 GameObject 的 EyeTrackingTarget 腳本中執行的方法。

如需 「智慧型通知」的範例,會發生下列情況:

  • OnLookAtStart () :通知開始...

    • FaceUser.Engage: ...轉向使用者。
    • ChangeSize.Engage: ...大小 增加 (到指定的最大小 數位數) 。
    • BlendOut.Engage: ...在 處於較細微的閒置狀態之後,會開始在更細微的閒置狀態) 中混用更多 (
  • OnDwell () :通知 BlendOut 腳本已充分查看通知。

  • OnLookAway () :通知開始...

    • FaceUser.Disengage: ...切換回其原始方向。
    • ChangeSize.Disengage: ...會減少回其原始大小。
    • BlendOut.Disengage: ...開始混合 - 如果觸發 OnDwell () ,請完全混合並終結,否則回到其閒置狀態。

設計考慮: 這裡的可享受體驗的關鍵在於仔細調整這些行為的速度,以避免因應使用者眼球注視太快而造成不適。 否則,這很快就會覺得非常龐大。

目標通知

範例 #2:全像攝影 Gem 在查看時會緩慢旋轉

與範例 #1 類似,我們可以輕鬆地在 (Assets/MRTK/Examples/Demos/EyeTracking/Scenes 中建立全像攝影 Gem EyeTrackingDemo-02-TargetSelection 的暫留意見反應,) 場景) 以常數方向緩慢旋轉的場景,並以固定速度 (,相對於在查看上方) 的旋轉範例。 您只需要從 EyeTrackingTargetWhileLookingAtTarget () 事件觸發全像攝影 Gem 的旋轉。 以下是更多詳細資料:

  1. 建立包含公用函式的泛型腳本,以旋轉它所附加的 GameObject。 以下是 RotateWithConstSpeedDir.cs 的範例,我們可以從 Unity 編輯器調整旋轉方向和速度。

    using UnityEngine;
    
    namespace Microsoft.MixedReality.Toolkit.Examples.Demos.EyeTracking
    {
        /// <summary>
        /// The associated GameObject will rotate when RotateTarget() is called based on a given direction and speed.
        /// </summary>
        public class RotateWithConstSpeedDir : MonoBehaviour
        {
            [Tooltip("Euler angles by which the object should be rotated by.")]
            [SerializeField]
            private Vector3 RotateByEulerAngles = Vector3.zero;
    
            [Tooltip("Rotation speed factor.")]
            [SerializeField]
            private float speed = 1f;
    
            /// <summary>
            /// Rotate game object based on specified rotation speed and Euler angles.
            /// </summary>
            public void RotateTarget()
            {
                transform.eulerAngles = transform.eulerAngles + RotateByEulerAngles * speed;
            }
        }
    }
    
  2. EyeTrackingTarget 腳本新增至您的目標 GameObject,並參考 UnityEvent 觸發程式中 的 RotateTarget () 函式,如下所示:

    EyeTrackingTarget 範例

範例 #3:快顯這些 Gem,也稱為 多重模式眼球-注視支援的目標選取專案

在上一個範例中,我們已示範偵測目標是否查看,以及如何觸發對該動作的回應有多簡單。 接下來,讓我們使用 的 EyeTrackingTargetOnSelected () 事件,讓 gems 分解。 有趣的部分是 如何 觸發選取專案。 EyeTrackingTarget可讓您快速指派不同的方法來叫用選取專案:

  • 捏合手勢:將 [選取動作] 設定為 [選取] 會使用預設手勢來觸發選取範圍。 這表示使用者只要一起舉手,並捏合其指紋和索引指,即可確認選取專案。

  • 「選取」:使用預設語音命令 「選取」 來選取全像投影。

  • 出「分解」「Pop」:若要使用自訂語音命令,您必須遵循兩個步驟:

    1. 設定自訂動作,例如 「DestroyTarget」

      • 流覽至 MRTK - > 輸入 - > 輸入動作
      • 按一下 [新增動作]
    2. 設定觸發此動作的語音命令,例如 「分解」「Pop」

      • 流覽至 MRTK - > 輸入 - > 語音
      • 按一下 [新增語音命令]
        • 建立您剛才建立的動作關聯
        • 指派 KeyCode 以允許透過按鈕按下來觸發動作

Voice 命令 EyeTrackingTarget 範例

選取 Gem 時,它會分解,使音效消失。 腳本會處理這一點 HitBehaviorDestroyOnSelect 。 您有兩個選擇:

  • 在 Unity 編輯器中: 您可以直接將附加至每個 Gem 範本的腳本連結到 Unity 編輯器中的 OnSelected () Unity 事件。
  • 在程式碼中: 如果您不想拖放 GameObjects,您也可以直接將事件接聽程式新增至腳本。
    以下是我們在腳本中 HitBehaviorDestroyOnSelect 執行此動作的範例:
/// <summary>
/// Destroys the game object when selected and optionally plays a sound or animation when destroyed.
/// </summary>
[RequireComponent(typeof(EyeTrackingTarget))] // This helps to ensure that the EyeTrackingTarget is attached
public class HitBehaviorDestroyOnSelect : MonoBehaviour
{
    ...
    private EyeTrackingTarget myEyeTrackingTarget = null;

    private void Start()
    {
        myEyeTrackingTarget = this.GetComponent<EyeTrackingTarget>();

        if (myEyeTrackingTarget != null)
        {
            myEyeTrackingTarget.OnSelected.AddListener(TargetSelected);
        }
    }

    ...

    ///
    /// This is called once the EyeTrackingTarget detected a selection.
    ///
    public void TargetSelected()
    {
        // Play some animation
        // Play some audio effect
        // Handle destroying the target appropriately
    }
}

範例 #4:同時使用手部光線和眼睛注視輸入

手部光線優先于頭部和眼睛注視目標。 這表示,如果已啟用手部光線,手部進入檢視時,手部光線會做為主要指標。 不過,在某些情況下,您可能想要使用手部光線,同時仍偵測使用者是否要查看特定的全像投影。 很容易! 基本上,您需要兩個步驟:

1.啟用手部光線:若要啟用手部光線,請移至Mixed Reality [工具組 - 輸入 - >> 指標]。 在針對所有眼球追蹤示範場景設定一次 Mixed Reality Toolkit 的EyeTrackingDemo-00-RootScene中,您應該會看到EyeTrackingDemoPointerProfile。 您可以從頭開始建立新的 輸入設定檔 ,或調整目前的眼球追蹤:

  • 從頭: 在 [ 指標] 索引標籤 中,從操作功能表選取 DefaultMixedRealityInputPointerProfile 。 這是已啟用手部光線的預設指標設定檔! 若要變更預設資料指標 (不透明點) ,只要複製設定檔並建立您自己的自訂指標設定檔即可。 然後將DefaultCursor取代為Gaze Cursor Prefab下的EyeGazeCursor
  • 根據現有的 EyeTrackingDemoPointerProfile 按兩下 EyeTrackingDemoPointerProfile ,然後在 [ 指標選項] 底下新增下列專案:
    • 控制器類型:「表達手部」、「Windows Mixed Reality」
    • 手部: 任何
    • 指標預製專案: DefaultControllerPointer

2.偵測到全像投影已查看: 使用 EyeTrackingTarget 腳本來啟用偵測全像投影的查看方式,如上所述。 您也可以查看 FollowEyeGaze 範例腳本以取得靈感,因為這會在眼睛注視之後顯示全像投影 (,例如,游標) 是否啟用手部光線。

現在,當您開始眼球追蹤示範場景時,應該會看到來自手部的光線。 例如,在眼球追蹤目標選取示範中,半透明圓形仍會遵循您的眼睛注視,而 Gem 會回應它們是否正在查看,而頂端場景功能表按鈕會改用主要輸入指標 (您的手) 。


回到 「MixedRealityToolkit 中的眼球追蹤」