응시 및 커밋

입력 모델 HoloLens(1세대) HoloLens 2 몰입형 헤드셋
헤드 게이즈(head-gaze) 및 커밋 ✔️ 권장 ✔️ 권장(세 번째 선택 - 다른 옵션 보기) ➕ 대체 옵션
시선 응시 및 커밋 ❌ 사용할 수 없음 ✔️ 권장(세 번째 선택 - 다른 옵션 보기) ❌ 사용할 수 없음

머리 및 눈 추적 디자인 개념 데모

실제 머리 및 눈 추적 디자인 개념을 보려면 아래의 홀로그램 디자인 - 머리 추적 및 눈 추적 동영상 데모를 확인합니다. 완료되면 계속해서 특정 주제에 대해 자세히 알아봅니다.

이 비디오는 "홀로그램 디자인" HoloLens 2 앱에서 가져온 것입니다. 여기에서 전체 환경을 다운로드하여 즐겨보세요.

응시

눈 또는 헤드-응시?

"눈에 응시 하 고 커밋" 또는 "헤드-응시 및 커밋" 입력 모델을 사용 해야 하는지 여부와 관련 하 여 몇 가지 사항을 고려해 야 합니다. 몰입 형 헤드셋 또는 HoloLens (첫 번째 gen) 용으로 개발 하는 경우에는 Head-응시 및 커밋의 선택이 간단 합니다. HoloLens 2를 개발 하는 경우에는 선택이 약간 더 어려워집니다. 각각에서 제공 하는 장점과 문제를 이해 하는 것이 중요 합니다. 아래 표에서 광범위 한 pro 및 con을 컴파일하여 헤드와 눈동자 대상 지정을 대조 합니다. 이것은 완료 된 것이 아니므로 여기에서 혼합 현실에서 눈에 잘 못 한 대상 지정에 대해 자세히 알아보는 것이 좋습니다.

눈동자-응시 대상 지정 헤드 게이즈(head-gaze) 타기팅
빠르지! 느리다는
낮은 노력 (거의 모든 본문 이동 필요) Fatiguing 가능 discomfort 수 있습니다 (예: 목 전).
커서가 필요 하지 않지만 미묘한 피드백을 권장 합니다. 커서를 표시 해야 함
부드러운 눈 이동 없음 – 예를 들어 그리기에 적합 하지 않습니다. 추가 제어 및 명시적
작은 대상 (예: 작은 단추 또는 weblinks)에 대해 어려움 높고! 뛰어난 대체
... ...

사용자의 응시 및 커밋 입력 모델에 head-응시 또는 눈동자를 사용 하는 경우 각각에 서로 다른 디자인 제약 조건 집합이 제공 됩니다. 이러한 내용은 눈에 잘 덮여, 커밋 및 헤드-응시 및 커밋 문서에서 별도로 다룹니다.



커서

헤드 응시의 경우 대부분의 앱은 커서가 나 기타 청각/시각적 표시를 사용 하 여 사용자가 상호 작용 하려는 항목을 사용자에 게 확실 하 게 제공 해야 합니다. 일반적으로 헤드 응시 광선이 먼저 개체와 교차 하는 위치에이 커서를 배치 합니다 .이는 홀로그램 또는 실제 표면이 될 수 있습니다.

아이 응시의 경우 일반적으로 사용자에 게 혼란을 줄 수 있으므로 커서를 표시 하지 않는 것이 좋습니다. 대신 시각적 대상을 미세 하 게 강조 표시 하거나 희미 한 눈 커서를 사용 하 여 사용자가 상호 작용 하는 대상에 대 한 확신을 제공 합니다. 자세한 내용은 HoloLens 2의 눈동자 기반 입력에 대 한 디자인 지침 을 확인 하세요.

An example visual cursor to show gaze
이미지: 응시를 표시 하는 예제 시각적 커서



Commit

대상 에 참여 하는 다양 한 방법에 대해 이야기 한 후에는 응시 및 commit커밋 부분에 대해 좀 더 자세히 살펴보겠습니다. 개체 또는 UI 요소를 대상으로 지정한 후에는 사용자가 보조 입력을 사용 하 여 상호 작용 하거나 클릭할 수 있습니다. 이를 입력 모델의 커밋 단계라고 합니다.

지원되는 커밋 메서드는 다음과 같습니다.

  • 공기 탭 제스처 (즉, 앞으로 손을 올리고 인덱스 손가락 및 엄지 단추를 통합)
  • "Select" 또는 대상 음성 명령 중 하나를 말합니다.
  • HoloLens Clicker 에서 단일 단추를 누릅니다.
  • Xbox 게임 패드에서 ' A ' 단추를 누릅니다.
  • Xbox 적응 컨트롤러에서 ' A ' 단추를 누릅니다.

응시 및 air 탭 제스처

에어 탭은 손을 똑바로 세워서 탭하는 동작입니다. 공중 탭을 사용 하려면 인덱스 손가락을 준비 위치로 올리고 손가락을 놓고 손가락으로 손가락으로 이동 하 여 인덱스 손가락을 다시 릴리스로 올립니다. HoloLens (첫 번째 gen)에서 air 탭은 가장 일반적인 보조 입력입니다.

Finger in the ready position
준비 위치의 핑거

Press finger down to tap or click
손가락 아래로를 눌러 탭 하거나 클릭 합니다.

공기 탭은 HoloLens 2 에서도 사용할 수 있습니다. 원래 버전에서 완화 되었습니다. 이제는 손을 수직이 고 그대로 유지 되는 동안 거의 모든 유형의 pinches이 지원 됩니다. 이렇게 하면 사용자가 제스처를 훨씬 쉽게 배우고 사용할 수 있습니다. 이 새로운 air 탭은 동일한 API를 통해 이전 항목을 대체 하므로 HoloLens 2에 대해 다시 컴파일한 후 기존 응용 프로그램에서 자동으로 새 동작이 발생 합니다.



응시 및 "선택" 음성 명령

음성 명령은 혼합 현실에서 기본 상호 작용 방법 중 하나입니다. 시스템을 제어 하는 강력한 수동 메커니즘을 제공 합니다. 음성 상호 작용 모델에는 다음과 같은 다양 한 유형이 있습니다.

  • 클릭 actuation 또는 커밋을 보조 입력으로 사용 하는 일반 "Select" 명령입니다.
  • 개체 명령 (예: "Close" 또는 "크게 설정")은 작업을 수행 하 고 보조 입력으로 작업을 커밋합니다.
  • 전역 명령 (예: "시작으로 이동")은 대상이 필요 하지 않습니다.
  • Cortana와 같은 대화 사용자 인터페이스 또는 엔터티는 AI 자연어 기능을 포함 합니다.
  • 사용자 지정 음성 명령

세부 정보 및 사용 가능한 음성 명령의 포괄적인 목록과 사용 방법에 대 한 자세한 내용은 음성 명령 지침을 확인 하세요.



Clicker 및 HoloLens 응시

HoloLens Clicker는 HoloLens 용으로 특별히 구축 된 첫 번째 주변 장치입니다. HoloLens (첫 번째 gen) 개발 버전에 포함 되어 있습니다. HoloLens Clicker를 사용 하면 사용자가 최소한의 손 동작을 클릭 하 고 보조 입력으로 커밋할 수 있습니다. HoloLens Clicker는 BTLE (Bluetooth 낮은 에너지)를 사용 하 여 HoloLens (첫 번째 gen) 또는 HoloLens 2에 연결 합니다.

장치를 페어링 하는 방법에 대 한 자세한 내용 및 지침

이미지: HoloLens Clicker

HoloLens Clicker



응시 및 Xbox 무선 컨트롤러

Xbox 무선 컨트롤러는 ' A ' 단추를 사용 하 여 클릭 actuation를 보조 입력으로 수행 합니다. 장치는 시스템을 탐색 하 고 제어 하는 데 도움이 되는 기본 작업 집합에 매핑됩니다. 컨트롤러를 사용자 지정 하려면 Xbox 액세서리 응용 프로그램을 사용 하 여 Xbox 무선 컨트롤러를 구성 합니다.

Xbox 컨트롤러와 PC를 페어링 하는 방법

이미지: Xbox 무선 컨트롤러

Xbox Wireless Controller



응시 및 Xbox 적응 컨트롤러

주로 모바일 기능이 제한 된 게이머의 요구 사항을 충족 하기 위해 설계 된 Xbox 적응 컨트롤러는 혼합 현실에 더 쉽게 액세스할 수 있도록 지 원하는 장치에 대 한 통합 허브입니다.

Xbox 적응 컨트롤러는 ' A ' 단추를 사용 하 여 클릭 actuation를 보조 입력으로 수행 합니다. 디바이스는 시스템을 탐색하고 제어하는 데 도움이 되는 기본 작업 집합에 매핑됩니다. 컨트롤러를 사용자 지정하려면 Xbox 액세서리 애플리케이션을 사용하여 Xbox 적응형 컨트롤러를 구성합니다.

Xbox Adaptive Controller
Xbox 적응형 컨트롤러

스위치, 단추, 탑재 및 스틱과 같은 외부 디바이스를 커넥트 고유한 사용자 지정 컨트롤러 환경을 만듭니다. 단추, 엄지스틱 및 트리거 입력은 3.5mm jack 및 USB 포트를 통해 연결된 보조 디바이스로 제어됩니다.

Xbox Adaptive Controller ports
Xbox 적응형 컨트롤러 포트

디바이스 페어링 지침

Xbox 사이트의 더 많은 정보



복합 제스처

에어 탭

에어 탭 제스처(및 아래의 다른 제스처)는 특정 탭에만 반응합니다. 메뉴 또는 이해와 같은 다른 탭을 검색하려면 애플리케이션에서 위의 두 가지 주요 구성 요소 제스처 섹션에 설명된 하위 수준 상호 작용을 직접 사용해야 합니다.

길게 누르기

홀드(hold)는 에어 탭의 아래쪽 손가락 위치를 유지하는 것입니다. 에어 탭과 홀드 조합은 활성화하는 대신 개체를 선택하거나 마우스다운 보조 상호 작용(예: 상황에 맞는 메뉴 표시)을 선택하는 것과 같이 arm 이동과 결합될 때 보다 복잡한 다양한 "클릭 및 끌기" 상호 작용을 허용합니다. 그러나 사용자가 확장된 제스처 중에 손 자세를 완화할 수 있기 때문에 이 제스처를 디자인할 때는 주의해야 합니다.

조작

조작 제스처는 홀로그램이 사용자의 손 이동에 1:1로 반응하도록 하려는 경우 홀로그램을 이동, 크기 조정 또는 회전하는 데 사용할 수 있습니다. 이러한 1:1 움직임을 사용하는 한 가지 방식은 실제로 선을 긋거나 그릴 수 있도록 하는 것입니다. 조작 제스처에 대한 초기 타기팅은 응시 또는 포인팅을 통해 수행해야 합니다. 탭 및 홀드(hold)가 시작되면 모든 개체 조작이 손 이동으로 처리되어 사용자가 조작하는 동안 주변을 둘러볼 수 있습니다.

탐색 제스처는 가상 조이스틱처럼 작동하며 방사형 메뉴와 같은 UI 위젯을 탐색하는 데 사용할 수 있습니다. 길게 눌러서 제스처를 시작한 후 초기에 누른 부분을 중심으로 정규화된 3D 큐브 안에서 손을 움직입니다. X, Y 또는 Z 축을 따라 -1에서 1로 손을 이동할 수 있으며, 0이 시작점이 됩니다. 탐색은 속도 기반 연속 스크롤 또는 확대/축소 제스처를 빌드하는 데 사용할 수 있으며, 마우스 가운데 단추를 클릭한 다음, 마우스를 위아래로 움직여서 2D UI를 스크롤하는 것과 유사합니다.

레일을 사용하는 탐색은 해당 축에서 특정 임계값에 도달할 때까지 특정 축의 이동을 인식하는 기능을 나타냅니다. 이는 애플리케이션이 X, Y축에서 탐색 제스처를 인식하도록 구성되었지만 레일이 있는 X축도 지정하는 경우와 같이 개발자가 애플리케이션에서 두 개 이상의 축으로 이동할 수 있는 경우에만 유용합니다. 이 경우 시스템은 Y축에서도 손 이동이 발생하는 경우 X축의 허수 레일(가이드) 내에 남아 있는 한 X축에서 손의 움직임을 인식합니다.

2D 앱에서는 사용자가 세로 탐색 제스처를 사용하여 앱 내에서 스크롤, 확대/축소 또는 끌기를 수행할 수 있습니다. 그러면 앱에 가상 손가락 터치가 삽입되어 같은 유형의 터치 제스처가 시뮬레이션됩니다. 사용자는 단추를 선택하거나 < '스크롤/끌기/확대/축소 도구'라고 말하여 애플리케이션 위의 막대에 있는 도구 간에 전환하여 수행할 작업을 선택할 수 > 있습니다.

복합 제스처에 대한 추가 정보

제스처 인식기

제스처 인식을 사용할 경우의 이점 중 하나는 현재 대상 홀로그램이 허용할 수 있는 제스처에 대해서만 제스처 인식기를 구성할 수 있다는 것입니다. 플랫폼은 지원되는 특정 제스처를 구분하기 위해 필요한 경우에만 명확성을 수행합니다. 이러한 방식으로 에어 탭만 지원하는 홀로그램은 누른 시간과 릴리스 사이의 모든 시간을 허용할 수 있으며, 탭과 유지를 모두 지원하는 홀로그램은 누르기 시간 임계값 이후에 탭을 보류로 승격할 수 있습니다.

손 인식

HoloLens는 디바이스에 보이는 한쪽 또는 양쪽 손의 위치를 추적하여 손 제스처를 인식합니다. HoloLens는 손이 준비 상태(집게손가락을 올리고 손등을 마주보고 있는 상태)이거나 눌린 상태(집게손가락을 내리고 손등을 마주보고 있는 상태)일 때 손을 봅니다. 손으로 다른 자세를 취하면 HoloLens 무시합니다. HoloLens 감지하는 각 손의 경우 방향 및 누른 상태 없이 해당 위치에 액세스할 수 있습니다. 손이 제스처 프레임의 가장자리에 가까워지면, 방향 벡터가 제공됩니다. 이것을 사용자에게 표시하면, HoloLens에게 보이는 위치로 손을 다시 이동하려면 손을 어떻게 움직여야 하는지를 사용자가 알 수 있습니다.

제스처 프레임

HoloLens 제스처의 경우 손은 제스처 감지 카메라가 적절하게 볼 수 있는 범위, 코에서 부터 코까지, 그리고 코 사이에 있는 제스처 프레임 내에 있어야 합니다. 사용자는 작업의 성공과 자신의 편의를 위해 이 인식 영역에 대해 학습해야 합니다. 대부분의 사용자는 처음에는 제스처 프레임이 HoloLens 통해 보기 내에 있어야 한다고 가정하고 상호 작용하기 위해 자신의 손을 불편하게 들어야 합니다. HoloLens 클릭하여 사용하는 경우 손은 제스처 프레임 내에 있을 필요가 없습니다.

특히 연속 제스처의 경우 홀로그램 개체를 이동하고 의도한 결과를 잃을 때 사용자가 제스처 프레임 외부로 손을 이동할 위험이 있습니다.

다음 세 가지 사항을 고려해야 합니다.

  • 제스처 프레임의 존재 및 대략적인 경계에 대한 사용자 교육 이 내용은 HoloLens 설정 중에 설명됩니다.

  • 제스처가 애플리케이션 내에서 제스처 프레임 경계에 가까워지거나 끊어질 때 제스처 손실로 인해 원치 않는 결과가 발생하도록 사용자에게 알립니다. 연구에 따르면 이러한 알림 시스템의 주요 품질이 나타났습니다. HoloLens 셸은 중앙 커서에서 경계를 통과하는 방향을 나타내는 시각적 개체와 같은 유형의 알림에 대한 좋은 예를 제공합니다.

  • 제스처 프레임 경계를 벗어난 결과는 최소화되어야 합니다. 일반적으로 이는 제스처의 결과가 경계에서 중지되어야 하며 반대가 아니라는 것을 의미합니다. 예를 들어 사용자가 실내에서 홀로그램 개체를 이동하는 경우 제스처 프레임이 위반될 때 이동이 중지되고 시작 지점으로 반환되지 않아야 합니다. 사용자는 약간의 어려움을 겪을 수 있지만 경계를 더 빠르게 이해하고 매번 의도한 전체 작업을 다시 시작할 필요가 없습니다.

참고 항목

응시 및 커밋은 마우스를 사용하여 컴퓨터와 상호 작용하는 방식과 밀접하게 관련된 기본 입력 모델입니다. 지점 클릭. 이 페이지에서는 두 가지 유형의 응시 입력(헤드 및 시선 응시)과 다양한 유형의 커밋 작업을 소개합니다. 응시 및 커밋은 간접 조작을 통해 원거리 입력 모델로 간주됩니다. 연결할 수 없는 홀로그램 콘텐츠와 상호 작용하는 데 가장 적합합니다.

혼합 현실 헤드셋은 사용자의 머리 위치와 방향을 사용하여 헤드 방향 벡터를 결정할 수 있습니다. 응시는 사용자의 눈 사이를 직접 가리키는 직선으로 간주합니다. 이것은 사용자가 보고 있는 위치에 대한 대략적인 근사치입니다. 애플리케이션은 이 광선을 가상 또는 실제 개체와 교차하고 해당 위치에 커서를 그려 사용자가 대상으로 하는 대상을 알 수 있습니다.

헤드 게이즈 외에도 HoloLens 2 같은 일부 혼합 현실 헤드셋에는 시선 응시 벡터를 생성하는 시선 추적 시스템이 포함되어 있습니다. 이를 통해 사용자가 보는 위치를 세밀하게 측정할 수 있습니다. 두 경우 모두 응시는 사용자의 의도에 대한 중요한 신호를 나타냅니다. 시스템이 사용자의 의도한 작업을 해석하고 예측할수록 사용자 만족도와 성능이 향상됩니다.

다음은 혼합 현실 개발자가 머리 응시 또는 시선 응시를 활용할 수 있는 방법에 대한 몇 가지 예입니다.

  • 앱은 장면의 홀로그램과 응시를 교차하여 사용자의 주의가 어디에 있는지 확인할 수 있습니다(시선 응시를 사용하여 더 정확함).
  • 앱은 사용자의 응시에 따라 제스처 및 컨트롤러 누를 수 있으며, 이를 통해 사용자는 홀로그램을 원활하게 선택, 활성화, 잡기, 스크롤 또는 상호 작용할 수 있습니다.
  • 앱을 통해 사용자는 응시 광선과 공간 매핑 메시를 교차하여 실제 화면에 홀로그램을 배치할 수 있습니다.
  • 앱은 사용자가 중요한 개체의 방향을 보고 있지 않을 때를 알 수 있으며, 이로 인해 앱이 시각적 및 오디오 신호를 제공하여 해당 개체로 전환할 수 있습니다.

디바이스 지원