Взгляд на руки и отслеживание глаз в UnityArticulated Hand and Eye Tracking in Unity

  • Чтение занимает 2 мин

В HoloLens 2 появились новые и интересные возможности, такие как отслеживание с учетом особенностей и глаз.HoloLens 2 has introduced some new and exciting capabilities, such as Articulated Hand and Eye Tracking.

Самый простой способ использовать новую возможность в Unity — МРТК.The easiest way to leverage the new capability in Unity is through MRTK. Также есть несколько примеров сцен, которые помогут вам приступить к работе.There are also some example scenes to help you get started.

Стандартные блоки, поддерживающие руки, глаза и др. в МРТКBuilding Blocks supporting Hands, eyes and others in MRTK

МРТК v2 предоставляет набор элементов управления пользовательского интерфейса и стандартных блоков, помогающих ускорить разработку.MRTK v2 provides a set of UI Controls and building blocks to help you accelerate your development.

Кнопка кнопкиButton Button Ограничивающий ограничивающий прямоугольникBounding Box Bounding Box Обработчик манипуляций обработчика манипуляцийManipulation Handler Manipulation Handler
Элемент управления "Кнопка", поддерживающий различные методы ввода, включая HoloLens2's с определенными рукамиA button control, which supports various input methods including HoloLens2's articulated hand Стандартный пользовательский интерфейс для манипулирования объектами в трехмерном пространствеStandard UI for manipulating objects in 3D space Скрипт для манипулирования объектами с одной или двумя рукиScript for manipulating objects with one or two hands
Содержание планшетаSlate Slate Системная Клавиатура системной клавиатурыSystem Keyboard System Keyboard Взаимодействие с взаимодействием Interactable Interactable
Двухмерная плоскость, которая поддерживает прокрутку с помощью клавиатуры с вытеканием руки2D style plane, which supports scrolling with articulated hand input Пример сценария использования системной клавиатуры в UnityExample script of using the system keyboard in Unity Скрипт, обеспечивающий взаимодействие объектов с визуальными состояниями и поддержкой темA script for making objects interactable with visual states and theme support
Поиск решения Solver Solver Коллекция объектов коллекции объектовObject Collection Object Collection Подсказка подсказкиTooltip Tooltip
Различные поведения позиционирования объектов, такие как тег, блокировка тела, размер представления константы и магнит поверхностейVarious object positioning behaviors such as tag-along, body-lock, constant view size, and surface magnetism Скрипт для размещения массива объектов в трехмерной фигуреScript for lay out an array of objects in a three-dimensional shape Пользовательский интерфейс заметки с гибкой системой привязки и сведениями, который можно использовать для пометки контроллеров движения и объекта.Annotation UI with flexible anchor/pivot system, which can be used for labeling motion controllers and object.
Панель приложения панели приложенийApp Bar App Bar Указатели указателейPointers Pointers Высокоудобное Графическое представлениеFingertip Visualization Fingertip Visualization
Пользовательский интерфейс для активации ограничивающего прямоугольника вручнуюUI for Bounding Box's manual activation Дополнительные сведения о различных типах указателейLearn about various types of pointers Визуальное взаимодействие с учетом того, что повышает уверенность в прямом взаимодействииVisual affordance on the fingertip, which improves the confidence for the direct interaction
Отслеживание глаз: отслеживание выбора целевого объекта : Выбор целевого объектаEye Tracking: Target Selection Eye Tracking: Target Selection Отслеживание взгляда: Отслеживание взгляда на навигацию: НавигацияEye Tracking: Navigation Eye Tracking: Navigation Отслеживание глаз: отслеживание глаз на тепловой карте : тепловая схемаEye Tracking: Heat Map Eye Tracking: Heat Map
Объедините глаза, голоса и руки, чтобы быстро и легко выбирать голограммы в сцене.Combine eyes, voice, and hand input to quickly and effortlessly select holograms across your scene Узнайте, как выполнять автоматическую прокрутку текста или увеличить содержимое с учетом того, что вы ищетеLearn how to auto scroll text or zoom into focused content based on what you're looking at Примеры ведения журнала, загрузки и визуализации того, что пользователи просматривают в приложенииExamples for logging, loading, and visualizing what users have been looking at in your app

Примеры сценExample Scenes

Изучите различные типы взаимодействий и элементов управления пользовательского интерфейса МРТК в этом примере сцены.Explore MRTK's various types of interactions and UI controls in this example scene.

Другие примеры сцен можно найти в разделе Assets/микседреалититулкит. examples/демонстрационные материалы в GitHub с набором средств для смешанной реальности .You can find other example scenes in Mixed Reality Toolkit GitHub under Assets/MixedRealityToolkit.Examples/Demos folder.

Пример сценыExample Scene

Следующий этап разработкиNext Development Checkpoint

Если вы пойдете из пути разработки Unity, мы собрались, что вы в состоянии изучить стандартные блоки МРТК Core.If you're following the Unity development journey we've laid out, you're in the midst of exploring the MRTK core building blocks. Отсюда вы можете перейти к следующему стандартному блоку:From here, you can continue to the next building block:

Пространственное сопоставлениеSpatial Mapping

Или перейдите к возможностям и API платформы смешанной реальности:Or jump to Mixed Reality platform capabilities and APIs:

общие возможности;Shared experiences

Вы можете в любой момент вернуться к этапам разработки для Unity.You can always go back to the Unity development checkpoints at any time.

См. также разделSee also