Взгляд на руки и отслеживание глаз в UnityArticulated Hand and Eye Tracking in Unity

В HoloLens 2 появились новые и интересные возможности, такие как отслеживание с учетом особенностей и глаз.HoloLens 2 has introduced some new and exciting capabilities, such as Articulated Hand and Eye Tracking.

Самый простой способ использовать новую возможность в Unity — МРТК.The easiest way to leverage the new capability in Unity is through MRTK. Также есть несколько примеров сцен, которые помогут вам приступить к работе.There are also some example scenes to help you get started.

Стандартные блоки, поддерживающие руки, глаза и др. в МРТКBuilding Blocks supporting Hands, eyes and others in MRTK

МРТК v2 предоставляет набор элементов управления пользовательского интерфейса и стандартных блоков, помогающих ускорить разработку.MRTK v2 provides a set of UI Controls and building blocks to help you accelerate your development.

Кнопка  кнопкиButton Button Ограничивающий  ограничивающий прямоугольникBounding Box Bounding Box Обработчик манипуляций обработчика  манипуляцийManipulation Handler Manipulation Handler
Элемент управления "Кнопка", поддерживающий различные методы ввода, включая HoloLens2's с определенными рукамиA button control, which supports various input methods including HoloLens2's articulated hand Стандартный пользовательский интерфейс для манипулирования объектами в трехмерном пространствеStandard UI for manipulating objects in 3D space Скрипт для манипулирования объектами с одной или двумя рукиScript for manipulating objects with one or two hands
Содержание  планшетаSlate Slate Системная Клавиатура системной  клавиатурыSystem Keyboard System Keyboard  Взаимодействие с взаимодействием Interactable Interactable
Двухмерная плоскость, которая поддерживает прокрутку с помощью клавиатуры с вытеканием руки2D style plane, which supports scrolling with articulated hand input Пример сценария использования системной клавиатуры в UnityExample script of using the system keyboard in Unity Скрипт, обеспечивающий взаимодействие объектов с визуальными состояниями и поддержкой темA script for making objects interactable with visual states and theme support
 Поиск решения Solver Solver Коллекция объектов  коллекции объектовObject Collection Object Collection Подсказка  подсказкиTooltip Tooltip
Различные поведения позиционирования объектов, такие как тег, блокировка тела, размер представления константы и магнит поверхностейVarious object positioning behaviors such as tag-along, body-lock, constant view size, and surface magnetism Скрипт для размещения массива объектов в трехмерной фигуреScript for lay out an array of objects in a three-dimensional shape Пользовательский интерфейс заметки с гибкой системой привязки и сведениями, который можно использовать для пометки контроллеров движения и объекта.Annotation UI with flexible anchor/pivot system, which can be used for labeling motion controllers and object.
Панель приложения  панели приложенийApp Bar App Bar Указатели  указателейPointers Pointers  Высокоудобное Графическое представлениеFingertip Visualization Fingertip Visualization
Пользовательский интерфейс для активации ограничивающего прямоугольника вручнуюUI for Bounding Box's manual activation Дополнительные сведения о различных типах указателейLearn about various types of pointers Визуальное взаимодействие с учетом того, что повышает уверенность в прямом взаимодействииVisual affordance on the fingertip, which improves the confidence for the direct interaction
 Отслеживание глаз: отслеживание выбора целевого объекта : Выбор целевого объектаEye Tracking: Target Selection Eye Tracking: Target Selection  Отслеживание взгляда: Отслеживание взгляда на навигацию: НавигацияEye Tracking: Navigation Eye Tracking: Navigation  Отслеживание глаз: отслеживание глаз на тепловой карте : тепловая схемаEye Tracking: Heat Map Eye Tracking: Heat Map
Объедините глаза, голоса и руки, чтобы быстро и легко выбирать голограммы в сцене.Combine eyes, voice, and hand input to quickly and effortlessly select holograms across your scene Узнайте, как выполнять автоматическую прокрутку текста или увеличить содержимое с учетом того, что вы ищетеLearn how to auto scroll text or zoom into focused content based on what you're looking at Примеры ведения журнала, загрузки и визуализации того, что пользователи просматривают в приложенииExamples for logging, loading, and visualizing what users have been looking at in your app

Примеры сценExample Scenes

Изучите различные типы взаимодействий и элементов управления пользовательского интерфейса МРТК в этом примере сцены.Explore MRTK's various types of interactions and UI controls in this example scene.

Другие примеры сцен можно найти в разделе Assets/микседреалититулкит. examples/демонстрационные материалы в GitHub с набором средств для смешанной реальности .You can find other example scenes in Mixed Reality Toolkit GitHub under Assets/MixedRealityToolkit.Examples/Demos folder.

Пример сценыExample Scene

Следующий этап разработкиNext Development Checkpoint

Если вы пойдете из пути разработки Unity, мы собрались, что вы в состоянии изучить стандартные блоки МРТК Core.If you're following the Unity development journey we've laid out, you're in the midst of exploring the MRTK core building blocks. Отсюда вы можете перейти к следующему стандартному блоку:From here, you can continue to the next building block:

Или перейдите к возможностям и API платформы смешанной реальности:Or jump to Mixed Reality platform capabilities and APIs:

Вы можете в любой момент вернуться к этапам разработки для Unity.You can always go back to the Unity development checkpoints at any time.

См. также разделSee also