Сформулированное отслеживание рук и глаз в Unity

HoloLens 2 представила некоторые новые и захватывающие возможности, такие как сформулированные руки и отслеживание глаз.

Самый простой способ использовать новую возможность в Unity — с помощью MRTK. Существуют также некоторые примеры сцен, которые помогут вам приступить к работе.

Стандартные блоки, поддерживающие руки, глаза и другие в MRTK

MRTK версии 2 предоставляет набор элементов управления пользовательского интерфейса и стандартных блоков для ускорения разработки.

ButtonКнопку Bounding BoxОграничивающий прямоугольник Manipulation HandlerОбработчик манипуляций
Элемент управления "Кнопка", поддерживающий различные методы ввода, включая сформулированную руку HoloLens2 Стандартный пользовательский интерфейс для манипулирования объектами в трехмерном пространстве. Скрипт для манипулирования объектами одной или двумя руками.
SlateГрифель System KeyboardСистемная клавиатура InteractableИнтерактивный объект
Двухразовая плоскость стиля, которая поддерживает прокрутку с помощью сформулированного ввода руки Пример скрипта для использования системной клавиатуры в Unity. Скрипт, обеспечивающий взаимодействие с объектами, с поддержкой визуальных состояний и тем.
SolverРешатель Object CollectionКоллекция объектов TooltipПодсказки
Различные поведения размещения объектов, такие как тег-вдоль, блокировка тела, размер постоянного представления и магнитизм поверхности Скрипт для размещения массива объектов в трехмерной форме Пользовательский интерфейс заметки с гибкой системой привязки и сводки, которую можно использовать для маркировки контроллеров движения и объектов.
App BarПанель приложения PointersУказатели Fingertip VisualizationВизуализация с использованием кончика пальца
Пользовательский интерфейс для ручной активации ограничивающего прямоугольника Сведения о различных типах указателей. Визуальная доступность на пальце, которая повышает уверенность в прямом взаимодействии
Eye Tracking: Target SelectionОтслеживание взгляда: выбор цели Eye Tracking: NavigationОтслеживание взгляда: навигация
Объединение глаз, голосовых и рукописных данных для быстрого и легкого выбора голограмм в сцене Узнайте, как автоматически прокручивать текст или увеличивать масштаб содержимого в зависимости от того, что вы просматриваете Примеры ведения журнала, загрузки и визуализации того, что пользователи просматривали в приложении

Примеры сцен

Узнайте о различных типах взаимодействий и элементов управления пользовательского интерфейса MRTK с помощью этого примера сцены.

Другие примеры сцен можно найти в Смешанная реальность набор средств GitHub в разделе Assets/MixedRealityToolkit.Examples/Demosfolder.

Example Scene

Следующий этап разработки

Если вы следите за путь разработки Unity, который мы изложили, вы находитесь в разгар изучения основных стандартных блоков MRTK. Отсюда вы можете перейти к следующему стандартному блоку:

Или перейдите к возможностям и API платформы смешанной реальности:

Вы можете в любой момент вернуться к этапам разработки для Unity.

См. также статью