Отслеживание рук в Unreal

Система отслеживания рук использует ладони и пальцы человека в качестве входных данных. Доступны данные о положении и повороте каждого пальца, всей ладони и жестов руки. Начиная с Unreal 4.26, отслеживание рук основано на подключаемом модуле Unreal HeadMountedDisplay и использует общий API на всех платформах XR и устройствах. Функциональные возможности одинаковы для систем Windows Mixed Reality и OpenXR.

Положение руки

Положение руки позволяет отслеживать и использовать руки и пальцы пользователей в качестве входных данных, доступ к которым можно получить как в Схемах, так и в C++. Api Unreal отправляет данные в виде системы координат с тактами, синхронизированными с Unreal Engine.

4.26

Иерархия описывается перечислением EHandKeypoint :

Все эти данные можно получить из рук пользователя с помощью функции Получить данные контроллера движения . Эта функция возвращает структуру XRMotionControllerData . Ниже приведен пример скрипта схемы, который анализирует структуру XRMotionControllerData для получения расположений совместного расположения рук и рисует отладочную систему координат в расположении каждого соединения.

Важно проверка, является ли структура допустимой и что это рука. В противном случае вы можете получить неопределенное поведение при доступе к позициям, поворотам и массивам радиусов.

4.25

Перечисление EWMRHandKeypoint описывает иерархию кости Руки. Вы можете найти каждую ключевую точку руки, указанную в схеме:

Полное перечисление C++ приведено ниже:

enum class EWMRHandKeypoint : uint8
{
	Palm,
	Wrist,
	ThumbMetacarpal,
	ThumbProximal,
	ThumbDistal,
	ThumbTip,
	IndexMetacarpal,
	IndexProximal,
	IndexIntermediate,
	IndexDistal,
	IndexTip,
	MiddleMetacarpal,
	MiddleProximal,
	MiddleIntermediate,
	MiddleDistal,
	MiddleTip,
	RingMetacarpal,
	RingProximal,
	RingIntermediate,
	RingDistal,
	RingTip,
	LittleMetacarpal,
	LittleProximal,
	LittleIntermediate,
	LittleDistal,
	LittleTip
};

Числовые значения для каждого регистра перечисления можно найти в Windows.Perception.Люди. Таблица HandJointKind.

Поддержка отслеживания рук

Вы можете использовать отслеживание рук в схемах, добавив в Windows Mixed Reality поддерживает отслеживание рук> из Windows Mixed Reality:

Эта функция возвращает значение true , если отслеживание рук поддерживается на устройстве и false если отслеживание рук недоступно.

C++:

Добавьте WindowsMixedRealityHandTrackingFunctionLibrary.h.

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::SupportsHandTracking()

Получение отслеживания рук

Для возврата пространственных данных из руки можно использовать GetHandJointTransform . Данные обновляют каждый кадр, но если вы находитесь внутри кадра, возвращаемые значения кэшируются. Не рекомендуется использовать в этой функции логику высокой нагрузки из соображений производительности.

C++:

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::GetHandJointTransform(EControllerHand Hand, EWMRHandKeypoint Keypoint, FTransform& OutTransform, float& OutRadius)

Ниже приведена разбивка параметров функции GetHandJointTransform:

• Рука — может быть левой или правой рукой пользователя.
• Ключевая точка — кость руки.
• Преобразование — координаты и ориентация основания кости. Вы можете запросить основание следующей кости, чтобы получить данные преобразования для конца кости. Специальный кончик кости дает конец дистальности.
• **Радиус — радиус основания кости.
• **Возвращаемое значение — true, если кость отслеживается в этом кадре, значение false, если кость не отслеживается.

Анимация hand Live Link

Позы рук доступны для анимации с помощью подключаемого модуля Live Link.

Если включены подключаемые модули Windows Mixed Reality и Live Link:

1. Выберите Окно > Динамическая ссылка , чтобы открыть окно редактора Live Link.
2. Выберите Источник и включите Windows Mixed Reality источник отслеживания рук.

После включения источника и открытия ресурса анимации разверните раздел Анимация на вкладке Предварительный просмотр сцены , чтобы просмотреть дополнительные параметры.

Иерархия анимации рук такая же, как и в EWMRHandKeypoint. Анимацию можно перенацелить с помощью WindowsMixedRealityHandTrackingLiveLinkRemapAsset:

Его также можно классифицировать в редакторе:

Сетка рук

Важно!

Для ручной сетки требуется OpenXR.

Необходимо использовать подключаемый модуль Microsoft OpenXR, доступный в Unreal Marketplace или GitHub.

Ручная сетка как отслеживаемая геометрия

Важно!

Чтобы получить сетки рук в виде отслеживаемой геометрии в OpenXR, необходимо вызвать команду Set Use Hand Mesh with Enabled Tracking Geometry.

Чтобы включить этот режим, необходимо вызвать команду Set Use Hand Mesh with Enabled Tracking Geometry (Задать использование ручной сетки с включенной геометрией отслеживания):

Примечание

Невозможно включить оба режима одновременно. Если один из них включен, другой автоматически отключается.

Доступ к данным сетки рук

Прежде чем получить доступ к данным сетки рук, необходимо выполнить следующие действия:

• Выберите ресурс ARSessionConfig, разверните параметры AR Settings — World Mapping (Параметры AR —> сопоставление мира) и проверка Создать данные сетки из отслеживаемой геометрии.

Ниже приведены параметры сетки по умолчанию.

1. Использование данных сетки для окклюзии
2. Создание конфликтов для данных сетки
3. Создание сетки навигации для данных сетки
4. Отрисовка данных сетки в каркасе — параметр отладки, отображающий созданную сетку

Эти значения параметров используются в качестве сетки пространственного сопоставления и сетки рук по умолчанию. Их можно изменить в любое время в разделе Схемы или код для любой сетки.

Справочник по API C++

Используется EEARObjectClassification для поиска значений сетки рук во всех отслеживаемых объектах.

enum class EARObjectClassification : uint8
{
    // Other types
	HandMesh,
};

Следующие делегаты вызываются, когда система обнаруживает любой отслеживаемый объект, включая сетку рук.

class FARSupportInterface
{
    public:
    // Other params
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableAdded)
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableUpdated)
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableRemoved)
};

Убедитесь, что обработчики делегатов соответствуют сигнатуре функции ниже:

void UARHandMeshComponent::OnTrackableAdded(UARTrackedGeometry* Added)

Получить доступ к данным сетки можно с UARTrackedGeometry::GetUnderlyingMeshпомощью :

UMRMeshComponent* UARTrackedGeometry::GetUnderlyingMesh()

Справочник по API схемы

Чтобы работать с сетками рук в схемах, выполните приведенные далее действия.

1. Добавление компонента ARTrackableNotify в субъект схемы

2. Перейдите на панель Сведения и разверните раздел События .

3. Перезапишите при добавлении, обновлении или удалении отслеживаемой геометрии следующими узлами в графе событий:

Визуализация сетки рук в OpenXR

Рекомендуемый способ визуализации сетки рук — использовать подключаемый модуль XRVisualization epic вместе с подключаемым модулем Microsoft OpenXR.

Затем в редакторе схем следует использовать функцию Set Use Hand Mesh из подключаемого модуля Microsoft OpenXR с включенной XRVisualization в качестве параметра:

Для управления процессом отрисовки следует использовать контроллер движения отрисовки из XRVisualization:

Получаются такие результаты:

Если вам нужно что-то более сложное, например рисование ручной сетки с помощью пользовательского шейдера, необходимо получить сетки в виде отслеживаемой геометрии.

Лучи рук

Получение позиции руки работает для близкого взаимодействия, например захвата объектов или нажатия кнопок. Однако иногда приходится работать с голограммами, которые находятся далеко от пользователей. Это можно сделать с помощью лучей рук, которые можно использовать в качестве указывающих устройств в C++ и Blueprints. Вы можете нарисовать луч из руки в дальней точке и с помощью трассировки лучей Unreal выбрать голограмму, которая в противном случае была бы недоступна.

Важно!

Так как все результаты функции изменяют каждый кадр, все они стали вызываемыми. Дополнительные сведения о чистых и нечистых или вызываемых функциях см. в разделе Guid пользователя схемы в функциях.

4.26

Чтобы получить данные для лучей рук, следует использовать функцию Получить данные контроллера движения из предыдущего раздела. Возвращаемая структура содержит два параметра, которые можно использовать для создания луча руки: положение цели и поворот цели. Эти параметры образуют луч, направленный на локоть. Вы должны взять их и найти голограмму, на которую указывает.

Ниже приведен пример определения того, попадает ли луч руки в мини-приложение, и настройки результата пользовательского попадания:

4.25

Чтобы использовать лучи рук в схемах, выполните поиск любого из действий в разделе Windows Mixed Reality HMD:

Чтобы получить доступ к ним на C++, добавьте WindowsMixedRealityFunctionLibrary.h в начало файла кода вызова.

Перечисление

У вас также есть доступ к входным вариантам в EHMDInputControllerButtons, которые можно использовать в схемах:

Для доступа в C++ используйте класс перечисления EHMDInputControllerButtons :

enum class EHMDInputControllerButtons : uint8
{
	Select,
	Grasp,
//......
};

Ниже приведена разбивка двух применимых вариантов перечисления:

• Select — событие Select, активированное пользователем.
  • Активируется в HoloLens 2 касанием, взглядом и фиксацией или нажатием кнопки "Выбрать" при включенном голосовом вводе.
• Захват — событие, активироваемое пользователем.
  • Активируется в HoloLens 2, закрывая пальцы пользователя на голограмме.

Вы можете получить доступ к состоянию отслеживания сетки рук в C++ с помощью приведенного ниже перечисления EHMDTrackingStatus :

enum class EHMDTrackingStatus : uint8
{
	NotTracked,
	//......
	Tracked
};

Ниже приведена разбивка двух применимых вариантов перечисления:

• NotTracked — рука не видна
• Отслеживание — рука полностью отслеживается

Структура

В структуре PointerPoseInfo можно получить сведения о следующих данных:

• Origin — источник руки.
• Направление — направление руки
• Вверх – вверх вектор руки
• Ориентация — кватернион ориентации
• Состояние отслеживания — текущее состояние отслеживания

Получить доступ к структуре PointerPoseInfo можно с помощью схемы, как показано ниже:

Или с помощью C++:

struct FPointerPoseInfo
{
	FVector Origin;
	FVector Direction;
	FVector Up;
	FQuat Orientation;
	EHMDTrackingStatus TrackingStatus;
};

Функции

Все перечисленные ниже функции можно вызывать для каждого кадра, что обеспечивает непрерывный мониторинг.

1. Get Pointer Pose Info возвращает полную информацию о направлении луча руки в текущем кадре.

План:

C++:

static FPointerPoseInfo UWindowsMixedRealityFunctionLibrary::GetPointerPoseInfo(EControllerHand hand);

2. Функция Захвата возвращает значение true, если рука захвачена в текущем кадре.

План:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsGrasped(EControllerHand hand);

3. Значение Select Pressed возвращает значение true, если пользователь активировал Select в текущем кадре.

План:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsSelectPressed(EControllerHand hand);

4. Функция Нажатие кнопки возвращает значение true, если событие или кнопка активируются в текущем кадре.

План:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsButtonClicked(EControllerHand hand, EHMDInputControllerButtons button);

5. Получение состояния отслеживания контроллера возвращает состояние отслеживания в текущем кадре.

План:

C++:

static EHMDTrackingStatus UWindowsMixedRealityFunctionLibrary::GetControllerTrackingStatus(EControllerHand hand);

Жесты

HoloLens 2 отслеживает пространственные жесты, что означает, что вы можете записать эти жесты в качестве входных данных. Отслеживание жестов основано на модели подписки. Используйте функцию "Настроить жесты", чтобы сообщить устройству, какие жесты вы хотите отслеживать. Дополнительные сведения о жестах см. в HoloLens 2 документе "Базовое использование".

4.26

Windows Mixed Reality

Затем необходимо добавить код для подписки на следующие события:

OpenXR

В OpenXR события жестов отслеживаются через входной конвейер. При взаимодействии с рукой устройство может автоматически распознавать жесты касания и удержания, но не другие. Они называются сопоставлениями OpenXRMsftHandInteraction Select и Grip. Вам не нужно включать подписку, следует объявлять события в разделе Параметры проекта/Подсистема/Входные данные, как показано ниже:

4.25

Вы можете найти функцию Blueprint в разделе Windows Mixed Reality Пространственные входные данные и функцию C++, добавив WindowsMixedRealitySpatialInputFunctionLibrary.h в файл вызывающего кода.

Перечисление

План:

C++:

enum class ESpatialInputAxisGestureType : uint8
{
	None = 0,
	Manipulation = 1,
	Navigation = 2,
	NavigationRails = 3
};

Функция

Вы можете включить и отключить захват жестов CaptureGestures с помощью функции . Если включенный жест вызывает входные события, функция возвращает значение true , если захват жеста выполнен успешно, и false если возникла ошибка.

План:

C++:

static bool UWindowsMixedRealitySpatialInputFunctionLibrary::CaptureGestures(
	bool Tap = false,
	bool Hold = false,
	ESpatialInputAxisGestureType AxisGesture = ESpatialInputAxisGestureType::None,
	bool NavigationAxisX = true,
	bool NavigationAxisY = true,
	bool NavigationAxisZ = true);

Ниже приведены ключевые события, которые можно найти в разделах Схемы и C++: .

const FKey FSpatialInputKeys::TapGesture(TapGestureName);
const FKey FSpatialInputKeys::DoubleTapGesture(DoubleTapGestureName);
const FKey FSpatialInputKeys::HoldGesture(HoldGestureName);

const FKey FSpatialInputKeys::LeftTapGesture(LeftTapGestureName);
const FKey FSpatialInputKeys::LeftDoubleTapGesture(LeftDoubleTapGestureName);
const FKey FSpatialInputKeys::LeftHoldGesture(LeftHoldGestureName);

const FKey FSpatialInputKeys::RightTapGesture(RightTapGestureName);
const FKey FSpatialInputKeys::RightDoubleTapGesture(RightDoubleTapGestureName);
const FKey FSpatialInputKeys::RightHoldGesture(RightHoldGestureName);

const FKey FSpatialInputKeys::LeftManipulationGesture(LeftManipulationGestureName);
const FKey FSpatialInputKeys::LeftManipulationXGesture(LeftManipulationXGestureName);
const FKey FSpatialInputKeys::LeftManipulationYGesture(LeftManipulationYGestureName);
const FKey FSpatialInputKeys::LeftManipulationZGesture(LeftManipulationZGestureName);

const FKey FSpatialInputKeys::LeftNavigationGesture(LeftNavigationGestureName);
const FKey FSpatialInputKeys::LeftNavigationXGesture(LeftNavigationXGestureName);
const FKey FSpatialInputKeys::LeftNavigationYGesture(LeftNavigationYGestureName);
const FKey FSpatialInputKeys::LeftNavigationZGesture(LeftNavigationZGestureName);


const FKey FSpatialInputKeys::RightManipulationGesture(RightManipulationGestureName);
const FKey FSpatialInputKeys::RightManipulationXGesture(RightManipulationXGestureName);
const FKey FSpatialInputKeys::RightManipulationYGesture(RightManipulationYGestureName);
const FKey FSpatialInputKeys::RightManipulationZGesture(RightManipulationZGestureName);

const FKey FSpatialInputKeys::RightNavigationGesture(RightNavigationGestureName);
const FKey FSpatialInputKeys::RightNavigationXGesture(RightNavigationXGestureName);
const FKey FSpatialInputKeys::RightNavigationYGesture(RightNavigationYGestureName);
const FKey FSpatialInputKeys::RightNavigationZGesture(RightNavigationZGestureName);

Следующий этап разработки

Если вы следуете изложенным нами инструкциям по разработке для Unreal, вы как раз прошли половину в изучении основных стандартных блоков MRTK. Отсюда вы можете перейти к следующему стандартному блоку:

Локальные пространственные привязки

Или перейдите к возможностям и API платформы смешанной реальности:

Камера HoloLens

Вы можете в любой момент вернуться к этапам разработки для Unreal.