Sledování rukou v Unreal

Systém sledování rukou používá jako vstup dlaně a prsty osoby. K dispozici jsou data o poloze a otočení každého prstu, celé dlaně a gest rukou. Od verze Unreal 4.26 je sledování rukou založené na modulu plug-in Unreal HeadMountedDisplay a používá společné rozhraní API na všech platformách a zařízeních XR. Funkce jsou stejné pro systémy Windows Mixed Reality i OpenXR.

Pozice rukou

Pozice rukou umožňuje sledovat a používat ruce a prsty uživatelů jako vstup, který je přístupný jak v podrobných plánech, tak v jazyce C++. Unreal API odesílá data jako souřadnicový systém s zaškrtnutím synchronizovaným s Unreal Engine.

4.26

Hierarchie je popsána výčtem EHandKeypoint :

Všechna tato data můžete získat z rukou uživatele pomocí funkce Získat data kontroleru pohybu . Tato funkce vrátí strukturu XRMotionControllerData . Níže je ukázkový skript podrobného plánu, který parsuje strukturu XRMotionControllerData, aby získal umístění spojení rukou a nakresluje ladicí souřadnicový systém v umístění každého spojení.

Je důležité zkontrolovat, jestli je struktura platná a jestli je to ruka. V opačném případě můžete získat nedefinované chování v přístupu k pozicím, otočením a polím poloměrů.

4.25

Výčet EWMRHandKeypoint popisuje kostní hierarchii ruky. Jednotlivé klíčové body ruky najdete v podrobných plánech:

Úplný výčet jazyka C++ je uvedený níže:

enum class EWMRHandKeypoint : uint8
{
	Palm,
	Wrist,
	ThumbMetacarpal,
	ThumbProximal,
	ThumbDistal,
	ThumbTip,
	IndexMetacarpal,
	IndexProximal,
	IndexIntermediate,
	IndexDistal,
	IndexTip,
	MiddleMetacarpal,
	MiddleProximal,
	MiddleIntermediate,
	MiddleDistal,
	MiddleTip,
	RingMetacarpal,
	RingProximal,
	RingIntermediate,
	RingDistal,
	RingTip,
	LittleMetacarpal,
	LittleProximal,
	LittleIntermediate,
	LittleDistal,
	LittleTip
};

Číselné hodnoty pro jednotlivá výčtová písmena najdete v souboru Windows.Perception.Lidé. Tabulka HandJointKind.

Podpora sledování rukou

Sledování rukou můžete v podrobných plánech použít tak, že přidáte možnost Podporuje sledování rukou z Windows Mixed Reality:>

Tato funkce vrátí true , pokud je v zařízení podporováno sledování rukou a false pokud sledování rukou není k dispozici.

C++:

Zahrnout WindowsMixedRealityHandTrackingFunctionLibrary.h.

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::SupportsHandTracking()

Získání sledování rukou

K vrácení prostorových dat z ruky můžete použít GetHandJointTransform . Data se aktualizují každý rámec, ale pokud jste uvnitř rámce, vrácené hodnoty se ukládají do mezipaměti. Z důvodů výkonu se v této funkci nedoporučuje používat těžkou logiku.

C++:

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::GetHandJointTransform(EControllerHand Hand, EWMRHandKeypoint Keypoint, FTransform& OutTransform, float& OutRadius)

Tady je rozpis parametrů funkce GetHandJointTransform:

• Hand – může být uživatel levou nebo pravou rukou.
• Keypoint – kost ruky.
• Transformovat – souřadnice a orientace základu kosti. Můžete požádat o základ další kosti, abyste získali transformační data pro konec kosti. Speciální špička kosti dává konec distální.
• **Radius – poloměr základny kosti.
• **Návratová hodnota – true, pokud je kost sledována v tomto snímku, false, pokud kost není sledována.

Animace ručně živého odkazu

Pozice rukou jsou vystaveny animaci pomocí modulu plug-in Live Link.

Pokud jsou povolené moduly plug-in Windows Mixed Reality a Live Link:

1. Výběrem možnosti Windows > Live Link otevřete okno editoru Live Link.
2. Vyberte zdroj a povolte Windows Mixed Reality zdroj sledování rukou.

Po povolení zdroje a otevření animačního assetu rozbalte oddíl Animace na kartě Náhled scény a podívejte se také na další možnosti.

Hierarchie ručních animací je stejná jako v EWMRHandKeypointnástroji . Animaci je možné změnit pomocí windowsMixedRealityHandTrackingLiveLinkRemapAsset:

Může být také podtřídou v editoru:

Ruční síťovina

Důležité

Ruční síť vyžaduje OpenXR.

Musí se použít modul plug-in Microsoft OpenXR, který je dostupný na Webu Unreal Marketplace nebo Na GitHubu.

Ruční síť jako trackovaná geometrie

Důležité

Získání ručních sítí jako sledované geometrie v OpenXR vyžaduje volání nastavení použít síť rukou s povolenou geometrií sledování.

Pokud chcete tento režim povolit, měli byste volat Nastavit použít síť rukou s povolenou geometrií sledování:

Poznámka

Není možné povolit oba režimy současně. Pokud povolíte jeden, druhý se automaticky zakáže.

Přístup k datům hand mesh

Než budete moct získat přístup k datům z ruční sítě, budete muset:

• Vyberte prostředek ARSessionConfig , rozbalte nastavení Ar Settings –> World Mapping a zaškrtněte políčko Generovat data sítě ze sledované geometrie.

Níže jsou uvedeny výchozí parametry sítě:

1. Použití dat sítě pro okluzi
2. Generování kolize pro data sítě
3. Generování navigační sítě pro data sítě
4. Vykreslení dat sítě v wireframe – parametr ladění, který zobrazuje vygenerovanou síť

Tyto hodnoty parametrů se používají jako výchozí hodnoty sítě prostorového mapování a sítě rukou. Můžete je kdykoli změnit v podrobných plánech nebo kódu pro libovolnou síť.

Referenční informace k rozhraní API jazyka C++

Slouží EEARObjectClassification k vyhledání hodnot ručních sítí ve všech sledovatelných objektech.

enum class EARObjectClassification : uint8
{
    // Other types
	HandMesh,
};

Následující delegáti se volají, když systém zjistí jakýkoli sledovatelný objekt, včetně ruční sítě.

class FARSupportInterface
{
    public:
    // Other params
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableAdded)
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableUpdated)
	DECLARE_AR_SI_DELEGATE_FUNCS(OnTrackableRemoved)
};

Ujistěte se, že obslužné rutiny delegáta dodržují podpis funkce níže:

void UARHandMeshComponent::OnTrackableAdded(UARTrackedGeometry* Added)

K datům sítě můžete přistupovat prostřednictvím :UARTrackedGeometry::GetUnderlyingMesh

UMRMeshComponent* UARTrackedGeometry::GetUnderlyingMesh()

Referenční informace k rozhraní API podrobného plánu

Práce s mřížkami rukou v podrobných plánech:

1. Přidání komponenty ARTrackableNotify do objektu Actor podrobného plánu

2. Přejděte na panel Podrobnosti a rozbalte oddíl Události .

3. Při přidání, aktualizaci nebo odebrání sledované geometrie přepište následující uzly v grafu událostí:

Vizualizace hand mesh v OpenXR

Doporučeným způsobem, jak vizualizovat síť rukou, je použít modul plug-in XRVisualization společnosti Epic společně s modulem plug-in Microsoft OpenXR.

Pak byste v editoru podrobného plánu měli jako parametr použít funkci Set Use Hand Mesh z modulu plug-in Microsoft OpenXR s povolenou funkcí XRVisualization :

Ke správě procesu vykreslování byste měli použít Render Motion Controller z XRVisualization:

Výsledek:

Pokud potřebujete něco složitějšího, například nakreslit ruční síť pomocí vlastního shaderu, musíte mít sítě jako sledovanou geometrii.

Paprsky rukou

Získání pozice rukou funguje při těsné interakci, jako je uchopení objektů nebo stisknutí tlačítek. Někdy ale potřebujete pracovat s hologramy, které jsou daleko od uživatelů. Toho lze dosáhnout pomocí paprsků rukou, které se dají použít jako polohovací zařízení v C++ i v podrobných plánech. Můžete nakreslit paprsek z ruky do vzdáleného bodu a s určitou pomocí z unreal ray tracingu vybrat hologram, který by jinak byl mimo dosah.

Důležité

Vzhledem k tomu, že všechny výsledky funkce mění každý rámec, je možné je volat. Další informace o čistých a nečistých nebo volatelných funkcích najdete v tématu Identifikátor GUID uživatele podrobného plánu pro funkce.

4.26

Pokud chcete získat data pro paprsky rukou, měli byste použít funkci Získat data kontroleru pohybu z předchozí části. Vrácená struktura obsahuje dva parametry, které můžete použít k vytvoření ručního paprsku – pozici cíle a otočení cíle. Tyto parametry tvoří paprsek směrovaný vaším loktem. Měli byste je vzít a najít hologram, který ukazuje.

Níže je příklad určení, jestli paprsek ruky zasáhne widget, a nastavení vlastního výsledku hitu:

4.25

Pokud chcete v podrobných plánech používat paprsky rukou, vyhledejte některou z akcí v části Windows Mixed Reality HMD:

Chcete-li k nim získat přístup v jazyce C++, zahrňte WindowsMixedRealityFunctionLibrary.h do horní části souboru s kódem volání.

Výčet

Máte také přístup ke vstupním případům v části EHMDInputControllerButtons, které se dají použít v podrobných plánech:

Pro přístup v jazyce C++ použijte třídu výčtu EHMDInputControllerButtons :

enum class EHMDInputControllerButtons : uint8
{
	Select,
	Grasp,
//......
};

Níže je uveden rozpis dvou použitelných případů výčtu:

• Select – Událost Select aktivovaná uživatelem.
  • Aktivuje se v HoloLens 2 klepnutím, pohledem a potvrzením nebo vyslovením možnosti Vybrat s povoleným hlasovým vstupem.
• Uchopení – Uživatel aktivoval událost uchopení.
  • Aktivuje se v HoloLens 2 zavřením prstů uživatele na hologramu.

Ke stavu sledování sítě rukou v jazyce C++ se dostanete pomocí výčtu EHMDTrackingStatus uvedeného níže:

enum class EHMDTrackingStatus : uint8
{
	NotTracked,
	//......
	Tracked
};

Níže je uveden rozpis dvou použitelných případů výčtu:

• NotTracked – ruka není viditelná
• Sledování – ruka je plně sledována

Struktura

Struktura PointerPoseInfo vám může poskytnout informace o následujících datech rukou:

• Původ – původ ruky
• Směr – směr ruky
• Nahoru – nahoru vektor ruky
• Orientace – orientační kvaternion
• Stav sledování – aktuální stav sledování

Ke struktuře PointerPoseInfo můžete přistupovat prostřednictvím podrobných plánů, jak je znázorněno níže:

Nebo s C++:

struct FPointerPoseInfo
{
	FVector Origin;
	FVector Direction;
	FVector Up;
	FQuat Orientation;
	EHMDTrackingStatus TrackingStatus;
};

Functions

Všechny níže uvedené funkce lze volat na každém snímku, což umožňuje průběžné monitorování.

1. Funkce Get Pointer Pose Info vrátí úplné informace o směru paprsku ruky v aktuálním snímku.

Blueprint:

C++:

static FPointerPoseInfo UWindowsMixedRealityFunctionLibrary::GetPointerPoseInfo(EControllerHand hand);

2. Funkce Is Grasped vrátí hodnotu true, pokud je ruka uchopena v aktuálním snímku.

Blueprint:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsGrasped(EControllerHand hand);

3. Is Select Pressed vrátí hodnotu true, pokud uživatel aktivoval funkci Select v aktuálním snímku.

Blueprint:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsSelectPressed(EControllerHand hand);

4. Je kliknutí na tlačítko vrátí hodnotu true, pokud se událost nebo tlačítko aktivuje v aktuálním snímku.

Blueprint:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsButtonClicked(EControllerHand hand, EHMDInputControllerButtons button);

5. Funkce Get Controller Tracking Status vrátí stav sledování v aktuálním snímku.

Blueprint:

C++:

static EHMDTrackingStatus UWindowsMixedRealityFunctionLibrary::GetControllerTrackingStatus(EControllerHand hand);

Gesta

HoloLens 2 sleduje prostorová gesta, což znamená, že tato gesta můžete zachytit jako vstup. Sledování gest je založené na modelu předplatného. Pomocí funkce Konfigurovat gesta byste měli zařízení informovat, která gesta chcete sledovat. Další podrobnosti o gestech najdete v dokumentu HoloLens 2 Základní používání.

4.26

Windows Mixed Reality

Pak byste měli přidat kód pro přihlášení k odběru následujících událostí:

OpenXR

V OpenXR se události gest sledují prostřednictvím vstupního kanálu. Pomocí interakce rukou může zařízení automaticky rozpoznat gesta klepnutí a podržení, ale ne ostatní. Mají názvy Mapování OpenXRMsftHandInteraction Select a Grip. Předplatné nemusíte povolovat. Události byste měli deklarovat v nastavení projektu, modulu nebo vstupu, stejně jako v tomto případě:

4.25

V části Windows Mixed Reality Spatial Input najdete funkci Podrobný plán a funkci C++ přidáním WindowsMixedRealitySpatialInputFunctionLibrary.h do souboru volajícího kódu.

Výčet

Blueprint:

C++:

enum class ESpatialInputAxisGestureType : uint8
{
	None = 0,
	Manipulation = 1,
	Navigation = 2,
	NavigationRails = 3
};

Funkce

Funkci můžete povolit nebo zakázat zachytávání CaptureGestures gest. Když povolené gesto aktivuje vstupní události, funkce se vrátí true , pokud bylo zachycení gest úspěšné a false pokud dojde k chybě.

Blueprint:

C++:

static bool UWindowsMixedRealitySpatialInputFunctionLibrary::CaptureGestures(
	bool Tap = false,
	bool Hold = false,
	ESpatialInputAxisGestureType AxisGesture = ESpatialInputAxisGestureType::None,
	bool NavigationAxisX = true,
	bool NavigationAxisY = true,
	bool NavigationAxisZ = true);

Níže jsou uvedené klíčové události, které najdete v podrobných plánech a jazyce C++:

const FKey FSpatialInputKeys::TapGesture(TapGestureName);
const FKey FSpatialInputKeys::DoubleTapGesture(DoubleTapGestureName);
const FKey FSpatialInputKeys::HoldGesture(HoldGestureName);

const FKey FSpatialInputKeys::LeftTapGesture(LeftTapGestureName);
const FKey FSpatialInputKeys::LeftDoubleTapGesture(LeftDoubleTapGestureName);
const FKey FSpatialInputKeys::LeftHoldGesture(LeftHoldGestureName);

const FKey FSpatialInputKeys::RightTapGesture(RightTapGestureName);
const FKey FSpatialInputKeys::RightDoubleTapGesture(RightDoubleTapGestureName);
const FKey FSpatialInputKeys::RightHoldGesture(RightHoldGestureName);

const FKey FSpatialInputKeys::LeftManipulationGesture(LeftManipulationGestureName);
const FKey FSpatialInputKeys::LeftManipulationXGesture(LeftManipulationXGestureName);
const FKey FSpatialInputKeys::LeftManipulationYGesture(LeftManipulationYGestureName);
const FKey FSpatialInputKeys::LeftManipulationZGesture(LeftManipulationZGestureName);

const FKey FSpatialInputKeys::LeftNavigationGesture(LeftNavigationGestureName);
const FKey FSpatialInputKeys::LeftNavigationXGesture(LeftNavigationXGestureName);
const FKey FSpatialInputKeys::LeftNavigationYGesture(LeftNavigationYGestureName);
const FKey FSpatialInputKeys::LeftNavigationZGesture(LeftNavigationZGestureName);


const FKey FSpatialInputKeys::RightManipulationGesture(RightManipulationGestureName);
const FKey FSpatialInputKeys::RightManipulationXGesture(RightManipulationXGestureName);
const FKey FSpatialInputKeys::RightManipulationYGesture(RightManipulationYGestureName);
const FKey FSpatialInputKeys::RightManipulationZGesture(RightManipulationZGestureName);

const FKey FSpatialInputKeys::RightNavigationGesture(RightNavigationGestureName);
const FKey FSpatialInputKeys::RightNavigationXGesture(RightNavigationXGestureName);
const FKey FSpatialInputKeys::RightNavigationYGesture(RightNavigationYGestureName);
const FKey FSpatialInputKeys::RightNavigationZGesture(RightNavigationZGestureName);

Další vývojový kontrolní bod

Pokud sledujete cestu unreal developmentu, kterou jsme vytyložili, jste uprostřed zkoumání základních stavebních bloků MRTK. Odtud můžete pokračovat k dalšímu stavebnímu bloku:

Místní prostorové kotvy

Nebo přejděte na Mixed Reality možností platformy a rozhraní API:

Kamera HoloLens

Ke kontrolním bodům Unreal Development se můžete kdykoli vrátit.