Mixed Reality natív interop a Unityben
Minden Mixed Reality alkalmazás kap egy HolographicSpace-t, mielőtt megkezdené a kameraadatok fogadását és a képkockák renderelését. A Unityben a motor gondoskodik ezekről a lépésekről, kezeli a holografikus objektumokat, és belsőleg frissül a renderelési ciklus részeként.
Speciális forgatókönyvekben azonban előfordulhat, hogy hozzá kell férnie a mögöttes natív objektumokhoz, például a HolographicCamera-hoz és az aktuális HolographicFrame-hez.
WindowsMixedRealityUtilities
Névtér:Microsoft.MixedReality.Toolkit.WindowsMixedReality
Típus:WindowsMixedRealityUtilities
Az MRTK már előre beállított típusokat biztosít az örökölt WSA és az XR SDK között a WindowsMixedRealityUtilities osztályon keresztül.
public static HolographicFrame CurrentHolographicFrame { get; }
public static SpatialCoordinateSystem SpatialCoordinateSystem { get; }
public static SpatialInteractionManager SpatialInteractionManager { get; }
Natív mutatók leválasztása
Miután beszerezte a IntPtr
fenti metódusok egyikét (az MRTK-hoz nem szükséges), használja az alábbi kódrészleteket a felügyelt objektumokhoz való alkalmazásukhoz.
A Microsoft.Windows.MixedReality.DotNetWinRT használata esetén a következő módszerrel hozhat létre felügyelt objektumot natív mutatóból FromNativePtr()
:
var worldOrigin = Microsoft.Windows.Perception.Spatial.SpatialCoordinateSystem.FromNativePtr(spatialCoordinateSystemPtr);
Ellenkező esetben használja Marshal.GetObjectForIUnknown()
és adja hozzá a kívánt típust:
#if ENABLE_WINMD_SUPPORT
var worldOrigin = Marshal.GetObjectForIUnknown(spatialCoordinateSystemPtr) as Windows.Perception.Spatial.SpatialCoordinateSystem;
#endif
Konvertálás koordinátarendszerek között
A Unity balkezes koordinátarendszert használ, míg a Windows Perception API-k jobbkezes koordinátarendszereket használnak. A két konvenció közötti konvertáláshoz az alábbi segítőket használhatja:
namespace NumericsConversion
{
public static class NumericsConversionExtensions
{
public static UnityEngine.Vector3 ToUnity(this System.Numerics.Vector3 v) => new UnityEngine.Vector3(v.X, v.Y, -v.Z);
public static UnityEngine.Quaternion ToUnity(this System.Numerics.Quaternion q) => new UnityEngine.Quaternion(q.X, q.Y, -q.Z, -q.W);
public static UnityEngine.Matrix4x4 ToUnity(this System.Numerics.Matrix4x4 m) => new UnityEngine.Matrix4x4(
new Vector4( m.M11, m.M12, -m.M13, m.M14),
new Vector4( m.M21, m.M22, -m.M23, m.M24),
new Vector4(-m.M31, -m.M32, m.M33, -m.M34),
new Vector4( m.M41, m.M42, -m.M43, m.M44));
public static System.Numerics.Vector3 ToSystem(this UnityEngine.Vector3 v) => new System.Numerics.Vector3(v.x, v.y, -v.z);
public static System.Numerics.Quaternion ToSystem(this UnityEngine.Quaternion q) => new System.Numerics.Quaternion(q.x, q.y, -q.z, -q.w);
public static System.Numerics.Matrix4x4 ToSystem(this UnityEngine.Matrix4x4 m) => new System.Numerics.Matrix4x4(
m.m00, m.m10, -m.m20, m.m30,
m.m01, m.m11, -m.m21, m.m31,
-m.m02, -m.m12, m.m22, -m.m32,
m.m03, m.m13, -m.m23, m.m33);
}
}
A HolographicFrame natív adatainak használata
Megjegyzés
A HolographicFrameNativeData használatával fogadott natív objektumok állapotának módosítása kiszámíthatatlan viselkedést és az összetevők renderelését okozhatja, különösen akkor, ha a Unity is ezt az állapotot indokolja. Ne hívja meg például a HolographicFrame.UpdateCurrentPrediction parancsot, különben a Unity által ezzel a kerettel megjelenített póz-előrejelzés nem lesz szinkronizálva a Windows által várt pózzal, ami csökkenti a hologram stabilitását.
Ha renderelés vagy hibakeresés céljából natív felületekhez kell hozzáférnie, használja a HolographicFrameNativeData adatait a natív beépülő modulokban vagy C#-kódban.
Íme egy példa arra, hogyan használhatja a HolographicFrameNativeData eszközt az aktuális keret fotonidőre vonatkozó előrejelzésének lekéréséhez az XR SDK-bővítmények használatával.
using System;
using System.Runtime.InteropServices;
public static bool GetCurrentFrameDateTime(out DateTime frameDateTime)
{
#if ENABLE_WINMD_SUPPORT
IntPtr holographicFramePtr = UnityEngine.XR.WindowsMR.WindowsMREnvironment.CurrentHolographicRenderFrame;
if (holographicFramePtr != IntPtr.Zero)
{
var holographicFrame = Marshal.GetObjectForIUnknown(holographicFramePtr) as Windows.Graphics.Holographic.HolographicFrame;
frameDateTime = holographicFrame.CurrentPrediction.Timestamp.TargetTime.DateTime;
return true;
}
#endif
frameDateTime = DateTime.MinValue;
return false;
}