Mixed Reality nativní interop v Unity
Každá Mixed Reality aplikace získá HolographicSpace předtím, než začne přijímat data z fotoaparátu a vykreslovat snímky. V Unity se o tyto kroky postará modul za vás, zpracovává holografické objekty a interně se aktualizuje jako součást své smyčky vykreslování.
V pokročilých scénářích však může být nutné získat přístup k základním nativním objektům, jako je HolographicCamera a aktuální HolographicFrame.
WindowsMixedRealityUtilities
Obor názvů:Microsoft.MixedReality.Toolkit.WindowsMixedReality
Typ:WindowsMixedRealityUtilities
MRTK poskytuje již seřazené typy ve starších verzích WSA i XR SDK prostřednictvím třídy WindowsMixedRealityUtilities .
public static HolographicFrame CurrentHolographicFrame { get; }
public static SpatialCoordinateSystem SpatialCoordinateSystem { get; }
public static SpatialInteractionManager SpatialInteractionManager { get; }
Zrušení ohraničení nativních ukazatelů
Po získání IntPtr
z jedné z výše uvedených metod (není potřeba pro MRTK) použijte následující fragmenty kódu k jejich zařazování do spravovaných objektů.
Pokud používáte Microsoft.Windows.MixedReality.DotNetWinRT, můžete vytvořit spravovaný objekt z nativního FromNativePtr()
ukazatele pomocí metody:
var worldOrigin = Microsoft.Windows.Perception.Spatial.SpatialCoordinateSystem.FromNativePtr(spatialCoordinateSystemPtr);
V opačném případě použijte Marshal.GetObjectForIUnknown()
a přetypujte na požadovaný typ:
#if ENABLE_WINMD_SUPPORT
var worldOrigin = Marshal.GetObjectForIUnknown(spatialCoordinateSystemPtr) as Windows.Perception.Spatial.SpatialCoordinateSystem;
#endif
Převod mezi souřadnicovými systémy
Unity používá levostranný souřadnicový systém, zatímco rozhraní WINDOWS Perception API používají souřadnicové systémy pravé ruky. K převodu mezi těmito dvěma konvencemi můžete použít následující pomocné rutiny:
namespace NumericsConversion
{
public static class NumericsConversionExtensions
{
public static UnityEngine.Vector3 ToUnity(this System.Numerics.Vector3 v) => new UnityEngine.Vector3(v.X, v.Y, -v.Z);
public static UnityEngine.Quaternion ToUnity(this System.Numerics.Quaternion q) => new UnityEngine.Quaternion(q.X, q.Y, -q.Z, -q.W);
public static UnityEngine.Matrix4x4 ToUnity(this System.Numerics.Matrix4x4 m) => new UnityEngine.Matrix4x4(
new Vector4( m.M11, m.M12, -m.M13, m.M14),
new Vector4( m.M21, m.M22, -m.M23, m.M24),
new Vector4(-m.M31, -m.M32, m.M33, -m.M34),
new Vector4( m.M41, m.M42, -m.M43, m.M44));
public static System.Numerics.Vector3 ToSystem(this UnityEngine.Vector3 v) => new System.Numerics.Vector3(v.x, v.y, -v.z);
public static System.Numerics.Quaternion ToSystem(this UnityEngine.Quaternion q) => new System.Numerics.Quaternion(q.x, q.y, -q.z, -q.w);
public static System.Numerics.Matrix4x4 ToSystem(this UnityEngine.Matrix4x4 m) => new System.Numerics.Matrix4x4(
m.m00, m.m10, -m.m20, m.m30,
m.m01, m.m11, -m.m21, m.m31,
-m.m02, -m.m12, m.m22, -m.m32,
m.m03, m.m13, -m.m23, m.m33);
}
}
Použití nativních dat HolographicFrame
Poznámka
Změna stavu nativních objektů přijatých prostřednictvím HolographicFrameNativeData může způsobit nepředvídatelné chování a vykreslování artefaktů, zejména v případě, že Unity také zdůvodní stejný stav. Například byste neměli volat HolographicFrame.UpdateCurrentPrediction, jinak predikce pozice, kterou Unity vykresluje s tímto rámcem, nebude synchronizovaná s pozicí, kterou systém Windows očekává, což sníží stabilitu hologramu.
Pokud potřebujete přístup k nativním rozhraním pro účely vykreslování nebo ladění, použijte data z HolographicFrameNativeData v nativních modulech plug-in nebo kódu jazyka C#.
Tady je příklad použití HolographicFrameNativeData k získání předpovědi aktuálního rámce pro foton čas pomocí rozšíření XR SDK.
using System;
using System.Runtime.InteropServices;
public static bool GetCurrentFrameDateTime(out DateTime frameDateTime)
{
#if ENABLE_WINMD_SUPPORT
IntPtr holographicFramePtr = UnityEngine.XR.WindowsMR.WindowsMREnvironment.CurrentHolographicRenderFrame;
if (holographicFramePtr != IntPtr.Zero)
{
var holographicFrame = Marshal.GetObjectForIUnknown(holographicFramePtr) as Windows.Graphics.Holographic.HolographicFrame;
frameDateTime = holographicFrame.CurrentPrediction.Timestamp.TargetTime.DateTime;
return true;
}
#endif
frameDateTime = DateTime.MinValue;
return false;
}