HoloLens-/videocamera in Unreal

Installatie van PV-camerafeed

• Schakel in Project Instellingen HoloLensde mogelijkheid Webcam in:

• Maak een nieuwe actor met de naam 'CamCapture' en voeg een vlak toe om de camerafeed weer te geven:

• Voeg de actor toe aan uw scène, maak een nieuw materiaal met de naam CamTextureMaterial met een patroonobjectparameter en een patroonvoorbeeld. Verzend de rgb-gegevens van het patroon naar de uitvoerkleur:

De PV-camerafeed weergeven

• Schakel in de blauwdruk CamCapture de PV-camera in:

• Maak een exemplaar van dynamisch materiaal van CamTexture Material en wijs dit materiaal toe aan het vlak van de actor:

• Haal het patroon op uit de camerafeed en wijs het toe aan het dynamische materiaal als dit geldig is. Als het patroon niet geldig is, start u een timer en probeert u het opnieuw na de time-out:

• Schaal ten slotte het vlak op de aspectverhouding van de cameraafbeelding:

Cameraposities in de wereldruimte zoeken

De camera op de HoloLens 2 wordt verticaal verschoven van de head tracking van het apparaat. Er bestaan enkele functies om de camera in de wereldruimte te vinden om de offset te verantwoorden.

GetPVCameraToWorldTransform haalt de transformatie op in de wereldruimte van de PV-camera en wordt op de cameralens geplaatst:

GetWorldSpaceRayFromCameraPoint cast een straal van de cameralens in de scène in de Ruimte van Unreal om de inhoud van een pixel in het cameraframe te vinden:

GetPVCameraIntrinsics retourneert de intrinsieke waarden van de camera, die kunnen worden gebruikt bij het verwerken van Computer Vision in een cameraframe:

Als u wilt weten wat er in de wereldruimte op een bepaalde pixelcoördinaat bestaat, gebruikt u een lijnlijn met de ruimte ray world:

Hier casten we een 2-meter ray van de cameralens naar de positie van de cameraruimte 1/4 vanaf de linkerbovenhoek van het frame. Gebruik vervolgens het trefferresultaat om iets weer te geven waarin het object zich in de wereldruimte bevindt:

Wanneer u ruimtelijke toewijzing gebruikt, komt deze trefferpositie overeen met het oppervlak dat de camera ziet.

De PV-camerafeed weergeven in C++

• Maak een nieuwe C++-actor met de naam CamCapture
• Voeg in build.cs van het project 'AugmentedReality' toe aan de lijst PublicDependencyModuleNames:

PublicDependencyModuleNames.AddRange(
    new string[] {
        "Core",
        "CoreUObject",
        "Engine",
        "InputCore",
        "AugmentedReality"
});

• Neem in CamCapture.h ARBlueprintLibrary.h op

#include "ARBlueprintLibrary.h"

• U moet ook lokale variabelen toevoegen voor de mesh en het materiaal:

private:
    UStaticMesh* StaticMesh;
    UStaticMeshComponent* StaticMeshComponent;
    UMaterialInstanceDynamic* DynamicMaterial;
    bool IsTextureParamSet = false;

• Werk in CamCapture.cpp de constructor bij om een statisch mesh toe te voegen aan de scène:

ACamCapture::ACamCapture()
{
    PrimaryActorTick.bCanEverTick = true;

    // Load a mesh from the engine to render the camera feed to.
    StaticMesh = LoadObject<UStaticMesh>(nullptr, TEXT("/Engine/EngineMeshes/Cube.Cube"), nullptr, LOAD_None, nullptr);

    // Create a static mesh component to render the static mesh
    StaticMeshComponent = CreateDefaultSubobject<UStaticMeshComponent>(TEXT("CameraPlane"));
    StaticMeshComponent->SetStaticMesh(StaticMesh);

    // Scale and add to the scene
    StaticMeshComponent->SetWorldScale3D(FVector(0.1f, 1, 1));
    this->SetRootComponent(StaticMeshComponent);
}

Maak in BeginPlay een exemplaar van dynamisch materiaal op basis van het cameramateriaal van het project, pas dit toe op het onderdeel static mesh en start de HoloLens camera.

Klik in de editor met de rechtermuisknop op CamTextureMaterial in de inhoudsbrowser en selecteer Referentie kopiëren om de tekenreeks voor CameraMatPath op te halen.

void ACamCapture::BeginPlay()
{
    Super::BeginPlay();

    // Create a dynamic material instance from the game's camera material.
    // Right-click on a material in the project and select "Copy Reference" to get this string.
    FString CameraMatPath("Material'/Game/Materials/CamTextureMaterial.CamTextureMaterial'");
    UMaterial* BaseMaterial = (UMaterial*)StaticLoadObject(UMaterial::StaticClass(), nullptr, *CameraMatPath, nullptr, LOAD_None, nullptr);
    DynamicMaterial = UMaterialInstanceDynamic::Create(BaseMaterial, this);

    // Use the dynamic material instance when rendering the camera mesh.
    StaticMeshComponent->SetMaterial(0, DynamicMaterial);

    // Start the webcam.
    UARBlueprintLibrary::ToggleARCapture(true, EARCaptureType::Camera);
}

Stel in Tik het patroon van de camera op, stel deze in op de patroonparameter in het CamTexture Material-materiaal en schaal het statische mesh-onderdeel op basis van de beeldverhouding van het cameraframe:

void ACamCapture::Tick(float DeltaTime)
{
    Super::Tick(DeltaTime);

    // Dynamic material instance only needs to be set once.
    if(IsTextureParamSet)
    {
        return;
    }

    // Get the texture from the camera.
    UARTexture* ARTexture = UARBlueprintLibrary::GetARTexture(EARTextureType::CameraImage);
    if(ARTexture != nullptr)
    {
        // Set the shader's texture parameter (named "Param") to the camera image.
        DynamicMaterial->SetTextureParameterValue("Param", ARTexture);
        IsTextureParamSet = true;

        // Get the camera instrincs
        FARCameraIntrinsics Intrinsics;
        UARBlueprintLibrary::GetCameraIntrinsics(Intrinsics);

        // Scale the camera mesh by the aspect ratio.
        float R = (float)Intrinsics.ImageResolution.X / (float)Intrinsics.ImageResolution.Y;
        StaticMeshComponent->SetWorldScale3D(FVector(0.1f, R, 1));
    }
}

Renderen vanuit de PV-camera voor MRC

De systeem- en aangepaste MRC-recorders maken mixed reality vastleggen door de PV-camera te combineren met hologrammen die door de app worden weergegeven.

Standaard gebruikt mixed reality capture de holografische uitvoer van het rechter oog. Als een in immersieve app ervoor kiest om weer te geven vanuit de PV-camera,wordt die in plaats daarvan gebruikt. Rendering van de PV-camera verbetert de toewijzing tussen de echte wereld en de hologrammen in de MRC-video.

Als u wilt kiezen voor rendering vanuit de PV-camera:

1. SetEnabledMixedRealityCamera en ResizeMixedRealityCamera aanroepen
   • Gebruik de waarden Grootte X en Y-grootte om de videodimensie in te stellen.

Met Unreal worden vervolgens aanvragen van MRC verwerkt die vanuit het perspectief van de PV-camera moeten worden weergegeven.

De PV-camera gebruiken

Het webcam-patroon kan tijdens runtime in het spel worden opgehaald, maar moet worden ingeschakeld in de bewerkingsbewerking van de editor Project Instellingen:

1. Ga naar Platformen HoloLens > mogelijkheden en controleer >
   • Gebruik de functie StartCameraCapture om de webcam tijdens runtime te gebruiken en de functie StopCameraCapture om de opname te stoppen.

Een afbeelding weergeven

De cameraafbeelding renderen:

1. Maak een exemplaar van dynamisch materiaal op basis van een materiaal in het project, met de naam PVCamMat in de onderstaande schermopname.
2. Stel het exemplaar van het dynamische materiaal in op een variabele Voor een dynamisch objectverwijzing van een materiaal exemplaar.
3. Stel het materiaal van het object in de scène in dat de camerafeed wekt voor deze nieuwe dynamische materiaal-instantie.
   • Start een timer die wordt gebruikt om de cameraafbeelding te binden aan het materiaal.

4. Maak een nieuwe functie voor deze timer, in dit geval MaterialTimer,en roep GetARCameraImage aan om het patroon van de webcam op te halen.
5. Als het patroon geldig is, stelt u een patroonparameter in de shader in op de afbeelding. Anders start u de materiaaltimer opnieuw.

5. Zorg ervoor dat het materiaal een parameter heeft die overeenkomt met de naam in SetTextureParameterValue die is gebonden aan een kleurinvoer. Zonder de parameter kan de cameraafbeelding niet goed worden weergegeven.