Unreal'da HoloLens Fotoğraf/Video Kamera

HoloLens'in vizörde hem Karma Gerçeklik Yakalama (MRC) hem de gerçek olmayan dünya uzayında nesneleri kamera çerçevesindeki piksel koordinatlarından bulmak için kullanılabilecek bir Fotoğraf/Video (PV) Kamera bulunur.

Önemli

PV Kamera Holographic Remoting ile desteklenmez, ancak HoloLens PV Kamera işlevini simüle etmek için bilgisayarınıza bağlı bir web kamerası kullanmak mümkündür.

4.26

PV Kamera Akışı Kurulumu

Önemli

PV kamera hem Windows Mixed Reality hem de OpenXR eklentilerinde uygulanır. Ancak OpenXR için Microsoft OpenXR eklentisinin yüklü olması gerekir. Ayrıca, Unreal 4.26 için OpenXR'nin bir sınırlaması vardır: kamera DirectX11 RHI ile çalışabilir. Bu sınırlama, Unreal 4.27.1 veya sonraki sürümlerde düzeltilmiştir.

• Proje Ayarları > HoloLens'teWeb Kamerası özelliğini etkinleştirin:

• "CamCapture" adlı yeni bir aktör oluşturun ve kamera akışını işlemek için bir düzlem ekleyin:

• Aktörü sahnenize ekleyin, Doku Nesnesi Parametresi ile CamTextureMaterial adlı yeni bir malzeme ve doku örneği oluşturun. Doku rgb verilerini çıkış izinli renge gönderin:

PV Kamera Akışını İşleme

• CamCapture şemasında PV Kamera'yı açın:

• CamTextureMaterial'dan dinamik bir malzeme örneği oluşturun ve bu malzemeyi aktörün düzlemine atayın:

• Kamera akışından dokuyu alın ve geçerliyse dinamik malzemeye atayın. Doku geçerli değilse bir zamanlayıcı başlatın ve zaman aşımından sonra yeniden deneyin:

• Son olarak, düzlemi kamera görüntüsünün en boy oranına göre ölçeklendirin:

World Space'te Kamera Konumlarını Bulma

HoloLens 2 kamera, cihazın baş izlemesinden dikey olarak uzaklıktadır. Uzaklığı hesaba eklemek için dünya uzayında kamerayı bulmak için birkaç işlev vardır.

GetPVCameraToWorldTransform, PV Kamera'nın dünya uzayında dönüşümü alır ve kamera merceğine konumlandırılır:

GetWorldSpaceRayFromCameraPoint, kamera çerçevesinde bir pikselin içeriğini bulmak için gerçek olmayan dünya alanında kamera merceğinden bir ışın yayınlar:

GetPVCameraIntrinsics, kamera çerçevesinde görüntü işleme yaparken kullanılabilecek kamera iç değerlerini döndürür:

Belirli bir piksel koordinatında dünya uzayında nelerin var olduğunu bulmak için dünya uzay ışını ile bir çizgi izleme kullanın:

Burada kamera lensinden çerçevenin sol üst kısmından 1/4 kamera alanı konumuna 2 metrelik bir ışın atıyoruz. Ardından, nesnenin dünya alanında bulunduğu bir şeyi işlemek için isabet sonucunu kullanın:

Uzamsal haritalama kullanılırken, bu isabet konumu kameranın gördüğü yüzeyle eşleşecektir.

C++ dilinde PV Kamera Akışını İşleme

• CamCapture adlı yeni bir C++ aktörü oluşturma
• Projenin build.cs dosyasına PublicDependencyModuleNames listesine "AugmentedReality" ekleyin:

PublicDependencyModuleNames.AddRange(
    new string[] {
        "Core",
        "CoreUObject",
        "Engine",
        "InputCore",
        "AugmentedReality"
});

• CamCapture.h içinde ARBlueprintLibrary.h dosyasını ekleyin

#include "ARBlueprintLibrary.h"

• Ağ ve malzeme için yerel değişkenler de eklemeniz gerekir:

private:
    UStaticMesh* StaticMesh;
    UStaticMeshComponent* StaticMeshComponent;
    UMaterialInstanceDynamic* DynamicMaterial;
    bool IsTextureParamSet = false;

• CamCapture.cpp dosyasında oluşturucuyu güncelleştirerek sahneye statik bir ağ ekleyin:

ACamCapture::ACamCapture()
{
    PrimaryActorTick.bCanEverTick = true;

    // Load a mesh from the engine to render the camera feed to.
    StaticMesh = LoadObject<UStaticMesh>(nullptr, TEXT("/Engine/EngineMeshes/Cube.Cube"), nullptr, LOAD_None, nullptr);

    // Create a static mesh component to render the static mesh
    StaticMeshComponent = CreateDefaultSubobject<UStaticMeshComponent>(TEXT("CameraPlane"));
    StaticMeshComponent->SetStaticMesh(StaticMesh);

    // Scale and add to the scene
    StaticMeshComponent->SetWorldScale3D(FVector(0.1f, 1, 1));
    this->SetRootComponent(StaticMeshComponent);
}

BeginPlay'de projenin kamera malzemesinden dinamik bir malzeme örneği oluşturun, bunu statik ağ bileşenine uygulayın ve HoloLens kamerasını başlatın.

Düzenleyicide, içerik tarayıcısında CamTextureMaterial öğesine sağ tıklayın ve CameraMatPath dizesini almak için "Başvuruyu Kopyala"yı seçin.

void ACamCapture::BeginPlay()
{
    Super::BeginPlay();

    // Create a dynamic material instance from the game's camera material.
    // Right-click on a material in the project and select "Copy Reference" to get this string.
    FString CameraMatPath("Material'/Game/Materials/CamTextureMaterial.CamTextureMaterial'");
    UMaterial* BaseMaterial = (UMaterial*)StaticLoadObject(UMaterial::StaticClass(), nullptr, *CameraMatPath, nullptr, LOAD_None, nullptr);
    DynamicMaterial = UMaterialInstanceDynamic::Create(BaseMaterial, this);

    // Use the dynamic material instance when rendering the camera mesh.
    StaticMeshComponent->SetMaterial(0, DynamicMaterial);

    // Start the webcam.
    UARBlueprintLibrary::ToggleARCapture(true, EARCaptureType::Camera);
}

Tick'de dokuyu kameradan alın, CamTextureMaterial malzemedeki doku parametresine ayarlayın ve statik ağ bileşenini kamera çerçevesinin en boy oranına göre ölçeklendirin:

void ACamCapture::Tick(float DeltaTime)
{
    Super::Tick(DeltaTime);

    // Dynamic material instance only needs to be set once.
    if(IsTextureParamSet)
    {
        return;
    }

    // Get the texture from the camera.
    UARTexture* ARTexture = UARBlueprintLibrary::GetARTexture(EARTextureType::CameraImage);
    if(ARTexture != nullptr)
    {
        // Set the shader's texture parameter (named "Param") to the camera image.
        DynamicMaterial->SetTextureParameterValue("Param", ARTexture);
        IsTextureParamSet = true;

        // Get the camera instrincs
        FARCameraIntrinsics Intrinsics;
        UARBlueprintLibrary::GetCameraIntrinsics(Intrinsics);

        // Scale the camera mesh by the aspect ratio.
        float R = (float)Intrinsics.ImageResolution.X / (float)Intrinsics.ImageResolution.Y;
        StaticMeshComponent->SetWorldScale3D(FVector(0.1f, R, 1));
    }
}

4.25

MRC için PV Kameradan İşleme

Not

Bunun için Unreal Engine 4.25 veya üzeri gerekir.

Sistem ve özel MRC kaydedicileri, PV Kamera'yı uygulama tarafından işlenen hologramlarla birleştirerek karma gerçeklik yakalamaları oluşturur.

Karma gerçeklik yakalama varsayılan olarak sağ gözün holografik çıkışını kullanır. Çevreleyici bir uygulama PV Kameradan işlemeyi seçerse, bunun yerine bu kullanılır. PV Kameradan işleme, MRC videosundaki gerçek dünya ile hologramlar arasındaki eşlemeyi geliştirir.

PV Kameradan işlemeyi kabul etmek için:

1. SetEnabledMixedRealityCamera ve ResizeMixedRealityCamera çağrısı
   • Video boyutlarını ayarlamak için Boyut X ve Boyut Y değerlerini kullanın.

Unreal daha sonra PV Kamera perspektifinden işlemek için MRC'den gelen istekleri işler.

Not

Yalnızca Karma Gerçeklik Yakalama tetiklendiğinde uygulamadan fotoğraf/video kamerasının perspektifinden işlemesi istenir.

PV Kamerasını Kullanma

Web kamerası dokusu çalışma zamanında oyunda alınabilir, ancak düzenleyicinin Proje Ayarlarını Düzenle >bölümünde etkinleştirilmesi gerekir:

1. Platformlar > HoloLens > Özellikleri'ne gidin ve Web Kamerası'nı denetleyin.
   • Çalışma zamanında web kamerasını kullanmak için StartCameraCapture işlevini ve kaydı durdurmak için StopCameraCapture işlevini kullanın.

Görüntü işleme

Kamera görüntüsünü işlemek için:

1. Aşağıdaki ekran görüntüsünde PVCamMat adlı projedeki bir malzemeyi temel alan dinamik bir malzeme örneği oluşturun.
2. Dinamik malzeme örneğini bir Malzeme Örneği Dinamik Nesne Başvurusu değişkenine ayarlayın.
3. Sahnedeki nesnenin malzemesini, kamera akışını bu yeni dinamik malzeme örneğine işleyecek şekilde ayarlayın.
   • Kamera görüntüsünü malzemeye bağlamak için kullanılacak bir zamanlayıcı başlatın.

4. Bu zamanlayıcı için bu durumda MaterialTimer için yeni bir işlev oluşturun ve web kamerasından dokuyu almak için GetARCameraImage öğesini çağırın.
5. Doku geçerliyse, gölgelendiricide görüntüye bir doku parametresi ayarlayın. Aksi takdirde malzeme zamanlayıcısını yeniden başlatın.

5. Malzemenin , SetTextureParameterValue içindeki bir renk girdisine bağlı adla eşleşen bir parametresi olduğundan emin olun. parametresi olmadan kamera görüntüsü düzgün bir şekilde görüntülenemez.

Sonraki Geliştirme Denetim Noktası

Ortaya koyduğumuz Gerçek olmayan geliştirme yolculuğunu takip ediyorsanız, Karma Gerçeklik platformu özelliklerini ve API'lerini keşfetmenin tam ortasındasınız demektir. Buradan bir sonraki konuya devam edebilirsiniz:

QR codes (QR kodları)

Veya doğrudan uygulamanızı bir cihaza veya öykünücüye dağıtmaya atlayın:

Cihaza dağıtma

İstediğiniz zaman Gerçekleşmemiş geliştirme denetim noktalarına geri dönebilirsiniz.

Ayrıca bkz.

• Locatable kamera
• Geliştiriciler için karma gerçeklik yakalama