Holographic Işlemeye genel bakış

Özellik HoloLens (ilk genel) HoloLens 2 Modern kulaklıklar
İşleme ✔️ ✔️ ✔️

Holographic işleme

Holographic işlemeye yönelik anahtar, ne tür bir cihaz kullanıldığını bilmektir. HoloLensgibi görüntülemeözellikli cihazlar, dünyaya ışık ekler. Siyah pikseller tamamen saydamdır, daha parlak pikseller giderek daha donuk. Ekranların ışığı gerçek dünyanın ışığıyla eklendiğinden, beyaz pikseller yarı saydam olur.

Stereoscopic oluşturma, hologramlar için bir derinlik ipucu sağlarken, eklenebilir etkileri eklemek, kullanıcıların bir hologram için yakın olan yüzeyi daha kolay görebilmesini sağlar. Tek bir ayırma tekniği, yakın yüzeyde bir hologram etrafında bir ışıma eklemek ve ardından bu ışıkta bir gölge işlemek. Bu şekilde, gölge ortamdan çıkar ışığı olarak görünür. Uzamsal ses başka bir önemli derinlik destesi, bu da kullanıcıların bir hologram arasındaki mesafe ve göreli konum hakkında sebebini sağlar.

derinlikli Windows Mixed Reality kulaklıklargibi donuk ekranlarıolan cihazlar dünyanın ölçeğini engeller. Siyah pikseller düz siyah, diğer tüm renkler ise Kullanıcı rengi olarak görünür. Uygulamanız, kullanıcının gördüğü her şeyi işlemeden sorumludur. Bu, kullanıcıların rahat bir deneyim sahibi olması için sabit yenileme oranının korunmasını daha da önemli hale getirir.

Tahmin edilen işleme parametreleri

karma gerçeklik kulaklıkları (hem HoloLens hem de derinlikli kulaklıklar), kullanıcının kafasını, kendi dalgalanmalarına göre konumunu ve yönünü sürekli olarak izler. Uygulamanız bir sonraki çerçevesini hazırlamaya başladıktan sonra, sistem, kullanıcının kafasının ekranda gösterdiği şekilde tam olarak bir süre içinde nerede olacağını tahmin eder. Bu tahmine göre sistem, görünümü ve bu çerçeve için kullanılacak projeksiyon dönüştürmelerini hesaplar. Uygulamanız doğru sonuçlar üretmek için bu dönüşümleri kullanmalıdır. Sistem tarafından sağlanan dönüşümler kullanılmazsa, sonuçta elde edilen görüntü gerçek dünya ile hizalanmaz ve Kullanıcı lideri olur.

Not

Yeni bir çerçeve, görüntülenecek şekilde doğru bir şekilde tahmin etmek için, uygulamanızın işleme işlem hattının etkin uçtan uca gecikmesini sürekli olarak ölçmektedir. Sistem, işleme işlem hattının uzunluğuna göre ayarlasa da, bu işlem hattını mümkün olduğunca kısa tutarak hologram kararlılığını artırabilirsiniz.

Sistem tahminini artırmak için gelişmiş teknikler kullanan uygulamalar, sistem görünümü ve projeksiyon dönüştürmelerini geçersiz kılabilir. Bu uygulamalar, özel dönüştürmelerini anlamlı sonuçlar üretmede temel olarak sistem tarafından sağlanan dönüştürmeleri kullanmaya devam etmelidir.

Diğer işleme parametreleri

Bir çerçeveyi işlerken, sistem uygulamanızın çizmesi gereken arka arabellek Görünüm penceresini belirtir. Bu görünüm penceresi, genellikle çerçeve arabelleğinin tam boyutundan daha küçüktür. Görünüm penceresinin boyutu ne olursa olsun, çerçeve uygulama tarafından işlendiğinde, sistem görüntünün tamamını dolduracak şekilde görüntüyü ölçeklendirir.

Kendilerini gereken yenileme hızında işleyemeyeceği uygulamalar için, sistem işleme parametreleri , daha fazla piksel diğer adına bellek baskısı ve işleme maliyetini azaltacak şekilde yapılandırılabilir. Arka arabellek biçimi de değişebilir, bu da bazı uygulamalar için bellek bant genişliği ve piksel aktarım hızını artırmaya yardımcı olabilir.

Uygulamanızın işlemesi istenen Frustum, çözüm ve kare oluşturma işlemi, çerçeveden kareye değişebilir ve sol ve sağ göz arasında farklılık gösterebilir. Örneğin, karma gerçeklik yakalama (MRC) etkin olduğunda ve fotoğraf/video kamera görünümü yapılandırması kabul edildiğinde, bir gözle daha büyük bir FOV veya çözüm ile oluşturulmuş olabilir.

Herhangi bir çerçeve için, uygulamanız sistem tarafından sağlanan görünüm dönüşümünü, projeksiyon dönüşümünü ve Görünüm penceresi çözümlemesini kullanarak işlenmelidir . Ayrıca, uygulamanız herhangi bir işleme veya görüntüleme parametresinin çerçeveden çerçevele sabitlenmesini hiçbir şekilde varsaymalıdır. Unity gibi altyapılar, kullanıcılarınızın fiziksel hareketinin ve sistem durumunun her zaman açık olması için kendi kamera nesnelerinde sizin için tüm bu dönüştürmeleri işler. Uygulamanız, kullanıcının dünya genelinde sanal taşınmasına izin veriyorsa (ör. bir oyun yüzeyi üzerinde thumbstick kullanılması), kamerayı hareket eden kameranın üzerine bir üst takımı nesnesi ekleyebilirsiniz. Bu, kameranın hem kullanıcının sanal hem de fiziksel hareketini yansıtmasına neden olur. Uygulamanız, sistem tarafından sunulan görünüm dönüşümünü, projeksiyon dönüşümünü veya Görünüm penceresi boyutunu değiştirirse, uygun geçersiz KıLMA API'sini çağırarak sistemi bilgilendirmelidir.

holographic işlemenin kararlılığını artırmak için, uygulamanız her çerçeveye işleme için kullanılan derinlik arabelleğini Windows sağlamalıdır. Uygulamanız bir derinlik arabelleği sunıyorsa, fotoğraf makinesinden alınan ölçümlerle birlikte ayrıntılı bir derinlik değeri olmalıdır. Bu, kullanıcının baş tarafında tahmin edilen konumdan biraz daha fazla uzaklığa geçebilmesini sağlamak için sistemin piksel başına derinlik verilerinizi kullanmasını sağlar. Derinlik arabelleğini sağlayamıyorsa, içeriğinizin çoğunu izleyen bir düzlem tanımlayarak bir odak noktası ve normal sağlayabilirsiniz. Hem derinlik arabelleği hem de odak düzlemi sağlanmışsa, sistem her ikisini de kullanabilir. Özellikle, uygulamanız hareket halindeki hologramlar görüntülediğinde bir hız vektörü içeren hem derinlik arabelleği hem de bir odak noktası sağlamak yararlı olur.

Bu konuyla ilgili alt düzey Ayrıntılar için , DirectX makalesinde işleme bölümüne bakın.

Holographic kameralar

Windows Mixed Reality bir holographic kamerasıkavramını tanıtır. Holographic kameralar, 3B grafik metinlerinde bulunan geleneksel kameraya benzerdir; hem extrinsic (konum ve yönlendirme) hem de iç kamera özelliklerini tanımlar. (Örneğin, görünüm alanı bir sanal 3B sahneyi görüntülemek için kullanılır.) Geleneksel 3B kameraların aksine, uygulama, kameranın konum, Yönlendirme ve iç özelliklerinin denetiminde değildir. Bunun yerine, Holographic kameranın konumu ve yönü, kullanıcının hareketine göre örtülü olarak denetlenir. Kullanıcının hareketi bir görünüm dönüşümüyle çerçeveye göre kare temelinde uygulamaya geçiş yapılır. Benzer şekilde, kameranın iç özellikleri cihazın kalibre edilmiş optik 'leri tarafından tanımlanır ve projeksiyon dönüşümü aracılığıyla çerçeve tarafından geçişi yapılır.

Genel olarak, uygulamanız tek bir stereo kamera için işlenir. Sağlam bir işleme döngüsü birden çok kameraları destekleyecektir ve hem mono hem de stereo kameralarını destekleyecektir. Örneğin, sistem, kulaklık şekline bağlı olarak, Kullanıcı karma gerçeklik yakalama (MRC) gibi bir özelliği etkinleştirdiğinde uygulamanızın alternatif bir perspektifinden işlemesini isteyebilir. Birden çok kameraları destekleyebilen uygulamalar, destekleyebilecekleri kameraların türüne karşı bir işlem yaparak bunları alabilirler.

Birim işleme

Tıp Mror mühendislik birimleri 3B olarak işlenirken, birim işleme teknikleri genellikle kullanılır. Bu teknikler, kullanıcıların bu tür bir birimi önemli açılardan doğal olarak görüntüleyebildiği karma gerçeklik açısından ilginç olabilir.

HoloLens desteklenen çözümler (ilk genel)

  • En büyük görünüm penceresi boyutu Holographicdisplay'in bir özelliğidir. HoloLens, varsayılan olarak 720p (1268x720) olan en büyük görünüm penceresi boyutuna ayarlanır.
  • Görünüm penceresinin boyutu, HolographicCamera üzerinde Viewportscalefaktör ayarlanarak değiştirilebilir. Bu ölçek faktörü 0 ile 1 arasındadır.
  • HoloLens (ilk gen) üzerinde desteklenen en düşük görünüm penceresi, 360p (634x360) olan 720p 'nin %50 ' dir. Bu, 0,5 için bir Viewportscalefaktör.
  • Görsel düşüş nedeniyle 5 40p 'den daha düşük bir şey önerilmez, ancak piksel dolgusu hızında performans sorunlarını belirlemek için kullanılabilir.

HoloLens 2 üzerinde desteklenen çözümler

  • En son desteklenen işleme hedefi boyutları, Görünüm yapılandırmasınınözellikleridir. HoloLens 2, varsayılan olarak, 1440x936 olan en büyük işleme hedefi boyutuna ayarlanır.
  • Uygulamalar yeni bir işleme hedefi boyutu istemek için RequestRenderTargetSize metodunu çağırarak işleme hedefi arabelleklerinin boyutunu değiştirebilir. İstenen işleme hedefi boyutunu karşılayan veya aşan yeni bir işleme hedefi boyutu seçilecek. Bu API, GPU 'da bellek yeniden ayırma gerektiren işleme hedefi arabelleğinin boyutunu değiştirir. Bunun etkileri şunlardır: işleme hedef boyutu, GPU 'daki bellek basıncını azaltmak için aşağı ölçeklendirilebilir ve bu yöntem yüksek sıklıkta çağrılmamalıdır.
  • uygulamalar, görünüm penceresinin boyutunu HoloLens 1 ' de oldukları şekilde değiştirebilir. GPU üzerinde eklenen bellek yeniden ayırma yoktur, bu nedenle yüksek sıklıkta değiştirilebilir, ancak GPU üzerindeki bellek basıncını azaltmak için kullanılamaz.
  • HoloLens 2 ' deki en düşük desteklenen görünüm penceresi boyutu, varsayılan işleme hedefi boyutu kullanılırken yaklaşık 0,44 ' ün bir viewportscasolaktör olan 634x412 ' dir.
  • Desteklenen en düşük görünüm penceresinin boyutundan daha küçük olan bir işleme hedefi boyutu sağlanmışsa, Görünüm penceresi ölçek faktörü yok sayılır.
  • Görsel düşüş nedeniyle 5 40p 'den daha düşük bir şey önerilmez, ancak piksel dolgusu hızında performans sorunlarını belirlemek için kullanılabilir.

Ayrıca bkz.

Holographic işleme, uygulamanızın dünyanın her yerindeki kesin bir yerde bir hologram çizmesini sağlar. Bu, fiziksel dünyada veya oluşturduğunuz bir sanal bölge içinde tam olarak yerleştirilmiş olsun. Hologramlar ses ve ışık olan nesnelerdir. İşleme, uygulamanızın ışık eklemesini sağlar.

Cihaz desteği