MRTK 'da göz izlemeye başlama

Bu sayfada, uygulamanızda göz izlemeyi kullanmak için Unity MRTK sahnesinizi ayarlama konuları ele alınmaktadır. Aşağıda yeni yepyeni bir sahneye başladığınız varsayılmaktadır. Alternatif olarak, zaten yapılandırılmış olan mrtk göz izleme örneklerimize doğrudan oluşturabileceğiniz harika örneklerle daha fazla bilgi alabilirsiniz.

Göz izleme gereksinimleri denetim listesi

Göz izlemenin düzgün çalışması için aşağıdaki gereksinimlerin karşılanması gerekir. HoloLens 2 ' de göz izlemeye yeni, ve bir göz izlemenin mrtk içinde nasıl ayarlanışını merak ediyorsanız endişelenmeyin! Aşağıda, bunların her birinin nasıl ele alınacağını öğrenmek için ayrıntılara gideceğiz.

  1. giriş sistemine ' gözle Veri Sağlayıcısı ' eklenmelidir. Bu, platformdan göz izleme verileri sağlar.
  2. Uygulama bildiriminde ' GazeInput ' özelliği etkinleştirilmelidir. bu özellik unity 2019 ' de ayarlanabilir, ancak unity 2018 ve önceki sürümlerde bu özellik yalnızca Visual Studio ve mrtk derleme aracı aracılığıyla kullanılabilir
  3. HoloLens geçerli kullanıcı için göz önünde olmalıdır . Kullanıcının göz önünde bulunup bulunmadığını saptamak için örneğimizegöz atın.

GazeInput özelliğine bir Note

MRTK tarafından sunulan derleme araçları (karma gerçeklik araç seti-> yardımcı programları-> derleme penceresi) sizin için otomatik olarak GazeInput özelliğini etkinleştirebilir. Bunu yapmak için, ' appx derleme seçenekleri ' sekmesinde ' Gaze Input capability ' seçeneğinin işaretli olduğundan emin olmanız gerekir:

MRTK derleme araçları

Bu araç, Unity derlemesi tamamlandıktan sonra AppX bildirimini bulur ve GazeInput özelliğini el ile ekler. unity 2019 ' den önce, unity 'nin yerleşik derleme penceresi (örneğin, dosya-> derlemesi Ayarlar) kullanılırken bu araç etkin değildir.

Unity 2019 ' den önce, Unity 'nin derleme penceresi kullanılırken, aşağıdaki gibi Unity derlemeden sonra bu özelliğin el ile eklenmesi gerekir:

  1. derlenmiş Visual Studio projenizi açın ve çözümünüzde ' Package. appxmanifest ' ' i açın.
  2. Yetenekler altında ' GazeInput ' onay kutusunu işaret ettiğinizden emin olun. ' GazeInput ' özelliği görmüyorsanız, sisteminizin mrtk (Windows SDK sürümünde) kullanmaya yönelik önkoşulları karşıladığından emin olun.

Lütfen unutmayın: Bunu yalnızca yeni bir yapı klasöründe oluşturursanız yapmanız gerekir. Diğer bir deyişle, Unity projenizi zaten oluşturduysanız ve daha önce aynı klasörü yeniden hedefliyorsanız, değişikliklerinizi yeniden uygulamanız gerekmez.

Göz izlemeyi ayarlama adım adım

Sahneyi ayarlama

Yalnızca ' karma gerçeklik araç seti-> Yapılandır... ' seçeneğine tıklayarak Mixedrealitytoolkit 'i ayarlayın. Menü çubuğunda.

MRTK yapılandırma

Göz izleme için gereken MRTK profillerini ayarlama

MRTK sahayarınızı ayarladıktan sonra MRTK için bir profil seçmeniz istenir. Yalnızca Defaultmixedrealitytoolkitconfigurationprofile ' i seçip ' & özelleştirmeyi Kopyala ' seçeneğini belirleyebilirsiniz.

MRTK profili

"Göz kaze veri sağlayıcısı" oluşturma

  • MRTK profilinizde ' giriş ' sekmesine tıklayın.
  • Varsayılan olanı ( ' Defaultmixedrealityınputsystemprofile ' ) düzenlemek için, yanındaki ' Kopyala ' düğmesine tıklayın. ' Profili Kopyala ' menüsü görüntülenir. Bu menünün alt kısmındaki ' Kopyala ' seçeneğine tıklamanız yeterlidir.
  • yeni giriş profilinize çift tıklayın, ' giriş veri sağlayıcıları ' öğesini genişletin ve ' + Veri Sağlayıcısı ekle ' seçeneğini belirleyin.
  • Yeni bir veri sağlayıcısı oluşturun:
    • Tür altında ' Microsoft. mixedreality. Toolkit. windowsmixedreality. Input ' -> ' WindowsMixedRealityEyeGazeDataProvider ' öğesini seçin
    • Platform (ler) için ' Windows Universal ' seçeneğini belirleyin.

MRTK veri sağlayıcısı

Unity düzenleyicisinde göz izlemenin benzetimini yapma

uygulama HoloLens 2 ' ye dağıtılmadan önce olayların doğru tetiklendiğinden emin olmak için Unity düzenleyicisinde göz izleme girişinin benzetimini yapabilirsiniz. Göz sızması sinyali, yalnızca kameranın konumu göz yorgunluğu olarak, kameranın ileri doğru göz kagaze olarak kullanıldığı şekilde benzetilir. Bu, ilk test için harika olsa da, Hızlı göz taşımaları için iyi bir imitation olmadığına lütfen unutmayın. bunun için, HoloLens 2 ' deki göz tabanlı etkileşimlerinizi sık sık test etmek daha iyidir.

  1. Benzetimli göz Izlemeyi etkinleştir:

    • MRTK yapılandırma profilinizde ' giriş ' sekmesine tıklayın.
    • Buradan ' giriş veri sağlayıcıları' -> ' giriş benzetimi hizmeti ' öğesine gidin.
    • Üzerinde değişiklik yapmak için ' Defaultmixedrealityınputsimpulationprofile ' öğesini kopyalayın.
    • ' Gözle bulunan göz Benzet ' onay kutusunu işaretleyin.

    MRTK gözler benzetim

  2. Varsayılan kafa Gaze Imlecini devre dışı bırak: genel olarak, bir gözle bir imleç gösterilmemek ya da kesinlikle çok daha zarif hale getirmek için gerekli olup olmaması önerilir. Varsayılan olarak MRTK Gaze işaretçisi profiline eklenmiş olan varsayılan kafa Gaze imlecini gizlemeniz önerilir.

    • Mrtk yapılandırma profilinize gidin-> ' Input ' -> ' işaretçileri '
    • Üzerinde değişiklik yapmak için ' Defaultmixedrealityınputpointerprofile ' öğesini kopyalayın.
    • ' Pointer Ayarlar ' öğesinin üst kısmında, ' GazeCursor ' öğesine bir görünmez imleç atamanız gerekir. Bunu, MRTK Foundation 'dan ' EyeGazeCursor ' prefab ' i seçerek yapabilirsiniz.

Gaze sağlayıcısında göz tabanlı Gaze etkinleştiriliyor

HoloLens v1 'de, baş gaze birincil gösterme tekniği olarak kullanılmıştır. Baş taze, kameranızabağlı olan mrtk içindeki GazeProvider ile hala kullanılabilir olsa da, giriş işaretçisi profilinin Gaze ayarlarındaki ' IsEyeTrackingEnabled ' onay kutusunu işaretleyerek göz sızmayı kullanmayı seçebilirsiniz.

Not

Geliştiriciler, ' GazeProvider ' öğesinin ' IsEyeTrackingEnabled ' özelliğini değiştirerek, koddaki göz tabanlı Gaze ve baş tabanlı Gaze arasında geçiş yapabilir.

Önemli

Göz atma gereksinimlerinin herhangi biri karşılanmazsa, uygulama otomatik olarak baş tabanlı Gaze 'a geri döner.

Göz yorze verilere erişme

Artık sahneye göz atmak üzere ayarlandığına göre, betiklerinizde nasıl erişilebileceğimize göz atalım: EyeGazeProvider ve gözle desteklenen hedef seçimler aracılığıyla göz at verilerine erişme .

HoloLens 2 ' de Unity uygulamanızı test etme

uygulamanızı göz önünde izlemek için oluşturmak, diğer HoloLens 2 mrtk uygulamalarını nasıl derlemenize benzer olmalıdır. Yukarıda açıklandığı gibi ' Gaze girişi ' özelliğini, GazeInput özelliğine ilişkin bir notunbölümünde etkinleştirdiğinizden emin olun.

Göz ayarlama

son olarak, lütfen HoloLens 2 ' deki göz ayarlama aşamasından çalışmayı unutmayın. Kullanıcı kalibre değilse, göz izleme sistemi herhangi bir giriş döndürmez. Ayarlamayı almanın en kolay yolu, vizörü ve arka alta doğru bir şekilde açılır. Bir sistem bildirimi, sizi yeni bir kullanıcı olarak görmeniz ve göz önünde çıkacak şekilde ileristemediğinizi sorar. alternatif olarak, göz ayarlamayı sistem ayarları 'nda bulabilirsiniz: Ayarlar > sistem > ayarlama > çalıştır.

Göz izleme izni

uygulamayı ilk kez HoloLens 2 ' de başlattığınızda, kullanıcıdan göz izlemeyi kullanma izni isteyen bir istem açılır. Gösterilmiyorsa, genellikle ' GazeInput ' yeteneğinin ayarlanmadığını belirten bir göstergesidir.

İzin istemi bir kez görüntülendikten sonra otomatik olarak tekrar gösterilmez. "göz izleme iznini reddetme" seçeneğini belirlerseniz bu Ayarlar > gizlilik-> uygulamalarında sıfırlayabilirsiniz.


Bu, MRTK Unity uygulamanızda göz izlemeyi kullanmaya başlamanızı sağlamalıdır. , Mrtm gözle izleme öğreticilerimizi ve bu girişi nasıl kullanacağınızı ve projelerinizde yeniden kullanabileceğiniz komut dosyalarını kolayca sağlamayı gösteren örnekleri göz önünde bırakmayı unutmayın.


"MixedRealityToolkit içinde göz izleme"