2. HoloLens izleme

Özellik HoloLens (1. nesil) HoloLens 2 Çevreleyici başlığı
Göz bakışı ✔️

Baş ve göz izleme tasarım kavramları demosu

Head ve Eye Tracking tasarım kavramlarını nasıl iş başında görmek için aşağıdaki Tasarım Hologramlar - Head Tracking ve Eye Tracking video demomuza göz atın. Bitirdikten sonra belirli konulara daha ayrıntılı bir şekilde bakın.

Bu video, "Tasarım Hologramlar" HoloLens 2 uygulamasından alındı. Tam deneyimi buradan indirin ve deneyimin keyfini çıkarın.

Kalibrasyon

Göz izlemenin doğru şekilde çalışması için her kullanıcının bir dizi holografik hedefe bakması gereken bir göz izleme kullanıcı ayarlaması gerekir. Bu, cihazın sistemi kullanıcı için daha rahat ve daha kaliteli bir görüntüleme deneyimi için ayarlamasını ve aynı anda doğru göz izlemesini sağlar.

Göz izleme çoğu kullanıcı için çalışmalı, ancak bir kullanıcının başarılı bir şekilde ayarlanamadıı nadir durumlar vardır. Ayarlama çeşitli nedenlerle başarısız olabilir, ancak bunlarla sınırlı değildir:

  • Kullanıcı daha önce ayarlama işlemini iptal etti
  • Kullanıcının dikkati dağıldı ve ayarlama hedeflerini izlemedi
  • Kullanıcının belirli türlerde iletişim lensleri ve gözlükleri var ve bu da sistemin henüz desteklememektedir
  • Kullanıcının belirli gözfiyatları, göz koşulları veya göz ameliyatı vardır ve bu da sistemin henüz desteklememektedir
  • Dış faktörler, HoloLens veya gözlükler, doğrudan doğrudan yoğun güneş ışığı ve göz önünde bulunan kıl nedeniyle tıkanıklıklar gibi güvenilir göz izlemesini engelleyen faktörler

Geliştiriciler, göz izleme verileri kullanılabilir olmayan (başarılı bir şekilde ayarlanamadı) kullanıcılar için yeterli destek sağlamayı sağlasalar. Bu sayfanın en altındaki bölümünde geri dönüş çözümleri için öneriler sağladık.

Ayarlama hakkında daha fazla bilgi edinmek ve sorunsuz bir deneyim sağlamak için göz izleme kullanıcı ayarlama sayfamızı kontrol edin.


Kullanılabilir göz izleme verileri

Göz bakışı girişine yönelik belirli kullanım örnekleri hakkında ayrıntılı bilgi almak için, 2 Göz İzleme API'sini HoloLens özellikleri kısaca ortaya çıkaracağız. Geliştiriciler yaklaşık 30 KARE (30Hz)ile tek bir göz bakışı grafide (çıkış ve yöne bakış) erişim elde ediyor. Göz izleme verilerine erişme hakkında daha ayrıntılı bilgi için, DirectX'te göz bakışı ve Unity'de göz bakışı kullanmaya yönelik geliştirici kılavuzlarımıza bakın.

Tahmin edilen göz bakışı, gerçek hedef etrafında görsel açıda yaklaşık 1,5 derece içindedir (aşağıdaki çizime bakın). Küçük karartlar beklendiği gibi, geliştiricilerin bu alt sınır değeri çevresinde biraz dış boşluk planlaması gerekir (örneğin, 2,0-3,0 derece çok daha rahat bir deneyime neden olabilir). Aşağıda küçük hedef seçimini nasıl ele ala anlatacağız? Göz izlemenin doğru şekilde çalışması için her kullanıcının bir göz izleme kullanıcısı ayarlaması gerekir.

2 ölçüm uzaklığında en uygun hedef boyutu
2 ölçüm uzaklığında en uygun hedef boyutu


Uygulama alanları

Göz izleme, uygulamaların kullanıcının gerçek zamanlı olarak nerede olduğunu izlemelerini sağlar. Aşağıdaki kullanım örnekleri, karma gerçeklikte 2. veya sonraki bir HoloLens izleme ile mümkün olan bazı etkileşimleri açıklar. Bu kullanım örnekleri henüz Holographic Shell deneyiminin bir parçası değildir (yani, 2. kullanıcı arabiriminizi HoloLens). Bunların bazıları, hızlı ve zahmetsiz göz desteğine sahip hedef seçimleri gibi göz izlemenin kullanımına yönelik ilgi çekici ve güçlü örnekler sağlayan ve kullanıcının neye bakarak metinlerde otomatik olarak kaydırma sağladığı Karma Gerçeklik AraçSeti'nde sınabilirsiniz.

Kullanıcı amacı

Kullanıcının nereye ve neye bakarak bakkalası hakkında bilgi, ses,el ve denetleyiciler gibi diğer girişler için güçlü bir bağlam sağlar. Bu, çeşitli görevler için kullanılabilir. Örneğin bu, bir holograma bakarak ve "seç" (ayrıca bakışı ve işlemeyi de görebilir)veya "bunu koy..."deerek ve ardından kullanıcının hologramı nereye koyarak "... burada" şeklinde bir ifadeyle ifade etti. Buna yönelik örnekler Karma Gerçeklik Araç Seti - Göz Tarafından Desteklenen Hedef Seçimi ve Karma Gerçeklik Araç Seti - Göz Tarafından Desteklenen Hedef Konumlandırma içinde bulunabilir.

Buna ek olarak, kullanıcı amacına bir örnek olarak, kullanıcıların, fiziksel sanal aracılarla ve etkileşimli hologramlarla etkileşimi geliştirmek için nelere bakacakları hakkında bilgi kullanabilirsiniz. Örneğin, sanal aracılar mevcut seçenekleri ve bunların davranışlarını o anda görüntülenlanmış içeriğe göre uyarlar.

Örtülü eylemler

Örtülü eylemlerin kategorisi, kullanıcı amacıyla yakından ilgilidir. Burada fikir, hologramların veya kullanıcı arabirimi öğelerinin, kullanıcının sistemle hiç etkileşimde olduğunu değil, sistemle kullanıcının eşitlenen bir şekilde olduğunu hissetmeyebilirsiniz. Bunun bir örneği, kullanıcının uzun bir metni okuyabilen göz bakışı tabanlı otomatik kaydırmadır. Bu kaydırma, kullanıcı metin kutusunun altına inerek kullanıcının parmak kaldırmadan okuma akışında tutması için kaydırmaya başlar.
Bunun önemli bir yönü, kaydırma hızının kullanıcının okuma hızına uyum sağlamasıdır. Bir diğer örnek de, kullanıcının tam olarak neye odaklanmış olduğunu tam olarak görmek istediğini hissetmesi için göz desteğine sahip yakınlaştırma ve kaydırmadır. Yakınlaştırma hızını tetiklemek ve denetlemek ses veya el girişi ile denetlenerek kullanıcıya bunalmamak için bir yandan denetim duygusu sağlamak açısından önemlidir. Bu tasarım konularını aşağıda daha ayrıntılı olarak ele aacağız. Yakınlaştırıldıktan sonra kullanıcı, göz bakışıyla bir sokak gibi bir yolu takip eder ve kendi yakın çevresini inceler. Bu etkileşim türleri için tanıtım örnekleri Karma Gerçeklik Araç Seti - Göz desteğine tabi Gezinti örneğinde bulunabilir.

Örtülü eylemler için diğer kullanım örnekleri şunlar olabilir:

  • Akıllı bildirimler: Bildirimlerin tam da sizin arayıcında ortaya çıktıkları için hiç rahatsız oldu mu? Kullanıcının neye dikkat yaptığını dikkate alarak, kullanıcının şu anda bakmış olduğu yerden gelen bildirimleri sıfırlayarak bu deneyimi daha iyi hale dönüştürebilirsiniz. Bu, dikkat dağıtıcılığı sınırlar ve kullanıcı okumayı bitirdikten sonra bunları otomatik olarak kapanır.
  • Hologramlar: Hologramlar tepki veren hologramlar. Bu, biraz parıldayan kullanıcı arabirimi öğelerinden yavaş çiçek açan bir çiçekten kullanıcıya dönüp kuyruğunu etiketlemeye başlayan bir sanal köpek arasında olabilir. Bu etkileşim, uygulamanıza ilgi çekici bir bağlantı ve memnuniyet sağlar.

Dikkat izleme

Kullanıcıların nereye veya nelere bakarak bakarak bakarak eldeki bilgiler oldukça güçlü bir araç olabilir. Tasarımların kullanılabilirliğini değerlendirmeye ve iş akışlarında sorunları belirleyarak daha verimli hale getirir. Göz izleme görselleştirmesi ve analizi, çeşitli uygulama alanlarında yaygın olarak kullanılan bir uygulamadır. 2 HoloLens 3D hologramlar gerçek dünya bağlamlarına yerleştirile ve uygun şekilde değerlendirilene kadar bu anlayışa yeni bir boyut sağlar. Karma Gerçeklik Araç Seti, göz izleme verilerini günlüğe kaydetmeye ve yüklemeye ve bunların nasıl görselleştirildiklerine temel örnekler sağlar. Microsoft, kullanıcıların göz izleme bilgilerini nasıl kullandığı konusunda bilinçli ve şeffaf bir deneyime sahip olmasını sağlarken yenilikleri kolaylaştırma konusunda da kendini adadı. Deneyimlerin kullanıcıya göre merkezi olmasını sağlamak amacıyla üçüncü taraflara rehberlik sağlamak için geliştiricilerimiz ve UX ekiplerimiz ile birlikte çalışacağız.

Bu alanda yer alan diğer uygulamalar şunlar olabilir:

  • Uzak göz bakışı görselleştirmesi: Uzaktan bakışlı görselleştirmeler: Anında geri bildirim sağlamak ve daha doğru bilgi işlemeyi kolaylaştırmak için uzak ortak çalışanların neye bakmayı istediğini görselleştirin.
  • Kullanıcı araştırma çalışmaları: Dikkat izleme, araştırmacıların kullanıcıların müdahale etmeden doğal ortamı nasıl algıladığı ve etkileşimde olduğu hakkında daha fazla içgörü elde ederek daha fazla insan-bilgisayar etkileşimi tasarlamalarına yardımcı olabilir. Göz izleme, çalışma katılımcıları tarafından doğrudan ifade edilen bilgiler sağlayabiliyor ve aksi takdirde araştırmacı tarafından kolayca gözden kaçırabiliyor.
  • Eğitim ve performans izleme: Yürütme akışında performans sorunlarını daha etkili bir şekilde belirleyerek görevlerin yürütülmesini uygulama ve iyileştirme. Göz izleme, çalışma yerinde eğitimi, üretkenliği ve güvenliği geliştirmeye yardımcı olmak için doğal, gerçek zamanlı ve nesnel bilgiler sağlar.
  • Tasarım değerlendirmeleri, pazarlama ve tüketici araştırması: Göz izleme, ticari şirketlerin gerçek dünya ortamlarında pazarlama ve tüketici çalışmaları gerçekleştirmelerini veya ürün veya alan tasarımını geliştirmek için kullanıcının dikkatini çeken işlemleri analiz etmelerini sağlar.

Diğer kullanım örnekleri

  • Oyun: Daha önce süper güçlere sahip olmak istediniz mi? İşte fırsatınız! Hologramları onlara göre hareket ettirerek görüntüye dönüştüresiniz. Gözlerden attıran atlı atılıl atlar - RoboRaid'de 2 HoloLens deneyin. Dondurmaya dönüştür veya dondur. X-ray görüntülerinizi kullanarak yapıları keşfedin. Hayal gücünüzün sınırı var! Ancak kullanıcıya aşırıyaltmama dikkat edin. Daha fazla bilgi için göz bakışı tabanlı giriş tasarım yönergelerimize göz atarak.

  • Expressive avatarları: Canlı göz izleme verilerini kullanarak daha ifadeli 3 boyutlu avatarlara göz izleme yardımcıları, kullanıcının neye bak yaptığını belirten avatarın gözlerine animasyonu sağlar.

  • Metin girişi: Göz izleme, özellikle konuşma veya el kullanımı uygun olmayan metin girişi için alternatif olarak kullanılabilir.


Etkileşim için göz bakışı kullanma

Hızlı hareket eden göz hedeflemeden yararlanan bir etkileşime sahip olmak zor olabilir. Bir yandan, göz bakışı girişi kullanma konusunda dikkatli olmalısınız, aksi takdirde kullanıcılar bu deneyimi çok zor veya dikkat dağıtıcı bulabilir. Öte yandan, kullanıcılarınızı heyecanlandıracak gerçekten sihirli deneyimler de oluşturabilirsiniz! Size yardımcı olmak için önemli avantajlara, zorluklara ve etkileşime bakış için tasarım önerilerimize genel bakışlarımızı gözden bulun.

Göz izleme kullanılabilir değilse geri dönüş çözümleri

Nadir durumlarda göz izleme verileri kullanılamıyor olabilir. Bunun nedeni, en yaygın kullanılanların aşağıda listelenmiş olduğu farklı nedenlerden dolayı olabilir:

  • Sistem, kullanıcıyı ayarlanamadı.
  • Kullanıcı, ayarı atlamış.
  • Kullanıcı ayarlanmıştır, ancak uygulamanıza göz izleme verilerini kullanma izni verme vermeye karar verdi.
  • Kullanıcının benzersiz gözlükleri veya sistemin henüz desteklemey olduğu bir göz koşulu vardır.
  • Dış faktörler, HoloLens veya göz gözlükleri, doğrudan doğrudan yoğun güneş ışığı ve göz önünde bulunan kıllar gibi güvenilir göz izlemesini engelleyen faktörlerdir.

Geliştiriciler, bu kullanıcılar için uygun geri dönüş desteği olduğundan emin olmalı. DirectX'te Göz İzleme sayfasında, göz izleme verisi olup olmadığını algılamak için gereken API'leri açıklayacağız.

Bazı kullanıcılar göz izleme verilerine erişimi bilinçli olarak iptal etmeye karar vermiş olabilir ve göz izleme verilerine erişim sağlamama gizliliği konusunda kötü bir kullanıcı deneyimiyle sorun yaşamasa da, bazı durumlarda bu durum gerekli olabilir. Uygulamanız göz izleme kullanıyorsa ve bu deneyimin önemli bir parçası ise, bunu kullanıcıyla net bir şekilde iletişim kurmanızı öneririz.

Kullanıcıya uygulamanıza göz izlemenin neden kritik öneme sahip olduğunu bildirmek (belki de bazı gelişmiş özellikleri listelemek), kullanıcının nelerden vazgeçmek istediğini daha iyi anlaması için yardımcı olabilir. Kullanıcının göz izlemenin neden çalışmay olduğunu belirlemesine yardımcı olun (yukarıdaki denetimlere göre) ve olası sorunları hızla gidermek için bazı önerilerde bulundurabilirsiniz.

Örneğin, sistemin göz izlemeyi desteklediğini algılasanız, kullanıcı ayarlanmıştır ve hatta izni verilmiş olsa da hiçbir göz izleme verisi alınmazsa, bu, musikiler veya gözlerin kapatılma gibi bazı diğer sorunları işaret ediyor olabilir.

Göz izlemenin çalışmay olduğu nadir kullanıcı örnekleri vardır. Bu nedenle lütfen uygulamanıza göz izleme özelliği sağlamak için anımsatıcılara izin vererek veya hatta devre dışı bırakarak buna saygıyla davranabilirsiniz.

Birincil giriş işaretçisi olarak göz bakışı kullanan uygulamalar için geri dönme

Uygulamanız, sahne genelinde hologramları hızla seçmek için işaretçi girişi olarak göz bakışı kullanıyorsa ancak göz izleme verileri kullanılamıyorsa, kafa bakışına geri dönüp baş bakış imlecini göstermeye başlamanızı öneririz. Geçiş olup olmadığını belirlemek için bir zaman aşımı (örneğin, 500-1500 ms) kullanılması önerilir. Bu eylem, hızlı göz hareketlerinden veya göz kırpmalarından ve yanıp sönmelerinden dolayı sistem kısa bir süre için izleme kaybedenin her durumda imleçlerin görünmesini önler. Unity geliştiricisiyseniz Karma Gerçeklik Araç Seti'nde baş bakışa otomatik geri dönüş zaten işler. DirectX geliştiricisiyseniz bu anahtarı kendiniz işlemeniz gerekir.

Göz izlemeye özgü diğer uygulamalar için geri dönme

Uygulamanız, gözlere özel olarak uyarlanmış benzersiz bir şekilde göz bakışı kullanabilir. Örneğin, bir avatarın gözlerine animasyon veya görsel ilgiyle ilgili kesin bilgilere dayanan göz tabanlı dikkat ısı haritaları. Bu durumda net bir geri dönüş yoktur. Göz izleme kullanılamıyorsa bu yeteneklerin devre dışı bırakılabilir. Ayrıca, bu özelliğin çalışmadan farkında olmayan kullanıcıya bunu net bir şekilde ilettirmanizi öneririz.


Bu sayfa, 2. sayfa için göz izleme ve göz bakışı girişi rolünü anlamaya başlamanız için size iyi bir HoloLens sağlanmıştır. Geliştirmeye devam etmek için hologramlarlaetkileşim kurma, Unity'de göz bakışı ve DirectX'te göz bakışı rolleriyle ilgili bilgilerimize göz at.

Ayrıca bkz.

MRTK'da göz izleme demosu

HoloLens 2, geliştiricilere kullanıcının neye bakıyor olduğuyla ilgili bilgileri kullanma olanağı sağlayarak holografik deneyim içinde yeni bir bağlam ve insan anlayışı düzeyi sağlar. Bu sayfada geliştiricilerin çeşitli kullanım örnekleri için göz izlemeden nasıl yararlanabilecekleri ve göz bakışı tabanlı kullanıcı etkileşimleri tasarlarken neleri aramaları gerekmektedir?

Göz izleme API'si, özellikle biyometri olmak üzere tanımlanabilir bilgilerin geçişten kaçınarak kullanıcının gizliliği göz önüne alınan şekilde tasarlanmıştır. Göz izleme özellikli uygulamalar için kullanıcının uygulamanın göz izleme bilgilerini kullanma iznini olması gerekir.

Cihaz desteği