HoloLens 2'de göz bakış tabanlı etkileşim

Özellik HoloLens (1. nesil) HoloLens 2 Çevreleyici başlığı
Göz bakışı ✔️

Baş ve göz izleme tasarım kavramları demosu

Head ve Eye Tracking tasarım kavramlarını nasıl iş başında görmek için aşağıdaki Tasarım Hologramlar - Head Tracking ve Eye Tracking video demomuza göz atın. Bitirdikten sonra belirli konulara daha ayrıntılı bir şekilde bakın.

Bu video, "Tasarım Hologramlar" HoloLens 2 uygulamasından alındı. Tam deneyimi buradan indirin ve deneyimin keyfini çıkarın.

Göz bakışı giriş tasarımı yönergeleri

Hızlı hareket eden göz hedeflemeden yararlanan bir etkileşime sahip olmak zor olabilir. Bu bölümde, uygulamanızı tasarlarken dikkate alamanız gereken temel avantajları ve zorlukları özetlemektedir.

Göz bakışı girişin avantajları

  • Yüksek hızlı işaret. Göz kası, insan gövdesinin en hızlı tepki veren kasıdır.

  • Az çaba. Fiziksel hareketlere gerek yoktur.

  • Örtülülük. Genellikle kullanıcılar tarafından "mind reading" olarak tanımlanan kullanıcının göz hareketleri hakkında bilgiler, sisteme kullanıcının hangi hedefle etkileşime girmeyi planlayalarını sağlar.

  • Alternatif giriş kanalı. Göz bakışı, kullanıcılardan el-göz koordinasyonu temel alarak yıllar boyunca deneyim edinen el ve ses girişi için güçlü bir destek girişi sağlar.

  • Görsel dikkat. Bir diğer önemli avantaj da kullanıcının neye dikkat yaptığının çıkarım yapma olasılığıdır. Bu, farklı tasarımları daha verimli bir şekilde değerlendirmeden daha akıllı kullanıcı arabirimlerine ve uzaktan iletişim için gelişmiş sosyal ipuçlarına yardımcı olmaya kadar çeşitli uygulama alanlarında yardımcı olabilir.

Özetle, giriş olarak göz bakışı kullanmak hızlı ve zahmetsiz bir bağlamsal giriş sinyali sunar. Bu, kullanıcının amacını onaylamak için ses ve el ile giriş gibi diğer girişlerle birleştirildiklerinden güçlü olur.

Giriş olarak göz bakışının zorlukları

Göz bakışı, sizi memnun edecek bir kullanıcı deneyimi oluşturmak için kullanılabilir ancak bunun için uygun bir hesap oluşturmanın ne kadar iyi olmadığını bilmek de önemlidir. Aşağıdaki listede göz önünde ekleyebilirsiniz bazı zorluklar ve göz bakış girişi ile çalışırken bunları nasıl ele ala ekleyebilirsiniz:

  • Göz bakışınız "her zaman açık" Göz göz gözlerinizi açtınız anda, gözleniz ortamdaki şeyleri düzeltmeye başlar. Çok uzun bir süre boyunca bir şeye baktığınız için, her bakışa tepki verme ve yanlışlıkla eylemler verme, memnuniyetsiz bir deneyimle sonuçlandır. Bir hedef seçimini tetiklemek için gözbakışının sesli komutu, el hareketi, düğme tıklaması veya genişletilmiş bir ifadeyle birleştirerek bir hedef seçmeyi tetiklemenizi öneririz (daha fazla bilgi için bkz. göz bakışı ve işleme). Bu çözüm ayrıca, kullanıcının bir şeyi istemsiz olarak tetikleyene kadar bunalmadan serbestçe dolaştırma moduna olanak sağlar. Bu sorun, bir hedefe bakarak görsel ve denetçi geri bildirimi tasarlarken de dikkate alınmalıdır. Hemen açılan etkiler veya üzerine gelme sesleri ile kullanıcıya bunalmamaya çalışma. Incelik anahtardır. Tasarım önerileri hakkında daha fazla bilgi için aşağıdaki en iyi yöntemlerden bazılarını ele aacağız.

  • Gözlem ve denetim Imagine duvarda bir fotoğrafı kesin olarak görmek istediğiniz görüntüler. Kenarlıklara ve çevrelerine bakarak düzgün hizalı olup olamaylarını görüyorsunuz. Şimdi resmi taşımak için giriş olarak göz bakışını kullanmak istediğinizde bunu nasıl bir şekilde tamamlaycazın. Zor, değil mi? Bu, hem giriş hem de denetim için gerekli olduğunda göz bakışının çift rolünü açıklar.

  • Tıklamadan önce bırakın: Hızlı hedef seçimleri için yapılan araştırmalarda kullanıcının göz bakışının el ile tıklama (örneğin havadan dokunma) öncesinde devam etmek için uygun olduğu gösterilmiştir. Hızlı göz bakışı sinyalini daha yavaş denetim girişiyle (örneğin ses, el, denetleyici) eşitlemeye özellikle dikkat eder.

  • Küçük hedefler: Rahat okunacak kadar küçük olan metinleri okumaya çalışma hissini biliyor musunuz? Gözlerinizi yıpranmış gibi hissetmeniz, daha iyi odaklanmanız için gözlerinizi yeniden anlamaya çalışmanız nedeniyle yıpranmış ve yıpranmış gibi hissetmenize neden olabilir. Bu, kullanıcılarınıza göz hedefleme kullanarak uygulamanıza çok küçük hedefler seçmeye zorlarken çağırabilirsiniz. Tasarımınız için kullanıcılarınız için rahat ve rahat bir deneyim oluşturmak için hedeflerin görsel açıdan en az 2° olması ve tercihen daha büyük olması önerilir.

  • Takip edilen göz bakışı hareketleri Gözlerimiz düzeltmeden düzeltmeye kadar hızlı hareket ediyor. Kayıtlı göz hareketlerinin tarama yollarını görüyorsanız, bunların etiketli olduğunu görebilirsiniz. Baş bakışı veya el hareketlerinden farklı olarak, gözlerinizi hızla hareket ettirin ve atlayın.

  • Güvenilirliği izleme: Göz izleme doğruluğu, yeni koşullarla uyum sağlarken değişen ışıkta biraz düşebilir. Doğruluk 2° sınırlaması dahilinde olması gerektiğinden, bu durum uygulama tasarımınızı mutlaka etkilemeden kullanıcının yeniden ayarlaması gerekebilir.

Tasarım önerileri

Aşağıda, göz bakışı giriş için açıklanan avantajları ve zorlukları temel alan belirli tasarım önerilerinin listesi yer almaktadır:

  1. Göz bakışı, Baş bakış ile aynı değildir:

    • Hızlı ancak etiketli göz hareketlerinin giriş görevinizle aynı olup olmadığını göz önünde bulundurarak: Hızlı ve pürüzlü göz hareketlerimiz, görünüm alanımız genelinde hedefleri hızla seçme konusunda harikadır ancak sorunsuz giriş rotaları gerektiren görevler (çizim veya çevreleme ek açıklamaları gibi) için daha az uygulanabilir. Bu durumda, el veya baş işaret eden tercih edilmelidir.

    • Bir şeyi doğrudan kullanıcının göz bakışına (örneğin, kaydırıcı veya imleç) eklemekten kaçının. İmleçler ile, bu durum, göz bakışı sinyalinde küçük uzaklıklar nedeniyle "imleç hareket ediyor" etkisine neden olabilir. Kaydırıcıyla, kaydırıcıyı gözleriyle denetlemenin çift rolüyle çakışırken nesnenin doğru konumda olup olmadığını da denetlemek istiyor olabilir. Kaydırıcı örneği için el hareketleri ile birlikte göz bakışı kullanmak daha mantıklıdır. Bu, kullanıcının çok sayıda kaydırıcı arasında hızla ve zahmetsiz bir şekilde geçiş gerçekleştirerek el kaldırarak parmak ve dizin parmaklarını sıkıştırarak onu alıp taşıması anlamına gelir. Sıkıştırma serbest bırakıldıklarında kaydırıcı hareket etmiyor. Özellikle sinyal o kullanıcı için doğru olmayan bir sinyalse kullanıcılar bunalmış ve dikkat dağıtmış olabilir.

  2. Göz bakışı diğer girişlerle birleştirin: Göz izlemenin el hareketleri, ses komutları veya düğme basmalar gibi diğer girişlerle tümleşmesi çeşitli avantajlar sağlar:

    • Ücretsiz gözleme izin ver: Gözlerimizin ana rolünün ortamımızı gözlemlemek olduğu göz önünde bulundurarak, kullanıcıların herhangi bir geri bildirim veya eylem tetiklemeden (görsel, denetçi gibi) çevreye bakmalarına izin verilmesi önemlidir. Göz izlemenin başka bir giriş denetimiyle bir araya olması, göz izleme gözlemi ile giriş denetimi modları arasında sorunsuz geçişe olanak sağlar.

    • Güçlü bağlam sağlayıcısı: Kullanıcının bir sesli komut kullanırken veya el hareketi kullanırken nereye ve neye bakarak bakarak girişe görünüm alanında sorunsuz bir şekilde kanala girebilirsiniz. Örneğin: Bir hedefe ve hedeflenen hedefine bakarak bir hologramı hızla ve akıcı bir şekilde seçmek ve sahneye konumlandırmak için "bunu buraya koy" diyelim.

    • Çokmodal girişleri eşitleme ihtiyacı: Uzun ses komutları veya el hareketleri gibi daha karmaşık girişlerle hızlı göz hareketlerinin bir araya getirerek, ek giriş komutu tamam ve tanınmadan önce kullanıcının zaten göz atmaya devam ettiği riski taşıyan bir risk vardır. Kendi giriş denetimlerinizi (örneğin, özel el hareketleri) oluşturduklarında, kullanıcının geçmişte neye baktığıyla arasında ilişki oluşturmak için bu girişin başlangıcını veya yaklaşık süresini günlüğe ettiğinizden emin olun.

  3. Göz izleme girişi için hafif geri bildirim: Sistemin amaçlanan şekilde çalıştığını ancak hafif tutulması gerektiğini belirtmek için bir hedefe baktığı zaman geri bildirim sağlamak yararlıdır. Buna yavaş karıştırma ve dışarı karıştırma, görsel vurgulamalar veya yavaş hareket (örneğin, hedef boyutunu biraz artırma) gibi diğer hafif hedef davranışları yapma dahildir. Bu, sistemin kullanıcının geçerli iş akışını gereksiz yere kesintiye uğratmadan bir hedefe bakarak doğru şekilde algıladı olduğunu gösterir.

  4. Doğal olmayan göz hareketlerini giriş olarak zorlayarak kaçının: Kullanıcıları uygulamanıza eylem tetiklemek için belirli göz hareketlerini (bakış hareketleri) kullanmaya zorlamayın.

  5. Kararların hesabı: Kullanıcılar için fark edilebilir olan iki farklı karartma türü vardır: uzaklık ve sapma. Bir uzaklığı ele almanın en kolay yolu, etkileşim kurmak için yeterince büyük hedefler sağlamaktır. Başvuru olarak 2° üzerinde bir görsel açıyı kullanmanız önerilir. Örneğin, kolu esnetmenizi sağlarken küçük resminiz görsel açıda yaklaşık 2° olur. Bu, aşağıdaki rehberliği sağlar:

    • Kullanıcıları küçük hedefler seçmeye zorlamayın. Araştırma, hedefler yeterince büyükse ve sistem iyi tasarlanmışsa, kullanıcılar etkileşimlerini zahmetsiz ve sihirli olarak tanımlar. Hedefler çok küçük olursa kullanıcılar bu deneyimi zor ve can sıkıcı olarak tanımlar.

Bu sayfa size karma gerçeklikte giriş olarak göz bakışı anlamaya başlamanız için iyi bir genel bakış sağladı. Geliştirmeye devam etmek için Unity'de göz bakışı ve DirectX'te göz bakışı bilgilerimize göz atacağız.

Ayrıca bkz.

MRTK 'da göz izleme tanıtımı

HoloLens 2 ' deki heyecan verici yeni becerilerimizden biri göz önünde bulunur. HoloLens 2 sayfasında göz izlememiz sırasında, her bir kullanıcının bir ayarlamayıyapması, bazı geliştirici kılavuzlarını ve göz önünde gezinmek için vurgulanan kullanım örneklerini belirttik. Göz önünde girme girişi, hala yeni bir kullanıcı girişi türüdür ve öğrenilmesi çok önemlidir.

magaze girişi yalnızca Holographic Shell deneyimimizde (HoloLens 2 ' yi başlattığınızda gördüğünüz kullanıcı arabirimi) daha güvenli bir şekilde kullanıldığında, "HoloLens playzemin"gibi çeşitli uygulamalar, giriş girişinin Holographic deneyiminizin magic 'e nasıl ekleyebileceğini gösteren harika örnekler gösterimi. Bu sayfada, Holographic uygulamalarınızla etkileşimde bulunmak için göz önünde bulundurmayla ilgili tasarım konularını tartıştık.

Önemli avantajlar ve ayrıca, göz önünde giriş ile birlikte gelen benzersiz güçlükler hakkında bilgi edineceksiniz. Bunlara göre, karşılayan göz-Gaze destekli Kullanıcı arabirimleri oluşturmanıza yardımcı olacak çeşitli tasarım önerileri sunuyoruz.

Cihaz desteği