Bakma ve işleme

Gaze ve COMMIT , fareyi kullanarak bilgisayarlarımızla etkileşime girdiğimiz şekilde yakından ilgili temel bir giriş modelidir: Point & Click. Bu sayfada, iki tür Gaze girişi (baş ve göz-Gaze) ve farklı kayıt eylemi türlerini sunuyoruz. Gaze ve COMMIT , dolaylı düzenleme ile bir veya daha fazla giriş modeli olarak kabul edilir. En iyi yöntem, erişim dışı holographic içeriğiyle etkileşim kurmak için kullanılır.

Karma Gerçeklik kulaklıklar, baş Yön vektörünü belirleyebilmek için Kullanıcı kafasının konumunu ve yönünü kullanabilir. Doğrudan kullanıcının gözleri arasında doğrudan bir gri işaret eden bir lazer noktası olarak düşünün. Bu, kullanıcının nerede bakılabileceği konusunda oldukça büyük bir yaklaşık bir değer. Uygulamanız bu ışın sanal veya gerçek dünya nesneleriyle kesişmesini ve bu konumda kullanıcının neleri hedeflediklerini bilmesini sağlamak için bir imleç çizmesini sağlar.

baş gaze 'ın yanı sıra, HoloLens 2 gibi bazı karma gerçeklik kulaklıkları, bir gözle vektör üreten göz izleme sistemlerini içerir. Bu, kullanıcının nerede bakılabileceği ayrıntılı bir ölçüm sağlar. Her iki durumda da, Gaze kullanıcının amacı için önemli bir sinyal temsil eder. Sistem kullanıcının amaçlanan eylemlerini yorumlayabilir ve tahmin edebilir, daha fazla Kullanıcı memnuniyet ve performans artar.

Aşağıda, karma gerçeklik geliştiricisinin baş veya göz sızması açısından nasıl avantaj verebileceğiyle ilgili birkaç örnek verilmiştir:

  • Uygulamanız, kullanıcının dikkatini nerede olduğunu (göz yorgunlukta daha kesin) öğrenmek için sahnedeki hologramlar ile Gaze ile kesişeze edebilir.
  • Uygulamanız, kullanıcının akaya bağlı olarak kanal hareketlerine ve denetleyiciye basmasına olanak tanır. Bu, kullanıcının hologramlar ile sorunsuz bir şekilde seçim, etkinleştirme, getirme, kaydırma veya başka bir şekilde etkileşim kurmasına olanak tanır.
  • Uygulamanız, uzamsal eşleme ağı ile Gaze ışın ile kesişerek kullanıcının gerçek hayatta hologramlar yerleştirmesini sağlayabilir.
  • Uygulamanız, kullanıcının önemli bir nesnenin yönüne bakmaması durumunda, uygulamanızı bu nesneye yaklaşmayı sağlayacak görsel ve ses ipuçları vermesini sağlayan bir yol olabilir.

Cihaz desteği

Giriş modeli HoloLens (1. genel) HoloLens 2 Modern kulaklıklar
Baş-Gaze ve tamamlama ✔️ önerilir ✔️ önerilir (üçüncü seçim- diğer seçeneklere bakın) ➕ Alternatif seçenek
Göz-Gaze ve tamamlama ❌ Kullanılamıyor ✔️ önerilir (üçüncü seçim- diğer seçeneklere bakın) ❌ Kullanılamıyor

Baş ve göz izleme tasarım kavramları tanıtımı

baş ve gözle izlenen tasarım kavramlarını görmek isterseniz, aşağıdaki Hologramlar baş izleme ve göz izleme video tanıtımızın tasarımına göz atın. İşiniz bittiğinde, belirli konularda daha ayrıntılı bilgi edinmek için devam edin.

bu video, "tasarlama Hologramlar" HoloLens 2 uygulamasından alınmıştır. Tam deneyimi buradanindirin ve keyfini çıkarın.

Gaze

Göz ya da baş-Gaze?

"Göz yoruyor ve COMMIT" veya "baş-Gaze ve COMMIT" giriş modelini kullanmanız gerekip gerekmediğini sormayla ilgili çeşitli konular vardır. modern bir kulaklık veya HoloLens (1. gen) için geliştiriyorsanız, seçenek basittir: baş-gaze ve commıt. HoloLens 2 için geliştiriyorsanız, tercih biraz daha zor hale gelir. Her biri ile birlikte gelen avantajları ve güçlükleri anlamak önemlidir. Aşağıdaki tabloda yer alan bazı geniş Pro ve Con 'leri, kontrast baş ve göz önünde hedeflemek için derliyoruz. Bu, tamamen Tamamdır ve karma gerçeklik içinde bu hedefleme hakkında daha fazla bilgi edinmek öneriyoruz:

  • HoloLens 2 ' de göz izleme: bazı geliştirici kılavuzlarına dahil olmak üzere HoloLens 2 ' de yeni gözle izleme yeteneğinin genel kullanıma sunulması.
  • Göz yoruyor etkileşimi: göz izlemeyi bir giriş olarak kullanmayı planlarken tasarım konuları ve öneriler.
Göz-Gaze hedefleme Baş-Gaze hedefleme
Hızlı! Çalışan
Düşük çaba (herhangi bir gövde hareketine gerek yoktur) Olası katigulama (örneğin, boynu gerilim) olabilir
Bir imleç gerektirmez, ancak hafif geri bildirim önerilir Bir imleç gösterilmesi gerekir
Kesintisiz göz taşıma yok; Örneğin, çizim için iyi değil Daha denetimli ve açık
Küçük hedefler için zor (örneğin, küçük düğmeler veya Web bağlantıları) Güvenilir! Harika geri dönüş!
... ...

Gaze ve tamamlama giriş modelinize yönelik baş-Gaze veya göz-Gaze kullanıp kullanmayacağınızı, her biri farklı tasarım kısıtlamaları kümeleriyle birlikte gelir. Bunlar göz atın ve tamamlama ve baş gaz ve kayıt makalelerinde ayrı olarak ele alınmıştır.



Oraya

Kafa sızması için çoğu uygulama, Kullanıcı ile etkileşime geçmek üzere olduğu gibi kullanıcılara güvenle izin vermek için bir imleç veya başka bir sesli/görsel göstergesi kullanmalıdır. Bu imleci genellikle baş Gaze Ray 'un, bir hologram veya gerçek dünya yüzeyi olabilecek bir nesne ile kesiştiği dünyada konumlandırabilirsiniz.

Göz yorgunluğu için genellikle bir imleç göstermemelidir , çünkü bu, Kullanıcı için hızlı bir şekilde dikkat çekici ve sinir bozucu hale gelebilir. Bunun yerine, görsel hedefleri daha güvenli bir şekilde vurgulayın veya kullanıcının etkileşime geçmek üzere olduğu hakkında güven sağlamak için bir soluk göz imleci kullanın. daha fazla bilgi için lütfen HoloLens 2 ' deki göz tabanlı giriş için tasarım kılavuzumuzu inceleyin.

Gaze göstermek için örnek bir görsel imleç
Görüntü: Gaze göstermek için örnek bir görsel imleç



İşleme

Bir hedefte Gaze etmenin farklı yolları hakkında konuşduktan sonra, daha fazla bilgi almak ve işlemek için tamamlama bölümü hakkında biraz daha konuşalım. Bir nesne veya Kullanıcı arabirimi öğesini hedefledikten sonra, Kullanıcı, ikincil bir giriş kullanarak etkileşime geçebilir veya onu tıklatabilir. Bu, giriş modelinin işleme adımı olarak bilinir.

Aşağıdaki tamamlama yöntemleri desteklenir:

  • Hava hareketi (diğer bir deyişle, sizin için bir araya getirin ve Dizin parmağınızı ve parmak izini bir araya getirin).
  • "Select" veya hedeflenen sesli komutlardan birini söyleyin
  • HoloLens click üzerinde tek bir düğmeye basın
  • Xbox oyun yüzeyi üzerinde ' A ' düğmesine basın
  • Xbox Uyarlamalı denetleyicisindeki ' A ' düğmesine basın

Gaze ve hava dokunma hareketi

AIR Tap, ileri doğru tutulmuş bir dokunma hareketi. Bir hava ' i dokunarak, Dizin parmağınızı hazırlayın ve ardından parmak izi ile Pinç ' i yükseltin ve Dizin parmak sürümünüzü sürüme doğru yükseltin. HoloLens (1. genel), aır tap en sık kullanılan ikincil giriştir.

Ready konumunda Finger
Ready konumunda Finger

Dokunarak veya tıklayarak
Dokunarak veya tıklayarak

aır tap, HoloLens 2 ' de de mevcuttur. Özgün sürümden daha gevşek hale geçti. Neredeyse tüm pinş türleri artık, el doğru olduğu ve hala tutulduğu sürece desteklenmektedir. Bu, kullanıcıların hareketi öğrenmesini ve kullanmasını çok daha kolay hale getirir. bu yeni aır tap, eski bir apı 'yi aynı apı aracılığıyla değiştirir, böylece mevcut uygulamalar, HoloLens 2 için yeniden derlendikten sonra yeni davranışa otomatik olarak sahip olur.



<a name="gaze-and-select-voice-command">Gaze ve "Select" sesli komutu

Sesli komutlama, karma gerçeklik 'teki birincil etkileşim yöntemlerinden biridir. Sistemi denetlemek için güçlü ve sorunsuz bir mekanizma sağlar. Farklı türlerde ses etkileşimi modeli vardır:

  • Bir tıklama ya da ikincil girdi olarak COMMIT kullanan genel "Select" komutu.
  • Nesne komutları (örneğin, "Kapat" veya "daha büyük yap"), bir eylemi bir ikincil girdi olarak gerçekleştirir ve işleyin.
  • Genel komutlar (örneğin, "Başla" gibi), hedef gerektirmez.
  • Konuşma kullanıcı arabirimleri veya Cortana varlıkların bir AI doğal dil özelliği vardır.
  • Özel sesli komutlar

Ayrıntılar ve kullanılabilir sesli komutların kapsamlı listesi ve bunları nasıl kullanabileceğiniz hakkında daha fazla bilgi için sesli komut kılavuzumuza göz atabilirsiniz.



Bakış ve HoloLens Tıklama

HoloLens Clicker, özel olarak özel olarak tasarlanmış ilk çevresel cihaz HoloLens. HoloLens (1. Nesil) Geliştirme Sürümü'ne dahildir. Bu HoloLens, kullanıcının minimum el hareketiyle tıklaması ve ikincil giriş olarak işlemesini sağlar. HoloLens Clicker, HoloLens (BTLE) kullanarak HoloLens (1. nesil) veya HoloLens 2 Bluetooth ye bağlanır.

Cihazı eşleştirmeye ilişkin daha fazla bilgi ve yönergeler

Görüntü: HoloLens Tıklar

HoloLens Tıkırtı



Bakış ve Xbox Kablosuz Denetleyicisi

Xbox Kablosuz Denetleyicisi, 'A' düğmesini kullanarak bir tıklama eylemini ikincil giriş olarak gerçekleştirir. Cihaz, sistemde gezinmeye ve denetlemeye yardımcı olan varsayılan bir eylem kümesiyle eşlenmiş. Denetleyiciyi özelleştirmek için, Xbox Kablosuz Xbox Donatıları'nizi yapılandırmak için Xbox Donatıları uygulamasını kullanın.

Xbox denetleyicisini bilgisayarınızla eşleştirme

Görüntü: Xbox Kablosuz Denetleyicisi

Xbox Kablosuz Denetleyicisi



Bakış ve Xbox Uyarlamalı Denetleyici

Xbox Adaptive Controller, özellikle sınırlı mobiliteye sahip cihazların ihtiyaçlarını karşılamak için tasarlanmıştır ve karma gerçekliğin daha erişilebilir olmasını sağlayan birleşik bir hub'dır.

Xbox Uyarlamalı Denetleyicisi, 'A' düğmesini kullanarak bir tıklama eylemini ikincil giriş olarak gerçekleştirir. Cihaz, sistemde gezinmeye ve denetlemeye yardımcı olan varsayılan bir eylem kümesiyle eşlenmiş. Denetleyiciyi özelleştirmek için Xbox Uyarlamalı Xbox Donatıları'nizi yapılandırmak için Xbox Donatıları uygulamasını kullanın.

Xbox Uyarlamalı Denetleyici
Xbox Uyarlamalı Denetleyici

Bağlan benzersiz bir denetleyici deneyimi oluşturmak için anahtarlar, düğmeler, bağlamalar vestick'ler gibi dış cihazları kullanabilirsiniz. Düğme, parmak çubuğu ve tetikleyici girişleri, 3,5 mm'lik jack'ler ve USB bağlantı noktaları üzerinden bağlanan yardımcı cihazlarla denetlenmektedir.

Xbox Uyarlamalı Denetleyici bağlantı noktaları
Xbox Uyarlamalı Denetleyici bağlantı noktaları

Cihazı eşleştirme yönergeleri

Xbox sitesinde daha fazla bilgi bulabilirsiniz



Bileşik hareketler

Havadan dokunma

Havadan dokunma hareketi (ve aşağıdaki diğer hareketlerde) yalnızca belirli bir dokunmaya tepki verilmiştir. Menü veya Kavrama gibi diğer dokunmaları algılamak için, uygulamanın doğrudan yukarıdaki iki önemli bileşen hareketi bölümünde açıklanan alt düzey etkileşimleri kullanması gerekir.

Dokun ve tut

Tutma, havadan dokunmanın aşağı doğru parmak konumunu korumaktır. Havadan dokunma ve tutmanın birleşimi, bir nesneyi etkinleştirmek yerine toplama veya bağlam menüsünü gösterme gibi fare tıklama ikincil etkileşimleri gibi daha karmaşık "tıklama ve sürükleme" etkileşimleri sağlar. Ancak, kullanıcılar herhangi bir genişletilmiş hareket sırasında el duruşlarını gevşetebilirsiniz, ancak bu hareket için tasarlarken dikkatli olunmalıdır.

Düzenleme

Düzenleme hareketleri, bir hologramı kullanıcının el hareketlerine 1:1 tepki vermesini istediğiniz zaman taşımak, yeniden boyutlandırmak veya döndürmek için kullanılabilir. Bu tür 1:1 hareketlerinin bir kullanımı kullanıcının dünyada çizim veya boya çizmesine izin vermedir. Bir işleme hareketi için ilk hedefleme, bakış veya işaret ile yapılmalı. Dokunma ve tutma başladıktan sonra, herhangi bir nesne işlemesi el hareketleri tarafından ele alır ve bu da kullanıcının işleme sırasında göz atmalarını sağlar.

Gezinti hareketleri sanal bir çubuk gibi çalışır ve radyal menüler gibi kullanıcı arabirimi pencere öğelerinde gezinmek için kullanılabilir. Hareketi başlatmak için dokun ve tut, ardından ilk basa basa ortalana kadar normalleştirilmiş bir 3D küpün içinde el hareket ettirin. -1 değerinden 1'e kadar X, Y veya Z ekseninde 0 başlangıç noktası olacak şekilde el hareket ettirebilirsiniz. Gezinti, 2D kullanıcı arabirimini kaydırıp ortadaki fare düğmesine tıklar ve ardından fareyi yukarı ve aşağı hareket ettirerek 2D kullanıcı arabirimini kaydırmaya benzer şekilde hız tabanlı sürekli kaydırma veya yakınlaştırma hareketleri oluşturmak için kullanılabilir.

Raylar ile gezinme, belirli bir eksende belirli bir eşiğe ulaşıncaya kadar belirli eksende yer alan taşımaları tanıma becerisini ifade eder. Bu yalnızca geliştirici tarafından bir uygulamada birden fazla eksende hareket etkinleştirildiğinde kullanışlıdır. Örneğin, bir uygulama X, Y ekseninde gezinti hareketlerini tanıyacak şekilde yapılandırılmış ancak raylı X ekseni de belirtilmiştir. Bu durumda sistem, Y ekseninde el hareketi de oluşuyorsa X ekseninde hayali raylar (kılavuz) içinde kalan el hareketlerini tanır.

2D uygulamalarda, kullanıcılar dikey gezinti hareketlerini kullanarak uygulamanın içine kaydırabilir, yakınlaştırabilir veya sürükleyebilirsiniz. Bu, aynı türe sahip dokunma hareketlerinin benzetimini yapmak için uygulamaya sanal parmak dokunmaları sağlar. Kullanıcılar, düğmeyi seçerek veya '<Scroll/Drag/Zoom> Tool' deerek uygulamanın üzerindeki araçlar arasında geçiş <gerçekleştirebilir.

Bileşik hareketlerle ilgili daha fazla bilgi

Hareket tanıyıcılar

Hareket tanıma kullanmanın bir avantajı, bir hareket tanıyıcısını yalnızca o anda hedeflenen hologram tarafından kabul edilabilecek hareketlerle yapılandırmış olmaktır. Platform, desteklenen belirli hareketleri ayırt etmek için yalnızca gerektiğinde belirsizlikleri yoklar. Bu şekilde, yalnızca havadan dokunmayı destekleyen bir hologram, basım ve yayın arasındaki herhangi bir zaman uzunluğunu kabul ederken, hem dokunmayı hem de tutmayı destekleyen bir hologram, dokunmayı tutma süresi eşiğini aşacak şekilde yükseltebilirsiniz.

El tanıma

HoloLens, cihaza görünür olan ellerin konumunu veya her ikisini de takip etmekle el hareketlerini tanır. HoloLens hazır durumdayken (dizin parmak yukarısı size dönük olan el) veya basılmış durumda (dizin parmak aşağıdayken size bakan el) görüyor. Ellerde başka pozlar olduğunda, HoloLens yoksayabilirsiniz. Algılayan her HoloLens yönüne ve basılmış durumuna gerek kalmadan konumuna erişebilirsiniz. El hareket çerçevesinin kenarına yaklaşsa da size bir yön vektörü de sağlanır. Bu vektör kullanıcıya gösterebilirsiniz. Böylece, kullanıcının elleriyle hareket ettirin ve bu vektörü daha sonra HoloLens anları.

Hareket çerçevesi

Hareket HoloLens el, hareket algılama kameralarının uygun şekilde, burundan buruna ve burunlar arasında uygun şekilde görene bir aralıkta hareket çerçevesi içinde olması gerekir. Kullanıcıların hem eylem başarısı hem de kendi rahatları için bu tanıma alanında eğitilleri gerekir. Çoğu kullanıcı başlangıçta hareket çerçevesinin, hareket çerçevesinin HoloLens içinde olması gerektiğini ve etkileşim kurmak için kollarını tutması gerektiğini varsayacak. HoloLens Clicker kullanırken, ellerin hareket çerçevesinde olması gerekmez.

Özellikle sürekli hareketlerde, örneğin holografik bir nesneyi hareket ettirirken ve amaçlanan sonucu kaybederken kullanıcıların ellerini hareket çerçevesinin dışına taşıması riski vardır.

Göz önünde olması gereken üç şey vardır:

  • Hareket çerçevesinin varlığı ve yaklaşık sınırları üzerinde kullanıcı eğitimi. Bu, kurulum sırasında HoloLens öğretilir.

  • Kullanıcılara, hareketlerinin uygulama içindeki hareket çerçevesi sınırlarına yaklaşarak veya bu sınırları kırarak kayıp hareketlerin, kötü sonuçlarla sonuçlandıracak dereceye kadar bildirim vermesi. Araştırma, böyle bir bildirim sisteminin temel niteliklerini göstermiştir. HoloLens kabuğu, sınır geçişinin hangi yönde olduğunu gösteren merkezi imleç üzerinde bu tür bir bildirim (görsel) için iyi bir örnek sağlar.

  • Hareket çerçevesi sınırlarını bozmanın sonuçları en aza indirgenmelidir. Genel olarak bu, bir hareket sonucunun sınırda durdurularak tersine çevrilmemeli olduğu anlamına gelir. Örneğin, bir kullanıcı bir oda genelinde holografik bir nesne hareket ediyorsa, hareket çerçevesi ihlal edilirse ve başlangıç noktasına döndürülene kadar hareket durur. Kullanıcı biraz hayal kırıklığı yaşıyor olabilir, ancak sınırları daha hızlı anlayacaktır ve her zaman amaçlanan eylemlerin tamamını yeniden başlatmak zorunda değildir.

Ayrıca bkz.