İçgüdüsel etkileşimlere giriş
Basit, içgüdüsel etkileşimlerin felsefesi karma gerçeklik (MR) platformu boyunca iç içe geçmiştir. Uygulama tasarımcılarının ve geliştiricilerin müşterilerine kolay ve sezgisel etkileşimler sunmasını sağlamak için üç adım attık.
İlk olarak algılayıcılarımızın ve giriş teknolojilerimizin çok modüllü etkileşim modellerinde bir araya geldiğinden emin olduk. Bu etkileşim modelleri el ve göz izleme ile doğal dil girişini içerir. Araştırmalarımızı temel alarak, çok modüllü bir çerçeve içinde (bireysel girişlere dayalı değil) tasarlamak ve geliştirmek, içgüdüsel deneyimler oluşturmanın anahtarıdır.
İkincisi, birçok geliştiricinin HoloLens 2 ve HoloLens (1. nesil) veya HoloLens ve VR gibi birden çok HoloLens cihazını hedeflediğini biliyoruz. Bu nedenle, giriş teknolojisi her cihazda değişse bile etkileşim modellerimizi cihazlar arasında çalışacak şekilde tasarladık. Örneğin, 6DoF denetleyicili bir Windows Tam Ekran mikrofonlu kulaklığında uzak etkileşim ve HoloLens 2 her ikisi de aynı affordance'ları ve desenleri kullanır. Bu, cihazlar arası uygulama geliştirmeyi kolaylaştırır ve kullanıcı etkileşimlerine doğal bir his sağlar.
MR'da binlerce etkili, ilgi çekici ve büyülü etkileşim olduğunu fark etsek de, kullanıcıların başarılı ve harika bir deneyim yaşamasını sağlamanın en iyi yolunun kasıtlı olarak bir uygulamada tek bir etkileşim modeli kullanmak olduğunu bulduk. Bu amaçla, bu etkileşim kılavuzuna üç şey dahil ettik:
- Üç birincil etkileşim modeli ve her biri için gereken bileşenler ve desenler ile ilgili özel yönergeler.
- Platformumuzun sağladığı diğer avantajlar hakkında ek rehberlik.
- Geliştirme senaryonuz için uygun etkileşim modelini seçmenize yardımcı olacak genel yönergeler.
Temel el izleme ve içgüdüsel etkileşimler tanıtımı
Aşağıdaki Hologramları Tasarlama - Baş İzleme ve Göz İzleme video tanıtımımıza göz atın, ardından daha belirli konulara geçin:
Bu video "Hologram Tasarlama" HoloLens 2 uygulamasından alınmıştır. Buradan tam deneyimi indirin ve keyfini çıkarın.
Çok modüllü etkileşim modelleri
Müşterilerimizden gelen araştırmalarımız ve geri bildirimlerimize dayanarak, üç birincil etkileşim modelinin çoğu karma gerçeklik deneyimine uygun olduğunu keşfettik. Etkileşim modeli birçok açıdan kullanıcının iş akışını tamamlamaya yönelik zihinsel modelidir. Bu etkileşim modellerinin her biri bir dizi müşteri gereksinimi için iyileştirilmiştir ve doğru kullanıldığında kullanışlı, güçlü ve kullanılabilir durumdadır.
Aşağıdaki grafik basitleştirilmiş bir genel bakıştır. Her etkileşim modelini kullanmaya yönelik ayrıntılı bilgiler, aşağıdaki sayfalarda resimler ve kod örnekleriyle bağlantılıdır.
| Modelleme | Örnek senaryolar | Sığdırma | Donanım |
| El ve hareket denetleyicileri | Uzamsal düzen ve tasarım, içerik yönlendirme veya simülasyon gibi 3B uzamsal deneyimler. | Ses, göz izleme veya kafa bakışına sahip yeni kullanıcılar için harikadır. Düşük öğrenme eğrisi. El izleme ve 6DoF denetleyicileri genelinde tutarlı UX. | HoloLens 2 Çevreleyici kulaklıklar |
| Eller serbest | Kullanıcılarının ellerinin meşgul olduğu bağlamsal deneyimler. İş sırasında öğrenme ve bakım gibi işlemler buna örnek gösterilebilir. | Bazı bilgiler gereklidir. Eller kullanılamıyorsa cihaz ses ve doğal dille iyi bir şekilde eşlenir. | HoloLens 2 HoloLens (1. nesil) Çevreleyici kulaklıklar |
| Bakma ve işleme | 3B sunumlar ve tanıtımlar gibi tıklama aracılığıyla elde edilen deneyimler. | HMD'ler üzerinde eğitim gerektirir ancak mobil cihazlarda eğitim gerektirmez. Erişilebilir denetleyiciler için en uygun seçimdir. HoloLens (1. nesil) için en iyi. | HoloLens 2 HoloLens (1. nesil) Çevreleyici kulaklıklar Mobil AR |
Kullanıcı etkileşimi deneyimindeki boşlukları önlemek için en iyisi baştan sona tek bir modele yönelik yönergeleri izlemektir.
Aşağıdaki bölümlerde bu etkileşim modellerinden birini seçme ve uygulama adımları izlenmiştir.
Bu sayfanın sonunda aşağıdakiler hakkındaki yönergelerimizi anlayacaksınız:
- Müşteriniz için etkileşim modeli seçme
- Etkileşim modelini uygulama
- Etkileşim modelleri arasında geçiş
- Sonraki adımları tasarla
Müşteriniz için etkileşim modeli seçme
Geliştiriciler ve oluşturucular genellikle müşterilerinin sahip olabileceği etkileşim türlerini düşünür. Müşteri odaklı bir tasarım yaklaşımını teşvik etmek için, müşteriniz için en iyi duruma getirilmiş etkileşim modelini seçmek için aşağıdaki kılavuzu öneririz.
Neden bu yönergeleri izleyin?
- Etkileşim modellerimizi fiziksel ve bilişsel çaba, sezgisellik ve öğrenilebilirlik gibi nesnel ve öznel ölçütler için test ediyoruz.
- Etkileşimler farklı olduğundan, etkileşim modelleri arasında görsel/ses gücü ve nesne davranışı farklılık gösterebilir.
- Birden çok etkileşim modelinin parçalarının birleştirilmesi, eşzamanlı el ışınları ve baş bakışlı imleç gibi rakip affordances riskini oluşturur. Bu kullanıcıları yorabilir ve şaşırtabilir.
Aşağıda, her etkileşim modeli için affordance'ların ve davranışların nasıl iyileştirildiğinden bazı örnekler verilmiştir. Sık sık yeni kullanıcıların "sistemin çalıştığını nasıl bilebilirim", "ne yapacağımı nasıl bilebilirim" ve "az önce ne yaptığımı anlayıp anlamadığını nasıl anlayabilirim?" gibi benzer soruları olduğunu görürüz.
| Modelleme | Nasıl yaparım? çalıştığını biliyor musun? | Nasıl yaparım? ne yapabilirim biliyor musun? | Nasıl yaparım? ne yaptığımı biliyor musun? |
| El ve hareket denetleyicileri | Bir el örgü, parmak ucu gücü veya el/kontrol ışınları görüyorum. | Kavranabilir tutamaçlar görüyorum veya elim bir nesnenin yanındayken sınırlayıcı bir kutu görünüyor. | Sesli tonlar duyuyorum ve yakalama ve serbest bırakmada animasyonları görüyorum. |
| Kafa bakışı ve işleme | Görünüm alanımın ortasında bir imleç görüyorum. | İmleç, belirli nesnelerin üzerine geldiğinde durumu değiştirir. | Eylem yaptığımda görsel ve sesli onaylar görüyorum/duyuyorum. |
| Tutmadan kullanım (Baş-bakış ve konut) | Görünüm alanımın ortasında bir imleç görüyorum. | Etkileşimli bir nesneye sabitlendiğinde bir ilerleme göstergesi görüyorum. | Eylem yaptığımda görsel ve sesli onaylar görüyorum/duyuyorum. |
| Tutmadan kullanım (Sesli komut) | Sistemin ne duyduğunu gösteren bir dinleme göstergesi ve açıklamalı alt yazı görüyorum. | Sesli istemler ve ipuçları alıyorum. "Ne diyebilirim?" dediğimde Geri bildirim görüyorum. | Bir komut verirsem görsel ve sesli onaylar görüyorum/duyuyorum veya gerektiğinde kesinleştirme UX'i alıyorum. |
Ekiplerin bir etkileşim modeli seçmelerine yardımcı olduğunu bulduğumuz sorular aşağıdadır:
S: Kullanıcılarım hologramlara dokunmak ve hassas holografik işlemeler gerçekleştirmek istiyor mu?
Y: Öyleyse hassas hedefleme ve işleme için Eller ve hareket denetleyicileri etkileşim modelini gözden geçirin.S: Kullanıcılarımın gerçek dünya görevleri için ellerini serbest bırakmaları gerekiyor mu?
Y: Öyleyse, bakış ve ses tabanlı etkileşimler aracılığıyla harika bir eller serbest deneyim sağlayan Tutmadan kullanım etkileşim modeline göz atın.S: Kullanıcılarımın MR uygulamam için etkileşimleri öğrenmeye zamanları var mı yoksa mümkün olan en düşük öğrenme eğrisiyle etkileşimlere mi ihtiyaçları var?
Y: En düşük öğrenme eğrisi ve en sezgisel etkileşimler için, kullanıcılar etkileşim için ellerini kullanabildiği sürece Eller ve hareket denetleyicileri modelini öneririz.S: Kullanıcılarım işaret ve işleme için hareket denetleyicileri kullanıyor mu?
Y: Eller ve hareket denetleyicileri modeli, hareket denetleyicileriyle harika bir deneyim için tüm kılavuzları içerir.S: Kullanıcılarım bir erişilebilirlik denetleyicisi mi yoksa tıklayıcı gibi ortak bir Bluetooth denetleyicisi mi kullanıyor?
Y: İzlenmeyen tüm denetleyiciler için Baş bakış ve işleme modelini öneririz. Kullanıcının basit bir "hedef ve işleme" mekanizmasıyla deneyimin tamamında dolaşmasına olanak sağlamak için tasarlanmıştır.S: Kullanıcılarım yoğun kullanıcı arabirimi denetim düzenlerinde gezinmenin aksine yalnızca "tıklayarak" (örneğin 3B slayt gösterisi benzeri bir ortamda) bir deneyimde ilerler mi?
Y: Kullanıcıların çok fazla kullanıcı arabirimini denetlemesi gerekmiyorsa, Baş bakış ve işleme, kullanıcıların hedefleme konusunda endişelenmesi gerekmeyen öğrenilebilir bir seçenek sunar.S: Kullanıcılarım hem HoloLens (1. nesil) hem de HoloLens 2/Windows Mixed Reality çevreleyici başlıklar (VR) kullanıyor mu?
Y: Baş bakışı ve işleme HoloLens (1. nesil) için etkileşim modeli olduğundan, HoloLens'i (1. nesil) destekleyen oluşturucuların, Kullanıcıların HoloLens (1. nesil) mikrofonlu kulaklığında deneyimleyecekleri özellikler veya modlar için Head-gaze kullanmalarını ve taahhüt etmelerini öneririz. Birden çok HoloLens nesli için harika bir deneyim sunmayla ilgili ayrıntılar için Etkileşim modellerini geçirme ile ilgili sonraki bölüme bakın.S: Mobil çalışan, geniş bir alanı kaplayan veya alanlar arasında hareket eden kullanıcılara ve tek bir alanda çalışma eğiliminde olan kullanıcılara ne olacak?
Y: Etkileşim modellerinden herhangi biri bu kullanıcılar için çalışır.
Not
Uygulama tasarımına özgü daha fazla kılavuz yakında kullanıma sunulacaktır.
Etkileşim modellerini geçirme
Birden fazla etkileşim modelinin kullanılmasını gerektirebilecek kullanım örnekleri de vardır. Örneğin, uygulamanızın oluşturma akışı "eller ve hareket denetleyicileri" etkileşim modelini kullanıyor ancak saha teknisyenleri için tutmadan kullanım modunu kullanmak istiyorsunuz. Deneyiminiz birden çok etkileşim modeli gerektiriyorsa, kullanıcılar özellikle karma gerçeklikte yeni olduklarında bir modelden diğerine geçiş yapmakta zorlanabilir.
Not
Geliştiricilere ve tasarımcılara sunulacak daha fazla rehberlik üzerinde sürekli olarak çalışıyoruz ve birden çok MR etkileşim modelinin nasıl, ne zaman ve neden kullanıldığı hakkında onları bilgilendiriyoruz.