Ses girişi
Ses, HoloLens'te ana giriş biçimlerinden biridir. El hareketlerini kullanmak zorunda kalmadan holograma doğrudan komut vermenizi sağlar. Ses girişi, amacınızı iletmenin doğal bir yolu olabilir. Kullanıcıların iç içe menüleri tek bir komutla kesmelerine olanak sağladığından, ses özellikle karmaşık arabirimleri dolaşma konusunda iyidir.
Ses girişi, tüm Evrensel Windows Uygulamalarında konuşmayı destekleyen aynı altyapı tarafından desteklenir. HoloLens'te, konuşma tanıma her zaman cihaz Ayarlarınızda yapılandırılan Windows görüntüleme dilinde çalışır.
Ses ve bakış
Sesli komutları kullanırken baş veya göz bakışı, "seçecek" bir imleçle veya komutunuzu baktığınız bir uygulamaya yönlendirmeye yönelik tipik bir hedefleme mekanizmasıdır. Herhangi bir bakış imlecini göstermek bile gerekli olmayabilir ("bakın, söyleyin"). Bazı sesli komutlar için "başlamaya git" veya "Hey Cortana" gibi bir hedef gerekmez.
Cihaz desteği
| Özellik | HoloLens (1. nesil) | HoloLens 2 | Çevreleyici kulaklıklar |
| Ses girişi | ✔️ | ✔️ | ✔️ (mikrofonlu) |
"Select" komutu
HoloLens (1. nesil)
Kullanıcılarınız uygulamanıza özellikle ses desteği eklemeden bile sistem sesli komutunu "seç" diyerek hologramları etkinleştirebilir. Bu, HoloLens'te bir hava dokunması, HoloLens tıklayıcıdaki seç düğmesine basma veya Windows Mixed Reality hareket denetleyicisindeki tetikleyiciye basma ile aynı şekilde davranır. Bir ses duyarsınız ve onay olarak "seç" ifadesinin gösterildiği bir araç ipucu görürsünüz. "Select", düşük güçte bir anahtar sözcük algılama algoritması tarafından etkinleştirilir. Bu, bunu istediğiniz zaman en az pil ömrü etkisiyle söyleyebileceğiniz anlamına gelir. Hatta elleriniz yan tarafta "seç" bile diyebilirsiniz.
HoloLens 2
HoloLens 2'da "seç" sesli komutunu kullanmak için, önce işaretçi olarak kullanılacak bakış imlecini getirmeniz gerekir. Bu özelliği ortaya çıkarma komutunu anımsamak kolaydır; yalnızca "seç" deyin.
Moddan çıkmak için, havadan dokunarak, parmaklarınızla bir düğmeye yaklaşarak veya sistem hareketini kullanarak ellerinizi yeniden kullanın.
Resim: Seçim için sesli komutu kullanmak için "seç" deyin
Hey Cortana
Cortana'yı istediğiniz zaman açmak için "Hey Cortana" diyebilirsiniz. Sorunuzu sormaya veya ona bir yönerge vermeye devam etmesi için beklemenize gerek yok. Örneğin, tek bir cümle olarak "Hey Cortana, hava durumu nedir?" demeyi deneyin. Cortana ve neler yapabileceğiniz hakkında daha fazla bilgi için ona sorun! "Hey Cortana, ne söyleyebilirim?" deyin; çalışan komutların ve önerilen komutların listesini alır. Zaten Cortana uygulamasındaysanız, aynı menüyü çekmek için kenar çubuğundaki ? simgesini seçin.
HoloLens'e özgü komutlar
- "Ne diyebilirim ki?"
- "Başlat menüsüne git" - Başlat Menüsü'ne ulaşmak için çiçek açmak yerine
- "Uygulamayı> başlat<"
- "Uygulamayı> buraya taşı<"
- "Resim çek"
- "Kaydı başlat"
- "Kaydı durdur"
- "El ışınlarını göster"
- "El ışınlarını gizle"
- "Parlaklığı artırın"
- "Parlaklığı azalt"
- "Ses düzeyini artırın"
- "Ses düzeyini azalt"
- "Sesi Kapat" veya "Sesi Aç"
- "Cihazı kapat"
- "Cihazı yeniden başlatın"
- "Uykuya geç"
- "Saat kaç?"
- "Ne kadar pilim kaldı?"
"Gör, Söyle"
HoloLens'in ses girişi için bir "göster, söyle" modeli vardır. Burada düğmelerdeki etiketler kullanıcılara hangi sesli komutları söyleyebildiklerini de söyler. Örneğin, HoloLens'te (1. nesil) bir uygulama penceresine baktığınızda, bir kullanıcı uygulamanın dünyadaki konumunu ayarlamak için "Ayarla" komutunu söyleyebilir.
Resim: Kullanıcı, uygulamanın konumunu ayarlamak için Uygulama çubuğunda gördüğü "Ayarla" komutunu söyleyebilir
Uygulamalar bu kurala uyarsa, kullanıcılar sistemi denetlemek için söyleyeceklerini kolayca anlayabilir. HoloLens'teki (1. nesil) bir düğmeye bakarken, düğmenin ses özelliği etkinse ve "basmak" için komutunu görüntülediği bir saniye sonra ortaya çıkan bir "ses sabiti" araç ipucu görürsünüz. HoloLens 2 ses araç ipuçlarını göstermek için "seç" veya "Ne söyleyebilirim" diyerek ses imlecini gösterin (Resme bakın).
Resim: Düğmelerin altında "Göster, söyle" komutları görüntülenir
Hızlı hologram işleme için sesli komutlar
İşleme görevlerini hızlı bir şekilde gerçekleştirmek için holograma bakarken söyleyebileceğiniz birçok sesli komut vardır. Bu sesli komutlar, dünyaya yerleştirdiğiniz uygulama pencerelerinde ve 3B nesnelerde çalışır.
Hologram işleme komutları
- Benimle yüzleş
- Daha Büyük | Geliştirmek
- Küçük
HoloLens 2'da göz bakışıyla birlikte daha doğal etkileşimler de oluşturabilirsiniz. Bu etkileşimler, nelere başvuracağınız hakkında örtük olarak bağlamsal bilgiler sağlar. Örneğin, bir holograma bakıp " bunu koy" dedikten sonra yerleştirmek istediğiniz yere bakıp " buraya" diyebilirsiniz. Ya da karmaşık bir makinedeki holografik bölüme bakıp " bana bu konuda daha fazla bilgi ver" diyebilirsiniz.
Sesli komutları bulma
Yukarıdaki hızlı işleme komutları gibi bazı komutlar gizlenebilir. Kullanabileceğiniz komutları öğrenmek için bir nesneye bakın ve "ne söyleyebilirim?" deyin. Olası komutların listesi açılır. Ayrıca baş bakış imlecini kullanarak etrafınıza bakabilir ve önünüzdeki her düğmenin ses araç ipuçlarını görüntüleyebilirsiniz.
Tam bir liste istiyorsanız istediğiniz zaman "Tüm komutları göster" deyin.
Dikte
Ses diktesi, havadan dokunmalarla yazmak yerine uygulamaya metin girmek için daha verimli olabilir. Bu, kullanıcı için daha az çabayla girişi büyük ölçüde hızlandırabilir.
Ses diktesi, klavyedeki mikrofon düğmesini seçerek başlar
Holografik klavye her etkin olduğunda, yazmak yerine dikte moduna geçebilirsiniz. Başlamak için metin giriş kutusunun yanındaki mikrofonu seçin.
Uygulamanıza sesli komutlar ekleme
Oluşturduğunuz herhangi bir deneyime sesli komutlar eklemeyi göz önünde bulundurun. Ses, sistemi ve uygulamaları kontrol etmenin güçlü bir yoludur. Kullanıcılar farklı türlerdeki diyalektlerle ve aksanlarla konuştuğundan, doğru konuşma anahtar sözcükleri seçimi, kullanıcılarınızın komutlarının kesin bir şekilde yorumlandığından emin olur.
En iyi yöntemler
Aşağıda, sorunsuz konuşma tanımaya yardımcı olacak bazı uygulamalar yer almaktadır.
- Kısa komutları kullanma - Mümkün olduğunda, iki veya daha fazla heceden oluşan anahtar sözcükleri seçin. Tek heceli sözcükler, farklı aksanlı kişiler tarafından konuşulduğunda farklı ünlü sesleri kullanma eğilimindedir. Örnek: "Video oynat", "Seçili durumdaki videoyu yürüt"ten daha iyidir
- Basit sözcük dağarcığını kullanma - Örnek: "Notu göster" "Placard göster"den daha iyidir
- Komutların yıkıcı olmadığından emin olun - Tüm konuşma komutu eylemlerinin yıkıcı olmadığından ve kullanıcının yakınında konuşan başka bir kişinin yanlışlıkla bir komutu tetiklediğinden emin olun.
- Benzer sesli komutlardan kaçının - Benzer sese sahip birden çok konuşma komutu kaydetmekten kaçının. Örnek: "Daha fazla göster" ve "Mağazayı göster", benzer bir sese sahip olabilir.
- Kullanmadığında uygulamanızın kaydını kaldırın - Uygulamanız belirli bir konuşma komutunun geçerli olduğu bir durumda değilse, diğer komutların bu komutla karıştırılmaması için kaydı silmeyi göz önünde bulundurun.
- Farklı aksanlarla test etme - Uygulamanızı farklı aksanlı kullanıcılarla test edin.
- Sesli komut tutarlılığını koruma - "Geri dön" önceki sayfaya giderse, uygulamalarınızda bu davranışı koruyun.
- Sistem komutlarını kullanmaktan kaçının - Aşağıdaki sesli komutlar sistem için ayrılmıştır, bu nedenle bunları uygulamalarınızda kullanmaktan kaçının:
- "Hey Cortana"
- "Seç"
- "Başlangıç ekranına git"
Ses girişinin avantajları
Ses girişi, amaçlarımızı iletmenin doğal bir yoludur. Ses özellikle arabirim geçişlerinde iyidir çünkü kullanıcıların bir arabirimin birden çok adımını kesmesine yardımcı olabilir. Bir kullanıcı, bir web sayfasına bakarken yukarı çıkıp uygulamadaki geri düğmesine basmak yerine "geri git" diyebilir. Bu kısa süreli tasarruf, kullanıcının deneyim algısı üzerinde güçlü bir duygusal etkiye sahiptir ve onlara küçük miktarda süper güç verir. Sesi kullanmak, kollarımız dolu olduğunda veya çok görevli olduğumuzda da kullanışlı bir giriş yöntemidir. Klavyede yazmanın zor olduğu cihazlarda , ses diktesi metin girmek için etkili bir alternatif yol olabilir. Son olarak, bazı durumlarda bakış ve hareket için doğruluk aralığı sınırlı olduğunda, ses kullanıcının amacını belirsizleştirmeye yardımcı olabilir.
Ses kullanımı kullanıcıya nasıl fayda sağlayabilir?
- Süreyi azaltır; bu, bitiş hedefini daha verimli hale getirmelidir.
- Eforu en aza indirir- görevleri daha akıcı ve zahmetsiz hale getirmelidir.
- Bilişsel yükü azaltır. Sezgiseldir, öğrenmesi ve anımsanabilmesi kolaydır.
- Sosyal olarak kabul edilebilirdir- toplumsal davranış normlarına uymalıdır.
- Bu rutindir - ses alışılmış bir davranış haline gelebilir.
Ses girişi zorlukları
Ses girişi birçok farklı uygulama için harika olsa da çeşitli zorluklarla da karşı karşıyadır. Ses girişinin hem avantajlarını hem de zorluklarını anlamak, uygulama geliştiricilerinin ses girişini nasıl ve ne zaman kullanacakları konusunda daha akıllı seçimler yapmasını ve kullanıcıları için harika bir deneyim oluşturmasını sağlar.
Sürekli giriş denetimi için ses girişi Hassas denetim bunlardan biridir. Örneğin, bir kullanıcı müzik uygulamasında ses düzeyini değiştirmek isteyebilir. "Daha yüksek" diyebilir, ancak sistemin ses düzeyini ne kadar yüksek yapması gerektiği açık değildir. Kullanıcı şunları söyleyebilir: "Sesi biraz daha yüksek yapın", ancak "biraz" değerini belirlemek zordur. Hologramları sesle taşımak veya ölçeklendirmek de benzer şekilde zordur.
Ses girişi algılama güvenilirliği Ses giriş sistemleri daha iyi ve daha iyi hale gelir, ancak bazen bir sesli komutu yanlış bir şekilde duyabilir ve yorumlar. Önemli olan uygulamanızdaki sınamayı ele almaktır. Sistem dinlerken kullanıcılarınıza geri bildirim sağlayın ve sistemin ne anladığını, kullanıcıların konuşmalarını anlamayla ilgili olası sorunları net bir şekilde açıklar.
Paylaşılan alanlarda ses girişi Ses, başkalarıyla paylaştığınız alanlarda sosyal olarak kabul edilebilir olmayabilir. İşte birkaç örnek:
- Kullanıcı başkalarını rahatsız etmek istemeyebilir (örneğin, sessiz bir kitaplıkta veya paylaşılan ofiste)
- Kullanıcılar genel olarak kendi kendilerine konuşurken garip hissedebilirler,
- Bir kullanıcı, başkaları dinlerken kişisel veya gizli bir iletiyi (parolalar dahil) dikte etme konusunda rahatsız olabilir
Benzersiz veya bilinmeyen sözcüklerin ses girişi Ses girişi güçlükleri, kullanıcılar takma adlar, belirli argo sözcükler veya kısaltmalar gibi sistem tarafından bilinmeyen sözcükleri dikte ederken de ortaya çıkar.
Sesli komutları öğrenme Nihai hedef sisteminizle doğal olarak sohbet etmek olsa da, uygulamalar genellikle önceden tanımlanmış belirli sesli komutlara güvenir. Önemli bir sesli komut kümesiyle ilişkili bir zorluk, kullanıcıyı aşırı yüklemeden onlara nasıl öğretilmesi ve kullanıcının bunları tutmasına nasıl yardımcı olunmasıdır.
Sesli geri bildirim durumları
Ses düzgün uygulandığında, kullanıcı ne söyleyebileceğini anlar ve sistemin bunları doğru duyduğunailişkin net geri bildirim alır. Bu iki sinyal kullanıcının Voice'i birincil giriş olarak kullanma konusunda kendini güvende hissetmesini sağlar. Aşağıda, ses girişi tanındığında imlece ne olduğunu ve bunu kullanıcıya nasıl ilettiği gösteren bir diyagram yer almaktadır.
1. Normal imleç durumu
2. Sesli geri bildirim iletir ve sonra kaybolur
3. Normal imleç durumuna döner
Kullanıcıların karma gerçeklikte "konuşma" hakkında bilmesi gereken en önemli şeyler
- Bir düğmeyi hedeflerken "Seç" deyin (düğme seçmek için bunu her yerde kullanabilirsiniz).
- Eylem yapmak için bazı uygulamalarda uygulama çubuğu düğmesinin etiket adını söyleyebilirsiniz. Örneğin, bir uygulamaya bakarken, bir kullanıcı uygulamayı dünyadan kaldırmak için "Kaldır" komutunu söyleyebilir (bu, el ile seçmek zorunda kalmaktan zaman kazandırır).
- Cortana'ya "Hey Cortana" diyerek dinlemeye başlayabilirsiniz. Ona sorular ("Hey Cortana, Eyfel kulesinin boyu") soru sorabilir, ona bir uygulama açmasını ("Hey Cortana, Netflix'i aç") veya Başlat Menüsü'ne ("Hey Cortana, beni eve götür") ve daha fazlasını getirmesini söyleyebilirsiniz.
Kullanıcıların sesle ilgili sık sorulan sorular ve endişeleri
- What can I say? (Ne söyleyebilirim?)
- Sistemin beni doğru duyduğunu Nasıl yaparım? biliyor musun?
- Sistem sürekli sesli komutlarımı yanlış alıyor.
- Sesli bir komut verince tepki vermiyor.
- Sesli bir komut verince yanlış tepki veriyor.
- Sesimi belirli bir uygulama veya uygulama komutuna hedef Nasıl yaparım??
- HoloLens'te holografik çerçeveyi kontrol etmek için ses kullanabilir miyim?
İletişim
HoloLens tarafından sağlanan özelleştirilmiş ses girişi işleme seçeneklerinden yararlanmak isteyen uygulamalar için, uygulamanızın kullanabileceği çeşitli ses akışı kategorilerini anlamak önemlidir. Windows 10 çeşitli akış kategorilerini destekler ve HoloLens, ortam ortamı ses yakalama (yani "video kamera") senaryoları için kullanılabilen konuşma, iletişim ve diğer özellikler için uyarlanmış mikrofon ses kalitesini iyileştirmek üzere özel işlemeyi etkinleştirmek için bunlardan üç tanesini kullanır.
- AudioCategory_Communications akışı kategorisi, çağrı kalitesi ve anlatım senaryoları için özelleştirilir ve istemciye kullanıcının sesinin 16 kHz 24 bit mono ses akışını sağlar
- AudioCategory_Speech akışı kategorisi HoloLens (Windows) konuşma altyapısı için özelleştirilir ve kullanıcının sesinin 16 kHz 24 bit mono akışını sağlar. Bu kategori, gerekirse üçüncü taraf konuşma altyapıları tarafından kullanılabilir.
- AudioCategory_Other akışı kategorisi ortam ortamı ses kaydı için özelleştirilir ve istemciye 48 kHz 24 bit stereo ses akışı sağlar.
Tüm bu ses işlemesi hızlandırılmış donanımdır, bu da özelliklerin HoloLens CPU'da aynı işlemenin yapıldığından çok daha az güç tüketdiği anlamına gelir. Sistem pil ömrünü en üst düzeye çıkarmak ve yerleşik, boşaltılmış ses girişi işlemeden yararlanmak için CPU'da diğer ses giriş işlemlerini çalıştırmaktan kaçının.
Diller
HoloLens 2 birden çok dili destekler. Birden çok klavye yüklü olsa veya uygulamalar farklı bir dilde konuşma tanıma oluşturmaya çalışsa bile konuşma komutlarının her zaman sistemin görüntü dilinde çalıştırılacağını unutmayın.
Sorun giderme
"Select" ve "Hey Cortana" kullanırken sorun yaşıyorsanız, daha sessiz bir alana geçmeyi, gürültü kaynağından uzaklaşmayı veya daha yüksek sesle konuşmayı deneyin. Şu anda HoloLens'teki tüm konuşma tanıma özellikleri özel olarak Birleşik Devletler İngilizce konuşanlar için ayarlanmış ve iyileştirilmiştir.
Windows Mixed Reality Developer Edition 2017 sürümü için ses uç noktası yönetim mantığı, ilk HMD bağlantısından sonra oturumu kapatıp bilgisayar masaüstüne geri döndükten sonra düzgün (sonsuza kadar) çalışır. WMR OOBE'den geçtikten sonra ilk oturum kapatma/giriş olayından önce kullanıcı, HMD'yi ilk kez bağlamadan önce sistemin nasıl ayarlandıklarına bağlı olarak sessizden ses değişikliğine kadar çeşitli ses işlevleri sorunlarıyla karşılaşabiliyordu.
Unity için MRTK'de (Karma Gerçeklik Araç Seti) ses girişi
MRTK ile herhangi bir nesneye kolayca sesli komut atayabilirsiniz. Anahtar sözcüklerinizi tanımlamak için MRTK'nin Konuşma Giriş Profilini kullanın. SpeechInputHandler betiği atayarak, herhangi bir nesnenin Konuşma Giriş Profilinde tanımlanan anahtar sözcüklere yanıt vermesini sağlayabilirsiniz. SpeechInputHandler ayrıca kullanıcının güvenini artırmak için konuşma onayı etiketi de sağlar.