Göz izleme örneklerine genel bakış — MRTK2
Bu konu başlığında, MRTK gözle izleme örneklerini (Assets/MRTK/Examples/Demos/EyeTracking) temel alarak MRTK'da göz izlemeye nasıl hızlı bir şekilde başlandığı açıklanmaktadır. Bu örnekler, yeni sihirli giriş yeteneklerimizden birini deneyimlemenizi sağlar: Göz izleme! Tanıtım, örtük göz tabanlı etkinleştirmelerden baktığınız şey hakkındaki bilgileri ses ve el girişiyle sorunsuz bir şekilde birleştirmeye kadar çeşitli kullanım örnekleri içerir. Bu, kullanıcıların yalnızca bir hedefe bakarak ve 'Seç' diyerek veya el hareketi yaparak holografik içeriği hızla ve zahmetsizce seçmesine ve taşımasına olanak tanır. Tanıtımlar ayrıca göz bakışı yönlendirmeli kaydırma, kaydırma ve metin ve görüntülerin bir sayfa üzerindeki yakınlaştırması için bir örnek içerir. Son olarak, kullanıcının görsel dikkatini 2B bir sayfaya kaydetmek ve görselleştirmek için bir örnek verilmiştir. Aşağıdaki bölümde, MRTK göz izleme örnek paketindeki (Assets/MRTK/Examples/Demos/EyeTracking) farklı örneklerin her biri hakkında daha fazla ayrıntı bulabilirsiniz:
Aşağıdaki bölümde, tek tek göz izleme tanıtım sahnelerinin ne hakkında olduğuna ilişkin hızlı bir genel bakış verilmiştir. MRTK göz izleme tanıtım sahneleri ek olarak yüklenir ve bunu nasıl ayarlayacağımızı aşağıda açıklayacağız.
Göz izleme tanıtım örneklerine genel bakış
Gözle Desteklenen Hedef Seçimi
Bu öğreticide hedefleri seçmek için göz bakışı verilerine erişim kolaylığı gösterilir. Kullanıcıya bir hedefin aşırı etkilenmeden odaklanmış olduğundan emin olmasını sağlamak için hafif ama güçlü geri bildirimlere bir örnek içerir. Buna ek olarak, okunduktan sonra otomatik olarak kaybolan basit bir akıllı bildirim örneği vardır.
Özet: Gözler, ses ve el girişi birleşimi kullanılarak yapılan hızlı ve zahmetsiz hedef seçimleri.
Gözle Desteklenen Gezinti
Uzak bir ekranda veya e-okuyucunuzda bazı bilgileri okuduğunuzu ve görüntülenen metnin sonuna ulaştığınızda metnin daha fazla içerik görüntülemek için otomatik olarak yukarı kaydırıldığını düşünün. Ya da sihirli bir şekilde doğrudan baktığınız yere yakınlaştırmaya ne dersin? Bunlar, bu öğreticide göz destekli gezintiyle ilgili olarak sunulan örneklerden bazılarıdır. Buna ek olarak, 3B hologramların geçerli odağınıza göre otomatik olarak döndürülerek tutmadan döndürülebilir hale getirilmesine bir örnek vardır.
Özet: Göz, ses ve el girişi birleşimini kullanarak kaydırma, kaydırma, yakınlaştırma, 3B döndürme.
Gözle Desteklenen Konumlandırma
Bu öğreticide, 1980'lerin başlarında göz, el ve ses girişiyle MIT Media Lab'den araştırmaya kadar uzanan Put-That-There adlı bir giriş senaryosu gösterilmektedir. Fikir basittir: Hızlı hedef seçimi ve konumlandırma için gözlerden yararlanın. Holograma bakın ve 'bunu koy' deyin, yerleştirmek istediğiniz yere bakın ve 'orada!' deyin. Hologramınızı daha hassas bir şekilde konumlandırmak için el, ses veya kumandalarınızdan gelen ek girişleri kullanabilirsiniz.
Özet: Hologramları gözler, ses ve el girişi kullanarak konumlandırma (sürükleyip bırakma). Gözler ve eller kullanılarak göz destekli kaydırıcılar.
Görsel dikkat görselleştirmesi
Kullanıcıların nerede göründüğüne bağlı veriler, bir tasarımın kullanılabilirliğini değerlendirmek ve verimli iş akışlarındaki sorunları belirlemek için son derece güçlü bir araç haline getirir. Bu öğreticide farklı göz izleme görselleştirmeleri ve bunların farklı gereksinimlere nasıl uydukları ele alınmaktadır. Göz izleme verilerini günlüğe kaydetmeye ve yüklemeye yönelik temel örnekler ve bunları görselleştirmeye yönelik örnekler sağlıyoruz.
Özet: Tabletlerde iki boyutlu dikkat haritası (ısı haritaları). Göz izleme verilerini kaydetme & yeniden yürütme.
MRTK göz izleme örneklerini ayarlama
Önkoşullar
Cihazda göz izleme örneklerinin kullanılması için bir HoloLens 2 ve paketin AppXManifest üzerindeki "Girişe Bakma" özelliğiyle oluşturulmuş bir örnek uygulama paketi gerektiğini unutmayın.
Bu göz izleme örneklerini cihazda kullanmak için, uygulamayı Visual Studio'da oluşturmadan önce bu adımları izlediğinden emin olun.
1. EyeTrackingDemo-00-RootScene.unity Yükleme
EyeTrackingDemo-00-RootScene, tüm çekirdek MRTK bileşenlerinin dahil olduğu temel (kök) sahnedir. Bu, önce yüklemeniz gereken ve göz izleme tanıtımlarını çalıştıracağınız sahnedir. Ek olarak yüklenecek farklı göz izleme örnekleri arasında kolayca geçiş yapmanızı sağlayan grafik sahne menüsüne sahiptir.
Kök sahne, MRTK tarafından yapılandırılmış profiller ve sahne kamerası gibi ek olarak yüklenen sahnelerde kalıcı olacak birkaç temel bileşen içerir. MixedRealityBasicSceneSetup (aşağıdaki ekran görüntüsüne bakın) başlangıçta başvurulan sahneyi otomatik olarak yükleyecek bir betik içerir. Varsayılan olarak, bu EyeTrackingDemo-02-TargetSelection'dır.
2. Derleme menüsüne sahne ekleme
Çalışma zamanı sırasında ek sahneleri yüklemek için önce bu sahneleri Derleme Ayarları -> Derleme menüsündeki Sahneler bölümüne eklemeniz gerekir. Kök sahnenin listedeki ilk sahne olarak gösterilmesi önemlidir:
3. Unity düzenleyicisinde göz izleme örneklerini oynatın
Göz izleme sahnelerini Derleme Ayarlarına ekledikten ve EyeTrackingDemo-00-RootScene'i yükledikten sonra, denetlemek isteyebileceğiniz son bir şey var: MixedRealityBasicSceneSetup GameObject'e eklenen 'OnLoadStartScene' betiği etkin mi? Bu, kök sahnenin önce hangi tanıtım sahnesinin yüklenip yüklen olmadığını bilmesini sağlamaktır.
Haydi başlayalım! "Oynat" tuşuna bas! Birkaç mücevherin göründüğünü ve üst kısımda sahne menüsünü görmeniz gerekir.
Oyun görünümünüzün ortasında küçük bir yarı saydam daire de fark etmelisiniz. Bu, sanal göz bakışınızın bir göstergesi (imleç) işlevi görür: Konumunu değiştirmek için sağ fare düğmesine basmanız ve fareyi hareket ettirmeniz yeterlidir. İmleç mücevherlerin üzerine geldiğinde, o anda görüntülenen mücevherin ortasına tutturacağını fark edeceksiniz. Bu, bir hedefe "bakarken" olayların beklendiği gibi tetiklenip tetiklenmediğini test etmenin harika bir yoludur. Fare kontrolü ile göz bakışı simülasyonunun hızlı ve kasıtsız göz hareketlerimize oldukça zayıf bir ek olduğunu unutmayın. Ancak, HoloLens 2 cihaza dağıtarak tasarımı yinelemeden önce temel işlevleri test etmek için harika bir özelliktir. Göz izleme örnek sahnemize geri dönme: Mücevher, bakıldığı sürece döner ve "bakarak" yok edilebilir ve ...
- Enter tuşuna basma ("seç" demenin benzetimini yapan)
- Mikrofonunuza "seç" demek
- Sanal el girişini göstermek için Ara Çubuğu'na basarken, bir sıkıştırma simülasyonu gerçekleştirmek için sol fare düğmesine tıklayın
Gözle Desteklenen Hedef Seçimi öğreticimizde bu etkileşimleri nasıl başarabileceğinizi daha ayrıntılı olarak açıklıyoruz.
İmleci sahnenin üst menü çubuğuna taşırken, o anda üzerine gelinen öğenin altta vurgulandığını fark edeceksiniz. Yukarıda açıklanan işleme yöntemlerinden birini kullanarak (örneğin Enter tuşuna basarak) vurgulanmış durumdaki öğeyi seçebilirsiniz. Bu şekilde farklı göz izleme örnek sahneleri arasında geçiş yapabilirsiniz.
4. Belirli alt sahneleri test etme
Belirli bir senaryo üzerinde çalışırken, her seferinde sahne menüsünden geçmek istemeyebilirsiniz. Bunun yerine, Yürüt düğmesine basarken doğrudan üzerinde çalıştığınız sahneden başlamak isteyebilirsiniz. Sorun değil! Şunları yapabilirsiniz:
Kök sahneyi yükleme
Kök sahnede 'OnLoadStartScene' betiğini devre dışı bırakın
Aşağıda açıklanan göz izleme testi sahnelerinden birini (veya başka bir sahneyi) aşağıdaki ekran görüntüsünde gösterildiği gibi Hiyerarşi görünümünüzde sürükleyip bırakın.
Yürüt'e basın
Alt sahneyi bu şekilde yüklemenin kalıcı olmadığını lütfen unutmayın: Bu, uygulamanızı HoloLens 2 cihaza dağıtırsanız yalnızca kök sahneyi yükleyeceği anlamına gelir (Derleme Ayarlarınızın en üstünde göründüğü varsayılarak). Ayrıca, projenizi başkalarıyla paylaştığınızda alt sahneler otomatik olarak yüklenmez.
MRTK göz izleme örnek sahnelerini nasıl çalıştırabileceğinizi öğrendiğinize göre, gözlerinizle hologramları nasıl seçeceğinize daha ayrıntılı bir şekilde bakalım: Gözle desteklenen hedef seçimi.