Gambaran umum contoh pelacakan mata — MRTK2
Topik ini menjelaskan cara cepat memulai pelacakan mata di MRTK dengan membangun contoh pelacakan mata MRTK (Aset/MRTK/Contoh/Demo/EyeTracking). Sampel ini memungkinkan Anda mengalami salah satu kemampuan input ajaib baru kami: Pelacakan mata! Demo ini mencakup berbagai kasus penggunaan, mulai dari aktivasi berbasis mata implisit hingga cara menggabungkan informasi dengan mulus tentang apa yang Anda lihat dengan input suara dan tangan . Ini memungkinkan pengguna untuk dengan cepat dan mudah memilih dan memindahkan konten holografik di seluruh tampilan mereka hanya dengan melihat target dan mengatakan 'Pilih' atau melakukan gerakan tangan. Demo juga mencakup contoh untuk gulir yang diarahkan tatapan mata, menggeser dan memperbesar teks dan gambar pada garis miring. Terakhir, contoh disediakan untuk merekam dan memvisualisasikan perhatian visual pengguna pada slate 2D. Di bagian berikut, Anda akan menemukan detail lebih lanjut tentang apa yang masing-masing sampel berbeda dalam paket contoh pelacakan mata MRTK (Aset/MRTK/Contoh/Demo/EyeTracking) meliputi:
Bagian berikut adalah gambaran umum singkat tentang apa itu adegan demo pelacakan mata individu. Adegan demo pelacakan mata MRTK dimuat secara aditif, yang akan kami jelaskan di bawah ini cara mengaturnya.
Gambaran umum sampel demo pelacakan mata
Pemilihan Target yang Didukung Mata
Tutorial ini menampilkan kemudahan mengakses data tatapan mata untuk memilih target. Ini termasuk contoh untuk umpan balik yang halus namun kuat untuk memberi pengguna keyakinan bahwa target difokuskan tanpa kewalahan. Selain itu, ada contoh sederhana pemberitahuan pintar yang secara otomatis menghilang setelah dibaca.
Ringkasan: Pilihan target yang cepat dan mudah menggunakan kombinasi input mata, suara, dan tangan.
Navigasi yang Didukung Mata
Bayangkan Anda membaca beberapa informasi tentang tampilan jauh atau e-reader Anda dan ketika Anda mencapai akhir teks yang ditampilkan, teks secara otomatis menggulir ke atas untuk mengungkapkan lebih banyak konten. Atau bagaimana dengan memperbesar tampilan secara ajaib langsung ke tempat yang Anda lihat? Ini adalah beberapa contoh yang ditunjukkan dalam tutorial ini mengenai navigasi yang didukung mata. Selain itu, ada contoh untuk rotasi bebas tangan hologram 3D dengan membuatnya secara otomatis berputar berdasarkan fokus Anda saat ini.
Ringkasan: Gulir, geser, perbesar tampilan, rotasi 3D menggunakan kombinasi mata, suara, dan input tangan.
Penempatan yang Didukung Mata
Tutorial ini menunjukkan skenario input yang disebut Put-That-There yang berasal dari penelitian dari MIT Media Lab di awal 1980 dengan input mata, tangan, dan suara. Idenya sederhana: Manfaatkan mata Anda untuk pemilihan target dan posisi yang cepat. Cukup lihat hologram dan katakan 'letakkan ini', lihat di mana Anda ingin menempatkannya dan katakan 'di sana!'. Untuk memposisikan hologram dengan lebih tepat, Anda dapat menggunakan input tambahan dari tangan, suara, atau pengontrol Anda.
Ringkasan: Memposisikan hologram menggunakan input mata, suara, dan tangan (seret dan letakkan). Slider yang didukung mata menggunakan mata + tangan.
Visualisasi perhatian visual
Data berdasarkan di mana pengguna terlihat membuat alat yang sangat kuat untuk menilai kegunaan desain dan mengidentifikasi masalah dalam aliran kerja yang efisien. Tutorial ini membahas visualisasi pelacakan mata yang berbeda dan bagaimana mereka sesuai dengan kebutuhan yang berbeda. Kami memberikan contoh dasar untuk mencatat dan memuat data pelacakan mata dan contoh cara memvisualisasikannya.
Ringkasan: Peta perhatian dua dimensi (peta panas) pada slate. Merekam & memutar ulang data pelacakan mata.
Menyiapkan sampel pelacakan mata MRTK
Prasyarat
Perhatikan bahwa menggunakan sampel pelacakan mata pada perangkat memerlukan HoloLens 2 dan paket aplikasi sampel yang dibangun dengan kemampuan "Input Tatapan" pada AppXManifest paket.
Untuk menggunakan sampel pelacakan mata ini di perangkat, pastikan untuk mengikuti langkah-langkah ini sebelum membuat aplikasi di Visual Studio.
1. Muat EyeTrackingDemo-00-RootScene.unity
EyeTrackingDemo-00-RootScene adalah adegan dasar (root) yang memiliki semua komponen MRTK inti yang disertakan. Ini adalah adegan yang perlu Anda muat terlebih dahulu dan dari mana Anda akan menjalankan demo pelacakan mata. Ini fitur menu adegan grafis yang memungkinkan Anda untuk dengan mudah beralih antara sampel pelacakan mata yang berbeda yang akan dimuat secara aditif.
Adegan root mencakup beberapa komponen inti yang akan bertahan di seluruh adegan yang dimuat secara aditif, seperti profil yang dikonfigurasi MRTK dan kamera adegan. MixedRealityBasicSceneSetup (lihat cuplikan layar di bawah) menyertakan skrip yang akan secara otomatis memuat adegan yang direferensikan saat startup. Secara default, ini adalah EyeTrackingDemo-02-TargetSelection.
2. Menambahkan adegan ke menu build
Untuk memuat adegan aditif selama runtime, Anda harus menambahkan adegan ini ke Pengaturan Build -> Adegan di menu Build terlebih dahulu. Penting bahwa adegan akar ditampilkan sebagai adegan pertama dalam daftar:
3. Putar sampel pelacakan mata di editor Unity
Setelah menambahkan adegan pelacakan mata ke Pengaturan Build dan memuat EyeTrackingDemo-00-RootScene, ada satu hal terakhir yang mungkin ingin Anda periksa: Apakah skrip 'OnLoadStartScene' yang dilampirkan ke MixedRealityBasicSceneSetup GameObject diaktifkan? Ini untuk membiarkan adegan root tahu adegan demo mana yang akan dimuat terlebih dahulu.
Ayo beraksi! Tekan "Play"! Anda akan melihat beberapa permata muncul dan menu adegan di bagian atas.
Anda juga harus melihat lingkaran semitransparan kecil di tengah tampilan permainan Anda. Ini bertindak sebagai indikator (kursor) tatapan mata simulasi Anda: Cukup tekan tombol mouse kanan dan gerakkan mouse untuk mengubah posisinya. Ketika kursor melayang di atas permata, Anda akan melihat bahwa kursor akan memposisikan ke tengah permata yang saat ini dilihat. Ini adalah cara yang bagus untuk menguji apakah peristiwa dipicu seperti yang diharapkan ketika "melihat" target. Ketahuilah bahwa tatapan mata yang disimulasikan melalui kontrol tikus adalah suplemen yang agak buruk untuk gerakan mata kita yang cepat dan tidak disengaja. Namun, sangat bagus untuk menguji fungsionalitas dasar sebelum melakukan iterasi pada desain dengan menyebarkannya ke perangkat HoloLens 2. Kembali ke adegan sampel pelacakan mata kita: Permata berputar selama dilihat dan dapat dihancurkan dengan "melihat" dan ...
- Menekan Enter (yang mensimulasikan kata "pilih")
- Mengatakan "pilih" ke mikrofon Anda
- Saat menekan Spasi untuk menampilkan input tangan yang disimulasikan, klik tombol mouse kiri untuk melakukan simulasi pinch
Kami menjelaskan secara lebih rinci bagaimana Anda dapat mencapai interaksi ini dalam tutorial Pemilihan Target yang Didukung Mata kami.
Saat memindahkan kursor ke bilah menu atas di adegan, Anda akan melihat bahwa item yang saat ini diarahkan akan disorot secara halus. Anda dapat memilih item yang saat ini disorot dengan menggunakan salah satu metode penerapan yang dijelaskan di atas (misalnya, menekan Enter). Dengan cara ini Anda dapat beralih di antara berbagai adegan sampel pelacakan mata.
4. Cara menguji sub adegan tertentu
Saat mengerjakan skenario tertentu, Anda mungkin tidak ingin melalui menu adegan setiap saat. Sebagai gantinya, Anda mungkin ingin memulai langsung dari adegan yang saat ini sedang Anda kerjakan saat menekan tombol Putar . Tidak ada masalah! Berikut adalah apa yang dapat Anda lakukan:
Memuat adegan akar
Di adegan akar, nonaktifkan skrip 'OnLoadStartScene'
Seret dan letakkan salah satu adegan pengujian pelacakan mata yang dijelaskan di bawah ini (atau adegan lainnya) ke dalam tampilan Hierarki Anda seperti yang ditunjukkan pada cuplikan layar di bawah ini.
Tekan Putar
Harap dicatat bahwa memuat sub adegan seperti ini tidak persisten: Ini berarti bahwa jika Anda menyebarkan aplikasi Anda ke perangkat HoloLens 2, itu hanya akan memuat adegan root (dengan asumsi itu muncul di bagian atas Pengaturan Build Anda). Selain itu, saat Anda berbagi proyek dengan orang lain, sub adegan tidak dimuat secara otomatis.
Sekarang setelah Anda tahu cara membuat contoh adegan pelacakan mata MRTK berfungsi, mari kita lanjutkan dengan menyelam lebih dalam tentang cara memilih hologram dengan mata Anda: Pemilihan target yang didukung mata.