Pelacakan mata pada HoloLens 2

Artikel
03/21/2023

Demo pelacakan mata di MRTK

HoloLens 2 memungkinkan tingkat konteks baru dan pemahaman manusia dalam pengalaman holografik dengan memberi pengembang kemampuan untuk menggunakan informasi tentang apa yang dilihat pengguna. Halaman ini menjelaskan bagaimana pengembang dapat memperoleh manfaat dari pelacakan mata untuk berbagai kasus penggunaan, dan apa yang harus dicari saat merancang interaksi pengguna berbasis tatapan mata.

Eye Tracking API telah dirancang dengan mempertimbangkan privasi pengguna; menghindari lolosnya informasi yang dapat diidentifikasi, terutama biometrik apa pun. Untuk aplikasi berkemampuan pelacakan mata, pengguna perlu memberikan izin aplikasi untuk menggunakan informasi pelacakan mata.

Dukungan perangkat

Fitur	HoloLens (generasi ke-1)	HoloLens 2	Headset imersif
Tatapan mata	❌	✔️	❌

Demo konsep desain pelacakan kepala dan mata

Jika Anda ingin melihat konsep desain Pelacakan Kepala dan Mata beraksi, lihat demo video Designing Holograms - Pelacakan Kepala dan Pelacakan Mata kami di bawah ini. Setelah selesai, lanjutkan untuk penyelaman yang lebih rinci tentang topik tertentu.

Video ini diambil dari aplikasi HoloLens 2 "Merancang Hologram". Unduh dan nikmati pengalaman lengkapnya di sini.

Kalibrasi

Agar pelacakan mata berfungsi secara akurat, setiap pengguna diharuskan melalui kalibrasi pengguna pelacakan mata yang penggunanya harus melihat serangkaian target holografik. Ini memungkinkan perangkat untuk menyesuaikan sistem, menghasilkan pengalaman menonton yang lebih nyaman dan berkualitas lebih tinggi untuk pengguna dan memastikan pelacakan mata yang akurat pada saat yang sama.

Pelacakan mata harus berfungsi untuk sebagian besar pengguna, tetapi ada kasus langka di mana pengguna tidak dapat mengkalibrasi dengan sukses. Kalibrasi mungkin gagal karena berbagai alasan, termasuk tetapi tidak terbatas pada:

Pengguna sebelumnya memilih keluar dari proses kalibrasi.
Pengguna terganggu dan tidak mengikuti target kalibrasi.
Pengguna memiliki jenis lensa kontak dan kacamata tertentu yang belum didukung sistem.
Pengguna memiliki fisiologi mata atau kondisi mata tertentu atau memiliki operasi mata, yang belum didukung sistem.
Faktor eksternal yang menghambat pelacakan mata yang andal seperti smudges pada visor HoloLens atau kacamata, sinar matahari langsung yang intens, dan oklusi karena rambut di depan mata.

Pengembang harus memastikan untuk memberikan dukungan yang memadai bagi pengguna yang data pelacakan matanya mungkin tidak tersedia (yang tidak berhasil mengkalibrasi). Kami telah memberikan rekomendasi untuk solusi fallback di bagian di bagian bawah halaman ini.

Untuk mempelajari selengkapnya tentang kalibrasi dan cara memastikan pengalaman yang lancar, lihat halaman kalibrasi pengguna pelacakan mata kami.

Data pelacakan mata yang tersedia

Pelacakan mata pada HoloLens 2 memungkinkan pengembang merancang skenario input dan interaksi yang alami dan intuitif. EYE Tracking API memberikan informasi tentang apa yang dilihat pengguna sebagai sinar tatapan mata tunggal (asal tatapan dan arah) pada sekitar 30 FPS (30 Hz). Agar pelacakan mata berfungsi secara akurat, setiap pengguna diharuskan melalui kalibrasi pengguna pelacakan mata. Untuk informasi lebih rinci tentang cara mengakses data pelacakan mata, lihat panduan pengembang kami untuk menggunakan tatapan mata di DirectX dan tatapan mata di Unity.

Tatapan mata yang diprediksi sekitar 1,5 derajat dalam sudut visual di sekitar target aktual (lihat ilustrasi di bawah). Sedikit ketidaktepatan diharapkan, sehingga pengembang harus merencanakan beberapa margin di sekitar nilai terikat bawah ini (misalnya, 2,0-3,0 derajat dapat menghasilkan pengalaman yang jauh lebih nyaman). Kita akan membahas cara mengatasi pemilihan target kecil secara lebih rinci di bawah ini.

Ukuran target optimal pada jarak 2 meter

Data Pelacakan Mata yang Diperluas

API pelacakan mata yang diperluas memungkinkan pengembang untuk membuka tingkat skenario inovatif berikutnya seperti penilaian kesehatan, pemantauan, dan terapi dengan memberikan informasi yang lebih halus tentang tatapan mata pengguna.

API pelacakan mata yang diperluas menyediakan akses ke nilai pelacakan mata yang ada dan fitur baru seperti vektor tatapan mata individu (kiri dan kanan), kecepatan bingkai yang didukung, dan kemampuan untuk mengatur kecepatan bingkai pelacakan mata menjadi 30, 60, atau 90fps. Untuk menggunakan EXTENDED Eye Tracking API, lihat panduan pengembang kami untuk menggunakan EXTENDED Eye Tracking API untuk asli atau Unity.

Kasus penggunaan

Pelacakan mata memungkinkan aplikasi untuk melacak di mana pengguna mencari secara real time. Kasus penggunaan berikut menjelaskan beberapa interaksi yang dimungkinkan dengan pelacakan mata pada HoloLens 2 dalam realitas campuran. Kasus penggunaan ini belum menjadi bagian dari pengalaman Shell Holografik (antarmuka yang Anda lihat saat memulai HoloLens 2). Anda dapat mencoba beberapa di Mixed Reality Toolkit. Toolkit memberikan beberapa contoh menarik dan kuat untuk menggunakan pelacakan mata, seperti pilihan target yang didukung mata yang cepat dan mudah dan secara otomatis menggulir teks berdasarkan apa yang dilihat pengguna.

Niat pengguna

Informasi tentang di mana dan apa yang dilihat pengguna memberikan konteks yang kuat untuk input lain, seperti suara, tangan, dan pengontrol. Ini dapat digunakan untuk berbagai tugas. Misalnya, pengguna dapat dengan cepat dan mudah menargetkan di seluruh adegan dengan melihat hologram dan mengatakan "pilih" (juga melihat tatapan dan penerapan) atau "letakkan ini...", dan kemudian melihat ke tempat mereka ingin menempatkan hologram dan berkata "... di sana". Contoh untuk ini dapat ditemukan di Mixed Reality Toolkit - Pemilihan Target yang didukung Mata dan toolkit Mixed Reality - Pemosisian Target yang didukung mata.

Selain itu, contoh untuk niat pengguna mungkin termasuk menggunakan informasi tentang apa yang dilihat pengguna untuk meningkatkan keterlibatan dengan agen virtual yang diwujudkan dan hologram interaktif. Misalnya, agen virtual mungkin menyesuaikan opsi yang tersedia, dan perilakunya, berdasarkan konten yang saat ini dilihat.

Tindakan implisit

Kategori tindakan implisit terkait erat dengan niat pengguna. Idenya adalah bahwa hologram atau elemen antarmuka pengguna bereaksi dengan cara insting yang bahkan mungkin tidak terasa seperti pengguna berinteraksi dengan sistem sama sekali, melainkan sistem dan pengguna sinkron. Salah satu contohnya adalah gulir otomatis berbasis tatapan mata di mana pengguna dapat membaca teks panjang yang secara otomatis mulai menggulir setelah pengguna sampai ke bagian bawah kotak teks. Ini membuat pengguna dalam alur membaca tanpa mengangkat jari. Aspek utama dari ini adalah bahwa kecepatan gulir beradaptasi dengan kecepatan membaca pengguna.

Contoh lain adalah zoom dan geser yang didukung mata di mana pengguna dapat merasa seperti mereka menyelam persis ke arah apa pun yang mereka fokuskan.

Memicu dan mengontrol kecepatan zoom dapat dikontrol oleh input suara atau tangan, yang penting untuk memberi pengguna perasaan kontrol sambil menghindari kewalahan. Kita akan membahas pertimbangan desain ini secara lebih rinci di bawah ini. Setelah diperbesar, pengguna dapat dengan lancar mengikuti, misalnya, jalan untuk menjelajahi lingkungannya dengan menggunakan tatapan mata mereka. Contoh demo untuk jenis interaksi ini dapat ditemukan di Mixed Reality Toolkit - Sampel Navigasi yang didukung Mata.

Kasus penggunaan lain untuk tindakan implisit dapat mencakup:

Pemberitahuan cerdas: Apakah Anda pernah terganggu oleh pemberitahuan yang muncul tepat di tengah tampilan Anda? Anda dapat membuat pengalaman ini lebih baik dengan mengimbangi pemberitahuan dari mana pengguna saat ini menatap. Ini membatasi gangguan dan secara otomatis menutupnya setelah pengguna selesai membaca.
Hologram yang penuh perhatian: Ini adalah hologram yang bereaksi dengan cara yang halus ketika mereka menatap. Ini dapat berkisar dari elemen UI yang sedikit bersinar hingga bunga yang mekar perlahan hingga anjing virtual mulai melihat kembali pengguna dan menginjak-injak ekornya. Interaksi ini dapat memberikan rasa konektivitas dan kepuasan yang menarik dalam aplikasi Anda.

Pelacakan perhatian

Informasi tentang di mana atau apa yang dilihat pengguna bisa menjadi alat yang sangat kuat. Ini dapat membantu menilai kegunaan desain dan mengidentifikasi masalah dalam alur kerja untuk membuatnya lebih efisien. Visualisasi dan analitik pelacakan mata adalah praktik umum di berbagai area aplikasi. Dengan HoloLens 2, kami memberikan dimensi baru untuk pemahaman ini; hologram 3D dapat ditempatkan dalam konteks dunia nyata dan dinilai dengan sesuai.

Toolkit Mixed Reality menyediakan contoh dasar untuk mencatat dan memuat data pelacakan mata dan cara memvisualisasikannya.

Microsoft berdedikasi untuk memfasilitasi inovasi sekaligus memastikan bahwa pengguna memiliki pengalaman yang terinformasi dan transparan dengan bagaimana informasi pelacakan mata mereka digunakan. Kami akan terus bekerja sama dengan pengembang dan tim UX kami untuk memberikan panduan bagi pihak ketiga untuk memastikan bahwa pengalaman berpusat di sekitar pengguna.

Aplikasi lain di area ini dapat mencakup:

Visualisasi tatapan mata jarak jauh: Visualisasikan apa yang dilihat kolaborator jarak jauh. Ini dapat memberikan umpan balik langsung dan memfasilitasi pemrosesan informasi yang lebih akurat.
Studi penelitian pengguna: Pelacakan perhatian dapat memberikan wawasan tentang bagaimana pengguna memahami dan terlibat dengan lingkungan alami tanpa mengganggu. Hal ini dapat membantu pengembang merancang interaksi manusia-komputer yang lebih insting. Pelacakan mata dapat memberikan informasi yang tidak secara langsung diartikulasikan oleh peserta dalam penelitian dan dapat dengan mudah dilewatkan oleh peneliti.
Pemantauan pelatihan dan performa: Latih dan optimalkan eksekusi tugas dengan mengidentifikasi hambatan secara lebih efektif dalam alur eksekusi. Pelacakan mata dapat memberikan informasi alami, real-time, dan objektif untuk membantu meningkatkan pelatihan, produktivitas, dan keamanan di tempat kerja.
Evaluasi desain, pemasaran, dan penelitian konsumen: Pelacakan mata memungkinkan perusahaan komersial untuk melakukan studi pemasaran dan konsumen di lingkungan dunia nyata atau menganalisis apa yang menarik perhatian pengguna untuk meningkatkan desain produk atau ruang.

Kasus penggunaan lainnya

Game: Apakah Anda pernah ingin memiliki kekuatan super? Ini kesempatanmu!

Anda dapat membagi hologram dengan menatap mereka.

Tembak sinar laser dari mata Anda - cobalah di RoboRaid untuk HoloLens 2.

Ubah musuh menjadi batu atau bekukan mereka.

Gunakan visi sinar x Anda untuk menjelajahi bangunan.

Imajinasimu adalah batasnya! Namun, berhati-hatilah untuk tidak membuat pengguna kewalahan. Untuk mempelajari lebih lanjut, lihat pedoman desain input berbasis tatapan mata kami.

Avatar ekspresif: Pelacakan mata membantu dalam avatar 3D yang lebih ekspresif dengan menggunakan data pelacakan mata langsung untuk menghidupkan mata avatar dan membuat mereka mengikuti apa yang dilihat pengguna.
Entri teks: Pelacakan mata dapat digunakan sebagai alternatif untuk entri teks dengan upaya rendah, terutama ketika ucapan atau tangan tidak nyaman digunakan.

Menggunakan tatapan mata untuk interaksi

Membangun interaksi yang memanfaatkan penargetan mata yang bergerak cepat bisa menjadi tantangan. Karena mata dapat bergerak cepat, jika Anda tidak berhati-hati tentang cara menggunakan input tatapan mata, pengguna mungkin menemukan pengalaman yang luar biasa atau mengganggu. Tetapi ini sangat sepadan dengan tantangan karena pelacakan mata memungkinkan Anda menciptakan pengalaman yang benar-benar ajaib yang akan menggairahkan pengguna Anda! Untuk membantu Anda, lihat ringkasan kami tentang keuntungan utama, tantangan, dan rekomendasi desain untuk tatapan mata untuk interaksi.

Solusi fallback saat pelacakan mata tidak tersedia

Dalam kasus yang jarang terjadi, data pelacakan mata mungkin tidak tersedia. Hal ini dapat terjadi karena sejumlah alasan--yang paling umum tercantum di bawah ini:

Sistem gagal mengkalibrasi pengguna.
Pengguna melewatkan kalibrasi.
Pengguna dikalibrasi, tetapi memutuskan untuk tidak memberikan izin kepada aplikasi Anda untuk menggunakan data pelacakan mata mereka.
Pengguna memiliki kacamata unik atau beberapa kondisi mata yang belum didukung sistem.
Faktor eksternal yang menghambat pelacakan mata yang andal seperti smudges pada visor HoloLens atau kacamata, sinar matahari langsung yang intens, dan oklusi karena rambut di depan mata.

Pengembang harus memastikan bahwa ada dukungan fallback yang sesuai untuk pengguna ini. Pada halaman Pelacakan Mata di DirectX , kami menjelaskan API yang diperlukan untuk mendeteksi apakah data pelacakan mata tersedia.

Beberapa pengguna dapat memutuskan bahwa privasi yang lebih besar lebih penting bagi mereka daripada pengalaman yang ditingkatkan yang dapat diberikan pelacakan mata, sehingga mereka sengaja mencabut akses ke data pelacakan mata mereka. Namun, dalam beberapa kasus pencabutan ini mungkin tidak disengaja. Jika aplikasi Anda menggunakan pelacakan mata, dan ini adalah bagian penting dari pengalaman, kami sarankan Anda mengomunikasikan ini dengan jelas kepada pengguna. Menjelaskan kepada pengguna bagaimana pelacakan mata membuka potensi penuh aplikasi Anda dapat membantu mereka untuk lebih memahami apa yang mereka serahkan. Jika pelacakan mata diaktifkan tetapi tidak berfungsi, bantu pengguna mengidentifikasi dan menyelesaikan masalah menggunakan daftar periksa di atas sebagai panduan. Misalnya, jika Anda dapat mendeteksi bahwa sistem mendukung pelacakan mata dan pengguna dikalibrasi dan telah memberikan izin mereka, namun tidak ada data pelacakan mata yang diterima, ini mungkin menunjuk ke masalah seperti noda atau mata yang terpakai.

Ada kasus langka di mana pelacakan mata hanya tidak berfungsi untuk seseorang dan tidak ada alasan yang jelas. Hormati itu dengan memungkinkan pengguna untuk menutup atau menonaktifkan pengingat untuk mengaktifkan pelacakan mata di aplikasi Anda.

Mundur untuk aplikasi menggunakan tatapan mata sebagai penunjuk input utama

Jika aplikasi Anda menggunakan tatapan mata sebagai input penunjuk untuk dengan cepat memilih hologram di seluruh adegan, namun data pelacakan mata tidak tersedia, sebaiknya kembali ke tatapan kepala dan menunjukkan kursor tatapan kepala. Sebaiknya gunakan batas waktu (misalnya, 500–1500 ms) untuk menentukan apakah akan beralih atau tidak. Tindakan ini mencegah kursor muncul setiap kali sistem mungkin kehilangan pelacakan secara singkat karena gerakan mata cepat atau kedipan dan kedipan. Jika Anda adalah pengembang Unity, fallback otomatis ke tatapan kepala sudah ditangani di Mixed Reality Toolkit. Jika Anda adalah pengembang DirectX, Anda perlu menangani pengalihan ini sendiri.

Mundur untuk aplikasi khusus pelacakan mata lainnya

Aplikasi Anda mungkin menggunakan tatapan mata dengan cara unik yang disesuaikan khusus untuk mata--misalnya, menjiwai peta panas perhatian berbasis mata atau mata avatar yang mengandalkan informasi yang tepat tentang perhatian visual. Dalam jenis kasus ini, tidak ada fallback yang jelas. Jika pelacakan mata tidak tersedia, kemampuan ini mungkin perlu dinonaktifkan. Sekali lagi, kami sarankan Anda mengkomunikasikan ini dengan jelas kepada pengguna, yang mungkin tidak menyadari bahwa kemampuannya tidak berfungsi.

Halaman ini diharapkan memberi Anda gambaran umum yang baik untuk membuat Anda mulai memahami peran pelacakan mata dan input tatapan mata untuk HoloLens 2. Untuk mulai mengembangkan, lihat informasi kami tentang peran tatapan mata untuk berinteraksi dengan hologram, tatapan mata di Unity dan tatapan mata di DirectX.