Örnek olay incelemesi - HoloLens tasarım ekibindeki ilk yılım

2B düzlükten 3B dünyaya yolculuğum, Ocak 2016'da HoloLens tasarım ekibine katıldığımda başladı. Ekibe katılmadan önce 3B tasarım konusunda çok az deneyime sahiptim. Benim durumumda ilk adımın bir sıçrama olması dışında, tek bir adımla başlayan bin millik bir yolculuğun Çin atasözü gibiydi!

2B'den 3B'ye atlama

"Arabayı nasıl süreceğimi bilmeden sürücü koltuğuna atlamış gibi hissettim. Bunaldım ve korktum ama çok odaklandım."
— Hae Jin Lee

Geçen yıl, becerilerimi ve bilgilerimi olabildiğince hızlı bir şekilde edindim, ama hala öğrenecek çok şey var. Burada, 2B etkileşim tasarımcısından 3B etkileşim tasarımcısına geçişimi belgeleyerek bir video öğreticisiyle 4 gözlem yazdım. Umarım deneyimim diğer tasarımcılara 3B'ye sıçrama konusunda ilham verecek.

Güle güle çerçevesi. Hello uzamsal / diegetik kullanıcı arabirimi

Ne zaman poster, dergi, web sitesi veya uygulama ekranı tasarlasam, tanımlı bir çerçeve (genellikle dikdörtgen) her sorun için sabitti. Bu gönderiyi bir HoloLens veya başka bir VR cihazında okumadığınız sürece, buna bir çerçeve içinde güvenli bir şekilde korunan 2B ekran aracılığıyla dışarıdan bakıyorsunuz . İçerik size haricidir. Ancak, Karma Gerçeklik kulaklık çerçeveyi ortadan kaldırır, bu nedenle içerik alanının içindesiniz, içeriğe içeriden bakıp gezinebilirsiniz.

Bunu kavramsal olarak anladım, ancak başlangıçta 2B düşünceyi 3B alana aktarma hatasını yaptım. Bu açıkçası iyi çalışmadı çünkü 3B alanın görünüm değişikliği (kullanıcının kafa hareketine göre) ve kullanıcı konforu için farklı gereksinim (cihazların özelliklerine ve bunları kullanan insanlara göre) gibi kendine özgü özellikleri var. Örneğin, 2B UI tasarım alanında, KULLANıCı arabirimi öğelerini ekranın köşesine kilitlemek çok yaygın bir desendir, ancak bu HUD (Head Up Display) stilindeki kullanıcı arabirimi MR/VR deneyimlerinde doğal hissetmez; kullanıcının alana daldırılmalarını engeller ve kullanıcı rahatsızlığı yaratır. Gözlüklerinde kurtulmak için can attığın sinir bozucu bir toz parçacığına sahip olmak gibi. Zaman içinde, içeriği 3B alana konumlandırmanın ve içeriğin kullanıcıyı göreli sabit bir mesafede takip etmelerini sağlayan gövde kilitli davranış eklemenin daha doğal hissettirdiğini öğrendim.

Gövde kilitli

Dünya kilitli

Parçalar: Büyük Diegetic ui örneği

HoloLens için Asobo Studio tarafından geliştirilen birinci şahıs suç gerilimi Fragments, harika bir Diegetic kullanıcı arabirimini gösteriyor. Bu oyunda kullanıcı, bir gizemi çözmeye çalışan bir dedektif olan ana karakter haline gelir. Bu gizemi çözmeye yönelik önemli ipuçları kullanıcının fiziksel odasına serpilir ve genellikle kendi başına var olmak yerine kurgusal bir nesnenin içine katıştırılır. Bu görsel kullanıcı arabirimi, gövde kilitli kullanıcı arabiriminden daha az bulunabilir olma eğilimindedir, bu nedenle Asobo ekibi kullanıcının dikkatini çekmek için sanal karakterlerin bakış yönü, ses, ışık ve kılavuzlar (örneğin ipucunun konumunu gösteren ok) gibi birçok ipucunu akıllıca kullandı.

Parçalar - Diegetic UI örnekleri

Diegetik kullanıcı arabirimi hakkındaki gözlemler

Uzamsal kullanıcı arabirimi (hem gövde kilitli hem de dünya kilitli) ve diegetik kullanıcı arabiriminin kendi güçlü ve zayıf yönleri vardır. Tasarımcıların mümkün olduğunca çok MR/VR uygulaması denemelerini ve çeşitli kullanıcı arabirimi konumlandırma yöntemleri için kendi anlayışlarını ve duyarlılıklarını geliştirmelerini teşvik ediyorum.

Skeuomorfizmin ve sihirli etkileşimin geri dönüşü

Gerçek dünya nesnelerinin şeklini taklit eden dijital bir arabirim olan Skeuomorphism, tasarım sektöründe son 5-7 yıldır "istenmeyen" olmuştur. Apple sonunda iOS 7'de düz tasarıma yol verdiği zaman, Skeuomorfizm sonunda bir arabirim tasarımı metodolojisi olarak ölmüş gibi görünüyordu. Ancak daha sonra, yeni bir orta, MR/VR kulaklık piyasaya geldi ve Skeuomorphism tekrar geri döndü gibi görünüyor. : )

İş Simülatörü: Skeuomorphic VR tasarımı örneği

Owlchemy Labs tarafından geliştirilen tuhaf bir oyun olan Job Simulator, skeuomorphic VR tasarımı için en popüler örneklerden biridir. Bu oyun içinde oyuncular, robotların insanların yerini aldığı ve insanların dört farklı işten birinde sıradan görevleri yerine getirmenin nasıl bir his olduğunu deneyimlemek için bir müzeyi ziyaret ettiği geleceğe taşınır: Auto Mechanic, Gourmet Chef, Store Clerk veya Office Worker.

Skeuomorphism'in yararı açıktır. Bu oyundaki tanıdık ortamlar ve nesneler, yeni VR kullanıcılarının sanal alanda daha rahat ve mevcut hissetmelerine yardımcı olur. Ayrıca, tanıdık bilgi ve davranışları nesnelerle ve bunlara karşılık gelen fiziksel tepkilerle ilişkilendirerek kendilerini kontrol altında hissetmelerini sağlar. Örneğin, bir fincan kahve içmek için, insanların kahve makinesine yürümeleri, bir düğmeye basmaları, fincan tutamacını tutmaları ve gerçek dünyada yaptıkları gibi ağızlarına eğmeleri yeterlidir.

İş Simülatörü

MR/VR hala gelişmekte olan bir ortam olduğundan, MR/VR teknolojisinin demystify ve dünya çapında daha geniş kitlelere tanıtmak için belirli bir skeuomorfizm kullanmak gerekir. Buna ek olarak, skeuomorfizm veya gerçekçi gösterim kullanmak, ameliyat veya uçuş simülasyonu gibi belirli uygulama türleri için yararlı olabilir. Bu uygulamaların amacı, gerçek dünyada doğrudan uygulanabilecek belirli becerileri geliştirmek ve geliştirmek olduğundan, simülasyon gerçek dünyaya ne kadar yakınsa, bilgi o kadar aktarılabilir olur.

Skeuomorfizmin yalnızca bir yaklaşım olduğunu unutmayın. MR/VR dünyasının potansiyeli bundan çok daha büyüktür ve tasarımcılar, MR/VR dünyasında benzersiz olarak mümkün olan yeni affordance'lar olan büyülü hiper-doğal etkileşimler yaratmaya çalışmalıdır. Başlangıç olarak, kullanıcıların ışınlanma ve her şeye gücü dahil olmak üzere temel isteklerini yerine getirmelerini sağlamak için sıradan nesnelere sihirli güçler eklemeyi göz önünde bulundurun.

Doraemon'un sihirli kapısı (sol) ve yakut terlikleri (sağ)

VR'de skeuomorfizm hakkında gözlemler

Doraemon'da "Anywhere door"dan, Oz Sihirbazı'ndaki "Ruby Slippers"ten Harry Potter'daki "Maurader'ın haritasına" kadar, popüler kurguda büyülü güç abound ile sıradan nesnelerin örnekleri. Bu büyülü nesneler, gerçek dünya ile muhteşem arasında, ne olduğu ve ne olabileceği arasındaki bir bağlantıyı görselleştirmemize yardımcı olur. Sihirli veya gerçeküstü nesneyi tasarlarken işlevsellik ve eğlence arasında bir denge kurmak gerektiğini unutmayın. Sadece yenilik olsun diye tamamen büyülü bir şey yaratmanın cazibesine dikkat edin.

Farklı giriş yöntemlerini anlama

2B ortam için tasarlarken, girişler için dokunma, fare ve klavye etkileşimlerine odaklanmam gerekiyordu. MR/VR tasarım alanında, vücudumuz arayüz haline gelir ve kullanıcılar konuşma, bakış, hareket, 6-dof denetleyicileri ve sanal nesnelerle daha sezgisel ve doğrudan bağlantı sağlayan eldivenler dahil olmak üzere daha geniş bir giriş yöntemi yelpazesini kullanabilir.

HoloLens'te kullanılabilir girişler

"Her şey bir şey için en iyisi, başka bir şey içinse en kötüsüdür."
— Bill Buxton

Örneğin, bir HMD cihazında çıplak el ve kamera sensörlerini kullanan hareket girişi, kullanıcıların ellerini kumanda tutmasından veya terli eldiven giymesinden kurtarsa da sık kullanım fiziksel yorgunluğa (yani goril koluna) neden olabilir. Ayrıca, kullanıcıların ellerini görüş alanı içinde tutmaları gerekir; Eğer kamera elleri göremiyorsa, eller kullanılamaz.

Konuşma girişi, kullanıcıların iç içe menüleri tek bir komutla kesmesine (örneğin, "Laika studio tarafından yapılan filmleri göster") ve diğer modalite ile birleştiğinde de çok ekonomik olmasına olanak sağladığından (örneğin, "Benimle yüz yüze" komutu kullanıcının baktığı hologramı kullanıcıya yönlendirir) karmaşık görevlerin geçişinde iyidir. Ancak, konuşma girişi gürültülü ortamda iyi çalışmayabilir veya çok sessiz bir alanda uygun olmayabilir.

Hareket ve konuşmanın yanı sıra, elle tutulan izlenen denetleyiciler (örneğin, Oculus touch, Vive vb.) kullanımı kolay, doğru, insanların proprioception'larından yararlanan ve pasif haptik ipuçları sağlayan çok popüler giriş yöntemleridir. Ancak bu avantajlar, çıplak ellere geçememe ve tam parmak takibini kullanma maliyetine neden olur.

Senso (Sol) ve Manus VR (Sağ)

Kontrolörler kadar popüler olmasa da MR/VR dalgası sayesinde eldivenler tekrar ivme kazanıyor. Son zamanlarda beyin/zihin girişi, EEG veya EMG sensörünü kulaklıkla (örneğin MindMaze VR) tümleştirerek sanal ortamlar için bir arabirim olarak çekişmeye başlamıştır.

Giriş yöntemleriyle ilgili gözlemler

Bunlar, MR/VR için piyasada bulunan giriş cihazlarının yalnızca bir örneğidir. Sektör olgunlaşıp en iyi uygulamalar konusunda anlaşmaya varana kadar çoğalmaya devam edecektir. O zamana kadar tasarımcılar yeni giriş cihazlarının farkında olmalı ve belirli projelerine yönelik belirli giriş yöntemleri konusunda bilgili olmalıdır. Tasarımcıların sınırlamalar içinde yaratıcı çözümler aramaları ve aynı zamanda bir cihazın güçlü yanlarını da oynamaları gerekir.

Sahnenin taslağını çizin ve mikrofonlu kulaklıkta test edin

2B'de çalıştığımda çoğunlukla yalnızca içeriği taslak olarak çizerdim. Ancak karma gerçeklik alanında yeterli değildi. Kullanıcı ve sanal nesneler arasındaki ilişkileri daha iyi hayal etmek için sahnenin tamamının taslağını çizmem gerekti. Uzamsal düşünceme yardımcı olmak için Sinema 4D'de sahneleri çizmeye başladım ve bazen Maya'da prototip oluşturma için basit varlıklar oluşturdum. HoloLens ekibine katılmadan önce iki programı da hiç kullanmamıştım ve hala acemiyim, ancak bu 3B programlarla çalışmak kesinlikle gölgelendirici ve IK (ters kinematik) gibi yeni terminolojiyle rahat etmemde bana yardımcı oldu.

"Sahneyi 3B olarak ne kadar yakından çizmiş olursam yapayım, kulaklıktaki gerçek deneyim neredeyse hiçbir zaman taslakla aynı değildi. Bu nedenle hedef mikrofonlu kulaklıklarda sahneyi test etmek önemlidir." — Hae Jin Lee

HoloLens prototip oluşturma için başlamak için Karma Gerçeklik öğreticideki tüm öğreticileri denedim. Ardından Microsoft'un holografik uygulamaların geliştirilmesini hızlandırmak için geliştiricilere sağladığı HoloToolkit.Unity ile oynamaya başladım. Bir şeyle takıldığımda sorumu HoloLens Soru & Yanıt Forumu'na gönderdim.

HoloLens prototip oluşturma hakkında temel bilgileri edindikten sonra, diğer kodlayıcı olmayanları kendi başlarına prototip oluşturmaları için güçlendirmek istedim. Bu nedenle HoloLens kullanarak basit bir mermi geliştirmeyi öğreten bir video öğreticisi yaptım. Temel kavramları kısaca açıklayacağım, bu nedenle HoloLens geliştirme konusunda hiç deneyiminiz olmasa bile bunu takip edebilmeniz gerekir.

Bu basit öğreticiyi kendim gibi programcı olmayanlar için yaptım.

VR prototip oluşturma için VR Geliştirme Okulu'nda kurslar aldım ve ayrıca Lynda.com'da Sanal Gerçeklik için 3B İçerik Oluşturma'yı aldım. VR Dev okulu bana kodlama konusunda daha ayrıntılı bilgi verdi ve Lynda kursu vr için varlıklar oluşturmaya yönelik güzel bir kısa tanıtım sundu.

Atla artık

Bir yıl önce, tüm bunların biraz bunaltıcı olduğunu hissettim. Şimdi size % 100 çabaya değdiğini söyleyebilirim. MR/VR hala çok genç bir ortamdır ve gerçekleştirilmeyi bekleyen birçok ilginç olasılık vardır. İlham alıyorum ve geleceği tasarlamada küçük bir rol oynayabildiğim için şanslı hissediyorum. Umarım 3B uzay yolculuğunda bana katılırsın!

Yazar hakkında

Hae Jin Lee UX Tasarım Aracı @Microsoft