Karma Gerçeklik 'te paylaşılan deneyimler

Hologramlar yalnızca bir kullanıcının özel kalmasını gerektirmez. Holographic uygulamaları, bir HoloLens, iOS veya Android cihazından diğer bir şekilde uzamsal bağlantıları paylaşabilir, böylece kullanıcıların birden çok cihazda gerçek dünyada bir hologram işlemesini sağlar.

Paylaşılan senaryoları tanımlamak için altı soru

Paylaşılan deneyimler tasarlamaya başlamadan önce, hedef senaryoları tanımlamak önemlidir. Bu senaryolar, ne tasarlamakta olduğunuzu açıklığa kavuşturmasına yardımcı olur ve deneyiminizdeki gerekli özellikleri karşılaştırmak ve tersine getirmek için ortak bir sözlük kurar. Temel sorunu anlamak ve çözümler için farklı Aven, bu yeni ortamda bulunan fırsatları kapsayan bir anahtardır.

HoloLens iş ortağı kuruluşlarımızdan gelen iç prototiplerde ve araştırmalar sayesinde, paylaşılan senaryolar tanımlamanıza yardımcı olmak için altı soru oluşturduk. Bu sorular, senaryolarınızın önemli özniteliklerini ayırt etmenize yardımcı olmak için, geniş kapsamlı bir çerçeve oluşturur.

1. nasıl paylaşırlar?

Bir sunu tek bir sanal kullanıcı tarafından, birden çok kullanıcı işbirliği yapabilirken veya bir öğretmen sanal malzemelerle çalışan sanal öğrencilerle ilgili rehberlik sağlayabildiği için, deneyimlerin karmaşıklığı kullanıcının bir senaryoda sahip olduğu veya bir senaryoya sahip olduğu ajanmuz düzeyine bağlı olarak artar.

Tablo üzerinde holograf ile Man ve kadınlar

Paylaşmanın pek çok yolu vardır ancak bunların çoğunun üç kategoride olduğunu bulduk:

  • Sunum: aynı içerik birkaç kullanıcıya gösteriliyorsa. Örneğin: bir Profesör, herkese sunulan aynı holographic malzemesini kullanarak birkaç öğrenciye bir ders veriyor. Ancak, Mesleme 'nin kendi ipuçları ve başkaları tarafından görülemeyen notları olabilir.
  • İşbirliği: bazı ortak hedeflere ulaşmak için insanlar birlikte çalışırken. Örneğin: professlı, bir bir proje verdi ve bu da bir sinyal elde etmek hakkında bilgi edinin. Öğrenciler, tıp öğrencilerinin kalp modelinde işbirliği yapmasına ve öğrenmesine olanak tanıyan paylaşılan bir yetenek Laboratuvarı deneyimi oluşturur.
  • Rehberlik: bir kişi, birisinin bir sorunu daha fazla bir stil etkileşimi halinde çözmesine yardımcı oluyor. Örneğin: Mesleme, paylaşılan deneyimde kalp atış Sury becerileri Laboratuvarı yaparken bir öğrenciye rehberlik veriyor.

2. Grup boyutu nedir?

Bire bir paylaşım deneyimleri, güçlü bir taban çizgisi sağlayabilir ve en iyi kavram provalarınızın bu düzeyde oluşturulabilir olması için idealdir. Ancak büyük gruplarla (altı kişinin ötesinde) paylaşılmasının, hem teknik (veri ve ağ) hem de sosyal zorluklara ( birkaç avatarlarile bir odada olmasının etkisi) neden olduğunu unutmayın. Küçük ve büyük gruplarageçtiğinizde karmaşıklık üstel olarak artar.

Grup gereksinimlerinin üç boyut kategorisine dönemeyeceğini belirledik:

  • 1:1
  • Küçük < 7
  • Büyük > = 7

Grup boyutu önemli bir soru sağlar çünkü şunları etkiler:

  • Holographic Space 'teki kişilerin temsilleri
  • Nesne ölçeği
  • Ortam ölçeği

3. nerede herkes?

Aynı konumda paylaşılan bir deneyim gerçekleşirken karma gerçeklik 'in gücü oynatılır. Bu,birlikte bulundurduğumuz için çağrı yaptık. Buna karşılık, Grup dağıtıldığında ve en az bir katılımcı aynı fiziksel alanda olmadığında (genellikle bu durum, her zaman VR ile aynıdır), uzak bir deneyimiçağırdık. Genellikle, grubunuz hem birlikte hem de uzak katılımcıları (örneğin, konferans odalarındaki iki grup) sahip olduğu durumdur.

Tabloda holografik olan üç kişi

Aşağıdaki kategoriler, kullanıcıların bulunduğu yeri iletyardım eder:

  • Birlikte bulunan: tümkullanıcılarınız aynı fiziksel alana ait olacaktır.
  • Uzak: tüm kullanıcılarınız ayrı fiziksel alanlarda olacaktır.
  • Her ikisi: kullanıcılarınız, birlikte bulunan ve uzak boşlukların bir karışımı olur.

Bu soruyu etkilediği için çok önemlidir:

  • Kişiler nasıl iletişim kurar?
    • Örneğin: avatarlar mı yoksa mı?
  • Gördükleri nesneler. Tüm nesneler paylaşılıyor mu?
  • Ortamlarına uyarlanmı ihtiyacım var?

4. ne zaman paylaşıyor?

Paylaşılan deneyimler göz önünde bulundurularak genellikle zaman uyumlu deneyimler düşündük. Ancak başka biri tarafından eklenen tek bir sanal öğe varsa, zaman uyumsuz bir senaryonuz vardır. bir not veya sesli not Imagine bir sanal ortamda kalır. Tasarımınızda 100 sanal faturasını nasıl işleyirsiniz? Farklı gizlilik düzeylerine sahip düzinelerce kişiden farklıysa ne olacak?

Deneyimlerinizi şu zaman kategorilerinden biri olarak değerlendirin:

  • Eşzamanlı: holographic deneyimini aynı anda paylaşma. Örneğin: Iki öğrenci aynı anda yetenekler Laboratuvarı yapıyor.
  • Zaman uyumsuz: holographic deneyimini farklı zamanlarda paylaşma. Örneğin: Iki öğrenci yetenekler Laboratuvarı yapıyor ancak farklı zamanlarda ayrı bölümler üzerinde çalışıyor.
  • Her ikisi: kullanıcılarınız zaman uyumsuz olarak ancak zaman uyumsuz olarak paylaşılacaktır. Örneğin: bir Mesleme, öğrenciler tarafından daha sonra gerçekleştirilen ve bir sonraki güne ait öğrenciler için not bırakarak bir professlı.

Bu soruyu etkilediği için önemlidir:

  • Nesne ve ortam kalıcılığı. Örneğin: Bu durumlar alınabilmeleri için depolanırlar.
  • Kullanıcı perspektifi. Örneğin: kullanıcının notlardan ayrıldığınızda ne olduğunu hatırlıyor olabilirsiniz.

5. fiziksel ortamları nasıl benzerdir?

İki özdeş gerçek yaşam ortamının, birlikte bulunan deneyimler dışında, bu ortamlar aynı olacak şekilde tasarlanmadığı müddetçe, bu ortamlar da bu kadar ince olur. Benzer ortamlarınız daha olasıdır. Örneğin, konferans odaları benzerdir; genellikle sandalyeler ile çevrelenen merkezi olarak konumlandırılmış bir tablo vardır. Diğer yandan yaşayan Odalar, farklı olarak * * ve sonsuz bir düzen dizisinde herhangi bir sayıda mobilayla dahil olabilir.

Tabloda holografik

Paylaşım deneyimlerinizi şu iki kategorinin birine sığdırma sayfasına göz önünde bulundurun:

  • Benzer: benzer mobilya, çevresel ışık ve ses, fiziksel Oda boyutu gibi eğilimli ortamlar. Örneğin: meslek ders seminerine sahip ve öğrenciler ders salonu B 'dedir. ders salonu A, B 'den daha az sandalyebilir, ancak her ikisinin de hologragram yerleştirmek için fiziksel bir masa olabilir.
  • Benzerşekilde: mobilya ayarları, Oda boyutları, ışık ve ses konuları 'nda farklılık gösteren ortamlar. Örneğin: bir Profesör bir odak odağında, ancak öğrenciler büyük bir ders salyayken, öğrenciler ve öğretmenler ile doldurulmuştur.

Ortam hakkında düşünmekönemlidir, çünkü bu işlem şunları etkiler:

  • Kişilerin bu nesnelerle nasıl karşılaşacaktır. Örneğin: deneyiminiz bir tabloda en iyi şekilde çalışıyorsa ve kullanıcının tablosu yoksa. Ya da bir düz zemin yüzeyinde, ancak kullanıcının bir dağınık alanı vardır.
  • Nesnelerin ölçeklendirilmesi. Örneğin: bir tabloya altı fit insan modelinin yerleştirilmesi zor olabilir, ancak kalp modeli harika bir şekilde çalışabilir.

6. hangi cihazlar kullanıyor?

Bugün iki tam ekran cihaz arasındaki paylaşılan deneyimleri görmeniz olasıdır (Bu cihazlar düğmeler ve göreli özellikler için biraz farklı olabilir, ancak büyük ölçüde önemli değildir) veya bu cihazlarda hedeflenen çözümlere verilen iki holographic cihaz olabilir. Ancak, özellikle karışık 2B ve 3B cihazdurumlarında 2B cihazların (mobil/masaüstü katılımcısı veya gözlemci) gerekli bir değerlendirme olacağını göz önünde bulundurun. Katılanların kullanacağı cihaz türlerini anlamak, yalnızca farklı uygunluk ve veri kısıtlamalarına ve fırsatlara ulaştıkları için değil, ancak kullanıcıların her platform için benzersiz beklentileri olması bakımından önemlidir.

Paylaşılan deneyimlerin potansiyelini keşfetme

Yukarıdaki sorulara yanıtlar, paylaşılan senaryonuzu daha iyi anlamak için birleştirilebilir ve deneyimi genişlettikten sonra güçlüklere crystallizing. Bu, Microsoft 'taki ekip için bugün kullandığımız deneyimleri iyileştirmek için bir yol haritası kurmaya, bu karmaşık sorunların ananını ve karma gerçeklik 'teki paylaşılan deneyimlerden nasıl yararlanıldığının anlaşılmasına yardımcı oldu.

örneğin, HoloLens başlatma Skype senaryolarından birini göz önünde bulundurun: bir kullanıcı, uzaktan bulunan bir uzmandan yardım ile bozuk bir ışık anahtarını nasıl gidereceğiniz ile çalıştı.

HoloLens için Skype aracılığıyla bir ışık anahtarını yardım ile düzeltme

Uzman, 2B, masaüstü bilgisayarından 3B, karma gerçeklik cihazının kullanıcısına 1:1 kılavuzluk sağlar. Rehberlikzaman uyumludur ve fiziksel ortamlar benzerdeğildir.

Bunun gibi bir deneyim, geçerli deneyimimizden bir adım değişikliği, video ve ses için yeni bir ortama uygulama sunan bir adım değişikliği sağlar. Ancak geleceğe baktığımızda, karma gerçeklik 'in gücünü yansıtan senaryolarımızın ve derleme deneyimlerimizin fırsatını daha iyi bir şekilde tanımlamanız gerekir.

NASA'nın Jet Propulsion Laboratory tarafından geliştirilen OnSightişbirliği aracını düşünün. Mars keşif aracı görevlerinden gelen veriler üzerinde çalışan bilim insanları, Mart ortamına ait veriler içinde iş arkadaşlarıyla gerçek zamanlı olarak işbirliği yapmalarına neden olabilir.

Mars Keşif Aracı'nın çalışmalarını planlamak için iş arkadaşlarınız arasında uzaktan işbirliği

Bir bilim insanı, 3D ve 2D cihazlar kullanan küçük bir uzak iş arkadaşınız grubuyla 3D, karma gerçeklik cihazı kullanarak bir ortamı keşfeder. İşbirliği zaman uyumludur (ancak zaman uyumsuz olarak yeniden kullanılabilir) ve fiziksel ortamlar da benzerdir.

OnSight gibi deneyimler işbirliği yapmak için yeni fırsatlar sunar. Fiziksel olarak sanal ortamdaki öğeleri işaret etmekten, bir iş arkadaşınızdan yanında durmaya ve bulgularını açıklarken bakış açılarını paylaşmaya kadar. OnSight, karma gerçeklikte paylaşım deneyimlerini yeniden düşünmek için tam ekran ve varlık odaklarını kullanır.

Sezgisel işbirliği, konuşmaların en önemli noktalardan biri, birlikte çalışmak ve bu sezgiselliği karma gerçekliğin karmaşıklığına nasıl uygulayabileceklerini anlamak çok önemlidir. Karma gerçeklikte paylaşım deneyimlerini yeniden oluşturmakla birlikte bunları daha iyi bir şekilde ifade etmek de, iş gelecek için bir paradigma değişikliği olacaktır. Karma gerçeklikte paylaşılan deneyimler için tasarım yeni ve heyecan verici bir alandır ve biz yalnızca en başındayız.

Kullanmaya başlayın deneyimler oluşturun

Uygulamanıza ve senaryoya bağlı olarak, istediğiniz deneyimi elde etmek için çeşitli gereksinimler vardır. Bunlardan bazıları:

  • Eşleşme: Oturum oluşturma,oturumları tanıtma, oturumları keşfetme ve oturuma katılmak için hem yerel olarak hem de uzaktan belirli kişileri davet etme olanağı.
  • Yer paylaşımı:Ortak bir yerel alanda birden çok cihaz arasında koordinatları hizalama özelliği, böylece hologramlar tüm kişiler için aynı yerde görünür.
  • Ağ:Kişilerin ve hologramların konumlarının, etkileşimlerinin ve hareketlerinin tüm katılımcılar arasında gerçek zamanlı olarak eşitlenebilme özelliği.
  • Durum depolama:Oturum ortasında birleştirme, daha sonra geri çağırma ve ağ sorunlarına karşı sağlamlık için hologram özelliklerini ve konumlarını alanda depolama olanağı.

Paylaşılan deneyimlerin anahtarı, birden çok kullanıcının aynı hologramları kendi cihazlarında görmelerini ve sıklıkla koordinatları cihazlar arasında hizalamak için yer noktaları paylaşarak yapmalarını sağlar.

Yer noktalarını paylaşmak için AzureSpatial Anchors:

  • İlk olarak kullanıcı hologramı yere yer.
  • Uygulama, bu hologramı tamolarak dünyaya sabitlemek için bir uzamsal sabit noktası oluşturur.
  • Yer noktaları Azure HoloLens aracılığıyla HoloLens, iOS ve Android cihazlarıyla Spatial Anchors.

Paylaşılan bir uzamsal sabit nokta ile, her cihaz üzerinde uygulamanın artık içerik yer açtıracakları ortak bir koordinat sistemi vardır. Artık uygulama, hologramı aynı konuma konumlandırmayı ve yönlendirmeyi sağlar.

Diğer HoloLens, çevrimdışı sabit noktaları bir cihazdan diğerine de paylaşabilirsiniz. Uygulamanıza en uygun olana karar vermek için aşağıdaki bağlantıları kullanın.

Teknik seçenekleri değerlendirme

Çok kullanıcılı karma gerçeklik deneyimleri derlemeye yardımcı olmak için çeşitli hizmet ve teknoloji seçenekleri mevcuttur. Bir yol seçmek karmaşık olabilir, bu nedenle senaryo odaklı bir perspektife sahip olmak için bazı seçenekler aşağıda ayrıntılı olarak açıklanmıştır.

Paylaşılan statik hologramlar (etkileşim yok)

Uygulamanıza Azure Spatial Anchors'den faydalanın. Cihazlar arasında uzamsal sabit noktaları etkinleştirmek ve paylaşmak, kullanıcıların aynı anda aynı yerde hologramlar göreceği bir uygulama oluşturmanıza olanak tanır. Kullanıcıların hologramlarla etkileşim kurmalarını ve hologramların hareketlerini veya durum güncelleştirmelerini görmelerini sağlamak için cihazlar arasında ek eşitleme gerekir.

Birinci kişi perspektifi paylaşma

Bilgisayar veya MIRACAST gibi desteklenen bir Miracast alıcınız olduğunda yerel kullanıcılar için yerleşik Miracast desteği kullanın; ek uygulama kodu gerekmez.

Uygulamanıza, uzak kullanıcılara veya paylaşmak Miracast olmayan cihazlarınız olduğunda MixedReality-WebRTC'den faydalanın. WebRTC bağlantısının etkinleştirilmesi, kullanıcılar arasında 1:1 ses/video akışına olanak tanır ve cihazlar arasında mesajlaşma için bir veri kanalı da sağlar. Karma gerçeklik uygulaması, HoloLens kullanıcı görünümünün karma gerçeklik yakalama video akışını HoloLens sağlar. Video akışının ölçeğini birden çok uzak istemciye ölçeklendirmek için genellikle SignalWire gibi bir MCU hizmet sağlayıcısı (Multipoint Konferans Birimi) kullanılır. Azure'a tek tıklamayla SignalWire dağıtımı Freeswitch aracılığıyla kullanılabilir.

Not

SignalWire'ın ücretli bir hizmet olduğunu ve Microsoft'a ait/Microsoft'a bağlı olmadığını lütfen unutmayın.

Presenter-Spectator uygulamaları ve Tanıtımları

Uygulamanıza izleyici görünümü işlevselliğini getirmek için MixedReality-SpectatorView'dan faydalanın. Diğer cihazların (HL, Android, iOS ve video kameralar) HoloLens'nin aynı konumda farklı bir bakış açısıyla ne göreceğini görmesine ve hologramlarla etkileşime geçen ana bilgisayar kullanıcılarının etkileşimleriyle ilgili güncelleştirmeler almalarına olanak HoloLens etkinleştirin. Aynı uygulamanın izleyici yardımcısını kullanarak kendi uzamsal bakış açınıza bakarak ana bilgisayarla uygulamanın hologramlarla neler yaptığının videosunu izleyin, resim çekin ve videosunu izleyin.

Not: Resimler iOS/Android cihazlarda ekran görüntüsü aracılığıyla alınır.

Çok kullanıcılı işbirliği deneyimi

Sahnenin içeriğini/durumunu eşitlemekiçin yerel kullanıcılar için Azure Spatial Anchors ve Photon SDK'sı kullanan çok kullanıcılı öğrenme öğreticimiz ile başlayın. Her kullanıcının sahnede hologramlar üzerinde kendi bakış açısına sahip olduğu ve her biri hologramlarla tam olarak etkileşim kurabiliyor olduğu yerel olarak işbirliğine dayalı uygulamalar oluşturun. Güncelleştirmeler tüm cihazlarda sağlanır ve etkileşim çakışması yönetimi Photon tarafından lanmıştır.

Not

Photon'un Microsoft dışı bir ürün olduğunu, dolayısıyla photon ile faturalama ilişkisinin daha yüksek kullanım için ürünleştirme ve ölçeklendirme gerektireceğini unutmayın.

Gelecekteki çalışma

Bileşen özellikleri ve arabirimleri, çeşitli senaryolar ve temel alınan teknolojiler genelinde ortak tutarlılık ve sağlam destek sağlanmasına yardımcı olur. O zamana kadar, uygulamanıza ulaşmaya çalıştığınız senaryoya uygun en iyi yolu seçin.

Farklı bir senaryo mu yoksa farklı bir teknoloji/hizmet kullanmak mı? İlgili GitHub ilgili sorunlarda geri bildirim gönderin veya HoloDevelopers Slack sayfasından bize ulaşabilirsiniz.

Ayrıca bkz.