Gemeinsame Erfahrungen in Mixed Reality

Hologramme müssen nicht nur für einen Benutzer privat bleiben. Holografische Apps können Raumanker von einem HoloLens-, iOS- oder Android-Gerät auf ein anderes gerät freigeben, sodass Benutzer ein Hologramm auf mehreren Geräten an der gleichen Stelle in der realen Welt rendern können.

Sechs Fragen zum Definieren freigegebener Szenarien

Bevor Sie mit dem Entwerfen für gemeinsame Erfahrungen beginnen, ist es wichtig, die Zielszenarien zu definieren. Diese Szenarien helfen Ihnen, zu verdeutlichen, was Sie entwerfen, und richten ein allgemeines Vokabular ein, um die für Ihre Erfahrung erforderlichen Features zu vergleichen und gegenüberzustellen. Das Verständnis des Kernproblems und der verschiedenen Lösungsmöglichkeiten ist der Schlüssel zum Aufdecken von Möglichkeiten, die diesem neuen Medium inne sind.

Durch interne Prototypen und Erkundungen unserer HoloLens Partnerorganisationen haben wir sechs Fragen erstellt, die Ihnen bei der Definition gemeinsamer Szenarien helfen. Diese Fragen bilden ein Framework, das nicht vollständig sein soll, um die wichtigen Attribute Ihrer Szenarien zu entspricht.

1. Wie werden sie geteilt?

Eine Präsentation kann von einem einzelnen virtuellen Benutzer geleitet werden, während mehrere Benutzer zusammenarbeiten können, oder eine Lehrkraft kann virtuellen Kursteilnehmern, die mit virtuellen Materialien arbeiten, Anleitungen geben. Die Komplexität der Erfahrungen steigt je nach der Ebene der Agentur, die ein Benutzer in einem Szenario hat oder haben kann.

Man and women with hologramm on table

Es gibt viele Möglichkeiten zum Teilen, aber wir haben festgestellt, dass die meisten davon in drei Kategorien fallen:

  • Präsentation: Wenn derselbe Inhalt mehreren Benutzern angezeigt wird. Beispiel: Ein Professor gibt an mehrere Studenten einen Dozenten mit demselben holografischen Material, das allen präsentiert wird. Der Professor könnte jedoch eigene Hinweise und Notizen haben, die für andere möglicherweise nicht sichtbar sind.
  • Zusammenarbeit: Wenn Menschen zusammenarbeiten, um einige gemeinsame Ziele zu erreichen. Beispiel: Der Professor gab ein Projekt aus, um mehr über eine Heart-Heart-Operation zu erfahren. Schüler/Studenten kombinieren und erstellen eine gemeinsame Qualifikationsumgebung, die es Medizinischen Studenten ermöglicht, am Heart-Modell zusammenzuarbeiten und zu lernen.
  • Leitfaden: Wenn eine Person einer Person hilft, ein Problem in einer 1:1-Interaktion zu lösen. Beispiel: Der Professor, der einen Schüler anleiten soll, wenn er das Lab mit Denkkenntnissen in der gemeinsamen Erfahrung durch die Arbeit macht.

2. Wie groß ist die Gruppe?

1:1-Freigabeerfahrungen können eine starke Baseline bieten, und im Idealfall können Ihre Proof of Concept auf dieser Ebene erstellt werden. Beachten Sie jedoch, dass das Teilen mit großen Gruppen (über sechs Personen) zu technischen (Daten und Netzwerken) und sozialen Problemen führen kann (die Auswirkung, dass er sich in einem Raum mit mehreren Avataren befindet). Die Komplexität nimmt exponentiell zu, wenn Sie von kleinen zu großen Gruppen wechseln.

Wir haben festgestellt, dass die Anforderungen von Gruppen in drei Größenkategorien fallen können:

  • 1:1
  • Kleine < 7
  • Große >= 7

Die Gruppengröße ist eine wichtige Frage, da sie Sich auf Dies beeinflusst:

  • Darstellungen von Personen im holografischen Raum
  • Skalierung von Objekten
  • Skalierung der Umgebung

3. Wo sind alle?

Die Stärke von Mixed Reality spielt eine Rolle, wenn eine gemeinsame Erfahrung am gleichen Ort stattfinden kann. Wir nennen dies 2.0.000. Wenn die Gruppe hingegen verteilt ist und sich mindestens ein Teilnehmer nicht im gleichen physischen Raum befindet (wie es bei VR häufig der Fall ist), wird dies als Remoteerfahrung bezeichnet. Häufig ist es der Fall, dass Ihre Gruppe sowohl 2- als auch Remoteteilnehmer hat (z. B. zwei Gruppen in Konferenzräumen).

Drei Personen mit Hologramm auf dem Tisch

Die folgenden Kategorien helfen dabei, zu vermitteln, wo sich Benutzer befinden:

  • Gemeinsam zugewiesen: Alle Ihre Benutzer werden sich im gleichen physischen Raum befinden.
  • Remote: Alle Ihre Benutzer sind in separaten physischen Räumen.
  • Beides: Ihre Benutzer werden eine Mischung aus lokalen und Remoteräumen sein.

Diese Frage ist entscheidend, da sie Sich auf Dies wirkt sich auf:

  • Wie kommunizieren Menschen?
    • Beispiel: Ob sie Avatare haben sollten?
  • Welche Objekte sie sehen. Werden alle Objekte freigegeben?
  • Ob wir uns an ihre Umgebung anpassen müssen?

4. Wann werden sie geteilt?

In der Regel stellen wir uns synchrone Erfahrungen vor, wenn ihnen gemeinsame Erfahrungen in den Sinn kommen: Wir arbeiten alle zusammen. Wenn wir jedoch ein einzelnes virtuelles Element verwenden, das von einer anderen Person hinzugefügt wurde, gibt es ein asynchrones Szenario. Imagine eine Notiz oder ein Sprachmemo in einer virtuellen Umgebung. Wie gehen Sie mit 100 virtuellen Memos um, die in Ihrem Entwurf übrig sind? Was passiert, wenn sie von Dutzenden von Personen mit unterschiedlichen Datenschutzebenen kommen?

Betrachten Sie Ihre Erfahrungen als eine der folgenden Zeitkategorien:

  • Synchron: Gleichzeitiges Freigeben der holografischen Erfahrung. Beispiel: Zwei Kursteilnehmer führen das Skills Lab gleichzeitig durch.
  • Asynchron: Freigabe der holografischen Erfahrung zu unterschiedlichen Zeiten. Beispiel: Zwei Kursteilnehmer führen das Skills Lab durch, arbeiten jedoch zu unterschiedlichen Zeiten an separaten Abschnitten.
  • Beides: Ihre Benutzer werden manchmal synchron, aber andere asynchron freigeben. Beispiel: Ein Professor, der die Von den Studenten zu einem späteren Zeitpunkt durchgeführte Zuweisung bewertet und Notizen für Studenten für den nächsten Tag hinterlassen hat.

Diese Frage ist wichtig, da sie Sich auf Dies beeinflusst:

  • Objekt- und Umgebungspersistenz. Beispiel: Speichern der Zustände, damit sie abgerufen werden können.
  • Benutzerperspektive. Beispiel: Denken Sie vielleicht daran, was der Benutzer beim Hinterlassen von Notizen betrachtet hat.

5. Wie ähnlich sind die physischen Umgebungen?

Die Wahrscheinlichkeit von zwei identischen realen Umgebungen außerhalb von lokalen Umgebungen ist gering, es sei denn, diese Umgebungen sind identisch. Es ist wahrscheinlicher, dass Sie über ähnliche Umgebungen verfügen. Konferenzräume sind z. B. ähnlich– sie verfügen in der Regel über einen zentral gelegenen Tisch, der von Tafeln umgeben ist. Die Lebensräume sind dagegen unterschiedlich** und können eine beliebige Anzahl von Steine in einem unendlichen Array von Layouts enthalten.

Hologramm für Tabelle

Berücksichtigen Sie Ihre Freigabeerfahrungen, die in eine dieser beiden Kategorien passen:

  • Ähnlich: Umgebungen, die in der Regel ähnliche Töne, Umgebungslicht und -sound, physische Raumgröße haben. Beispiel: Professor befindet sich in Der A-Eingangsraum, und Studenten befinden sich in Der A.-Eingangsraum A hat möglicherweise weniger Brillen als B, aber beide verfügen möglicherweise über einen physischen Tisch, auf dem Hologramme gespeichert werden können.
  • Unterschiedlich: Umgebungen, die sich in Denkeinstellungen, Raumgrößen, Licht und Sound unterscheiden. Beispiel: Ein Professor befindet sich in einem Schwerpunktraum, aber die Studenten befinden sich in einem großen Dozentenraum, der mit Studenten und Lehrkräften gefüllt ist.

Es ist wichtig, sich gedanken über die Umgebung zu machen,da sie Sich auf Dies beeinflusst:

  • Wie Menschen diese Objekte erleben. Beispiel: Wenn Ihre Erfahrung am besten für eine Tabelle funktioniert und der Benutzer keine Tabelle hat? Oder auf einer flachen Bodenoberfläche, aber der Benutzer hat einen unübersichtlichen Raum.
  • Skalierung der Objekte. Beispiel: Das Platzieren eines menschlichen Modells mit sechs Fuß auf einem Tisch könnte eine Herausforderung darstellen, aber ein Heartmodell würde gut funktionieren.

6. Welche Geräte werden verwendet?

Heutzutage sehen Sie häufig gemeinsame Erfahrungen zwischen zwei immersiven Geräten (diese Geräte unterscheiden sich möglicherweise geringfügig für Schaltflächen und relative Funktionen, aber nicht stark) oder zwei holografischen Geräten, wenn die Lösungen auf diese Geräte ausgerichtet sind. Überlegen Sie jedoch, ob 2D-Geräte (ein Mobile/Desktop-Teilnehmer oder Beobachter) ein notwendiger Aspekt sein werden, insbesondere in Situationen mit gemischten 2D- und 3D-Geräten. Es ist wichtig, die Gerätetypen zu verstehen, die Ihre Teilnehmer verwenden werden, nicht nur, weil sie mit unterschiedlichen Genauigkeits- und Dateneinschränkungen und -möglichkeiten kommen, sondern auch, weil Benutzer eindeutige Erwartungen an jede Plattform haben.

Untersuchen des Potenzials gemeinsam genutzter Erfahrungen

Die Antworten auf die oben genannten Fragen können kombiniert werden, um Ihr gemeinsames Szenario besser zu verstehen, und die Herausforderungen beim Erweitern der Erfahrung zu lösen. Für das Microsoft-Team hat dies dazu beigetragen, eine Wegkarte für die Verbesserung der Erfahrungen zu erstellen, die wir heute nutzen, die Nuance dieser komplexen Probleme zu verstehen und zu verstehen, wie sie gemeinsame Erfahrungen in Mixed Reality nutzen können.

Betrachten Sie beispielsweise eines der Szenarien von Skype des HoloLens-Starts: Ein Benutzer hat mithilfe eines Remoteexperten durchgearbeitet, wie ein fehlerhafter Lichtschalter behoben werden kann.

Korrigieren eines Lichtschalters mit Unterstützung über Skype für HoloLens

Ein Experte bietet 1:1-Anleitungen von seinem 2D-Desktopcomputer an einen Benutzer eines 3D-Mixed Reality-Geräts. Die Anleitung ist synchron, und die physischen Umgebungen sind unterschiedlich.

Eine solche Erfahrung ist eine Schrittweise Änderung unserer aktuellen Erfahrung– das Anwenden des Paradigmas von Video und Stimme auf ein neues Medium. Aber wenn wir in die Zukunft blicken, müssen wir die Möglichkeiten unserer Szenarien besser definieren und Erfahrungen erstellen, die die Stärke von Mixed Reality widerspiegeln.

Betrachten Sie das Tool für die OnSight-Zusammenarbeit,das vom Jet-Rake-Labor der NASA entwickelt wurde. Forscher, die an Daten der Mars-Rover-Missionen arbeiten, können mit Kollegen in Echtzeit innerhalb der Daten aus der Marslandschaft zusammenarbeiten.

Zusammenarbeit zwischen Kollegen, die remote getrennt sind, um die Arbeit für den Mars Rover zu planen

Ein Forscher untersucht eine Umgebung mithilfe eines 3D-Mixed Reality-Geräts mit einer kleinen Gruppe von Remote-Kollegen mithilfe von 3D- und 2D-Geräten. Die Zusammenarbeit ist synchron (kann jedoch asynchron erneut aufgerufen werden), und die physischen Umgebungen sind (praktisch) ähnlich.

Erfahrungen wie OnSight bieten neue Möglichkeiten für die Zusammenarbeit. Vom physischen Verweisen auf Elemente in der virtuellen Umgebung bis hin zum Stehen neben einem Kollegen und teilen deren Perspektive, während sie ihre Ergebnisse erklären. OnSight verwendet den Blick auf Immersion und Präsenz, um das Teilen von Erfahrungen in Mixed Reality zu überdenken.

Intuitive Zusammenarbeit ist das Fundament der Konversation, und es ist entscheidend, zusammen zu arbeiten und zu verstehen, wie wir diese Komplexität auf die Komplexität von Mixed Reality anwenden können. Wenn wir nicht nur die Freigabe von Erfahrungen in Mixed Reality neu erstellen, sondern sie überladen können, ist dies ein Paradigmenwechsel für die Zukunft der Arbeit. Das Entwerfen für gemeinsame Erfahrungen in Mixed Reality ist ein neuer und spannender Bereich – und wir sind erst am Anfang.

Erste Schritte beim Erstellen gemeinsam genutzter Erfahrungen

Je nach Anwendung und Szenario gibt es verschiedene Anforderungen, um die gewünschte Benutzererfahrung zu erzielen. Dazu zählen:

  • Übereinstimmungsherstellung: Die Möglichkeit, Sitzungen zu erstellen, Sitzungen anordnen, bestimmte Personen lokal und remote für die Sitzung zu entdecken und einzulädnen.
  • Ankerfreigabe: Möglichkeit, Koordinaten auf mehreren Geräten in einem gemeinsamen lokalen Raum auszurichten, sodass Hologramme für alle Personen an derselben Stelle angezeigt werden.
  • Netzwerk: Möglichkeit, Positionen, Interaktionen und Bewegungen von Personen und Hologrammen in Echtzeit über alle Teilnehmer hinweg zu synchronisieren.
  • Zustandsspeicher: Möglichkeit zum Speichern von Hologrammmerkmalen und -speicherorten im Raum für die Verknüpfung während der Sitzung, den Rückruf zu einem späteren Zeitpunkt und die Stabilität gegenüber Netzwerkproblemen.

Der Schlüssel für gemeinsame Erfahrungen ist, dass mehrere Benutzer weltweit die gleichen Hologramme auf ihrem eigenen Gerät sehen, was häufig durch gemeinsame Anker erfolgt, um Koordinaten geräteübergreifend auszurichten.

Verwenden Sie zum Freigeben von Ankern die Azure-Spatial Anchors:

  • Zuerst platziert der Benutzer das Hologramm.
  • Die App erstellt einen Raumanker,um dieses Hologramm genau in der Welt zu heften.
  • Die Anker können für HoloLens, iOS- und Android-Geräte über AzureSpatial Anchors.

Mit einem gemeinsam genutzten Raumanker verfügt die App auf jedem Gerät jetzt über ein gemeinsames Koordinatensystem, in dem sie Inhalte platzieren kann. Nun kann die App sicherstellen, dass das Hologramm an der gleichen Position positioniert und positioniert wird.

Auf HoloLens Geräten können Sie Anker auch offline von einem Gerät an ein anderes freigeben. Verwenden Sie die folgenden Links, um zu entscheiden, was für Ihre Anwendung am besten ist.

Auswerten von technischen Optionen

Es stehen verschiedene Dienst- und Technologieoptionen zur Verfügung, um Mixed Reality-Funktionen für mehrere Benutzer zu erstellen. Es kann schwierig sein, einen Pfad zu wählen, daher werden im Folgenden einige Optionen im Szenario erläutert.

Freigegebene statische Hologramme (keine Interaktionen)

Nutzen Sie Azure Spatial Anchors in Ihrer App. Wenn Sie Raumanker aktivieren und geräteübergreifend freigeben, können Sie eine Anwendung erstellen, in der Benutzer Hologramme gleichzeitig an derselben Stelle sehen. Zusätzliche geräteübergreifende Synchronisierung ist erforderlich, damit Benutzer mit Hologrammen interagieren und Bewegungen oder Zustandsaktualisierungen von Hologrammen sehen können.

Freigeben der Perspektive der ersten Person

Nutzen Sie die integrierte Miracast-Unterstützung für lokale Benutzer, wenn Sie über einen unterstützten Miracast Empfänger verfügen, z. B. einen PC oder TV. Es ist kein zusätzlicher App-Code erforderlich.

Nutzen Sie MixedReality-WebRTC in Ihrer App für Remotebenutzer oder wenn Sie über nicht Miracast Geräte verfügen, für die Sie freigeben möchten. Das Aktivieren einer WebRTC-Verbindung ermöglicht 1:1-Audio-/Videostreams zwischen Benutzern mit einem Datenkanal für Das messaging geräteübergreifend. Die Mixed Reality-Implementierung optimiert für HoloLens, indem mixed reality capture video stream of the view of the view of the HoloLens user to others (Mixed Reality-Erfassungsvideostream der Ansicht des Benutzers für andere Benutzer) zur Verfügung stellt. Wenn Sie das Videostreaming auf mehrere Remoteclients hochskalieren möchten, wird in der Regel ein MCU-Dienstanbieter (Multipoint-Konferenzeinheit) verwendet, z. B. SignalWire. Eine SignalWire-Bereitstellung mit einem Klick in Azure ist über Freeswitch verfügbar.

Hinweis

Beachten Sie, dass Es sich bei SignalWire um einen kostenpflichtigen Dienst handelt, der sich nicht im Besitz von Microsoft befindet bzw. nicht mit Microsoft verbunden ist.

Presenter-Spectator von Anwendungen und Demos

Nutzen Sie MixedReality-Durchsichtansicht, um die Funktionalität der Ansicht in Ihre App zu bringen. Aktivieren Sie andere Geräte (HL, Android, iOS und Videokameras), um zu sehen, was die HoloLens aus einer anderen Perspektive am gleichen Standort sieht, und Updates zu Interaktionen des Host HoloLens benutzers zu erhalten, der mit den Hologrammen interagiert. Sehen Sie sich an, machen Sie Bilder, und zeichnen Sie video auf, was der Host mit den Hologrammen in der Anwendung aus Ihrer eigenen räumlichen Perspektive mit der Begleitperson derselben App macht.

Hinweis: Bilder werden über einen Screenshot auf iOS-/Android-Geräten aufgenommen.

Umgebung für die Zusammenarbeit mit mehreren Benutzer

Beginnen Sie mitunserem Lerntutorial für mehrere Benutzer, in dem Azure Spatial Anchors für lokale Benutzer und das Photon SDK zum Synchronisieren des Inhalts/Status in der Szene genutzt werden. Erstellen Sie lokal Zusammenarbeitsanwendungen, bei denen jeder Benutzer seine eigene Perspektive auf die Hologramme in der Szene hat und jeder vollständig mit den Hologrammen interagieren kann. Updates werden auf allen Geräten bereitgestellt, und die Interaktionskonfliktverwaltung wird von Photon verarbeitet.

Hinweis

Beachten Sie, dass Photon ein Nicht-Microsoft-Produkt ist, sodass möglicherweise eine Abrechnungsbeziehung mit Photon erforderlich ist, um eine höhere Nutzung zu produktisieren und zu skalieren.

Die Zukunft

Komponentenfunktionen und Schnittstellen helfen bei der Bereitstellung von gemeinsamer Konsistenz und stabiler Unterstützung für die verschiedenen Szenarien und zugrunde liegenden Technologien. Wählen Sie bis dahin den besten Pfad aus, der dem Szenario entspricht, das Sie in Ihrer Anwendung erreichen möchten.

Anderes Szenario oder Wunsch, eine andere Technologie/einen anderen Dienst zu verwenden? Senden Sie Feedback GitHub Probleme im entsprechenden Repository am unteren Rand dieser Seite, oder erreichen Sie HoloDevelopers Slack.

Siehe auch