Expériences partagées dans la réalité mixte

Hologrammes n’avez pas besoin de rester privé pour un seul utilisateur. les applications holographiques peuvent partager des ancres spatiales d’un appareil HoloLens, iOS ou Android à un autre, ce qui permet aux utilisateurs d’afficher un hologramme au même endroit dans le monde réel sur plusieurs appareils.

Six questions pour définir des scénarios partagés

Avant de commencer à concevoir des expériences partagées, il est important de définir les scénarios cibles. Ces scénarios aident à clarifier ce que vous concevez et à mettre en place un vocabulaire commun pour vous aider à comparer et à opposer les fonctionnalités requises dans votre expérience. Le fait de comprendre le problème principal et les différentes voies pour les solutions est essentiel pour dévoiler les opportunités inhérentes à ce nouveau support.

grâce aux prototypes et explorations internes de nos HoloLens agences partenaires, nous avons créé six questions pour vous aider à définir des scénarios partagés. Ces questions forment une infrastructure, non destinée à être exhaustive, pour aider à reconvertir les attributs importants de vos scénarios.

1. Comment sont-elles partagées ?

Une présentation peut être dirigée par un seul utilisateur virtuel, tandis que plusieurs utilisateurs peuvent collaborer, ou un enseignant peut fournir des conseils aux élèves virtuels qui utilisent des documents virtuels. la complexité de l’expérience augmente en fonction du niveau d’Agence qu’un utilisateur possède ou peut avoir dans un scénario.

Homme et femmes avec holograph sur la table

Il existe de nombreuses façons de partager, mais nous avons constaté que la plupart d’entre elles se répartissent en trois catégories :

  • Présentation: quand le même contenu est affiché à plusieurs utilisateurs. Par exemple : un professeur qui donne un cours à plusieurs élèves en utilisant les mêmes éléments holographiques présentés à tout le monde. Toutefois, le professeur peut avoir ses propres indications et notes qui peuvent ne pas être visibles par d’autres utilisateurs.
  • Collaboration: lorsque des utilisateurs travaillent ensemble pour atteindre des objectifs courants. Par exemple : le professeur a donné un projet pour en savoir plus sur l’intervention cardiaque. Les étudiants s’associent et créent une expérience de laboratoire de compétences partagées, qui permet aux étudiants médicaux de collaborer sur le modèle de cœur et d’apprendre.
  • Conseils: quand une personne aide quelqu’un à résoudre un problème dans une interaction de style un-à-un plus grand. Par exemple, le professeur qui donne des conseils à un étudiant lorsqu’il effectue le laboratoire de compétences en chirurgie cardiaque dans l’expérience partagée.

2. quelle est la taille de groupe ?

Les expériences de partage un-à-un peuvent fournir une base forte et, idéalement, vous pouvez créer vos preuves de concept à ce niveau. Toutefois, sachez que le partage avec de grands groupes (au-delà de six personnes) peut entraîner des difficultés à la fois techniques (données et mise en réseau) et sociales (l’impact d’être dans une salle avec plusieurs avatars). La complexité augmente de façon exponentielle au fur et à mesure que vous passez de petits à grands groupes.

Nous avons constaté que les besoins des groupes peuvent être répartis en trois catégories :

  • 1:1
  • Petit < 7
  • Grand >= 7

La taille de groupe fait une question importante car elle influence :

  • Représentations des personnes dans l’espace holographique
  • Échelle des objets
  • Mise à l’échelle de l’environnement

3. où est-ce que tout le monde ?

La force de la réalité mixte entre en interaction quand une expérience partagée peut avoir lieu au même emplacement. Nous appelons ce colocalisé. Inversement, lorsque le groupe est distribué et qu’au moins un participant n’est pas dans le même espace physique (comme c’est souvent le cas avec VR), nous appelons cette expérience à distance. Souvent, il s’agit du cas où votre groupe a des participants colocalisés et distants (par exemple, deux groupes dans les salles de conférence).

Trois personnes avec holograph sur la table

Les catégories suivantes vous aident à communiquer où se trouvent les utilisateurs :

  • Colocalisé : tous vos utilisateurs se trouvent dans le même espace physique.
  • À distance: tous vos utilisateurs se trouvent dans des espaces physiques distincts.
  • Les deux: vos utilisateurs sont un mélange d’espaces colocalisés et distants.

Cette question est cruciale, car elle influence :

  • Comment les gens communiquent-ils ?
    • Par exemple : s’ils doivent avoir des avatars ?
  • Les objets qu’ils voient. Tous les objets sont-ils partagés ?
  • Si nous avons besoin de s’adapter à leur environnement ?

4. quand sont-ils partagés ?

En général, nous considérons les expériences synchrones quand les expériences partagées sont à l’esprit : nous travaillons tous ensemble. Toutefois, si nous incluons un seul élément virtuel qui a été ajouté par quelqu’un d’autre, nous avons un scénario asynchrone . Imagine une note, ou un mémo vocal, laissé dans un environnement virtuel. Comment gérer les mémos virtuels 100 sur votre conception ? Que se passe-t-il s’il s’agit de dizaines de personnes avec des niveaux de confidentialité différents ?

Considérez vos expériences comme l’une des catégories de temps suivantes :

  • En mode synchrone: partage de l’expérience holographique en même temps. Par exemple : deux étudiants qui exécutent le laboratoire de compétences en même temps.
  • De manière asynchrone: le partage de l’expérience holographique à des moments différents. Par exemple : deux étudiants qui réalisent le laboratoire de compétences, mais qui travaillent sur des sections distinctes à des moments différents.
  • Les deux: vos utilisateurs partageront parfois de façon synchrone, mais d’autres fois de façon asynchrone. Par exemple, un professeur qui dégrade l’attribution effectuée par les étudiants ultérieurement et qui laisse des notes aux élèves pour la journée suivante.

Cette question est importante car elle influence :

  • Persistance des objets et de l’environnement. Par exemple : stockage des États afin qu’ils puissent être récupérés.
  • Point de vue de l’utilisateur. Par exemple, vous avez peut-être besoin de mémoriser ce que l’utilisateur a fait lors de la sortie des notes.

5. quelle est la similarité de leurs environnements physiques ?

La probabilité de deux environnements réels identiques, en dehors des expériences colocalisées, est une mince, à moins que ces environnements aient été conçus pour être identiques. Vous êtes plus susceptible d’avoir des environnements similaires . Par exemple, les salles de conférence sont similaires, elles ont généralement une table située de manière centralisée, entourée de chaises. Les salles vivantes, en revanche, sont différentes * * et peuvent inclure un nombre quelconque de meubles dans un tableau infini de dispositions.

Holograph sur la table

Imaginez que vos expériences de partage s’adaptent à l’une de ces deux catégories :

  • Similaire: environnements qui ont tendance à avoir des meubles similaires, un éclairage ambiant et un son, la taille de la salle physique. Par exemple, le professeur est dans la salle de conférence A et les étudiants se trouvent dans la salle de conférence B. la salle de conférence A peut avoir moins de chaises que B, mais les deux peuvent avoir un bureau physique sur lequel placer des hologrammes.
  • Différent : environnements qui diffèrent dans les paramètres de mobilier, les tailles de salle, les considérations claires et les aspects sonores. Par exemple, un professeur est dans une salle de focalisation, mais les étudiants sont dans une grande salle de conférence, remplie avec des étudiants et des enseignants.

Il est important de réfléchir à l’environnement, car il aura une incidence sur les éléments suivants :

  • La manière dont les utilisateurs auront connaissance de ces objets. Par exemple : Si votre expérience fonctionne mieux sur une table et si l’utilisateur n’a pas de table ? Ou sur une surface plate, mais l’utilisateur a un espace encombré.
  • Échelle des objets. Par exemple, la mise en place d’un modèle humain de six mètres sur une table peut être délicate, mais un modèle cardiaque fonctionnerait très bien.

6. Quels appareils utilisent-ils ?

Aujourd’hui, vous êtes souvent amené à voir des expériences partagées entre deux appareils immersifs (ces appareils peuvent différer légèrement pour les boutons et les fonctionnalités relatives, mais pas très bien) ou deux appareils holographiques en fonction des solutions ciblées sur ces appareils. Toutefois, si les appareils 2D (un participant ou un observateur mobile/Desktop) sont nécessaires, en particulier dans les situations des appareils 2D et 3D mélangés. Il est important de comprendre les types d’appareils que vos participants vont utiliser, non seulement parce qu’ils sont fournis avec des opportunités et des contraintes de fidélité et de données différentes, mais parce que les utilisateurs ont des attentes uniques pour chaque plateforme.

Exploration du potentiel des expériences partagées

Les réponses aux questions ci-dessus peuvent être combinées pour mieux comprendre votre scénario partagé, en déformant les défis au fur et à mesure que vous développez l’expérience. Pour l’équipe chez Microsoft, cela nous a aidé à établir un plan de route pour améliorer les expériences que nous utilisons aujourd’hui, à comprendre la nuance de ces problèmes complexes et à tirer parti des expériences partagées dans la réalité mixte.

par exemple, considérez l’un des scénarios de Skype de la HoloLens lancement : un utilisateur a travaillé sur la résolution d’un commutateur de lumière cassé avec l’aide d’un expert situé à distance.

résolution d’un commutateur léger avec assistance via Skype pour HoloLens

Un expert fournit des conseils 1:1 de son ordinateur de bureau 2D à un utilisateur d’un appareil en réalité mixte en 3D . L' aide est synchrone et les environnements physiques sont différents.

Une expérience comme celle-ci est un changement pas à pas de notre expérience actuelle, en appliquant le paradigme de la vidéo et de la voix à un nouveau support. Mais à l’avenir, nous devons mieux définir l’opportunité de nos scénarios et créer des expériences qui reflètent la force de la réalité mixte.

Prenons l' outil de collaboration OnSight, développé par le laboratoire de propulsion jet de la NASA. Les scientifiques qui travaillent sur les données des missions de mars Rover peuvent collaborer avec des collègues en temps réel dans les données du paysage Martian.

Collaboration entre collègues séparés à distance pour planifier le travail pour Mars Rover

Un scientifique explore un environnement à l’aide d’un appareil 3D et en réalité mixte avec un petit groupe de collègues distants utilisant des appareils 3D et 2D . La collaboration est synchrone (mais peut être revisitée de manière asynchrone) et les environnements physiques sont (pratiquement) similaires.

Des expériences comme OnSight présentent de nouvelles opportunités de collaboration. Du point de vue physique des éléments de l’environnement virtuel à la position à côté d’un collègue et au partage de leur perspective lorsqu’ils expliquent leurs résultats. OnSight utilise l’objectif de l’immersion et de la présence pour repenser les expériences de partage dans la réalité mixte.

La collaboration intuitive est le socle de conversation, le travail et la compréhension de la façon dont nous pouvons appliquer cette intuition à la complexité de la réalité mixte est cruciale. Si nous pouvons non seulement recréer les expériences de partage dans la réalité mixte, mais les surcharger, il s’agit d’un changement de paradigme pour l’avenir du travail. La conception d’expériences partagées en réalité mixte est une nouveauté et une expérience passionnante, et nous ne sommes qu’au début.

Commencez à créer des expériences partagées

En fonction de votre application et de votre scénario, il y aura plusieurs exigences pour atteindre votre expérience souhaitée. entres autres :

  • Correspondance: possibilité de créer des sessions, de publier des sessions, de découvrir et d’inviter des personnes spécifiques, localement et à distance, pour rejoindre votre session.
  • Partage d’ancrage: possibilité d’aligner les coordonnées sur plusieurs appareils dans un espace local commun, de sorte que les hologrammes s’affichent dans le même emplacement pour tous les utilisateurs.
  • Mise en réseau: possibilité d’avoir des positions, des interactions et des mouvements de personnes et d’hologrammes synchronisés en temps réel entre tous les participants.
  • Stockage d’État: capacité à stocker les caractéristiques et emplacements de l’hologramme dans l’espace pour la jonction au milieu des sessions, à rappeler ultérieurement et à renforcer les problèmes réseau.

La clé de l’expérience partagée consiste à faire en sorte que plusieurs utilisateurs voient les mêmes hologrammes dans le monde sur leur propre appareil, souvent en partageant des points d’ancrage pour aligner les coordonnées entre les appareils.

Pour partager des ancres, utilisez les ancres spatiales Azure:

  • Tout d’abord, l’utilisateur place l’hologramme.
  • L’application crée une ancre spatiale, pour épingler précisément cet hologramme dans le monde.
  • les ancres peuvent être partagées sur des appareils HoloLens, iOS et Android via des ancres spatiales Azure.

Avec une ancre spatiale partagée, l’application sur chaque appareil dispose désormais d’un système de coordonnées commun dans lequel elles peuvent placer du contenu. L’application peut maintenant garantir la position et l’orientation de l’hologramme au même emplacement.

sur HoloLens appareils, vous pouvez également partager des ancres hors connexion d’un appareil vers un autre. Utilisez les liens ci-dessous pour déterminer ce qui convient le mieux à votre application.

Évaluation des options techniques

Différentes options de service et de technologie sont disponibles pour vous aider à créer des expériences de réalité mixte multi-utilisateur. Il peut être difficile de choisir un chemin d’accès. par conséquent, si vous prenez une perspective axée sur les scénarios, certaines options sont détaillées ci-dessous.

Hologrammes statiques partagés (aucune interaction)

Tirez parti des ancres spatiales Azure dans votre application. L’activation et le partage d’ancres spatiales sur plusieurs appareils vous permettent de créer une application dans laquelle les utilisateurs voient les hologrammes dans le même emplacement en même temps. La synchronisation supplémentaire entre les appareils est nécessaire pour permettre aux utilisateurs d’interagir avec les hologrammes et voir les mouvements ou les mises à jour d’état des hologrammes.

Perspective partager la première personne

tirez parti de la prise en charge Miracast intégrée, pour les utilisateurs locaux lorsque vous avez un récepteur Miracast pris en charge, tel qu’un PC ou une télévision, aucun code d’application supplémentaire n’est nécessaire.

tirez parti de MixedReality-WebRTC dans votre application, pour les utilisateurs distants ou lorsque vous avez des appareils non Miracast que vous souhaitez partager. L’activation d’une connexion WebRTC active des flux audio/vidéo de 1:1 entre les utilisateurs, avec un canal de données pour la messagerie sur les appareils. l’implémentation de la réalité mixte optimise pour HoloLens, en fournissant un flux vidéo de capture de la réalité mixte de la vue de l’utilisateur HoloLens à d’autres utilisateurs. Si vous souhaitez mettre à l’échelle la diffusion vidéo en continu vers plusieurs clients distants, un fournisseur de services MCU (multipoint Conferencing Unit) est généralement utilisé, tel que SignalWire. Un déploiement SignalWire sur Azure est disponible via FreeSwitch.

Notes

Notez que SignalWire est un service payant et qu’il n’est pas détenu/affilié à Microsoft.

Presenter-Spectator les applications et les démonstrations

Tirez parti de MixedReality-SpectatorView pour placer les fonctionnalités de la vue spectateur dans votre application. activez les autres appareils (HL, Android, iOS et les caméras vidéo) pour voir ce que l’HoloLens voit d’une perspective différente au même emplacement, et recevoir des mises à jour sur les interactions de l’hôte HoloLens utilisateur qui interagit avec les hologrammes. Regardez, prenez des photos et enregistrez une vidéo de ce que fait l’hôte avec les hologrammes de l’application, de votre propre perspective spatiale avec l’accompagnement spectateur de la même application.

Remarque : Les images sont prises via la capture d’écran sur les appareils iOS/Android.

Expérience collaborative multi-utilisateur

Commencez avec notre didacticiel d’apprentissage multi-utilisateur, qui tire parti des ancres spatiales Azure pour les utilisateurs locaux et le Kit de développement logiciel (SDK) de photons pour synchroniser le contenu/l’État dans la scène. Créez des applications de collaboration localement, où chaque utilisateur a sa propre perspective sur les hologrammes de la scène et peut interagir entièrement avec les hologrammes. Les mises à jour sont fournies sur tous les appareils et la gestion des conflits d’interaction est gérée par la photonique.

Notes

Notez que la photon est un produit non-Microsoft. une relation de facturation avec photons peut donc être nécessaire pour la reproduction et la mise à l’échelle pour une utilisation plus élevée.

Travail à venir

Les fonctionnalités et les interfaces des composants vous aideront à fournir une cohérence commune et une prise en charge robuste dans les différents scénarios et technologies sous-jacentes. À ce moment-là, choisissez le chemin le mieux adapté au scénario que vous essayez d’atteindre dans votre application.

Autre scénario ou souhait d’utiliser une autre technique/service ? fournissez des commentaires sous forme de GitHub problèmes dans le référentiel correspondant, en bas de cette page, ou contactez la marge HoloDevelopers.

Voir aussi