Étude de cas, qui représente des êtres humains en réalité mixteCase study - Representing humans in mixed reality

James Turrell conçoit avec la lumière.James Turrell designs with light. L’exécution pas à pas de son travail rend floue un sens de la profondeur et du focus.Stepping into his work blurs one’s sense of depth and focus. Les murs semblent à la fois proches et infinis, la luminosité donne des ombres.Walls seem both close and infinite, brightness gives way to shadows. Perceptions non familières conçues par l’équilibrage minutieux de la couleur et de la diffusion de la lumière.Unfamiliar perceptions designed by carefully balancing the light’s color and diffusion. Turrell décrit ces sens comme « sentiment avec vos yeux » , un moyen d’étendre une compréhension de la réalité.Turrell describes these sensations as ‘feeling with your eyes’ , a way of extending one’s understanding of reality. Des mondes fantastiques, comme ceux Turrell imagine, sont des outils puissants pour exploiter nos sens, et non pas à la différence des environnements immersifs de la réalité mixte aujourd’hui.Fantastic worlds, like the ones Turrell imagines, are powerful tools to exploit our senses, not unlike the immersive environments of mixed reality today.

Grand sorti-James Turrell (1998)

Comment faire pour représenter des environnements réels complexes en réalité mixte ?How do you represent complex real-world environments in mixed reality?

Le fait de représenter le travail de Turrell dans une expérience immersive est un défi attrayant.Representing Turrell’s work in an immersive experience makes for a compelling challenge. L’éclairage, la mise à l’échelle et l’audio spatial présentent des opportunités pour représenter son travail.Lighting, scale, and spatial audio present opportunities to represent his work. Bien que l’environnement géométrique de l’exposition nécessiterait une modélisation 3D relativement simple, il est secondaire du point de vue de l’artiste : l’impact de la lumière sur les sens.While the exhibit’s geometric surroundings would require relatively simple 3D modeling, they are secondary to the artist’s focus: the light’s impact on the senses.

Le « Turrell », le « minimum Surreal », est la caractéristique de son travail, mais que se passe-t-il si nous voulions représenter une exposition avec des matériaux plus complexes en réalité mixte ?Turrell’s stark, surreal minimalism is the hallmark of his work, but what if we wanted to represent an exhibit with more complex materials in mixed reality?

Bang-ai Weiwei (2013)

Dans 2013, The Artist ai Weiwei a dévoilé un travail tangling d’art comprenant 886 antiquités sur Venice Biennale.In 2013, the artist Ai Weiwei unveiled a tangling work of art featuring 886 antique stools at the Venice Biennale. Chaque tabouret en bois provenait d’une époque où les artisans chinoises étaient très appréciés, où ces tabourets auraient été transmis entre les générations.Each wooden stool came from an era where Chinese craftsmanship was highly valued, where these stools would have been passed down between generations. Les tabouret eux-mêmes (les subtilités du bois, la précision des pièces, leur positionnement prudent) sont essentiels aux commentaires de l’IA sur la culture moderne.The stools themselves — the intricacies of the wood, the precision of the pieces, their careful placement — are critical to Ai’s commentary on modern culture.

Les tabourets antiquités diffusent le message de l’artiste par le biais de leur authenticité.The antique stools deliver the artist’s message through their authenticity. Leur représentation réaliste est essentielle à l’expérience, la création d’un défi technique : la sculpture de chacun des 886 tabourets à la main serait extrêmement exhaustive et coûteuse.Their realistic representation is critical to the experience, creating a technical challenge: Sculpting each of the 886 stools by hand would be enormously exhaustive and expensive. Combien de temps faut-il pour modeler et positionner ?How long would it take to model and position? Comment assureriez-vous l’authenticité du matériel ?How would you maintain the authenticity of the material? La recréation de ces objets à partir de zéro devient, à bien des égards, une interprétation de l’illustration elle-même.Recreating these objects from scratch becomes, in many ways, an interpretation of the artwork itself. Comment pouvez-vous conserver l’intention de l’artiste ?How can you preserve the artist’s intent?

Méthodes de capture de ressources de réalité mixteMethods of capturing mixed reality assets

Une alternative à la création d’un élément à partir de zéro consiste à capturer le véritable élément.The alternative to creating something from scratch is capturing the real thing. Grâce à un ensemble de méthodes de capture toujours plus avancés, nous pouvons développer des représentations authentiques de chacun des types de ressources de base trouvés dans la réalité mixte (environnements, objets et personnes).Through an ever-advancing set of capture methods, we can develop authentic representations of each of the core asset types found in mixed reality (environments, objects, and people).

Les grandes catégories vont de la vidéo 2D bien établie aux formes les plus récentes de la vidéo volumétrique.The broad categories range from well-established 2D video to the newest forms of volumetric video. Dans le cas de l’exposition d’AI Weiwei, l’analyse (souvent désignée par sa technique fondamentale, photogrammetry) peut être employée lors de la création de l’exposition, en balayant chacun des tabourets eux-mêmes.In the case of Ai Weiwei’s exhibit, scanning (often referred to by its fundamental technique, photogrammetry) could be employed during the creation of the exhibit, scanning each of the stools themselves. 360 ° la capture de photos et de vidéos est une autre méthode permettant de virtualiser l’expérience à l’aide d’une caméra omnidirectionnel de haute qualité positionnée dans l’enclos.360° photo and video capture is another method for virtualizing the experience utilizing a high-quality omni-directional camera positioned throughout the exhibit. Avec ces techniques, l’une d’entre elles commence à comprendre le sens de l’échelle, idéalement avec suffisamment de détails pour voir les artisans de chaque élément.With these techniques, one begins to understand the sense of scale, ideally with enough detail to see each piece’s craftsmanship. Tout cela est possible dans un format numérique, ce qui permet d’obtenir de nouveaux Vista et de nouvelles perspectives en réalité.All this while existing in a digital form that allows for new vistas and perspectives not possible in reality.

Vidéo 2D à volumétrique

Quels types d’opportunités émergent quand nous ne pouvons pas créer des éléments fantastiques, mais utiliser les captures les plus réalistes des environnements, des objets et des personnes en réalité mixte ?What kind of opportunities emerge when we cannot only create fantastic elements, but utilize the most realistic captures of environments, objects, and people in mixed reality? L’exploration du chevauchement entre ces méthodes permet d’éclairer l’emplacement du support.Exploring the overlap between these methods help illuminate where the medium is headed.

Pour les environnements et les objets, le logiciel 360 ° Imaging évolue pour inclure des éléments de Photogrammetry.For environments and objects, 360° imaging software is evolving to include elements of photogrammetry. Isoler les informations de profondeur des scènes, des vidéos 360 ° avancées vous aide à réduire le sentiment de blocage de votre tête dans un Fishbowl lors de la recherche d’une scène virtuelle.Isolating depth information from scenes, advanced 360° videos help alleviate the feeling of having your head stuck in a fishbowl when looking around a virtual scene.

Pour les personnes, de nouvelles méthodes sont émergentes, qui combinent et étendent la capture et l’analyse de mouvement : la capture de mouvement a été fondamentale pour obtenir des mouvements humains détaillés vers des effets visuels et des caractères cinématiques, tandis que l’analyse a avancé pour capturer des visuels humains détaillés comme des visages et des mains.For people, new methods are emerging that combine and extend motion capture and scanning: Motion capture has been foundational to bringing detailed human movement to visual effects and cinematic characters, while scanning has advanced to capture detailed human visuals like faces and hands. Avec les avancées en matière de technologie de rendu, une nouvelle méthode appelée vidéo volumétrique crée ces techniques, combinant des informations visuelles et détaillées, afin de créer la nouvelle génération de captures humaines en 3D.With advancements in rendering technology, a new method called volumetric video builds off these techniques, combining visual and depth information, to create the next generation of 3D human captures.

Vidéo volumétrique et poursuite de la capture humaine authentiqueVolumetric video and the pursuit of authentic human capture

Les êtres humains sont essentiels à la narration, dans le sens le plus littéral : un parlant humain, en cours d’exécution ou en tant qu’objet de l’histoire.Humans are central to storytelling — in the most literal sense: a human speaking, performing, or as the story’s subject. Certains des moments les plus immersifs et les plus oculaires des premières expériences immersifs d’aujourd’hui sont sociaux.Some of the most immersive and eye-opening moments of today’s early immersive experiences are social. De partager une expérience de réalité mixte dans votre salon, pour voir vos amis dans de nouveaux environnements incroyables.From sharing a mixed reality experience together in your living room, to seeing your friends in unbelievable new environments. L’élément humain fait même la réalité la plus fantastique, une réalité.The human element makes even the most fantastic reality, a reality.

Mindshow en VR

Les avatars dans des expériences immersifs permettent un nouveau type de incarnation dans le récits.Avatars in immersive experiences enable a new kind of embodiment in storytelling. Les applications les plus récentes repensent le concept de propriété de corps virtuel et de configuration d’un bond générationnel dans l’élimination de la distance entre les personnes.The latest apps are rethinking the concept of virtual body ownership and setting up a generational leap in eliminating the distance between people. Des entreprises telles que Mindshow développent des outils créatifs qui tirent parti des avatars, ce qui permet aux utilisateurs de prendre des personnages et des personnages entièrement nouveaux.Companies like Mindshow are developing creative tools that leverage avatars, letting users take on entirely new personas and characters. D’autres explorent les méthodes d’expression artistique, une opportunité créative potentiellement illimitée pour explorer la nature (et la nécessité) des attributs de type humain.Others are exploring methods of artistic expression, a potentially limitless creative opportunity to explore the nature (and necessity) of human-like attributes. Aujourd’hui, cette absence de réalisme permet d’éviter la vallée des ignorent humains , ainsi qu’un hôte de problèmes techniques pour les développeurs quotidiens.Today, this absence of realism helps avoid the uncanny valley of human likeness along with a host of technical issues for everyday developers. Pour ces raisons (et bien plus encore), il est très probable que les avatars non réalistes deviendront la valeur par défaut pour un avenir prévisible.For these reasons (and more) it is very likely that non-realistic avatars will become the default for the foreseeable future. Pourtant, bien que le réalisme pose un énorme défi pour la réalité mixte, il existe des scénarios clés qui requièrent une représentation authentique des êtres humains dans l’espace 3D .And yet, while realism poses an enormous challenge for mixed reality, there are key scenarios that require authentic representation of humans in 3D space .

Chez Microsoft, une petite équipe à la recherche de Microsoft Research a passé les dernières années à développer une méthode pour capturer les êtres humains via une forme de vidéo volumétrique.At Microsoft, a small team borne out of Microsoft Research has spent the past several years developing a method for capturing humans through a form of volumetric video. Aujourd’hui, le processus est similaire à la production vidéo : au lieu d’appliquer un mouvement à une ressource sculptée, il s’agit d’un enregistrement 3D complet.The process today is similar to video production: rather than applying movement to a sculpted asset it is a full, 3D recording. Les performances et l’image sont capturées en temps réel. il ne s’agit pas du travail d’un artiste, il s’agit d’une représentation authentique.The performance and the image are captured in real-time — it’s not the work of an artist, it’s an authentic representation. Et bien que la technologie commence simplement à se développer dans des applications commerciales, les implications de la vidéo volumétrique sont essentielles à la vision de Microsoft en matière d’informatique personnelle.And while the technology is just beginning to expand into commercial applications, the implications of volumetric video are critical to Microsoft’s vision of More Personal Computing.

Vidéo volumétrique SIGGRAPH 2015

La capture humaine authentique déverrouille les nouvelles catégories uniques d’expériences dans la réalité mixte.Authentic human capture unlocks new unique categories of experiences in mixed reality. Le fait de voir quelqu’un que vous reconnaissez, qu’il s’agisse d’une célébrité, d’un collègue ou d’un autre, crée une profondeur de odeurs jamais auparavant possible dans un support numérique.Seeing someone you recognize, whether it’s a celebrity, a colleague, or a loved one, creates a depth of intimacy never before possible in a digital medium. Leur visage, leurs expressions, les nuances dans leurs mouvements font tous partie d’entre eux.Their face, their expressions, the nuance in their movements are all part of who they are. Quelles opportunités sont déverrouillées quand nous pouvons capturer ces qualités humaines dans l’espace 3D ?What opportunities unlock when we can capture these human qualities in 3D space?

À l’heure actuelle, l’équipe pousse les limites de la vidéo volumétrique en se concentrant sur des secteurs tels que le divertissement et l’éducation : Actiongram contient des caractères créatifs et célébrités pour créer des histoires de réalité mixte.Today the team is pushing the bounds of volumetric video by focusing on sectors like entertainment and education: Actiongram features creative characters and celebrities to create mixed reality stories. Destination : mars, à présent dans le centre d’espace Kennedy de NASA, propose une vidéo volumétrique de légendaires. astronautes.Destination: Mars exhibit, now at NASA’s Kennedy Space Center, features a volumetric video of legendary astronaut Buzz Aldrin. L’expérience permet aux visiteurs de parcourir la surface de mars avec un bourdonnement lorsqu’il introduit la poursuite des Colonization humains sur mars.The experience allows visitors to walk around the surface of Mars with Buzz as he introduces the pursuit of human colonization on Mars.

Les êtres humains sont essentiels à la réalité mixteHumans are fundamental to mixed reality

Concevoir des moyens de faire de ces vidéos un défi naturel pose un défi, mais l’équipe voit un potentiel énorme.Designing ways to make these videos seem natural poses a challenge but one in which the team sees enormous potential. Ces opportunités s’étendront à mesure que la technologie sera plus accessible et passera des enregistrements à la capture en temps réel.And these opportunities will expand as the technology becomes more accessible and moves from recordings to real-time capture.

Holoportation est un effort de recherche qui repose sur la même technologie fondamentale, qui capture de manière authentique des informations visuelles et détaillées, et qui restitue le résultat en temps réel.Holoportation is a research effort that builds upon the same fundamental technology, authentically capturing visual and depth information, and rendering the result in real-time. L’équipe explore la puissance des moyens de représentation humaine réalistes pour l’avenir des conversations et des expériences partagées.The team is exploring what the power of realistic human representation means for the future of conversations and shared experiences. Que se passe-t-il lorsqu’une capture tridimensionnelle d’une personne, depuis n’importe où dans le monde, peut être ajoutée à votre environnement ?What happens when a three-dimensional capture of someone, from anywhere in the world, can be added into your environment?

Avenir de la conversation

De la superposition d’un nouveau niveau d’immersion aux applications quotidiennes telles que Skype, pour remodeler radicalement le concept de réunions numériques et de voyages d’affaires, la vidéo volumétrique ouvre des scénarios uniques : un spécialiste qui se connecte pratiquement à des médecins sur un continent éloigné ou des amis numériques assiste sur les canapés et les chaises de votre salon.From layering a new level of immersion onto everyday apps like Skype, to radically reshaping the concept of digital meetings and business travel — volumetric video opens unique scenarios: A specialist virtually training doctors on a far-away continent or digital friends sitting on the couches and chairs in your living room. L’ajout de représentations humaines authentiques à des expériences de réalité mixte reformera radicalement le concept de réunions numériques et de voyages d’affaires.Adding authentic human representations to mixed reality experiences will radically reshape the concept of digital meetings and business travel.

Tout comme l’art abstrait de James Turrell et le réalisme critique de l’IA Weiwei offrent leurs propres défis techniques uniques, les méthodes pour représenter les êtres humains comme des avatars créatifs et des captures réalistes.Just as the abstract art of James Turrell and the critical realism of Ai Weiwei offer their own unique technical challenges, so do the methods to represent humans as creative avatars and realistic captures. Vous ne pouvez pas l’ignorer à la lumière de l’autre et l’exploration du potentiel de chacun nous aidera à comprendre l’interaction humaine dans ce nouvel espace.One cannot be ignored in light of the other and exploring the potential of each will help us understand human interaction in this new space.

À propos de l’auteurAbout the author

Picture of Mark Vitazko Marquer VitazkoMark Vitazko
Concepteur UX @MicrosoftUX Designer @Microsoft