Casestudy - Mensen in mixed reality vertegenwoordigen

James Turrell ontwerpen met licht. Als je in zijn werk stapt, vervaag je je gevoel van diepte en focus. Muren lijken zowel dichtbij als oneindig, helderheid maakt plaats voor schaduwen. Onbekende percepties ontworpen door het zorgvuldig in balans brengen van de kleur en diffusie van het licht. Turrell beschrijft deze sensaties als 'gevoel met je ogen', een manier om je begrip van de realiteit te vergroten. Fantastische werelden, zoals turrell zich voorstelt, zijn krachtige hulpmiddelen om onze zintuigen te misbruiken, niet in tegenstelling tot de meeslepende omgevingen van mixed reality van vandaag.

Hoe vertegenwoordigt u complexe echte omgevingen in mixed reality?

Het vertegenwoordigen van Turrell's werk in een meeslepende ervaring zorgt voor een aantrekkelijke uitdaging. Licht, schaal en ruimtelijk geluid bieden mogelijkheden om zijn werk te vertegenwoordigen. Hoewel de geometrische omgeving van de tentoonstelling relatief eenvoudige 3D-modellering vereist, zijn ze ondergeschikt aan de focus van de kunstenaar: de invloed van het licht op de zintuigen.

Turrell's grimmige, surrealistische minimalisme is het kenmerk van zijn werk, maar wat als we een tentoonstelling met complexere materialen in mixed reality willen weergeven?

In 2013 onthulde de kunstenaar Ai Weiwei een verwarrend kunstwerk met 886 antieke krukken op de Biënnale van Venetië. Elke houten kruk kwam uit een tijdperk waarin Chinees vakmanschap zeer gewaardeerd werd, waar deze krukken generaties lang zouden zijn doorgegeven. De krukken zelf - de fijne kneepjes van het hout, de precisie van de stukken, hun zorgvuldige plaatsing - zijn essentieel voor Ai's commentaar op de moderne cultuur.

De antieke krukken leveren de boodschap van de kunstenaar door hun authenticiteit. Hun realistische weergave is essentieel voor de ervaring en creëert een technische uitdaging: elk van de 886 krukken met de hand beeldhouwen zou enorm uitputtend en duur zijn. Hoe lang duurt het om model en positie te modelleren? Hoe zou je de authenticiteit van het materiaal behouden? Het opnieuw maken van deze objecten wordt in veel opzichten een interpretatie van het kunstwerk zelf. Hoe kun je de intentie van de kunstenaar behouden?

Methoden voor het vastleggen van mixed reality-assets

Het alternatief voor het maken van iets helemaal zelf is het vastleggen van het echte werk. Met behulp van een steeds geavanceerde set opnamemethoden kunnen we authentieke representaties ontwikkelen van elk van de belangrijkste assettypen in mixed reality (omgevingen, objecten en personen).

De brede categorieën variëren van gevestigde 2D-video tot de nieuwste vormen van volumetrische video. In het geval van de tentoonstelling van Ai Weiwei kon scannen (vaak aangeduid door de fundamentele techniek, fotogrammetrie) worden gebruikt tijdens het maken van de tentoonstelling, waarbij elk van de ontlastingen zelf werd gescand. 360° foto- en video-opname is een andere methode voor het virtualiseren van de ervaring met behulp van een hoogwaardige omnidirectionele camera die overal in de tentoonstelling wordt weergegeven. Met deze technieken begint men het gevoel van schaal te begrijpen, idealiter met voldoende details om het vakmanschap van elk stuk te zien. Dit alles terwijl bestaande in een digitale vorm die nieuwe vergezichten en perspectieven mogelijk maakt die niet mogelijk zijn in de realiteit.

Wat voor kansen ontstaan er als we niet alleen fantastische elementen kunnen creëren, maar ook de meest realistische beelden van omgevingen, objecten en mensen in mixed reality kunnen gebruiken? Het verkennen van de overlap tussen deze methoden helpt om te verlichten waar het medium naartoe gaat.

Voor omgevingen en objecten ontwikkelt 360° imaging-software zich om elementen van fotogrammetrie op te nemen. Geavanceerde 360°-video's isoleren diepte-informatie van scènes om het gevoel te verlichten dat je hoofd vastzit in een vissenbowl bij het rondkijken in een virtuele scène.

Voor mensen zijn er nieuwe methoden in opkomst die motion capture en scanning combineren en uitbreiden: Motion Capture is de basis geweest om gedetailleerde menselijke bewegingen naar visuele effecten en filmische personages te brengen, terwijl scannen is geavanceerd om gedetailleerde menselijke visuals, zoals gezichten en handen, vast te leggen. Dankzij de vooruitgang in renderingtechnologie bouwt een nieuwe methode, volumetrische video genaamd, voort op deze technieken, waarbij visuele en diepte-informatie worden gecombineerd, om de volgende generatie menselijke 3D-opnamen te maken.

Volumetrische video en het streven naar authentieke menselijke opname

Mensen staan centraal in het vertellen van verhalen in de meest letterlijke zin: een mens die spreekt, optreedt of als onderwerp van het verhaal. Enkele van de meest meeslepende en opvallende momenten van de vroege meeslepende ervaringen van vandaag zijn sociaal: het delen van een mixed reality-ervaring samen in uw woonkamer, het zien van uw vrienden in ongelooflijke nieuwe omgevingen. Het menselijke element maakt zelfs de meest fantastische realiteit, een realiteit.

Avatars in meeslepende ervaringen maken een nieuw soort belichaming in storytelling mogelijk. Met de nieuwste apps wordt het concept van eigendom van virtueel lichaam herzien en wordt een generatiesprong gemaakt in het elimineren van de afstand tussen mensen. Bedrijven zoals Mindshow ontwikkelen creatieve hulpprogramma's die gebruikmaken van avatars, zodat gebruikers volledig nieuwe persona's en personages kunnen aannemen. Anderen verkennen methoden van artistieke expressie, een potentieel onbeperkte creatieve kans om de aard (en noodzaak) van mensachtige kenmerken te verkennen. Tegenwoordig helpt deze afwezigheid van realisme het griezelige dal van menselijke gelijkenis te voorkomen, samen met een groot aantal technische problemen voor alledaagse ontwikkelaars. Om deze redenen (en meer) is het waarschijnlijk dat niet-realistische avatars in de nabije toekomst de standaardwaarde worden. En hoewel realisme een enorme uitdaging vormt voor mixed reality, zijn er belangrijke scenario's die een authentieke representatie van mensen in de 3D-ruimte vereisen.

Bij Microsoft heeft een klein team dat afkomstig is van Microsoft Research de afgelopen jaren besteed aan het ontwikkelen van een methode om mensen vast te leggen via een vorm van volumetrische video. Het proces van vandaag is vergelijkbaar met videoproductie: in plaats van beweging toe te passen op een gebeeldhouwde asset, is het een volledige 3D-opname. De voorstelling en het beeld worden in realtime vastgelegd: het is niet het werk van een kunstenaar, het is een authentieke weergave. En hoewel de technologie nog maar net begint uit te breiden naar commerciële toepassingen, zijn de implicaties van volumetrische video essentieel voor de visie van Microsoft op Meer persoonlijke computing.

Authentieke menselijke opname ontgrendelt nieuwe unieke categorieën ervaringen in mixed reality. Als u iemand ziet die u herkent, of het nu een beroemdheid, een collega of een geliefde is, creëert u een diepte van vertrouwelijkheid die nooit eerder mogelijk was in een digitaal medium. Hun gezicht, hun uitdrukkingen, de nuance in hun bewegingen maken allemaal deel uit van wie ze zijn. Welke kansen ontsluiten we als we deze menselijke kwaliteiten in de 3D-ruimte kunnen vastleggen?

Vandaag verlegt het team de grenzen van volumetrische video door zich te richten op sectoren zoals entertainment en onderwijs: Actiongram bevat creatieve personages en beroemdheden om mixed reality-verhalen te maken. Bestemming: Mars tentoonstelling, nu in NASA's Kennedy Space Center, bevat een volumetrische video van de legendarische astronaut Buzz Aldrin. De ervaring stelt bezoekers in staat om met Buzz over het oppervlak van Mars te lopen terwijl hij het nastreven van menselijke kolonisatie op Mars introduceert.

Mensen zijn fundamenteel voor mixed reality

Het ontwerpen van manieren om deze video's natuurlijk te laten lijken, vormt een uitdaging, maar een waarin het team enorme mogelijkheden ziet. En deze mogelijkheden zullen zich uitbreiden naarmate de technologie toegankelijker wordt en wordt verplaatst van opnamen naar realtime vastleggen.

Holoportation is een onderzoeksinspanning die voortbouwt op dezelfde fundamentele technologie, waarbij visuele en dieptegegevens op authentieke wijze worden vastgelegd en het resultaat in realtime wordt weergegeven. Het team onderzoekt wat de kracht van realistische menselijke representatie betekent voor de toekomst van gesprekken en gedeelde ervaringen. Wat gebeurt er wanneer een driedimensionale opname van iemand, waar ook ter wereld, kan worden toegevoegd aan uw omgeving?

Van een nieuw niveau van onderdompeling in alledaagse apps zoals Skype, tot het radicaal hervormen van het concept van digitale vergaderingen en zakenreizen: volumetrische video opent unieke scenario's: een specialist leidt artsen virtueel op op een ver continent of digitale vrienden die op de banken en stoelen in uw woonkamer zitten. Het toevoegen van authentieke menselijke representaties aan mixed reality-ervaringen zal het concept van digitale vergaderingen en zakenreizen ingrijpend hervormen.

Net zoals de abstracte kunst van James Turrell en het kritische realisme van Ai Weiwei hun eigen unieke technische uitdagingen bieden, zo doen de methoden om mensen te vertegenwoordigen als creatieve avatars en realistische captures. Het ene kan niet worden genegeerd in het licht van het andere en het verkennen van de mogelijkheden van elk van beide zal ons helpen om menselijke interactie in deze nieuwe ruimte te begrijpen.

Over de auteur

Mark Vitazko UX-Designer @Microsoft