Casestudie: mensen in een mixed reality

James Tur matthew ontwerpt met licht. Door in zijn werk te gaan, vervaagt het gevoel van diepte en focus. Muren lijken zowel dichtbij als oneindig, helderheid biedt ruimte voor schaduwen. Onbekende waarnemingen die zijn ontworpen door zorgvuldig de kleur en het haar van het licht in balans te brengen. Turrol beschrijft deze gevoelens als 'gevoel met uw ogen', een manier om het begrip van de realiteit uit te breiden. Fantastische werelden, zoals de wereld waarin Turtitel zich voor stelt, zijn krachtige hulpprogramma's om onze ideen te benutten, niet in tegenstelling tot de in immersieve omgevingen van mixed reality huidige.

Wide Out - James Turrollen (1998)

Hoe vertegenwoordigt u complexe echte omgevingen in mixed reality?

Het vertegenwoordigen van het werk van Turmpel in een in immersieve ervaring zorgt voor een aantrekkelijke uitdaging. Belichting, schaal en ruimtelijke audio bieden mogelijkheden om zijn werk te vertegenwoordigen. Hoewel de geometrische omgeving van het vertoon relatief eenvoudige 3D-modellering vereist, zijn ze secundair voor de focus van de schilder: de impact van het licht op de zintuigen.

Het sceniale, minimale minimalisme van Tur exposeren is het voordeel van zijn werk, maar wat als we een vertoon willen vertegenwoordigen met complexere materialen in mixed reality?

Bang - Ai Wei geavanceerder (2013)

In 2013 eerde de maker Ai Weiqua een aanstekelijk werk van kunst met 886 gedwee op de 886-2018-biënnale. Elke gedijen kwam uit een tijd waarin De Chineesen zeer waardevol waren, waar deze verschillen tussen generaties zouden zijn doorgegeven. De delen zelf, de fijnheid van het hout, de precisie van de delen, hun zorgvuldige plaatsing, zijn essentieel voor het commentaar van Ai over de moderne cultuur.

Dekens leveren de bericht van de schilder via hun authenticiteit. Hun realistische weergave is essentieel voor de ervaring, waardoor er een technische uitdaging ontstaat: Het zou enorm uitputtend en kostbaar zijn om elk van de 886 886 toestanden met de hand te maken. Hoe lang duurt het modelleren en positioneren? Hoe zou u de echtheid van het materiaal onderhouden? Het opnieuw maken van deze objecten wordt op veel manieren een interpretatie van de kunstwerken zelf. Hoe kunt u de intentie van de maker behouden?

Methoden voor het vastleggen mixed reality assets

Het alternatief voor het maken van een nieuwe oplossing is het vastleggen van het echte werk. Door een steeds verder ontwikkelende set van vast te leggen methoden, kunnen we authentic representaties ontwikkelen van elk van de belangrijkste assettypen in mixed reality (omgevingen, objecten en personen).

De brede categorieën variëren van gevestigde 2D-video's tot de nieuwste vormen van volumetrische video. In het geval van ai-weigrammetrie kan scannen (vaak aangeduid met de fundamentele techniek, photogrammetrie) worden gebruikt tijdens het maken van het vertoon, waarbij elk van de peren zelf wordt gescand. 360° foto- en video-opname is een andere methode voor het virtualiseren van de ervaring met behulp van een hoogwaardige omni directionele camera die overal in de omgeving is geplaatst. Met deze technieken begint men inzicht te krijgen in de schaal, in het ideale opzicht met voldoende details om het gevoel van elk stuk te zien. Dit alles in een digitale vorm die nieuwe perspectieven en perspectieven mogelijk maakt, is in werkelijkheid niet mogelijk.

2D naar volumetrische video

Wat voor soort kansen ontstaan er wanneer we niet alleen fantastische elementen kunnen maken, maar de meest realistische vastleggen van omgevingen, objecten en personen in mixed reality? Het verkennen van de overlapping tussen deze methoden helpt om te ontdekken waar het medium naartoe wordt geleid.

Voor omgevingen en objecten is 360° imagingsoftware in ontwikkeling om elementen van fotogrammetrie op te nemen. Geavanceerde video's van 360° die diepte-informatie van scènes isoleren, helpen het gevoel te verminderen dat uw hoofd vastloopt in een visbowl wanneer u rond een virtuele scène kijkt.

Voor mensen komen er nieuwe methoden aan die bewegingsopname en -scan combineren en uitbreiden: Motion Capture is de basis voor het brengen van gedetailleerde menselijke verplaatsingen naar visuele effecten en kantische tekens, terwijl scannen is ontwikkeld om gedetailleerde menselijke visuals zoals gezichten en handen vast te leggen. Met de vooruitgang op het gebied van renderingtechnologie bouwt een nieuwe methode met de naam volumetrische video voort op deze technieken, waarbij visuele en diepte-informatie wordt gecombineerd, om de volgende generatie 3D-menselijke vast leggen te maken.

Volumetrische video en het gebruik van echte menselijke opname

Mensen staan centraal in het vertellen van verhalen, in de meest letterlijke zin: een mens die spreekt, presteert of als onderwerp van het verhaal. Een aantal van de meest indurende en opvallende momenten van de vroege in immersive experiences van vandaag zijn sociale ervaringen. Van het delen mixed reality ervaring in uw huisruimte tot het zien van uw vrienden in nieuwe omgevingen. Het menselijke element maakt zelfs de meest fantastische realiteit, een realiteit.

Mindshow in VR

Avatars in in immersieve ervaringen zorgen voor een nieuw soort insluiting in verhalen. Met de nieuwste apps wordt het concept van het eigendom van virtuele body opnieuw herzien en wordt een generatieal leap gemaakt om de afstand tussen mensen te elimineren. Bedrijven zoals Mindshow ontwikkelen creatieve hulpprogramma's die gebruikmaken van avatars, zodat gebruikers volledig nieuwe persona's en tekens kunnen gebruiken. Anderen verkennen methoden voor expressies,een potentieel onbeperkte creatieve kans om de aard (en noodzaak) van menselijke kenmerken te verkennen. Vandaag de dag helpt deze afwezigheid om de onbespreekbaarheidsvallei van menselijke aard te voorkomen, samen met een groot aantal technische problemen voor dagelijkse ontwikkelaars. Om deze redenen (en meer) is het zeer waarschijnlijk dat niet-realistische avatars in de nabije toekomst de standaardinstelling worden. En hoewel de wereld een enorme uitdaging vormt voor mixed reality, zijn er belangrijke scenario's die een echte weergave van mensen in de 3D-ruimte vereisen.

Bij Microsoft heeft een klein team uit Microsoft Research de afgelopen jaren een methode ontwikkeld voor het vastleggen van mensen via een vorm van volumetrische video. Het proces is tegenwoordig vergelijkbaar met videoproductie: in plaats van verplaatsing toe te passen op een gehouwen asset, is het een volledige 3D-opname. De prestaties en de afbeelding worden in realtime vastgelegd. Het is niet het werk van een schilder, maar een echte weergave. En hoewel de technologie nog maar net begint uit te breiden naar commerciële toepassingen, zijn de implicaties van volumetrische video essentieel voor de visie van Microsoft op Meer persoonlijke computing.

Volumetrische video SIGGRAPH 2015

Met authentic human capture ontgrendelt u nieuwe unieke categorieën ervaringen in mixed reality. Als u iemand ziet die u herkent, of het nu gaat om een beroemdheid, een collega of een geweldig persoon, ontstaat er een diepgaande diepgaande, nooit eerder mogelijke diepte in een digitaal medium. Hun gezicht, hun expressies en de nuance in hun verplaatsingen maken allemaal deel uit van wie ze zijn. Welke mogelijkheden ontgrendelen wanneer we deze menselijke eigenschappen in 3D-ruimte kunnen vastleggen?

Vandaag de dag pusht het team de grenzen van volumetrische video door zich te richten op sectoren zoals entertainment en onderwijs: Actiongram bevat creatieve tekens en beroemdheden om mixed reality maken. Bestemming: Mars vertoont, nu in het Space Space Center van NASA, een volumetrische video van de astronaut Buzz Aldrin. De ervaring stelt bezoekers in staat om het oppervlak van Mars te ervaart met Buzz terwijl hij de introductie van menselijke dubbele punt op Mars introduceert.

Mensen zijn essentieel voor mixed reality

Het ontwerpen van manieren om deze video's natuurlijk te maken, vormt een uitdaging, maar een manier waarop het team enorm potentieel ziet. En deze mogelijkheden worden groter naarmate de technologie toegankelijker wordt en wordt verplaatst van opnamen naar realtime-opnamen.

Holoportation is een onderzoeksinspanning die is gebaseerd op dezelfde fundamentele technologie, het authenticeren van visuele en diepte-informatie en het weergeven van het resultaat in realtime. Het team onderzoekt wat de kracht van realistische menselijke representatie betekent voor de toekomst van gesprekken en gedeelde ervaringen. Wat gebeurt er wanneer een driedimensionale opname van iemand, overal ter wereld, kan worden toegevoegd aan uw omgeving?

Toekomst van gesprek

Van een nieuw niveau van onderdompeling op alledaagse apps zoals Skype tot het ingrijpend hervormen van het concept van digitale vergaderingen en zakenreis. Volumetrische video opent unieke scenario's: Een gespecialiseerde, virtueel getrainde artsen op een ver weg continent of digitale vrienden die op de bank zitten en in uw huis wonen. Het toevoegen van echte menselijke mixed reality ervaring zal het concept van digitale vergaderingen en zakenreis drastisch veranderen.

Net zoals de abstracte kunst van James Turtiek en de kritieke ai-weitiek hun eigen unieke technische uitdagingen bieden, doen de methoden om mensen weer te geven als creatieve avatars en realistische vastleggen. Het ene kan niet worden genegeerd in het licht van de andere en het verkennen van het potentieel van elk kan ons helpen menselijke interactie in deze nieuwe ruimte te begrijpen.

Over de auteur

Picture of Mark Vitazko Mark Vitazko
UX Designer @Microsoft