Fallstudie – Representerar människor i mixad verklighet

James Tur buy designar med ljus. När han stegar in i sitt arbete blir det mer djupgående och fokuserat. Väggar verkar både nära och oändliga, och ljusstyrkan ger efter för skuggorna. Obekanta uppfattningar som utformats genom att noggrant balansera lampans färg och färg. Turrel beskriver dessa upplevelser som "känsla med dina ögon", ett sätt att utöka förståelsen av verkligheten. Fantastiska världar, precis som turéerna föreställer sig, är kraftfulla verktyg för att utnyttja våra världar, inte till skillnad från de integrerande miljöerna med mixad verklighet i dag.

Wide Out – James Turrel (1998)

Hur representerar du komplexa verkliga miljöer i mixad verklighet?

Att representera Tur buys arbete i en integrerande upplevelse gör det till en spännande utmaning. Belysning, skalning och rumsligt ljud ger möjligheter att representera hans arbete. Även om det skulle krävas relativt enkel 3D-modellering för de geometriska miljöerna i föremålen, är de sekundära till artistens fokus: ljusets påverkan på dina senses.

Turitas starka, minimalism är det som kännetecknar hans arbete, men vad händer om vi vill representera en föreställning med mer komplexa material i mixad verklighet?

Anime – Ai Wei huawei (2013)

År 2013 presenterade artisten Ai Weiffer ett härdande konstverk med 886 konstverk på 100 000-talet. Varje älskad kom från en tid då kinesiskan var högt uppskattad, där dessa svårigheter skulle ha passerat mellan generationerna. Själva– skogens inveckligheter, bitprecision, deras noggranna placering – är avgörande för Ai:s kommentarer om den moderna kulturen.

Den hälsningen levererar artistens meddelande via sin äkthet. Deras realistiska representation är avgörande för upplevelsen. Att skapa en teknisk utmaning: Att ta hand om var och en av de 886 miljonerna skulle vara enormt omfattande och dyrt. Hur lång tid tar det att modellera och placera? Hur behåller du materialets äkthet? Att återskapa dessa objekt från grunden blir på många sätt en tolkning av själva konstverket. Hur kan du bevara artistens avsikt?

Metoder för att samla in tillgångar med mixad verklighet

Alternativet till att skapa något från grunden är att samla in det verkliga. Genom en ständigt avancerad uppsättning avbildningsmetoder kan vi utveckla autentiska representationer av var och en av de kärntillgångstyper som finns i mixad verklighet (miljöer, objekt och människor).

De breda kategorierna sträcker sig från väletablerad 2D-video till de senaste formerna av volymetrisk video. När det gäller Ai Weimetrisks -artikel kan genomsökning (vilket ofta refereras till med dess grundläggande teknik, fotogrammetri) användas när du skapar en artikel och genomskana var och en av oss själva. 360° foto- och videoinspelning är en annan metod för att virtualisera upplevelsen med hjälp av en högkvalitativ i alla riktningande kamera som är placerad i hela bilden. Med de här teknikerna börjar man förstå skalans betydelse, helst med tillräckligt med detaljer för att se varje dels relation. Allt detta samtidigt som det finns i ett digitalt format som tillåter nya perspektiv och perspektiv som inte är möjliga i verkligheten.

2D till volumetric video

Vilken typ av möjligheter uppstår när vi inte bara kan skapa fantastiska element, utan använder de mest realistiska avskiljarna av miljöer, objekt och människor i mixad verklighet? Genom att utforska överlappningen mellan dessa metoder kan du se var mediet är på väg.

För miljöer och objekt utvecklas 360° avbildningsprogram för att inkludera element i fotogrammetri. Genom att isolera djupinformation från scener hjälper avancerade 360°-videor till att minska känslan av att ha huvudet fast i en fågelbowl när du tittar runt en virtuell scen.

För människor växer nya metoder fram som kombinerar och utökar rörelseinfångning och genomsökning: Rörelseinfångning har varit grundläggande för att få detaljerad mänsklig rörelse till visuella effekter och analytiska tecken, medan genomsökning har avancerat för att samla in detaljerade visuella objekt som ansikten och händer. Med framsteg inom renderingsteknik bygger en ny metod som kallas volymetric video av dessa tekniker, där visuell information och djupinformation kombineras för att skapa nästa generation av 3D-bilder.

Volumetric video and the authentic human capture (Volymetric video och the authentic human capture)

Människor är centrala för berättande – i den mest literala mening: ett mänskligt tal, utförande eller som berättelsens ämne. Några av de mest integrerande och ögonöppnande ögonblicken i dagens tidiga fördjupande upplevelser är sociala. Från att dela en upplevelse med mixad verklighet tillsammans i ditt eget rum till att se dina vänner i nya miljöer. Det mänskliga elementet gör även den mest fantastiska verkligheten till en verklighet.

Mindshow i VR

Avatarer i integrerande upplevelser möjliggör en ny typ av berättelse. De senaste apparna tänker om begreppet ägarskap för virtuellt brödtext och ställer in ett generationssteg för att eliminera avståndet mellan människor. Företag som Mindshow utvecklar kreativa verktyg som utnyttjar avatarer så att användarna kan använda helt nya personer och tecken. Andra utforskar metoder för uttrycksuttryck, en potentiellt obegränsad kreativa möjlighet att utforska naturen (och behovet) av mänskliga attribut. I dag hjälper den här frånvaron av slyna till att undvika den uncanny dal av mänsklig likeness tillsammans med en mängd tekniska problem för dagliga utvecklare. Av dessa skäl (och mycket mer) är det mycket troligt att icke-realistiska avatarer kommer att bli standard inom en snar framtid. Och även om poserar utgör en enorm utmaning för mixad verklighet, finns det viktiga scenarier som kräver äkta representation av människor i 3D-utrymme.

På Microsoft har ett litet team från Microsoft Research ägnat de senaste åren åt att utveckla en metod för att fånga människor via en form av volymetrisk video. Processen i dag liknar videoproduktion: i stället för att tillämpa förflyttning på en skulpterad tillgång är det en fullständig 3D-inspelning. Prestanda och bilden avbildas i realtid – det är inte en artists arbete, det är en äkta representation. Och även om tekniken precis har börjat utökas till kommersiella program, är konsekvenserna av volymetrisk video avgörande för Microsofts vision av mer personlig databehandling.

Volumetric video SIGGRAPH 2015

Authentic human capture låser upp nya unika kategorier av upplevelser i mixad verklighet. Om du ser någon som du känner igen, oavsett om det är en kändis, en kollega eller en älskarinna, skapar ett djup av rädsla som aldrig förut är möjlig i ett digitalt medium. Deras ansikte, deras uttryck, nyanserna i deras rörelser är en del av vilka de är. Vilka möjligheter får vi när vi kan fånga dessa mänskliga egenskaper i 3D-utrymme?

I dag pushar teamet gränserna för volymprisvideon genom att fokusera på sektorer som underhållning och utbildning: Actiongram har kreativa tecken och kändisar för att skapa berättelser om mixad verklighet. Mål: Mars uppvisar, som nu finns på NASA:s Space Center, en volymvideo med astronauten Kick Aldrin. Upplevelsen gör det möjligt för besökare att gå runt på Mars yta med Mode när han presenterar den mänskliga koloniseringen på Mars.

Människor är fundamentala för mixad verklighet

Att designa sätt att få dessa videor att verka naturliga utgör en utmaning, men en där teamet ser en enorm potential. Och dessa möjligheter kommer att expandera allt eftersom tekniken blir mer tillgänglig och flyttas från inspelningar till realtidsinspelning.

Holoportation är ett forskningsarbete som bygger på samma grundläggande teknik, som samlar in visuell och detaljerad information på ett autentiskt sätt och återger resultatet i realtid. Teamet utforskar vad kraften i realistisk mänsklig representation innebär för framtida konversationer och delade upplevelser. Vad händer när en 3-dimensionell avskiljning av någon, var som helst i världen, kan läggas till i din miljö?

Framtidens konversation

Från att lägga till en ny nivå av vardagliga appar som Skype, till att kraftigt omforma begreppet digitala möten och affärsresor – volymetrisk video öppnar unika scenarier: En specialist utbildar praktiskt taget läkare på en kontinent långt bort eller digitala vänner som sitter på sofforna och tränar i ditt eget rum. Genom att lägga till autentiska mänskliga representationer i upplevelser med mixad verklighet omformas begreppet digitala möten och affärsresor på ett drast sätt.

Precis som den abstrakta konst som James Turrel och Ai Weitekniskas kritiska arkitektur utgör, erbjuder de egna unika tekniska utmaningarna, så gör metoderna för att representera människor som kreativa avatarer och realistiska fångar. Den ena kan inte ignoreras mot bakgrund av den andra och genom att utforska potentialen i var och en kan vi förstå mänsklig interaktion i det här nya området.

Om författaren

Picture of Mark Vitazko Mark Vitazko
UX Designer @Microsoft