Tänk annorlunda för Mixed Reality

När Microsoft lanserade HoloLens (första generationen) till otåliga utvecklare 2016 hade teamet redan samarbetat med studior inifrån och ut från Microsoft för att skapa enhetens lanseringsupplevelser. De här teamen lärde sig genom att göra, hitta både möjligheter och utmaningar inom det nya området för design av mixad verklighet.

Vi omvandlade deras metoder och insikter till en läroplan som vi utbildar nya utvecklare i Mixed Reality Academy. Läroplanen innehåller vecko långa designseminarier som vi erbjuder våra företagspartner).

Nedan visas en ögonblicksbild av allt vi har lärt oss för att hjälpa våra företagspartner att förbereda sina team för utveckling med mixad verklighet. Många av dessa metoder är ursprungligen HoloLens utveckling, men att föreställa sig och kommunicera i 3D är avgörande för hela spektrumet av upplevelser med mixad verklighet.

Att tänka rumsligt under designprocessen

Alla designprocess- eller designramverk är avsedda att iterera tankesättet: Att hantera ett problem brett, att dela idéer med andra på ett effektivt sätt, utvärdera dessa idéer och nå en lösning. Idag har vi väletablerade design- och utvecklingsmetoder för att skapa upplevelser på stationära datorer, telefoner och surfplattor. Teams har tydliga förväntningar på vad som krävs för att iterera en idé och omvandla den till en produkt för användarna.

Teams består ofta av en blandning av utveckling, design, forskning och hantering. Alla roller bör delta i designprocessen. Hinder för att bidra till en idé för en mobilapp är lika enkelt som att rita en rektangel för enhetens skärm. Under tiden räcker det att skissa gränssnittselement med rutor och linjer för att fastställa tekniska krav eller definiera potentiellt användarbeteende.

Med mixad verklighet börjar den traditionella 2D-designprocessen att brytas ned. Skissning i 3D är svårt för de flesta och att använda 2D-verktyg som penna och papper eller whiteboardtavlor kan ofta begränsa idéerna till dessa dimensioner. Under tiden kräver 3D-verktyg som skapats för spel eller teknik en hög grad av kunskaper för att snabbt bygga ut idéer. Bristen på enkla verktyg är sammansatt av den tekniska osäkerhet som finns i samband med nya enheter, där grundläggande interaktionsmetoder fortfarande håller på att upprättas. De här utmaningarna kan potentiellt begränsa designbidragen till teammedlemmar med 3D-utvecklingsbakgrund – vilket avsevärt minskar teamets iterationsmöjligheter.

Teams från Mixed Reality PartnerProgram i vår workshop

När vi arbetar med externa partner hör vi berättelser om team som väntar på att utvecklaren ska slutföra prototypen innan de kan fortsätta sin designprocess. Resten av teamet kan då eventuellt blockeras från att göra meningsfulla framsteg på produkten. Utvecklarna får hela ansvaret för att lösa både den tekniska implementeringen och användarupplevelsen när de försöker göra en grov idé till kod.

Tekniker för att expandera designprocessen

Våra team på Microsoft har en uppsättning tekniker för att mer effektivt inkludera sitt team och snabbt iterera genom komplexa designproblem. Även om det inte är en formell process är de här teknikerna avsedda att komplettera i stället för att ersätta ditt arbetsflöde. Med dessa metoder kan teammedlemmar utan särskilda 3D-kunskaper erbjuda idéer innan de går in i prototypfasen. Olika roller och discipliner kan ingå i designprocessen, inte bara 3D-designers och utvecklare. Att upptäcka affärsmöjligheter och identifiera möjliga utmaningar kan uppstå senare under utvecklingen.

Generera idéer med bodystorming

Att få ditt team att tänka på händelser som inträffar i verkligheten, utöver den traditionella världen av 2D-enheter, är nyckeln till att utveckla innovativa upplevelser med mixad verklighet. På Microsoft har vi hittat de bästa resultaten genom att uppmuntra interaktion med fysiska egenskaper i ett verkligt område. Med enkla billiga tillverkningsmaterial skapar vi fysiska egenskaper för att representera digitala objekt, användargränssnitt och animeringar i en föreslagen upplevelse. Den här tekniken kallas för bodystorming och har varit en del av produktidéer inom industriell design i årtionden.

Simple, billiga konstartiklar som används i bodystorming

Enkla, fysiska egenskaper ger deltagarna samma spelplan, så att personer med olika kompetenser och bakgrunder kan bidra med idéer och upptäcka möjligheter i mixade verklighetsupplevelser i stället för att vara låsta till 2D-tankesätt. Tekniska prototyper eller högåtergivningsberättelser kräver en erfaren 3D-utvecklare eller artist, men det kan räcka med några Styrofoam-bollar och bollar för att demonstrera hur ett gränssnitt kan utvecklas i det fysiska utrymmet. Dessa tekniker gäller både utveckling av mixad verklighet med HoloLens och de integrerande headseten. En uppsättning anslutningsappar kan till exempel grovt illustrera storleken på hologram som visas i en HoloLens-upplevelse eller som rekvisualiseringar för att agera ut interaktionsbara element eller rörelsedesigner i en virtuell värld.

Bodystorming är en teknik som används för att snabbt generera idéer och utvärdera idéer som är för nebulous för prototyper. På Microsoft används bodystorming oftast för att snabbt granska en idé. Den kan också vara värd för en mer djupgående session om du involverar externa intressenter som inte är bekanta med utveckling av mixad verklighet eller behöver kunna sammanfatta breda scenarier. Kom ihåg att syftet med bodystorming är att idéa snabbt och effektivt genom att uppmuntra deltagarna att tänka spatialt. Detaljerade konstverk eller exakta mått är inte viktiga i det här skedet. Fysiska egenskaper behöver bara uppfylla minimikraven för att utforska eller förmedla en idé. Idéer som presenteras genom bodystorming förväntas inte granskas fullständigt, men processen kan hjälpa dig att begränsa möjligheterna att testa senare under prototypfasen på enheten. Därför ersätter inte bodystorming tekniska prototyper, utan förskjuter snarare arbetet med att lösa både tekniska och designutmaningar under prototypfasen.

Agera och expertfeedback

Nästa steg är att gå igenom en upplevelse med dessa objekt genom att följa bodystorming-processen med att skapa idéer med fysiska objekt i verkligheten. Vi kallar den här fasen för den process som fungerar och det omfattar ofta mellanlagring av hur en användare skulle gå igenom upplevelsen eller en specifik interaktion.

Teams att agera ut ett scenario under en workshop

Genom att arbeta med fysiska egenskaper kan deltagarna uppleva användarens perspektiv, samtidigt som externa deltagare kan se hur händelserna spelas ut. Detta ger en utmärkt tidpunkt för att inkludera en bredare publik av teammedlemmar eller intressenter som kan ge specifik "expert"-feedback. Om du till exempel utforskar en Mixed Reality-upplevelse som är utformad för sjukhus kan du få värdefull feedback genom att agera dina idéer för sjukvårdspersonal. Ett annat exempel är när du kanske har en specifik utmaning som du försöker förstå, till exempel rumsligt ljud eller budgetering för tillgångskvalitet jämfört med prestanda. I dessa fall ger agerande experter ett snabbt och ungefärligt begrepp för hur upplevelsen kan utvecklas, utan behov av en enhetsbaserad prototyp.

Den här typen av agera är inte formaliserad, utan behov av att ta in professionella förmågor, men i situationer där vi vill dela tankesättet med andra som inte är närvarande kommer vi att spela in en "scen" av interaktion eller inkludera en storyboard-artist för att observera och skissa viktiga ögonblick. Att agera kan också vara en enkel aktivitet som ofta sker på plats under bodystorming-fasen. Vilken metod som ska användas beror på målgruppen och den återgivning som krävs för att ge lämplig typ av feedback. I slutändan handlar det om det som bäst fångar teamets tankesätt.

Samla in idéer med storyboards

Den bästa metoden för att förmedla idéer och begrepp för den föreslagna upplevelsen beror på målgruppen och vilken typ av feedback som nästa iteration kräver. När du presenterar nya idéer för teammedlemmar kan låga återgivningsreakter av bodystorming vara tillräckligt för att få någon att komma snabbare. När du introducerar dina upplevelsebegrepp för nya intressenter eller potentiella användare är den bästa metoden ofta storyboarding. Storyboarding är en teknik som är gemensam för underhållningsbranschen och som finns bakom kulisserna i film- och videospelsutveckling. Tekniken hjälper till att förmedla både det övergripande flödet av en upplevelse (med låg återgivning) och det estetiska utseendet (med hög återgivning). Precis som med prototyper är det viktigt att förstå återgivningsbehoven för din storyboard för att samla in rätt feedback och undvika kontraproduktiva diskussioner.

Exempel på en berättelse med låg återgivning

Berättelsetavlor med låg återgivning är rätt återgivning för snabba diskussioner, särskilt när du förmedlar idéer på hög nivå. Dessa kan vara så enkla som ritningar av fast figur och primitiva former för att ange virtuella element i en scen eller närheten till interaktiva komponenter (både fysiska och virtuella). Även om dessa är användbara med tanke på den relativa enkelheten och den låga färdighetsbarriären att köra, så kom ihåg lektionen från bodystorming: Inte alla kan se 2D-bilder av en upplevelse och förstå 3D-konsekvenserna.

Exempel på en berättelse med hög återgivning

Berättelsetavlor med hög återgivning är ett kraftfullt verktyg när du tar in nya intressenter eller kombinerar insikter från en bodystorming-session med den föreslagna estetiska riktningen för din upplevelse. Storyboards kan bygga på mood boards för att illustrera det slutliga utseendet på en virtuell upplevelse och fånga viktiga ögonblick som kan vara avgörande för den slutliga produkten. Tänk på att berättelser med hög återgivning ofta kräver en artist, särskilt en som är inbäddad i teamet, som kan fånga upp svårbeskrivliga idéer. På Microsoft har vi lagt till storyboard-konstnärer, ofta med bakgrund inom spelutveckling, till våra team med mixad verklighet som deltar i möten som är förberedda för att snabbt fånga skisser som senare kommer att utökas till modeller med bättre återgivning. Dessa personer arbetar nära tekniska konstnärer och hjälper till att förmedla riktning på tillgångar som används i den slutliga upplevelsen.

Designprocess

Vår process idag börjar med whiteboarding och fästisar och expanderar till fysisk bodystorming och agerar. Sedan översätter vi detta tankesätt till storyboards och något som vi kallar ett "one-line concept" (en mening på hög nivå som beskriver vad vi gör) innan vi går vidare till prototyper och tillgångsskapande. Vårt designarbete är ofta fysiskt innan vi kommer in i utvecklingsfasen.

Övergripande designprocess

Designprocessen är rörig och alla team skiljer sig åt. Metoder som bodystorming, acting och storyboarding kan dock hjälpa till att lösa iterationsproblem.

I verkligheten är de kontinuerliga iterativa faserna

Utöka teamets färdigheter

Att ändra processen för att bättre hantera upplevelser med mixad verklighet är beroende av en mer ingående koppling av tekniska roller och designroller. När vi arbetar med partners på Microsoft har vi sett att flera team har gått över till 3D-utveckling, och vi ser att den största fördelen kommer från att teammedlemmarna stegar ut från sin bekvämlighetszon och utvecklar färdigheter som ger dem större engagemang under utvecklingsprocessen (inte bara att begränsa deras färdigheter för design eller utveckling).

Feedback och iteration är nyckeln till en lyckad design, och med upplevelser med mixad verklighet är den här typen av feedback ofta skeva till mer tekniska begrepp, särskilt med tanke på den relativa nascens hos Mixed Realitys teknik och verktyg. Genom att bygga upp designteamets kunskaper inom tekniska områden, inklusive kunskaper med verktyg som Unity eller Unreal, kan dessa personer bättre förstå utvecklarnas metod och ge mer effektiv feedback under prototyper. På samma sätt kan utvecklare som förstår de grundläggande UX-begreppen för mixed reality-upplevelser (och potentiella fallgropar i designen) hjälpa dem att erbjuda implementeringsinformation under de tidiga faserna av planeringen.

Vi får vanligtvis frågor från partner som arbetar i mixad verklighet om hur de bäst kan utöka sina team och kompetensuppsättningar med 3D-verktyg. Det här är en svår fråga att besvara med tanke på branschens tillstånd, eftersom teamen står inför att skapa framtidens upplevelser med gårdagens verktyg. Många team samlar in personer med bakgrund inom spel och underhållning, där 3D-utveckling har varit en stapel i årtionden. Teams uppmuntrar också befintliga team att hämta verktyg som Unity och 3D-modelleringsprogramvara. Även om båda dessa är viktiga behov för att uppfylla baslinjen för upplevelser med mixad verklighet idag, kommer det troligen att finnas ett stort antal specialiserade verktyg och färdigheter som hjälper dig att bygga upp framtidens grundprogram.

Området för design med mixad verklighet förändras alltid, med mer fokus på data- och molntjänster i holografiska upplevelser. Nästa generation av upplevelser kommer att dra nytta av avancerad bearbetning av naturligt språk och datorseende i realtid, och mer inbyggda sociala scenarier inom integrerande upplevelser. Upplevelser i virtuell verklighet gör till exempel att designers kan skapa föreställande miljöer och utrymmen, vilket kräver en kunskapsuppsättning som är mer liknar arkitektur eller arkitektur snarare än traditionell gränssnittsdesign. Eller så kan du överväga upplevelser i den verkliga världen med HoloLens, där användningsfallen ofta omfattar mycket specialiserade fält som medicin, teknik eller tillverkning, där specifika miljöer och realtidsdata är viktiga delar av upplevelsen. Att arbeta mellan roller, använda både designkunskaper och specialiserad kunskap och vilja att lära sig nya verktyg är ovärderliga kunskaper för team som arbetar i mixad verklighet.

Hjälpa ditt team att utforska mixad verklighet snabbt och effektivt

I början av HoloLens visade sig dessa tekniker vara nödvändiga eftersom enhetens tidiga prototypmaskinvara visade sig vara ett mindre än idealiskt format för att snabbt iterera genom designidéer. Interaktionsmetoder, inklusive grundläggande användargränssnitt i operativsystemet, utforskades med bodystorming, medan ett arbete hjälpte vårt användbarhetsteam att förstå grundläggande användarbeteenden för scenarier på arbetsplatsen. Till slut etablerade teamet en stark baslinje för HoloLens Core UX, kommunicerade begrepp mellan teamroller och gjorde det möjligt för OS-utveckling att gå snabbt parallellt med maskinvaruutveckling.

Oavsett om det gäller bodystorming, att agera, granska med experter eller storyboarding är dessa tekniker avsedda att spara tid och arbete. Även om vi fortfarande är mycket i början av HoloLens- och utveckling av virtuell verklighet kan en utökning av designprocessen för mixad verklighet hjälpa ditt team att ägna sin energi åt att utforska nya och utmanande designproblem i stället för att lösa problem med att kommunicera idéer.

Exempellista över material från en workshop

Enkla konstartiklar ger teammedlemmar nödvändiga verktyg för att förklara idéer utan avancerade färdigheter. Här är ett exempel på vad vårt team ofta använder vid bodystorming:

• Styrofoam-skivor
• Styrofoam-kuber
• Styrofoam-glassar
• Styrofoam-sfärer
• Pappkartonger
• Bessysnad et
• Lollipop-minnen
• Kort
• Pappersmuggar
• Band med band
• Maskeringsband
• Sax
• Gem
• Fylla i filar
• Efter dess
• Garn
• Pennor
• Sharpies

Nästa identifieringskontrollpunkt

Grattis, du har slutfört kärnan i Mixed Reality identifieringsresa! Du kan antingen se hur branschpartner använder Mixed Reality,utforska HoloLenseller starta dina design- eller utvecklingsresor: