Skapa Ford GT40-upplevelsen

Ford GT40 hero-avbildning

"Före MRTK var det lite omständligt att utveckla för HoloLens 2 med Unreal eftersom alla rumsliga interaktioner behövde kodas för hand i C++. MRTK för Unreal gjorde många av dessa uppgifter enkla. Jag uppskattar att den tid som krävs för den första prototypen halvas." – Developer Developer, programvaruutvecklare

"Ford GT40 Experience är ett bevis på att en app med hög återgivning HoloLens 2 kan slutföras på bara några månader, med en liten budget, men ändå ge mycket effektfulla resultat." – Daniel Cheetham, Chief Innovation Officer, Happy Finish

Med hjälp av Mixed Reality Toolkit (MRTK) för Unreal levererade reklamproduktionsföretaget Happy Finish en HoloLens 2-upplevelse som ger ett nytt perspektiv på Ford GT40, den glada racingbilen som vann Ferrari på 24 timmars Le Mans!

Med hjälp av en mängd naturliga och intuitiva rumsliga interaktioner kan användarna utforska GT40:s utseende, prestanda och teknik – allt levereras på ett sätt som drar nytta av den höga visuella återgivningen som tillhandahålls av Unreal Engine. Programvaruutveckling för hela projektet slutfördes av en enda utvecklare på mindre än tre månader, vilket möjliggjordes av MRTK för Unreals visuella skript- och designmiljö.

Ladda ned app från Microsoft Store i HoloLens 2

Om du har HoloLens 2-enhet kan du ladda ned och installera appen direkt på enheten.

English badge

Frågan

Happy Finish är ett av världens ledande annonsproduktionsföretag med en klientbas som omfattar Ford, Microsoft, Netflix, Netflix, Vodafone och andra hushållsnamn. Företaget började som en avancerad fotoretouch-agent som förgrenade sig i film och CGI innan det utökade sin engagemang för utmärkthet inom avancerad berättande med rumslig 3D-design och interaktion.

I mitten av 2020 kontaktade Microsoft Happy Finish för att skapa en demoapp som kan hjälpa dig att demonstrera möjligheterna med den nya Mixed Reality Toolkit (MRTK) for Unreal, som bygger på stödet för HoloLens 2 i Unreal Engine. I det här läget hade företaget redan två lyckade Unreal-on-HoloLens 2 projekt under sitt arbete. Båda var för ett globalt känt konsumentmärke, som valde Unreal på HoloLens 2 för ett internt R&D/B2B-säljverktyg för sin höga visuella återgivning, som krävs för att bäst demonstrera klientens egna avancerade produkter.

Även om själva lösningen skulle lämnas kvar på Happy Finish var den tvungen att uppfylla några viktiga riktlinjer. Först var den tvungen att fokusera på ett företagsscenario för att illustrera nyttigheten med Unreal HoloLens 2 utanför spelbranschen. För det andra var den endast enhet, vilket innebär att den kan fungera som en fristående demo – utan att det krävs en nätverksanslutning och extern bearbetningskraft för att hämta målramfrekvenser och visuell kvalitet. För det tredje bör den blanda alla intuitiva interaktioner som stöds av MRTK till en sömlös och naturlig upplevelse. Slutligen bör den föreslagna lösningen demonstrera den inbyggda visuella återgivningen och andra fördelar med själva Unreal Engine, till exempel shader efficiencies.

Med dessa riktlinjer började Happy Finish diskutera möjligheterna och kom fram till idén om en upplevelse med mixad verklighet som använde rumslig interaktion för att förmedla värdet av en varumärkesprodukt med högt värde. Efter att ha övervägt en mängd objekt som omfattar klockor, kameror, bilar och privata jetplan, bestämde sig Happy Finish slutligen för Ford GT40, en bilförklaring som uppnådde en notoriety 1966 när Ford vann över Ferrari på 24 hours of Le Mans – som visas i 2019 års blockbuster-film Ford kontra Ferrari.

Efter att ha köpt in från Ford, en befintlig Happy Finish-klient, ville företaget leverera ett nytt perspektiv på den klassiska bilikonen.

Lösningen

Arbetet började den 7 maj 2020. Efter att ha fått GT40-modellfilerna spenderade en 3D-artist tre veckor på att optimera polygonmodeller, MAPPA, ompaintera strukturkartor och komprimera dessa kartor till så få strukturer som möjligt. En teknisk artist arbetade parallellt för att mäta utdata från 3D-artisten, fastställa optimala strukturstorlekar givet målramfrekvenser och ta reda på det bästa sättet att använda anpassade skuggare i Unreal. Allt detta förproduktionsarbete gjordes för att optimera upplevelsen på enheten.

Creative Director Alex Creative angav bilden när förproduktionsarbetet var klart. Han började med att titta på Ford kontra Ferrari och fundera på hur man ska väva samman en berättelse kring scenarier och interaktioner. Han samlade även in visuella referenser för UI-artisten, till exempel bilder av GT40-instrumentpanelen och visuella objekt för Le Mans-racingspåret, och samlade in ljudinspelningar av GT40 i praktiken för ljuddesignern.

Med de narrativa definierade och optimerade förproduktionstillgångarna i hand kunde programvaruutvecklarenDirigering samla allt. Been had been the developer on the previous two Unreal-on-HoloLens 2 projects that Happy Finish had done, before the MRTK for Unreal had been released.

Det värde som tillhandahålls av MRTK för Unreal blev tydligt tidigt, vilket hjälpte Henne att leverera en första prototyp på en vecka. Han implementerade tre unika scenarier, ett för var och en av de viktigaste aspekterna av GT40 som Hon hade identifierat: dess försköna, dess prestanda och dess teknik. För varje scenario använde Jag MRTK för att integrera de optimerade 3D-tillgångarna från förproduktionsfasen i en mängd rumsliga interaktioner.

Med MRTK for Unreal har Built byggt ut varje scenario med hjälp av det visuella UMG-användargränssnittsdesignern (Unreal Motion Graphics) i stället för att implementera allt i C++. UX Tools for Unreal, plugin-programmet som innehåller UX-byggstenar och komponenter i MRTK, gav honom Unreal Blueprints för indatasimulering, visuellt skriptande handinteraktioner, tryckbara knappar, 3D-bildmanipulering, surface magnetism med mera – allt i en designmiljö utan kod, dra och släpp.

"Före MRTK var det lite omständligt att utveckla för HoloLens 2 med Unreal eftersom alla rumsliga interaktioner var tvungna att kodas för hand i C++". "MRTK för Unreal gjorde många av dessa uppgifter enkla. Jag uppskattar att den tid som krävs för den första prototypen halvas."

Med en prototyp i hand påbörjade teamet veckovisa iterationer för att förfina upplevelsen. "Det här är när Inspelning av mixad verklighet-funktionen och Windows Enhetsportalen verkligen blev till hjälp", säger Adam. "Jag använde dem för att samla in mina designgranskningar, skicka min feedback till andra och samarbeta kring ändringar. Att arbeta isolerat på det vis hade varit omöjligt att göra utan sådana verktyg."

Unreal editor Ford GT40-app som körs med hjulkomponenter i följd

När Dock begärde ändringar, till exempel ompositionering av gränssnittselement eller ändring av en knapps beteende, implementerade Hon dem. Vissa av ändringarna krävde små kodjusteringar, men de flesta av dem hanterades i unreal-designern för visuella objekt. "Jag blev konstigt över hur snabbt jag kunde iterera", säger Hon. "Ingen tid slösades; Jag skulle göra en ändring i designern och sedan trycka på Spela upp för att omedelbart visa den på enheten. MRTK effektiviserade verkligen mitt arbete."

Som du kanske minns är du också imponerad av hur produktionsklara alla utvecklingsverktyg var. "Vi gick smidigt från den första prototypen till slutproduktion, utan att behöva komma tillbaka och implementera om eller optimera kod", säger han.

Den slutliga versionen

Happy Finish slutförde produktionen av Ford GT40 Experience för HoloLens 2 den 28 juli 2020, vilket ger ett nytt perspektiv på den klassiska racingbilen. Upplevelsen börjar med en välkomstskärm och hjälper sedan användaren att konfigurera en fästpunkt genom att ta tag i Ford-logotypen och placera den på en plan yta som en tabell eller ett skrivbord.

Skönhet

Det fantastiska segmentet tar användaren till en GT40-konfigurator som visar GT40 på en roterande piedestal, ungefär som hur en fysisk bil kan visas på en bilvisning. Användaren kan använda olika hjulalternativ, välja mellan olika färgscheman och öppna och stänga dörrar och koffert (eller starta, som de kallar det i Storbritannien). Under hela den fantastiska upplevelsen kan användaren hämta bilen och fritt ändra den för en närmare titt.

Animerad GIF av GT40-konfiguratorn som körs på en enhet

Prestanda

Prestandasegmentet visar gt40-hastigheten och hållbarheten. Voiceover börjar med att beskriva hur bilen utvecklades och gick igenom farten hos Fords Kingman, Arizona, som bevisar en tred-visualisering som visar GT40 i rörelse på testspåret. När introduktionen till prestandasegmentet avslutas uppmanar voiceover användaren att trycka på Le Mans-knappen för att komma till travet.

Animerad GIF av gt40-hastighets- och hållbarhetsappen som körs på en enhet

Den andra delen av prestandasegmentet visar GT40 under olika förhållanden som drivrutiner kan uppleva på 24 timmars Le Mans, som hålls varje år på Circuit de la Sarthe nära Le Mans i Frankrike. En 3D-vy visar bilen i rörelse på Le Mans-spåret, med knappar som gör att bilen går snabbare eller långsammare. Bilder av gt40-talets analoga hastighetsmätare och tachometer-flyttal ovanför vyn för racetrack, med mer telemetri för löpning som visas i bakgrunden. Användaren kan växla mellan dags- och nattvyer och mellan väderförhållanden och väderförhållanden, vilket ger ett realistiskt och verkligt perspektiv på vad Ken Miles och de andra GT40-förarna upplevde i själva loppet.

Teknik

Tekniksegmentet i Ford GT40 Experience visar en av de tekniska innovationer som hjälpte Ford att vinna: möjligheten att ändra rotorer och lägg på mindre än en minut, jämfört med de 20–30 minuter som behövs av alla andra team. Med hjälp av intuitiva gester kan användaren ändra en detaljerad 3D-modell av GT40-hjul- och monteringsmonteringen. För att expandera sammansättningen tar användaren upp en lug-justering, justerar den till mittenlåset på hjulet, sätter den motsols och drar den sedan bort från hjulet. Andra gester används för att ta bort de uttjänta rotorerna och läggen, ersätta dem med nya, komprimera sammansättningen och skicka om mittlåset. I bakgrunden visar en timer förfluten tid så att användaren kan se om de kan slutföra processen lika snabbt som pit-teamet på Le Mans.

Animerad GIF av GT40-teknikupplevelsen som körs på en enhet

Ford GT40 Experience kan laddas ned från Microsoft Store,vilket gör det möjligt för alla med en HoloLens 2 att utforska hur Happy Finish gav ett nytt perspektiv på den klassiska rasbilen.

Få imponerande visuell återgivning

Även om de rumsliga interaktioner som stöds av Ford GT40-upplevelsen är imponerande på egen hand, är kreativiteten och den visuella återgivning som upplevelsen levererar det som verkligen får den att lysa. Tack vare optimeringen av 3D-modeller och användningen av unreal-anpassade skuggare, nå Happy Finish sitt mål på 60 bildrutor per sekund, även om prestandasegmentet i appen närmar sig 315 000 polygoner i storlek.

"Jag är verkligen nöjd med hur vi kunde samla en uppsättning smidiga, intuitiva interaktioner till en sammanhängande och engagerande berättelse", säger Hon. "Unreal Engine på HoloLens 2 öppnar helt klart en ny värld av möjligheter för mer överraskande och spännande upplevelser med mixad verklighet. Okomprometterad visuell återgivning är inte alltid slutmålet för företagsprogram på HoloLens 2, men när det är det blir stödet för Unreal på HoloLens 2 ovärderligt."

Snabb lösningsleverans

Lika imponerande som slutanvändaren Ford GT40 Experience är hur snabbt Happy Finish levererade det, med hela projektet – från förproduktion till slutlig leverans – som slutförts på strax under 12 veckor. Sammanfattningsvis förbrukade projektet 1 088 timmars arbete, uppdelat på följande sätt: creative director (80 timmar), UX-designer (56 timmar), UI-designer (40 timmar), ljuddesigner (40 timmar), 3D/teknisk artist (328 timmar), programvaruutvecklare (408 timmar), teknisk chef (40 timmar), producent (56 timmar) och kvalitetskontroll (40 timmar).

"Generellt kom vi ganska nära våra ursprungliga projektuppskattningar", säger Daniel Cheetham, Chief Innovation Officer på Happy Finish, som leder företagets interaktiva division. "Ford GT40 Experience är ett bevis på att en app med hög återgivning HoloLens 2 kan slutföras på bara några månader, med en liten budget, men ändå ge mycket effektfulla resultat."

Ur ett utvecklingsperspektiv, baserat på hans tidigare erfarenhet av Unreal på HoloLens 2, uppskattar Hon att MRTK för Unreal halvade den totala tid och ansträngning som krävdes av hans del. Han noterar också hur MRTK kan hjälpa utvecklare som aldrig har arbetat med HoloLens 2 att komma igång. "När andra utvecklare säger att de är intresserade av mixad verklighet rekommenderar jag att de bara hoppar in, installerar HoloLens 2-utvecklingsstacken och MRTK och går för det. MRTK gör det enkelt att skapa en app och Unreal-redigeraren för visuella objekt fungerar så bra att du inte ens behöver en HoloLens 2 enhet för att komma igång. Det är inte alls komplicerat – allt fungerar bara."

Potentiella förbättringar av Azure-tjänsten

På flera sätt kan Azures tjänster för mixad verklighet användas för att förbättra Ford GT40-upplevelsen, till exempel att använda Azure Spatial Anchors för att leverera en upplevelse för flera användare som är fäst i den verkliga världen. "Från ett kreativa perspektiv öppnar Azure Spatial Anchors upp en helt ny mängd möjligheter genom möjligheten att mappa, bevara och återställa 3D-innehåll eller platser av intresse i vår fysiska värld", säger han.

På så sätt kan jag också Azure Remote Rendering eller strömma appen från Azure för att uppnå önskade bildfrekvenser samtidigt som du arbetar med mer detaljerade och komplexa 3D-modeller. "Vi var tvungna att implementera några mycket optimerade anpassade skuggare i Unreal för att nå vårt mål på enheten på 60 bildrutor per sekund", förklarar han. "Med Azure Remote Rendering kan vi göra mycket mer – och göra det mycket enklare, utan så mycket arbete som krävs för att optimera polygonmodeller, ompainta strukturkartor och så vidare."

Oändliga nya möjligheter

Så vad är nästa steg för Happy Finish? Fords feedback om Ford GT40-upplevelsen har varit överväldigande positiv, vilket har lett till ytterligare diskussioner mellan Happy Finish och Ford om framtida HoloLens 2 projekt. Utanför relationen med Ford startar Happy Finish redan ett nytt projekt den HoloLens 2, där MRTK för Unreal kommer att vara en grundläggande byggsten för de flesta användarupplevelser.

"Vi har alltid haft en teknikoberoende metod för varje nytt projekt och föreslår den verktygsuppsättning som passar bäst för att hjälpa klienten att uppnå önskade resultat", säger Cheetham. "Med detta sagt har HoloLens 2 blivit den faktiska guldstandarden för mixad verklighet, särskilt inom företaget, som står head-and-stand framför alla andra alternativ vad gäller både enhetsfunktioner och genomgående i det stödjande ekosystemet."

Enligt Cheetham har den globala pandemin gett nytt intresse för avancerad mixad verklighet bland potentiella kunder. "Vi är mer än någonsin, och cirka 50 procent av potentiella klienter är öppna för att diskutera ett alternativ för mixad verklighet", säger han. "Nyckeln är att få andra att prova den. Du kan berätta för dem om mixad verklighet hela dagen, men när du ger dem en HoloLens 2 att uppleva själv får de omedelbart veta hur det kan vara en speländring. Stödet för Unreal Engine i HoloLens 2 ökar bara det värde som vi kan erbjuda, så att vi kan leverera visuellt fantastiska upplevelser som uppfyller även de mest krävande klienterna."

prova!

Kolla in vår introduktion till Mixed Reality utveckling på HoloLens 2 eller MRTK for Unreal på GitHub.