Vytváření prostředí Ford GT40
"Pre-MRTK, vývoj pro HoloLens 2 pomocí Unreal byl trochu zdlouhavý, protože všechny prostorové interakce musely být kódovány ručně v C++. MRTK pro Unreal udělal spoustu stejných úkolů triviální. Odhadl bych, že se zkrátila doba potřebná pro počáteční prototyp na polovinu." - Jose Rodriguez, vývojář softwaru
"Ford GT40 Experience je důkazem, že vysoce věrná HoloLens 2 aplikace může být dokončena během několika měsíců, se skromným rozpočtem, ale přesto přináší velmi působivé výsledky." - Daniel Cheetham, ředitel pro inovace, Happy Finish
Pomocí sady Mixed Reality Toolkit (MRTK) pro Unreal, kreativní produkční společnost Happy Finish přinesla HoloLens 2 prostředí, které poskytuje nový pohled na Ford GT40, legendární závodní vůz, který porazil Ferrari na 24 hodin Le Mans!
Pomocí celé řady přirozených a intuitivních prostorových interakcí mohou uživatelé prozkoumat krásu, výkon a inženýrství GT40 – to vše způsobem, který využívá vysokou vizuální věrnost poskytovanou Unreal Engine. Vývoj softwaru pro celý projekt dokončil jeden vývojář za méně než tři měsíce, který umožnil MRTK pro prostředí vizuálního skriptování a návrhu společnosti Unreal.
Stažení aplikace z Microsoft Storu v HoloLens 2
Pokud máte HoloLens 2 zařízení, můžete si aplikaci přímo stáhnout a nainstalovat do zařízení.
Dotaz
Happy Finish je jednou z předních světových kreativních produkčních společností s klientskou základnou, mezi které patří Ford, Microsoft, Nike, Netflix, Vodafone a další názvy domácností. Společnost začala jako špičková foto-retušovací agentura, větvení na film a CGI, než rozšířila své odhodlání k dokonalosti v imerzivním vyprávění s 3D prostorovým designem a interakcí.
V polovině roku 2020 microsoft oslovil happy finish a vytvořil ukázkovou aplikaci, která by mohla pomoct ukázat možnosti, které nabízí nová sada Mixed Reality Toolkit (MRTK) pro Unreal, která staví na podpoře HoloLens 2 v Unreal Engine. V tomto okamžiku už společnost měla pod sebou dva úspěšné projekty Unreal-on-HoloLens 2. Obě byly pro globálně známou spotřebitelskou značku, která si vybrala Unreal na HoloLens 2 pro interní nástroj prodeje R&D/B2B pro jeho vysokou vizuální věrnost, jak je vyžadováno k tomu, aby co nejlépe předváděli vlastní high-endové produkty tohoto klienta.
I když by samotné řešení bylo ponecháno na happy finish, muselo splňovat několik klíčových pokynů. Nejprve se musel zaměřit na podnikový scénář, aby ilustroval užitečnost Unreal na HoloLens 2 mimo herní průmysl. Za druhé, muselo to být jen pro zařízení, což znamená, že může sloužit jako samostatná ukázka – bez nutnosti připojení k síti a externího výpočetního výkonu, aby bylo možné získat cílové snímkové frekvence a vizuální kvalitu. Za třetí, měl by kombinovat řadu intuitivních interakcí podporovaných MRTK do bezproblémového a přirozeného prostředí. Navrhované řešení by také mělo ukázat základní vizuální věrnost a další výhody samotného Unreal Engine, jako je například efektivita shaderu.
Vzhledem k těmto pokynům, Happy Finish začal debatovat o možnostech, přichází s nápadem pro prostředí hybridní reality, který používá prostorovou interakci ke sdělení hodnoty značky a vysoce hodnotného produktu. Po zvážení řady objektů, které zahrnovaly hodinky, kamery, auta a soukromé trysky, Happy Finish se nakonec rozhodl pro Ford GT40, automobilové legendy, která dosáhla věhlas v roce 1966, když Ford porazil Ferrari na 24 hodin Le Mans - jak je vidět v trháku 2019 Film Ford vs. Ferrari.
Po získání buy-inu od Fordu, stávajícího klienta Happy Finish, se společnost snaží poskytnout nový pohled na klasickou ikonu automobilového průmyslu.
Řešení
Práce začala 7. května 2020. Po získání souborů modelů GT40 strávil 3D umělec tři týdny optimalizací mnohoúhelníkových modelů, UV mapováním, překreslením map textur a zhuštěním těchto map do co nejméně textur. Technický umělec pracoval paralelně na srovnávacím testu výstupu 3D interpreta, určení optimálních velikostí textur vzhledem k cílovým snímkovým frekvencím a k určení nejlepšího způsobu použití vlastních shaderů v Unrealu. Všechny tyto předprodukční práce byly provedeny za účelem optimalizace prostředí na zařízení.
Kreativní ředitel Alex Lambert vstoupil na obrázek po dokončení předprodukční práce. Začal sledováním Fordu vs. Ferrari a přemýšlel o tom, jak spojit příběh kolem scénářů a interakcí. Shromáždil také vizuální reference pro umělce uživatelského rozhraní, jako jsou obrázky řídicího panelu GT40 a vizuály závodní dráhy Le Mans, a shromáždil zvukové záznamy GT40 v akci pro zvukového návrháře.
S narativem definovaným a optimalizovaným předprodukčním majetkem v ruce byl naverbován nezávislý softwarový vývojář Jose Rodriguez, aby to všechno spojil dohromady. Rodriguez byl vývojářem na předchozích dvou projektech Unreal-on-HoloLens 2, které happy finish udělal, před vydáním MRTK pro Unreal.
Hodnota, kterou poskytuje MRTK pro Unreal, se projevila hned na začátku, což Rodriguezovi pomohlo dodat první prototyp za týden. Implementoval tři jedinečné scénáře, jeden pro každý z klíčových aspektů GT40, které Lambert identifikoval: jeho krásu, výkon a jeho inženýrství. Pro každý scénář rodriguez použil sadu MRTK k integraci optimalizovaných 3D prostředků z předprodukční fáze do řady prostorových interakcí.
S MRTK pro Unreal rodriguez vytvořil každý scénář pomocí vizuálního uživatelského rozhraní Unreal Motion Graphics (UMG) Designer místo toho, aby musel implementovat všechno v C++. UX Tools for Unreal, modul plug-in obsahující stavební bloky a komponenty uživatelského rozhraní v MRTK, mu dal Unreal Blueprints pro simulaci vstupu, vizuální skriptování ručních interakcí, stisknutelná tlačítka, manipulaci s 3D obrázky, povrchový magnetismus a další – to vše v prostředí návrhu bez kódu a přetažení.
"Pre-MRTK, vývoj pro HoloLens 2 pomocí Unreal byl trochu zdlouhavý, protože všechny prostorové interakce musely být kódovány ručně v C++," říká Rodriguez. "MRTK pro Unreal udělal spoustu stejných úkolů triviální. Odhadl bych, že se zkrátila doba potřebná pro počáteční prototyp na polovinu."
S prototypem v ruce tým zahájil týdenní iterace, aby vylepšil prostředí. "Tehdy se funkce Mixed Reality Capture a Portál zařízení s Windows staly opravdu užitečnými," vzpomíná Lambert. "Použil(a) jsem je k zachycení recenzí návrhu, k vysílání zpětné vazby ostatním a ke spolupráci na změnách. Taková izolovaná práce by bez takových nástrojů nebyla možná."
Vzhledem k tomu, že Lambert požadoval změny, jako je změna umístění prvků uživatelského rozhraní nebo změna chování tlačítka, Rodriguez je implementoval. I když některé změny vyžadovaly drobné úpravy kódu, většina z nich byla zpracována v návrháři vizuálů Unreal. "Byl jsem překvapen, jak rychle jsem mohl iterovat," říká Rodriguez. "Žádný čas nebyl promarněný; Udělal(a) bych změnu v návrháři a stisknutím klávesy Play ji okamžitě zobrazil na zařízení. MRTK mi opravdu zjednodušil práci."
Rodriguez také připomíná, že byl ohromen tím, jak byly všechny vývojové nástroje připravené pro produkční prostředí. "Postupovali jsme hladce od počátečního prototypu až po finální výrobu, aniž bychom se museli vrátit a znovu provést nebo optimalizovat věci v kódu," říká.
Poslední sestavení
Happy Finish dokončil výrobu fordu GT40 Experience pro HoloLens 2 28. července 2020 a přináší tak nový pohled na legendární závodní vůz. Prostředí začíná úvodní obrazovkou, která pak uživatele přivádí k nastavení ukotvení tím, že vezme logo Fordu a umístí ho na rovnou plochu, jako je stůl nebo plocha.
Krása
Segment krásy přivádí uživatele ke konfigurátoru GT40, který zobrazuje GT40 na rotujícím podstavci podobně jako fyzické auto na automobilové show. Uživatel může použít různé možnosti kolečka, vybírat z různých barevných schémat a otevírat a zavírat dveře a kufr (nebo boty, jak se říká ve Velké Británii). V průběhu krásy, uživatel může vyzvednout auto a volně manipulovat s ním pro bližší pohled.
Výkon
Segment výkonu ukazuje rychlost a odolnost GT40. Voiceover začíná popisem toho, jak bylo auto vyvinuto a prošel jeho tempy na důkazech Ford Kingman v Arizoně, přičemž 3D vizuály ukazují GT40 v pohybu na testovacím okruhu. Na závěr úvod do výkonnostního segmentu voiceover vyzve uživatele k stisknutí tlačítka Le Mans, aby se dostal na závodní okruh.
Druhá část výkonnostního segmentu představuje GT40 v rozsahu podmínek, které mohou jezdci zažít na 24 hodin Le Mans, který se koná každoročně na Okruhu de la Sarthe poblíž Le Mans ve Francii. Ve 3D zobrazení se zobrazuje auto v pohybu na trati Le Mans s tlačítky, která vám pomůžou zrychlit nebo zpomalit auto. Obrázky analogového tachometru a tachometru GT40 se vznáší nad zobrazením závodní dráhy a na pozadí se zobrazují další telemetrické údaje o závodech. Uživatel může přepínat mezi denním a nočním zobrazením a mezi suchými a mokrými jízdními podmínkami, což poskytuje realistický a realistický pohled na to, co Ken Miles a ostatní jezdci GT40 zažili ve skutečném závodu.
Inženýrství
Technický segment fordu GT40 Experience představuje jednu z technických inovací, které pomohly Fordu vyhrát závod: schopnost měnit brzdové rotory a destičky za méně než minutu ve srovnání s 20-30 minutami potřebnými všemi ostatními týmy. Pomocí intuitivních gest může uživatel manipulovat s podrobným 3D modelem kola GT40 a brzdové sestavy. Chcete-li rozšířit sestavu, uživatel zvedne lug klíč, zarovná ho na středový zámek na kolečku, otočí ho proti směru hodinových ručiček a pak ho odtáhne od kolečka. Další gesta se používají k odstranění opotřebovaných brzdových rotorů a destiček, jejich nahrazení novými, sbalit sestavu a znovu zabezpečit středový zámek. Časovač na pozadí zobrazuje uplynulý čas a umožňuje uživateli zjistit, jestli může proces dokončit stejně rychle jako posádka v boxech v Le Mans.
Ford GT40 Experience si můžete stáhnout z Microsoft Storu, což umožňuje každému, kdo má HoloLens 2, prozkoumat, jak Happy Finish přinesl nový pohled na legendární závodní auto.
Získání působivé vizuální věrnosti
I když je rozsah prostorových interakcí podporovaných fordem GT40 Experience sám o sobě působivý, díky kreativitě a vizuální věrnosti, kterou prostředí přináší, je to, co ji skutečně zářilo. Díky optimalizaci 3D modelů a použití vlastních shaderů Unreal dosáhl Happy Finish cíle 60 snímků za sekundu, i když se výkonový segment aplikace blíží 315 000 mnohoúhelníku.
"Jsem opravdu šťastný, jak jsme dokázali spojit sadu plynulých, intuitivních interakcí do koherentního a poutavého vyprávění," říká Lambert. "Je zřejmé, že síla Unreal Engine na HoloLens 2 otevírá nový svět příležitostí pro překvapivější a vzrušující prostředí hybridní reality. Nekompromisní vizuální věrnost není vždy konečným cílem pro podnikové aplikace na HoloLens 2, ale když je, podpora Unreal na HoloLens 2 se stává neocenitelným."
Rychlé doručování řešení
Stejně působivé jako prostředí Ford GT40 pro koncového uživatele je, jak rychle ho Happy Finish doručil a celý projekt – od předprodukce až po konečné dodání – dokončil za pouhých 12 týdnů. Stručně řečeno, projekt spotřeboval 1 088 hodin úsilí, které bylo rozděleno takto: kreativní ředitel (80 hodin), návrhář uživatelského rozhraní (56 hodin), návrhář uživatelského rozhraní (40 hodin), zvukový návrhář (40 hodin), 3D/technický umělec (328 hodin), vývojář softwaru (408 hodin), technický ředitel (40 hodin), producent (56 hodin) a zajištění kvality (40 hodin).
"Celkově jsme se dost přiblížili původním odhadům projektu," říká Daniel Cheetham, ředitel inovací společnosti Happy Finish, který stojí v čele interaktivní divize společnosti. "Ford GT40 Experience je důkazem, že vysoce věrná HoloLens 2 aplikace může být dokončena během několika měsíců, se skromným rozpočtem, ale přesto přináší velmi působivé výsledky."
Z pohledu vývoje rodriguez na základě svých předchozích zkušeností s Unreal on HoloLens 2 odhaduje, že MRTK pro Unreal zkrátil celkovou dobu a úsilí potřebné z jeho strany na polovinu. Také si všímá, jak může MRTK pomoct vývojářům, kteří nikdy nepracovali s HoloLens 2 začít. "Když jiní vývojáři říkají, že je zajímá hybridní realita, doporučuji jim, aby se do toho pustí, nainstalovali HoloLens 2 vývojový stack a MRTK a šli do toho. MRTK umožňuje rychle a jednoduše sestavit aplikaci a editor vizuálů Unreal funguje tak dobře, že ani nepotřebujete HoloLens 2 zařízení, abyste mohli začít. Není to vůbec složité, všechno prostě funguje."
Potenciální vylepšení služeb Azure
Lambert vidí několik způsobů, jak by se služby hybridní reality Azure daly využít k vylepšení prostředí Fordu GT40, například použití Azure Spatial Anchors k poskytování víceuživatelného prostředí ukotveného v reálném světě. "Z kreativního hlediska otevírá Azure Spatial Anchors zcela novou škálu možností díky schopnosti mapovat, uchovávat a obnovovat 3D obsah nebo body zájmu v rámci našeho fyzického světa," říká.
Lambert také předvídá, jak je možné použít azure Remote Rendering nebo streamování aplikace z Azure k dosažení požadovaných snímkových frekvencí při práci s podrobnějšími a složitějšími 3D modely. "Museli jsme implementovat některé vysoce optimalizované vlastní shadery v Unreal, abychom dosáhli cíle v zařízení 60 snímků za sekundu," vysvětluje. "S Azure Remote Rendering bychom toho mohli udělat mnohem víc a mnohem snadněji, aniž by bylo potřeba tolik práce na optimalizaci mnohoúhelníkových modelů, překreslení texturových map a tak dále."
Nekonečné nové možnosti
Takže co bude dál s Happy Finish? Zpětná vazba Fordu na zkušenosti s FordEM GT40 byla velmi pozitivní, což vede k dalším diskuzím mezi Happy Finish a Fordem o budoucích HoloLens 2 projektech. Mimo svůj vztah s Fordem už Happy Finish spouští nový projekt na HoloLens 2, kde mrtk pro Unreal bude základním stavebním blokem pro většinu uživatelského prostředí.
"Ke každému novému projektu jsme vždy udržovali přístup nezávislý na technologiích a navrhli jsme, která sada nástrojů je nejvhodnější k tomu, aby klientovi pomohla dosáhnout požadovaných výsledků," říká Cheetham. "To znamená, že HoloLens 2 se vynořil jako de facto zlatý standard pro hybridní realitu, zejména v podniku, stojí nad všemi ostatními možnostmi, pokud jde o možnosti zařízení a všudypřítomnost podpůrného ekosystému."
Podle Cheethama globální pandemie vyvolala mezi potenciálními zákazníky obrovský zájem o imerzivní hybridní realitu. "Jsme vytíženější než kdy dřív, a asi 50 procent potenciálních klientů je otevřeno diskutovat o hybridní realitě," říká. "Klíčem je dostat lidi, aby to vyzkoušeli. Můžete jim říct o hybridní realitě celý den, ale když jim předáte HoloLens 2, aby si to mohli vyzkoušet, okamžitě zjistí, jak to může být změna hry. Podpora Unreal Engine v HoloLens 2 pouze zvyšuje hodnotu, kterou můžeme nabídnout, a umožňuje nám poskytovat vizuálně působivé prostředí, které jistě uspokojí i ty nejnáročnější klienty."
Určitě to udělejte!
Podívejte se na náš úvod k vývoji Mixed Reality na HoloLens 2 nebo MRTK pro Unreal na GitHubu.