A criação da experiência Ford GT40
"O pré-MRTK, desenvolver para HoloLens 2 utilizar o Unreal foi um pouco entediante porque todas as interações espaciais tiveram de ser codificadas manualmente, em C++. O MRTK for Unreal tornou muitas dessas mesmas tarefas triviais. Calculo que reduza o tempo necessário para o protótipo inicial ao meio." - José Rodriguez, Programador de Software
"A Experiência Ford GT40 é a prova de que uma aplicação de alta fidelidade HoloLens 2 pode ser concluída em apenas alguns meses, com um orçamento modesto, mas ainda assim fornecer resultados altamente impactantes." - Daniel Cheetham, Diretor de Inovação, Happy Finish
Utilizando o Mixed Reality Toolkit (MRTK) for Unreal, a produtora criativa Happy Finish proporcionou uma experiência HoloLens 2 que proporciona uma nova perspetiva sobre o Ford GT40, o lendário carro de corrida que venceu a Ferrari nas 24 Horas de Le Mans!
Com uma variedade de interações espaciais naturais e intuitivas, os utilizadores podem explorar a beleza, o desempenho e a engenharia do GT40— tudo proporcionado de uma forma que tira partido da alta fidelidade visual proporcionada pelo Unreal Engine. O desenvolvimento de software para todo o projeto foi concluído por um único programador em menos de três meses, possibilitado pelo MRTK para o ambiente de criação e scripting visual da Unreal.
Transferir a aplicação da Microsoft Store no HoloLens 2
Se tiver HoloLens 2 dispositivo, pode transferir e instalar diretamente a aplicação no seu dispositivo.
O pedido
Happy Finish é uma das principais empresas de produção criativa do mundo, com uma base de clientes que inclui, Ford, Microsoft, Nike, Netflix, Vodafone e outros nomes domésticos. A empresa começou como uma agência de retoques fotográficos de alta qualidade, ramificando-se no cinema e no CGI antes de estender a sua dedicação à excelência na narrativa imersiva com design espacial 3D e interação.
Em meados de 2020, a Microsoft abordou o Happy Finish para produzir uma aplicação de demonstração que poderia ajudar a mostrar as possibilidades ativadas pelo novo Mixed Reality Toolkit (MRTK) para Unreal, que se baseia no suporte para HoloLens 2 no Unreal Engine. Neste momento, a empresa já tinha dois projectos unreal-on-HoloLens 2 bem sucedidos sob o seu cinto. Ambos foram para uma marca de consumidor reconhecida globalmente, que escolheu Unreal on HoloLens 2 para uma ferramenta de vendas R&D/B2B interna para a sua alta fidelidade visual, conforme necessário para melhor mostrar os produtos de alta gama do próprio cliente.
Embora a solução em si fosse deixada à posição Happy Finish, tinha de cumprir algumas diretrizes-chave. Primeiro, teve de se concentrar num cenário empresarial para ilustrar a utilidade da Unreal na HoloLens 2 fora da indústria dos jogos. Em segundo lugar, tinha de ser apenas dispositivo, o que significa que poderia servir como uma demonstração autónoma— sem exigir uma ligação de rede e poder de processamento externo para obter as taxas de fotogramas de destino e a qualidade visual. Em terceiro lugar, deve misturar a gama de interações intuitivas suportadas pelo MRTK numa experiência natural e totalmente integrada. Por fim, a solução proposta deve mostrar a fidelidade visual inerente e outros benefícios do próprio Unreal Engine, como eficiências de sombreado.
Tendo em conta estas diretrizes, Happy Finish começou a debater as possibilidades, chegando à ideia de uma experiência de realidade mista que utilizava a interação espacial para comunicar o valor de um produto de marca e de alto valor. Depois de considerar uma série de objetos que incluíam relógios, câmaras, carros e jactos privados, Happy Finish acabou por decidir sobre o Ford GT40, uma lenda automóvel que alcançou notoriedade em 1966 quando a Ford venceu a Ferrari nas 24 Horas de Le Mans, como mostrado no filme de blockbuster Ford vs. Ferrari de 2019.
Ao obter a compra da Ford, um cliente Happy Finish existente, a empresa propôs-se fornecer uma nova perspetiva sobre o ícone clássico do automóvel.
A solução
A obra começou a 7 de maio de 2020. Depois de obter os ficheiros de modelo GT40, um artista 3D passou três semanas a otimizar modelos de polígonos, mapeamento UV, repintar mapas de textura e condensar esses mapas no menor número possível de texturas. Um técnico trabalhou em paralelo para avaliar a saída do artista 3D, determinar tamanhos de textura ideais com as taxas de fotogramas de destino e descobrir a melhor forma de aplicar sombreados personalizados em Unreal. Todo este trabalho de pré-produção foi feito para otimizar a experiência no dispositivo.
O director criativo Alex Lambert entrou na imagem depois de terminar o trabalho de pré-produção. Começou por ver Ford vs Ferrari, pensando em como tecer juntos uma narrativa em torno dos cenários e interações. Também recolheu referências visuais para o artista da IU, como imagens do dashboard gt40 e elementos visuais da pista de corridas de Le Mans, e recolheu gravações de áudio do GT40 em ação para o designer de som.
Com a narrativa definida e otimizada os recursos de pré-produção na mão, o programador de software freelancer José Rodriguez foi recrutado para juntar tudo. Rodriguez tinha sido o desenvolvedor nos dois projetos unreal-on-HoloLens 2 anteriores que Happy Finish tinha feito, antes do MRTK for Unreal ter sido lançado.
O valor fornecido pelo MRTK for Unreal tornou-se evidente no início, ajudando Rodriguez a entregar um protótipo inicial numa semana. Implementou três cenários únicos, um para cada um dos principais aspectos do GT40 que Lambert identificou: a sua beleza, o seu desempenho e a sua engenharia. Para cada cenário, Rodriguez utilizou o MRTK para integrar os recursos 3D otimizados da fase de pré-produção numa série de interações espaciais.
Com o MRTK for Unreal, Rodriguez construiu cada cenário com a IU visual Unreal Motion Graphics (UMG) Designer em vez de ter de implementar tudo em C++. O UX Tools for Unreal, o plug-in que contém componentes e blocos modulares da UX no MRTK, deu-lhe Esquemas Irreais para simulação de entrada, scripting visual de interações manuais, botões premidos, manipulação de imagens 3D, magnetismo de superfície e muito mais — tudo num ambiente de design sem código, arrastar e largar.
"Pré-MRTK, desenvolver para HoloLens 2 usando Unreal foi um pouco entediante porque todas as interações espaciais tiveram que ser codificadas manualmente, em C++", diz Rodriguez. "O MRTK para Unreal tornou muitas dessas mesmas tarefas triviais. Calculo que reduza o tempo necessário para o protótipo inicial ao meio."
Com um protótipo na mão, a equipa iniciou iterações semanais para refinar a experiência. "Foi quando a funcionalidade captura de Mixed Reality e o Portal do Dispositivo Windows se tornaram realmente úteis", recorda Lambert. "Usei-os para capturar as minhas críticas de design, difundir os meus comentários para outras pessoas e colaborar em alterações. Trabalhar isoladamente assim teria sido impossível de fazer sem tais ferramentas."
À medida que Lambert pedia alterações, como reposicionar elementos da IU ou alterar o comportamento de um botão, Rodriguez implementou-os. Embora algumas das alterações exigissem pequenos ajustes de código, a maioria delas eram processadas no estruturador visual Unreal. "Fiquei surpreendido com a rapidez com que consegui iterar", diz Rodriguez. "Nenhum tempo foi desperdiçado; Faria uma alteração no estruturador e, em seguida, premiria play para vê-lo imediatamente no dispositivo. O MRTK realmente dinamizou o meu trabalho."
Rodriguez também recorda estar impressionado com a forma como todas as ferramentas de desenvolvimento estavam prontas para produção. "Progredimos sem problemas desde o protótipo inicial até à produção final, sem ter de voltar e reimplementar ou otimizar as coisas em código", diz.
A compilação final
Happy Finish concluiu a produção da Ford GT40 Experience para HoloLens 2 em 28 de julho de 2020, oferecendo uma nova perspetiva sobre o lendário carro de corrida. A experiência começa com um ecrã de boas-vindas e, em seguida, guia o utilizador a configurar uma âncora agarrando o logótipo da Ford e colocando-o numa superfície plana como uma mesa ou ambiente de trabalho.
Beleza
O segmento de beleza leva o utilizador a um configurador GT40, que apresenta o GT40 num pedestal rotativo, semelhante à forma como um carro físico pode ser exibido numa exposição automóvel. O utilizador pode aplicar diferentes opções de roda, escolher entre diferentes esquemas de cores e abrir e fechar as portas e o tronco (ou arranque, como lhe chamam no Reino Unido). Ao longo da experiência de beleza, o utilizador pode pegar no carro e manipulá-lo livremente para um olhar mais atento.
Desempenho
O segmento de desempenho mostra a velocidade e durabilidade do GT40. O voiceover começa por descrever como o carro foi desenvolvido e colocado através dos seus ritmos em Ford's Kingman, Arizona provando terrenos, com elementos visuais 3D mostrando o GT40 em movimento na pista de teste. À medida que a introdução ao segmento de desempenho termina, o voiceover pede ao utilizador para "Premir o botão Le Mans para aceder à pista de corrida".
A segunda parte do segmento de desempenho mostra o GT40 sob a gama de condições que os condutores podem experimentar nas 24 Horas de Le Mans, que é realizada anualmente no Circuito de la Sarthe perto de Le Mans, França. Uma vista 3D mostra o carro em movimento na pista de Le Mans, com botões fornecidos para fazer o carro ir mais rápido ou mais lento. Imagens do velocímetro analógico do GT40 e do tachometer flutuam acima da vista de pista de corrida, com mais telemetria de corrida apresentada em segundo plano. O utilizador pode alternar entre as vistas de dia e de noite e entre as condições de condução secas e molhadas, proporcionando uma perspectiva realista e realista do que Ken Miles e os outros pilotos GT40 experimentaram na corrida real.
Engenharia
O segmento de engenharia da Experiência Ford GT40 mostra uma das inovações de engenharia que ajudaram a Ford a vencer a corrida: a capacidade de mudar rotores e almofadas de travão em menos de um minuto, em comparação com os 20-30 minutos necessários por todas as outras equipas. Com gestos intuitivos, o utilizador pode manipular um modelo 3D detalhado da roda GT40 e da montagem do travão. Para expandir a assemblagem, o utilizador apanha uma chave inglesa, alinha-a com o bloqueio central na roda, vira-a para a esquerda e, em seguida, afasta-a da roda. Outros gestos são utilizados para remover os rotores e as almofadas do travão usados, substituí-los por novos, fechar a montagem e voltar a proteger o bloqueio central. Em segundo plano, um temporizador apresenta o tempo decorrido, permitindo ao utilizador ver se consegue concluir o processo tão rapidamente como a equipa das boxes em Le Mans.
A Experiência Ford GT40 pode ser transferida a partir da Microsoft Store, permitindo que qualquer pessoa com um HoloLens 2 explore como Happy Finish trouxe uma nova perspetiva para o lendário carro de corrida.
Obter uma fidelidade visual impressionante
Embora a gama de interações espaciais suportadas pela Experiência Ford GT40 seja impressionante por si só, a criatividade e fidelidade visual que a experiência proporciona é o que realmente a faz brilhar. Através da otimização dos modelos 3D e da utilização de sombreados personalizados Irreais, o Happy Finish atingiu o seu objetivo de 60 fotogramas por segundo, mesmo com o segmento de desempenho da aplicação a aproximar-se dos 315.000 polígonos de tamanho.
"Estou muito feliz com a forma como conseguimos reunir um conjunto de interações fluidas e intuitivas numa narrativa coerente e envolvente", diz Lambert. "Claramente, o poder do Unreal Engine no HoloLens 2 abre um novo mundo de oportunidades para experiências de realidade mista mais surpreendentes e emocionantes. A fidelidade visual não comprometida nem sempre é o objetivo final das aplicações empresariais no HoloLens 2, mas quando está, o suporte para o Unreal on HoloLens 2 torna-se inestimável."
Entrega rápida de soluções
Tão impressionante como o utilizador final Ford GT40 Experience é a rapidez com que o Happy Finish o entregou, com todo o projeto , desde a pré-produção até à entrega final, concluído em pouco menos de 12 semanas. Em resumo, o projeto consumiu 1088 horas de esforço, dividido da seguinte forma: diretor criativo (80 horas), designer de UX (56 horas), designer de IU (40 horas), designer de som (40 horas), artista técnico/3D (328 horas), programador de software (408 horas), diretor técnico (40 horas), produtor (56 horas) e garantia de qualidade (40 horas).
"No geral, estivemos muito perto das nossas estimativas originais do projeto", diz Daniel Cheetham, Chief Innovation Officer da Happy Finish, que lidera a divisão interativa da empresa. "A Experiência Ford GT40 é a prova de que uma aplicação de alta fidelidade HoloLens 2 pode ser concluída em apenas alguns meses, com um orçamento modesto, mas ainda assim fornecer resultados altamente impactantes."
Do ponto de vista do desenvolvimento, com base na sua experiência anterior com a Unreal on HoloLens 2, Rodriguez estima que o MRTK for Unreal cortou o tempo total e o esforço necessários da sua parte para metade. Ele também nota como o MRTK pode ajudar os programadores que nunca trabalharam com HoloLens 2 começar. "Quando outros programadores dizem que estão interessados na realidade mista, encorajo-os a entrar, instalar a pilha de desenvolvimento HoloLens 2 e o MRTK, e ir em frente. O MRTK torna a criação de uma aplicação rápida e fácil e o editor de elementos visuais Unreal funciona tão bem que nem precisa de um dispositivo HoloLens 2 para começar. Não é nada complicado— tudo funciona.".
Potenciais melhoramentos do serviço do Azure
Lambert vê várias formas de os serviços de realidade mista do Azure poderem ser utilizados para melhorar a Experiência Ford GT40, como utilizar o Azure Spatial Anchors para proporcionar uma experiência multiutilizador ancorada no mundo real. "Do ponto de vista criativo, o Azure Spatial Anchors abre uma gama inteiramente nova de possibilidades através da capacidade que proporcionam para mapear, persistir e restaurar conteúdos 3D ou pontos de interesse no nosso mundo físico", diz.
Lambert também prevê como o Azure Remote Rendering ou a transmissão em fluxo da aplicação a partir do Azure pode ser utilizada para alcançar as taxas de fotogramas pretendidas enquanto trabalha com modelos 3D mais detalhados e complexos. "Tivemos de implementar alguns sombreados personalizados altamente otimizados no Unreal para atingir o nosso objetivo no dispositivo de 60 fotogramas por segundo", explica. "Com o Azure Remote Rendering, poderíamos fazer muito mais — e fazê-lo muito mais facilmente, sem o trabalho necessário para otimizar modelos de polígonos, repaintar mapas de textura, etc.."
Novas possibilidades infinitas
Então, o que vem a seguir para Happy Finish? O feedback da Ford sobre a experiência Ford GT40 tem sido esmagadoramente positivo, levando a novas discussões entre Happy Finish e Ford sobre futuros projetos HoloLens 2. Fora da sua relação com a Ford, a Happy Finish já está a iniciar um novo projeto no HoloLens 2, onde o MRTK for Unreal será um bloco modular fundamental para a maioria da experiência do utilizador.
"Sempre mantêmos uma abordagem agnóstica em termos tecnológicos para cada novo projeto, propondo o conjunto de ferramentas mais adequado para ajudar o cliente a alcançar os resultados desejados", diz Cheetham. "Dito isto, HoloLens 2 emergiu como o padrão de ouro de facto para a realidade mista, especialmente na empresa, de pé de cabeça e ombros acima de todas as outras opções em termos de capacidades do dispositivo e da pervasividade do ecossistema de apoio."
De acordo com Cheetham, a pandemia global tem alimentado imensos novos interesses na realidade mista imersiva entre potenciais clientes. "Estamos mais ocupados do que nunca, com cerca de 50% dos potenciais clientes abertos a discutir uma opção de realidade mista", diz. "A chave é fazer com que as pessoas tentem. Podes contar-lhes sobre a realidade mista o dia todo, mas quando lhes dás um HoloLens 2 para experimentarem por si mesmos, eles imediatamente obtêm como pode ser uma mudança de jogo. O suporte para o Unreal Engine no HoloLens 2 apenas aumenta o valor que podemos oferecer, permitindo-nos proporcionar experiências visualmente impressionantes que certamente satisfaçam até os clientes mais exigentes."
Experimente!
Veja a nossa introdução ao desenvolvimento de Mixed Reality no HoloLens 2 ou mrtk para Unreal no GitHub.