La creación de la experiencia Ford GT40
"Pre-MRTK, el desarrollo para HoloLens 2 con Unreal era un poco tedioso porque todas las interacciones espaciales tenían que codificarse manualmente, en C++. MrTK para Unreal hizo una gran cantidad de esas mismas tareas triviales. Estimaría que se cortaba el tiempo necesario para el prototipo inicial en la mitad". - Jose Rodriguez, desarrollador de software
"La experiencia Ford GT40 es una prueba de que una aplicación HoloLens 2 alta fidelidad se puede completar en tan solo unos meses, con un presupuesto modesto, pero sigue proporcionando resultados altamente impactantes". - Daniel Cheetham, Director de Innovación, Happy Finish
Usando el kit de herramientas de Mixed Reality (MRTK) para Unreal, la empresa de producción creativa Happy Finish entregó una experiencia HoloLens 2 que proporciona una nueva perspectiva sobre el Ford GT40, el legendario coche de carrera que venció a Ferrari en las 24 horas de Le Mans!
Utilizando una gama de interacciones espaciales naturales e intuitivas, los usuarios pueden explorar la belleza, el rendimiento y la ingeniería de GT40, todo ello entregado de una manera que aprovecha la alta fidelidad visual proporcionada por el Unreal Engine. El desarrollo de software para todo el proyecto fue completado por un único desarrollador en menos de tres meses, hecho posible por MRTK para el entorno de diseño y scripting visual de Unreal.
Descargar aplicación de Microsoft Store en HoloLens 2
Si tiene HoloLens 2 dispositivo, puede descargar e instalar directamente la aplicación en el dispositivo.
La pregunta
Happy Finish es una de las principales empresas de producción creativa del mundo, con una base de clientes que incluye, Ford, Microsoft, Nike, Netflix, Vodafone y otros nombres de hogar. La empresa comenzó como una agencia de retoques fotográficos de alto nivel, ramificando en la película y CGI antes de ampliar su dedicación a la excelencia en la narración envolvente con el diseño espacial 3D e interacción.
A mediados de 2020, Microsoft se acercó a Happy Finish para producir una aplicación de demostración que podría ayudar a mostrar las posibilidades habilitadas por el nuevo kit de herramientas de Mixed Reality (MRTK) para Unreal, que se basa en la compatibilidad con HoloLens 2 en la Unreal Engine. En este punto, la empresa ya tenía dos proyectos exitosos de Unreal-on-HoloLens 2 bajo su cinturón. Ambos fueron para una marca de consumidor reconocida globalmente, que eligió a Unreal en HoloLens 2 para una herramienta interna de ventas de R&D/B2B para su alta fidelidad visual, según sea necesario para mostrar mejor los productos de alta gama de ese cliente.
Aunque la propia solución se dejaría hasta Happy Finish, tenía que cumplir algunas directrices clave. En primer lugar, tuvo que centrarse en un escenario empresarial para ilustrar la utilidad de Unreal en HoloLens 2 fuera de la industria de juegos. En segundo lugar, tenía que ser solo para dispositivos, lo que significa que podía servir como demostración independiente, sin necesidad de una conexión de red y una potencia de procesamiento externo para obtener las velocidades de fotogramas de destino y la calidad visual. En tercer lugar, debe combinar la gama de interacciones intuitivas compatibles con MRTK en una experiencia perfecta y natural. Por último, la solución propuesta debe mostrar la fidelidad visual inherente y otras ventajas del propio Unreal Engine, como las eficiencias del sombreador.
Dadas estas directrices, Happy Finish comenzó a intercambiar ideas sobre las posibilidades, llegando a la idea de una experiencia de realidad mixta que usaba la interacción espacial para comunicar el valor de un producto de nombre de marca, de alto valor. Después de considerar una gama de objetos que incluían relojes, cámaras, coches y jets privados, Happy Finish decidió en última instancia el Ford GT40, una leyenda automotriz que alcanzó la notorietía en 1966 cuando Ford venció a Ferrari en las 24 Horas de Le Mans, como se muestra en la película de éxito de 2019 Ford contra Ferrari.
Tras obtener la compra de Ford, un cliente Happy Finish existente, la empresa se estableció para ofrecer una nueva perspectiva sobre el icono clásico de la automoción.
La solución
El trabajo comenzó el 7 de mayo de 2020. Después de obtener los archivos de modelo GT40, un artista 3D pasó tres semanas optimizando modelos de polígono, asignación UV, reintentos mapas de texturas y condensando esos mapas en la menor cantidad de texturas posible. Un artista técnico trabajó en paralelo para realizar pruebas comparativas de la salida del artista 3D, determinar los tamaños de textura óptimos dados velocidades de fotogramas de destino y averiguar la mejor manera de aplicar sombreadores personalizados en Unreal. Todo este trabajo de preproducción se realizó para optimizar la experiencia en el dispositivo.
El director creativo Alex Lambert entró en la imagen después de finalizar el trabajo de preproducción. Comenzó viendo a Ford frente a Ferrari, pensando en cómo entrelazada una narrativa en torno a los escenarios e interacciones. También recopiló referencias visuales para el artista de la interfaz de usuario, como imágenes del panel GT40 y objetos visuales de la pista de carreras de Le Mans, y recopiló grabaciones de audio del GT40 en acción para el diseñador de sonidos.
Con la narrativa definida y optimizada de los recursos de preproducción en mano, el desarrollador de software independiente Jose Rodriguez se inscribió para reunirlo todo. Rodriguez había sido el desarrollador en los dos proyectos anteriores de Unreal-on-HoloLens 2 que Happy Finish había hecho, antes de que se publicara el MRTK para Unreal.
El valor proporcionado por MRTK para Unreal se hizo evidente temprano, ayudando a Rodriguez a entregar un prototipo inicial en una semana. Implementó tres escenarios únicos, uno para cada uno de los aspectos clave del GT40 que Lambert había identificado: su belleza, su rendimiento y su ingeniería. En cada escenario, Rodriguez usó MRTK para integrar los recursos 3D optimizados desde la fase de preproducción en un intervalo de interacciones espaciales.
Con MRTK para Unreal, Rodriguez creó cada escenario con la interfaz de usuario visual Dereal Motion Graphics (UMG) Designer en lugar de tener que implementar todo en C++. UX Tools for Unreal, el complemento que contiene bloques de creación de experiencia de usuario y componentes dentro de MRTK, le dio Unreal Blueprints para la simulación de entrada, interacciones visuales de mano de scripting, botones presionables, manipulación de imágenes 3D, magnetismo de superficie, etc. todo ello dentro de un entorno de diseño sin código, arrastrar y colocar.
"Antes de MRTK, el desarrollo para HoloLens 2 con Unreal era un poco tedioso porque todas las interacciones espaciales tenían que codificarse a mano, en C++", dice Rodriguez. "El MRTK para Unreal hizo una gran cantidad de esas mismas tareas triviales. Estimaría que se cortaba el tiempo necesario para el prototipo inicial en la mitad".
Con un prototipo en mano, el equipo comenzó a realizar iteraciones semanales para refinar la experiencia. "Esto es cuando la característica captura de Mixed Reality y el Portal de dispositivos Windows se convirtieron en realmente útiles", recuerda Lambert. "Los he usado para capturar mis revisiones de diseño, difundir mis comentarios a otros usuarios y colaborar en los cambios. Trabajar de forma aislada como eso habría sido imposible de hacer sin estas herramientas".
A medida que Lambert solicitó cambios, como cambiar la posición de los elementos de la interfaz de usuario o cambiar el comportamiento de un botón, Rodriguez los implementó. Aunque algunos de los cambios requerían pequeños ajustes de código, la mayoría de ellos se controlaron en el diseñador visual de Unreal. "Me sorprendió lo rápido que podía iterar", dice Rodríguez. "No se desperdiciaba tiempo; Realizaría un cambio en el diseñador y, a continuación, presionaría reproducir para verlo inmediatamente en el dispositivo. El MRTK realmente ha simplificado mi trabajo".
Rodríguez también recuerda ser impresionado por cómo estaba listo para producción todas las herramientas de desarrollo. "Hemos progresado sin problemas desde el prototipo inicial hasta la producción final, sin tener que volver a implementar ni volver a implementar ni optimizar las cosas en el código", afirma.
Compilación final
Happy Finish completó la producción de la Experiencia Ford GT40 para HoloLens 2 el 28 de julio de 2020, ofreciendo una nueva perspectiva sobre el legendario coche de carrera. La experiencia comienza con una pantalla de bienvenida y, a continuación, guía al usuario para configurar un anclaje agarrando el logotipo de Ford y colocándolo en una superficie plana como una mesa o escritorio.
Belleza
El segmento de belleza lleva al usuario a un configurador GT40, que muestra el GT40 en un panel giratorio, similar a cómo se puede mostrar un automóvil físico en un espectáculo de automóviles. El usuario puede aplicar diferentes opciones de rueda, elegir entre diferentes combinaciones de colores y abrir y cerrar las puertas y el tronco (o arranque, como lo llaman en el Reino Unido). A lo largo de la experiencia de belleza, el usuario puede recoger el coche y manipularlo libremente para un aspecto más cercano.
Rendimiento
El segmento de rendimiento muestra la velocidad y durabilidad del GT40. La voz comienza describiendo cómo se desarrolló el coche y se puso a través de sus ritmos en el Kingman de Ford, Arizona probando terrenos, con objetos visuales 3D que muestran el GT40 en movimiento en la pista de prueba. Como concluye la introducción al segmento de rendimiento, la voz pide al usuario que "Presione el botón Le Mans para alcanzar el circuito de carreras".
La segunda parte del segmento de rendimiento presenta el GT40 bajo la gama de condiciones que los conductores pueden experimentar en las 24 Horas de Le Mans, que se celebra anualmente en el Circuit de la Sarthe cerca de Le Mans, Francia. Una vista 3D muestra el coche en movimiento en la pista de Le Mans, con botones proporcionados para hacer que el coche vaya más rápido o más lento. Imágenes del speedómetro analógico del GT40 y el tachómetro flotan encima de la vista del circuito de carreras, con más telemetría de carrera mostrada en segundo plano. El usuario puede alternar entre las vistas de día y noche y entre condiciones de conducción secas y húmedas, proporcionando una perspectiva realista y realista de lo que Ken Miles y los otros conductores GT40 experimentaron en la carrera real.
Engineering
El segmento de ingeniería del Ford GT40 Experience presenta una de las innovaciones de ingeniería que ayudó a Ford a ganar la carrera: la capacidad de cambiar los rotores de freno y las almohadillas en menos de un minuto, en comparación con los 20-30 minutos necesarios para todos los demás equipos. Con gestos intuitivos, el usuario puede manipular un modelo 3D detallado de la rueda GT40 y el ensamblaje de frenos. Para expandir el ensamblado, el usuario recoge una llave de lug, la alinea con el bloqueo central en la rueda, la gira en sentido contrario a las agujas del reloj y, a continuación, la extrae de la rueda. Otros gestos se utilizan para quitar los rotores y almohadillas de frenos usados, reemplazarlos por otros nuevos, contraer el ensamblaje y extraer el bloqueo central. En segundo plano, un temporizador muestra el tiempo transcurrido, lo que permite al usuario ver si puede completar el proceso tan rápido como el equipo de pit en Le Mans.
La Experiencia Ford GT40 se puede descargar desde Microsoft Store, lo que permite a cualquier persona con un HoloLens 2 explorar cómo Happy Finish trajo una nueva perspectiva al legendario coche de carrera.
Obtención de una fidelidad visual impresionante
Aunque la gama de interacciones espaciales admitidas por la experiencia Ford GT40 son impresionantes por sí mismas, la creatividad y la fidelidad visual que ofrece la experiencia es lo que realmente hace brillar. A través de su optimización de modelos 3D y el uso de sombreadores personalizados de Unreal, Happy Finish alcanzó su objetivo de 60 fotogramas por segundo, incluso con el segmento de rendimiento de la aplicación que se aproxima a 315 000 polígonos de tamaño.
"Estoy muy contento con cómo pudimos reunir un conjunto de interacciones fluidas e intuitivas en una narrativa coherente y atractiva", afirma Lambert. "Claramente, el poder de Unreal Engine en HoloLens 2 abre un nuevo mundo de oportunidades para experiencias de realidad mixta más sorprendentes y emocionantes. La fidelidad visual no confirmada no siempre es el objetivo final de las aplicaciones empresariales en HoloLens 2, pero cuando es así, la compatibilidad con Unreal en HoloLens 2 se vuelve incalculable".
Entrega rápida de soluciones
Tan impresionante como la experiencia ford GT40 del usuario final es la rapidez con la que Happy Finish lo entregó, con todo el proyecto, desde la preproducción hasta la entrega final, completada en poco menos de 12 semanas. En resumen, el proyecto consumió 1088 horas de esfuerzo, desglosadas de la siguiente manera: director creativo (80 horas), diseñador de experiencia de usuario (56 horas), diseñador de interfaz de usuario (40 horas), diseñador de sonido (40 horas), artista técnico de 3D /technical (328 horas), desarrollador de software (408 horas), director técnico (40 horas), productor (56 horas) y control de calidad (40 horas).
"En general, llegamos bastante cerca de nuestras estimaciones originales del proyecto", dice Daniel Cheetham, director de innovación en Happy Finish, que dirige la división interactiva de la compañía. "La experiencia Ford GT40 es una prueba de que una aplicación HoloLens 2 alta fidelidad se puede completar en tan solo unos meses, con un presupuesto modesto, pero sigue proporcionando resultados altamente impactantes".
Desde una perspectiva de desarrollo, basada en su experiencia anterior con Unreal en HoloLens 2, Rodriguez estima que mrTK para Unreal redujo el tiempo total y el esfuerzo requeridos por su parte en la mitad. También observa cómo MRTK puede ayudar a los desarrolladores que nunca han trabajado con HoloLens 2 empezar. "Cuando otros desarrolladores dicen que están interesados en la realidad mixta, les animo a que simplemente salten, instalen la pila de desarrollo HoloLens 2 y MRTK, y vayan por ella. MRTK hace que la creación de una aplicación sea rápida y sencilla, y el editor visual de Unreal funciona tan bien que ni siquiera necesita un dispositivo HoloLens 2 para empezar. No es complicado, todo funciona."
Posibles mejoras del servicio de Azure
Lambert ve varias maneras de usar los servicios de realidad mixta de Azure para mejorar la experiencia de Ford GT40, como el uso de Azure Spatial Anchors para ofrecer una experiencia multiusuario anclada en el mundo real. "Desde una perspectiva creativa, Azure Spatial Anchors abre una gama completamente nueva de posibilidades a través de la capacidad que proporcionan para asignar, conservar y restaurar contenido 3D o puntos de interés dentro de nuestro mundo físico", dice.
Lambert también prevé cómo Azure Remote Rendering o el streaming de la aplicación desde Azure podrían usarse para lograr velocidades de fotograma deseadas mientras se trabaja con modelos 3D más detallados y complejos. "Tuvimos que implementar algunos sombreadores personalizados altamente optimizados en Unreal para alcanzar nuestro objetivo en el dispositivo de 60 fotogramas por segundo", explica. "Con Azure Remote Rendering, podríamos hacer mucho más, y hacerlo mucho más fácilmente, sin tanto trabajo necesario para optimizar los modelos de polígono, volver a pintar mapas de texturas, etc."
Infinitas nuevas posibilidades
¿Qué es lo siguiente para Happy Finish? Los comentarios de Ford sobre la experiencia de Ford GT40 han sido abrumadoramente positivos, lo que ha llevado a más discusiones entre Happy Finish y Ford en proyectos de HoloLens 2 futuros. Fuera de su relación con Ford, Happy Finish ya está iniciando un nuevo proyecto en HoloLens 2, donde MRTK para Unreal será un bloque de creación fundamental para la mayoría de la experiencia del usuario.
"Siempre hemos mantenido un enfoque independiente de la tecnología para cada nuevo proyecto, proponiendo el conjunto de herramientas más adecuado para ayudar al cliente a lograr los resultados deseados", afirma Cheetham. "Dicho esto, HoloLens 2 ha surgido como el estándar de oro de facto para la realidad mixta, especialmente en la empresa, la cabeza y los hombros por encima de todas las demás opciones en términos de funcionalidades de dispositivo y la generalizadoidad del ecosistema de apoyo".
Según Cheetham, la pandemia mundial ha impulsado un enorme interés por la realidad mixta envolvente entre los clientes potenciales. "Estamos más ocupados que nunca, con aproximadamente el 50 por ciento de clientes potenciales abiertos para discutir una opción de realidad mixta", dice. "La clave es conseguir que la gente lo pruebe. Puedes contarles sobre la realidad mixta todo el día, pero cuando les entregas un HoloLens 2 para experimentar por sí mismos, obtienen inmediatamente cómo puede ser un cambio de juego. La compatibilidad con Unreal Engine en HoloLens 2 solo aumenta el valor que podemos ofrecer, lo que nos permite ofrecer experiencias visualmente impresionantes que están seguros de satisfacer incluso a los clientes más exigentes".
Pruébalo.
Consulte nuestra introducción al desarrollo de Mixed Reality en HoloLens 2 o MRTK para Unreal en GitHub.