Pensar de manera diferente para Mixed Reality

Cuando Microsoft lanzó el HoloLens (1.ª generación) a desarrolladores diligentes en 2016, el equipo ya se había asociado con estudios dentro y fuera de Microsoft para crear las experiencias de lanzamiento del dispositivo. Estos equipos aprendieron con la práctica y la búsqueda de oportunidades y retos en el nuevo campo del diseño de realidad mixta.

Hemos convertido sus métodos e información en un plan de estudios que enseñamos a los nuevos desarrolladores en nuestra Mixed Reality Academy. El plan de estudios incluye talleres de diseño de una semana que ofrecemos a nuestros asociados empresariales.

A continuación se muestra una instantánea de todo lo que hemos aprendido para ayudar a nuestros asociados empresariales a preparar sus equipos para el desarrollo de realidad mixta. Aunque muchos de estos métodos se han dirigido originalmente HoloLens desarrollo, la comunicación y la comunicación en 3D son fundamentales para todo el espectro de experiencias de realidad mixta.

Pensar espacialmente durante el proceso de diseño

Cualquier proceso de diseño o marco de diseño está pensado para iterar el pensamiento: para abordar un problema en general, compartir ideas con otros de forma eficaz, evaluar esas ideas y llegar a una solución. Hoy en día, tenemos métodos de diseño y desarrollo bien establecidos para crear experiencias en equipos de escritorio, teléfonos y tabletas. Teams expectativas claras de lo que es necesario para iterar una idea y convertirla en un producto para los usuarios.

Teams a menudo se componen de una combinación de desarrollo, diseño, investigación y administración. Todos los roles deben participar en el proceso de diseño. La barrera de entrada para contribuir a una idea de una aplicación móvil es tan sencilla como dibujar un rectángulo para la pantalla del dispositivo. Mientras tanto, el boceto de elementos de la interfaz de usuario con cuadros y líneas es suficiente para establecer requisitos técnicos o definir el comportamiento potencial del usuario.

Con la realidad mixta, el proceso de diseño 2D tradicional comienza a dividirse. El boceto en 3D es difícil para la mayoría de las personas y el uso de herramientas 2D como lápiz y papel o pizarras a menudo puede limitar las ideas a esas dimensiones. Mientras tanto, las herramientas 3D, creadas para juegos o ingeniería, requieren un alto grado de habilidad para sacar rápidamente ideas. La falta de herramientas ligeras se suma a la incertidumbre técnica inherente a los nuevos dispositivos, donde todavía se establecen métodos de interacción fundamentales. Estos desafíos pueden limitar potencialmente las contribuciones de diseño a los miembros del equipo con experiencia en desarrollo 3D, lo que reduce drásticamente la capacidad del equipo para iteración.

Teams durante un taller en la Mixed Reality Academy
Teams del programa Mixed Reality asociados en nuestro taller

Cuando trabajamos con asociados externos, escuchamos historias de equipos que esperan a que el desarrollador finalice el prototipo antes de poder continuar con su proceso de diseño. El resto del equipo podría no realizar ningún progreso significativo en el producto. Los desarrolladores terminan con toda la responsabilidad de resolver la implementación técnica y la experiencia del usuario, ya que intentan poner una idea aproximada en el código.

Técnicas para expandir el proceso de diseño

Nuestros equipos de Microsoft tienen un conjunto de técnicas para incluir de forma más eficaz a su equipo y recorrer en iteración rápidamente problemas de diseño complejos. Aunque no es un proceso formal, estas técnicas están diseñadas para complementar en lugar de reemplazar el flujo de trabajo. Estos métodos permiten a los miembros del equipo sin aptitudes 3D especializadas ofrecer ideas antes de entrar en la fase de creación de prototipos. Diferentes roles y materias pueden formar parte del proceso de diseño, no solo diseñadores 3D y desarrolladores. La desvelación de oportunidades y la identificación de posibles desafíos pueden producirse más adelante en el desarrollo.

Técnicas para el proceso de diseño

Generación de ideas con lluvia de cuerpos

Hacer que el equipo piense en los eventos que se producen en el mundo real, más allá del mundo tradicional de los dispositivos 2D, es clave para desarrollar experiencias innovadoras de realidad mixta. En Microsoft, hemos encontrado los mejores resultados fomentando la interacción con las propiedades físicas en un espacio real. Con materiales de creación sencillos y baratos, creamos propiedades físicas para representar objetos digitales, interfaces de usuario y animaciones en una experiencia propuesta. Esta técnica se denomina bodystorming y ha sido un elemento básico de la ideación del producto en el diseño industrial durante décadas.

Teams con materiales enla galería de Mixed RealityAcademy Simple, suministros de arte baratos usados en la lluvia de cuerpos

Las propiedades físicas y simples nivelan el campo de juego de los participantes, lo que permite a las personas con distintos conjuntos de aptitudes y conocimientos aportar ideas y descubrir oportunidades inherentes a las experiencias de realidad mixta en lugar de bloquearse en el pensamiento 2D. Aunque la creación de prototipos técnicos o la creación de guiones gráficos de alta fidelidad requieren un desarrollador o un intérprete en 3D cualificados, unas cuantas bolas de estilófoba y técnica pueden ser suficientes para mostrar cómo se puede desarrollar una interfaz en el espacio físico. Estas técnicas se aplican al desarrollo de realidad mixta con HoloLens y los cascos envolventes. Por ejemplo, un conjunto de conectores de fibra podría ilustrar aproximadamente el tamaño de los hologramas que aparecen en una experiencia de HoloLens o como propiedades para actuar sobre elementos interactuables o diseños de movimiento en un mundo virtual.

Bodystorming es una técnica que se usa para generar rápidamente ideas y evaluar ideas demasiado nebulosas para el prototipo. En Microsoft, la lluvia de cuerpos se usa normalmente para idear rápidamente una idea. También puede ayudar a hospedar una sesión más detallada si implica a partes interesadas externas que no están familiarizados con el desarrollo de realidad mixta o necesitan crear escenarios amplios. Recuerde que el propósito de la lluvia de cuerpos es idear de forma rápida y eficaz animando a los participantes a pensar espacialmente. Las ilustraciones detalladas o las medidas precisas no son importantes en esta fase. Los objetos físicos solo necesitan cumplir los requisitos mínimos para explorar o comunicar una idea. No se espera que las ideas que se presentan a través de la lluvia de cuerpos se puedan comprobar por completo, pero el proceso puede ayudar a reducir las posibilidades para probar más adelante durante la fase de creación de prototipos en el dispositivo. Por lo tanto, la lluvia de cuerpos no reemplaza la creación de prototipos técnicos, sino que compensa la carga de resolver los desafíos técnicos y de diseño durante la fase de creación de prototipos.

Comentarios de expertos y actores

Después del proceso de lluvia de cuerpo de la ideación con objetos físicos en el mundo real, el siguiente paso consiste en recorrer una experiencia con estos objetos. Llamamos a esta fase del proceso que actúa y a menudo implica el almacenamiento provisional de cómo se movería un usuario a través de la experiencia o una interacción específica.

Teams un escenario durante un taller en la Mixed Reality Academy
Teams un escenario durante un taller

Actuar con propiedades físicas permite a los participantes experimentar la perspectiva del usuario, al tiempo que permite a los observadores externos ver cómo se reproducen los eventos. Se trata de un momento ideal para incluir un público más amplio de miembros del equipo o partes interesadas que pueden proporcionar comentarios específicos de expertos. Por ejemplo, si va a explorar una experiencia de realidad mixta diseñada para hospitales, la representación de las ideas ante un profesional médico puede proporcionar comentarios valiosos. Otro ejemplo es cuando puede tener un desafío específico que está intentando comprender, como el audio espacial o el presupuesto de la calidad de los recursos frente al rendimiento. En estos casos, actuar proporciona a los expertos un concepto rápido y aproximado de cómo podría desarrollarse la experiencia, sin necesidad de un prototipo basado en dispositivos.

Este tipo de interpretación no está formalizada, sin necesidad de traer actores profesionales, pero en situaciones en las que queremos compartir el pensamiento con otros que no están presentes, grabaremos en vídeo una "escena" de interacción o incluiremos un dibujante de guion gráfico para observar y dibujar momentos clave. Actuar también puede ser una actividad ligera, a menudo sucede in situ durante la fase de lluvia corporal. Decidir qué método usar depende de la audiencia y de la fidelidad necesaria para solicitar el tipo adecuado de comentarios. En última instancia, se reduce a cualquier cosa que capture de forma más eficaz el pensamiento del equipo.

Captura de ideas con guiones gráficos

El mejor método para transmitir las ideas y conceptos de la experiencia propuesta depende de la audiencia prevista y del tipo de comentarios que requiera la siguiente iteración. Al presentar nuevas ideas a los miembros del equipo, las recreaciones de baja fidelidad de la lluvia de cuerpos pueden ser suficientes para poner a alguien al día. Al presentar los conceptos de su experiencia a nuevas partes interesadas o usuarios potenciales, el mejor método suele ser el guion gráfico. El guión gráfico es una técnica común al sector del entretenimiento, que se encuentra en segundo plano en el desarrollo de películas y juegos de vídeo. La técnica ayuda a transmitir tanto el flujo general de una experiencia (con baja fidelidad) como la apariencia y la sensación (con fidelidades altas). Al igual que con la creación de prototipos, comprender las necesidades de fidelidad del guión gráfico es clave para recopilar los comentarios correctos y evitar discusiones contraproducentes.

Ejemplo de guión gráfico de baja fidelidad
Ejemplo de guión gráfico de baja fidelidad

Los guiones gráficos de baja fidelidad son la fidelidad adecuada para discusiones rápidas, especialmente cuando se transmiten ideas de alto nivel. Pueden ser tan simples como los dibujos con forma de palo y las formas primitivas para denotar elementos virtuales en una escena o la proximidad de componentes interactivos (físicos y virtuales). Aunque son útiles dada la facilidad relativa y la barrera de aptitud baja que hay que ejecutar, recuerde la lección de bodystorming: Not everyone can see 2D depictions of an experience and understand the 3D implications( No todo el mundo puede ver representaciones en 2D de una experiencia y comprender las implicaciones 3D).

Ejemplo de un guión gráfico de alta fidelidad
Ejemplo de un guión gráfico de alta fidelidad

Los guiones gráficos de alta fidelidad son una herramienta eficaz a la hora de incorporar nuevas partes interesadas o de combinar información de una sesión de lluvia de cuerpos con la dirección tica propuesta de su experiencia. Los guiones gráficos pueden crear paneles de estados de ánimo para ilustrar la apariencia final de una experiencia virtual y capturar momentos clave que pueden ser fundamentales para el producto final. Tenga en cuenta que los guiones gráficos de alta fidelidad a menudo requieren un intérprete, especialmente uno insertado en el equipo, que pueda capturar ideas difíciles de describir. En Microsoft, hemos agregado dibujantes de guiones gráficos, a menudo con experiencia en el desarrollo de juegos, a nuestros equipos de realidad mixta que asisten a reuniones preparadas para capturar rápidamente los bocetos que más adelante se expandirán en simulaciones de mayor fidelidad. Estas personas trabajan en estrecha colaboración con los técnicos, lo que ayuda a transmitir la dirección de los recursos usados en la experiencia final.

Proceso de diseño

Nuestro proceso de hoy comienza con pizarras y notas rápidas y se expande a la acción y la lluvia física del cuerpo. A continuación, traducimos ese pensamiento en guiones gráficos y algo que llamamos "Concepto de una línea" (la frase de alto nivel que describe lo que estamos haciendo) antes de pasar a la creación de prototipos y recursos. Nuestro trabajo de diseño suele ser físico antes de entrar en la fase de desarrollo.

Flujo de proceso de diseño 1
Proceso de diseño general

El proceso de diseño es desordenado y cada equipo es diferente. Sin embargo, métodos como bodystorming, acting y storyboarding pueden ayudar a mitigar las dificultades en la iteración.

Flujo de proceso de diseño 2
En realidad, sus fases iterativas continuas

Expansión de las aptitudes del equipo

La modificación del proceso para adaptarse mejor a las experiencias de realidad mixta depende de la conexión más estrecha de los roles técnicos y de diseño. Al trabajar con asociados de Microsoft, hemos visto que varios equipos han pasado correctamente al desarrollo en 3D y encontramos que la mayor ventaja procede de los miembros del equipo que han salido de su zona de confort y han desarrollado aptitudes que les proporcionan más implicación a lo largo del proceso de desarrollo (no solo limitando sus aptitudes al diseño o desarrollo).

Los comentarios y la iteración son clave para cualquier diseño correcto y, con experiencias de realidad mixta, este tipo de comentarios a menudo sesga a conceptos más técnicos, especialmente dada la falta relativa de tecnología y herramientas de la realidad mixta. La creación de las aptitudes del equipo de diseño en áreas técnicas, incluidas las aptitudes con herramientas como Unity o Unreal, ayuda a esas personas a comprender mejor el enfoque de los desarrolladores y a proporcionar comentarios más eficaces durante la creación de prototipos. De forma similar, los desarrolladores que entienden los conceptos fundamentales de experiencias de realidad mixta (y posibles problemas de diseño) pueden ayudarles a ofrecer información de implementación durante las primeras fases del planeamiento.

Normalmente, los asociados que trabajan en realidad mixta suelen recibir preguntas sobre cómo hacer crecer mejor su equipo y sus conjuntos de aptitudes con herramientas 3D. Se trata de una pregunta difícil de responder dada la situación del sector, ya que los equipos se enfrentan a la creación de experiencias de mañana con las herramientas de ayer. Muchos equipos están recopilando personas con experiencia en juegos y entretenimiento, donde el desarrollo en 3D ha sido un elemento básico durante décadas. Teams están animando a sus equipos existentes a que elijan herramientas como Unity y el software de modelado 3D. Aunque ambas son necesidades esenciales para satisfacer la línea de base de las experiencias de realidad mixta hoy en día, es probable que haya un gran número de herramientas y aptitudes especializadas para ayudar a crear aplicaciones de primer nivel para el futuro.

El campo del diseño de realidad mixta siempre cambia, con más atención a los datos y los servicios en la nube en las experiencias holográficas. Esta próxima generación de experiencias aprovechará el procesamiento avanzado de lenguaje natural y la visión informática en tiempo real, y escenarios más inherentemente sociales dentro de las experiencias inmersivas. Por ejemplo, las experiencias en realidad virtual permiten a los diseñadores crear entornos y espacios imaginarias, lo que requiere un conjunto de aptitudes más parecido a la arquitectura o la creatividad en lugar del diseño de interfaz tradicional. O bien, puede considerar experiencias en el mundo real con HoloLens, donde los casos de uso suelen implicar campos altamente especializados, como la ingeniería, la ingeniería o la fabricación, donde entornos específicos y datos en tiempo real son elementos esenciales de la experiencia. Trabajar entre roles, usar conocimientos especializados y de diseño, y tener la disposición de aprender nuevas herramientas es una habilidad valiosa para los equipos que trabajan en realidad mixta.

Ayudar a su equipo a explorar la realidad mixta de forma rápida y eficaz

En los primeros días de HoloLens, estas técnicas salió por necesidad, ya que el hardware del prototipo inicial del dispositivo demostraba ser un formato menos que ideal para iterar rápidamente por las ideas de diseño. Los métodos de interacción, incluida la interfaz de usuario fundamental en el sistema operativo, se exploraron con lluvia de cuerpos, mientras que la acción ayudó a nuestro equipo de facilidad de uso a comprender los comportamientos fundamentales de los usuarios para escenarios en el área de trabajo. Al final, el equipo estableció una base de referencia sólida para la experiencia de usuario principal de HoloLens, que comunica conceptos entre roles de equipo y permite que el desarrollo del sistema operativo se mueva rápidamente en paralelo con el desarrollo de hardware.

Materiales del taller en Mixed Reality Academy

Tanto si se trata de lluvia de cuerpos, de acción, de revisión con expertos o de guiones gráficos, estas técnicas están diseñadas para ahorrarle tiempo y esfuerzo. Aunque todavía estamos muy en los primeros días del desarrollo de HoloLens y de la realidad virtual, la expansión del proceso de diseño para la realidad mixta ayudará a su equipo a dedicar su energía a explorar nuevos y complejos problemas de diseño en lugar de superar las dificultades para comunicar ideas.

Lista de ejemplos de suministros de taller

Los sencillos suministros de arte proporcionan a los miembros del equipo las herramientas necesarias para explicar ideas sin conocimientos avanzados. Este es un ejemplo de lo que nuestro equipo usa habitualmente durante la lluvia de cuerpos:

  • Discos de Styrofoam
  • Cubos de Styrofoam
  • Conos detyrofoam
  • Esferas detyrofoam
  • Cuadros de cuadros de cuadros de cuadros
  • Dowels indeseados
  • Sticks de Lollipop
  • Cartulina
  • Tazas de papel
  • Cinta de cinta de cinta
  • Cinta de enmascaramiento
  • Tijeras
  • Clips
  • Presentación de fijaciones
  • Posterior a su
  • Guita
  • Lápices
  • Sharpies

Siguiente punto de comprobación de detección

Enhorabuena, ha completado el núcleo del recorrido Mixed Reality de detección. Puede ver cómo los asociadosdel sector usan Mixed Reality ,explorar el HoloLens o iniciar sus recorridos de diseño o desarrollo: