Pensar de forma diferente para a Realidade Mista

Quando a Microsoft lançou o HoloLens (1º género) para os programadores ansiosos em 2016, a equipa já tinha feito uma parceria com estúdios dentro e fora da Microsoft para construir as experiências de lançamento do dispositivo. Estas equipas aprenderam a fazer, encontrando oportunidades e desafios no novo campo do design de realidade mista.

Transformámos os seus métodos e insights num currículo que ensinamos a novos desenvolvedores na nossa Academia de Realidade Mista. O currículo inclui workshops de design de uma semana que oferecemos aos nossos parceiros empresariais.

Abaixo está uma imagem de tudo o que aprendemos para ajudar os nossos parceiros empresariais a preparar as suas equipas para o desenvolvimento da realidade mista. Embora muitos destes métodos inicialmente direcionados HoloLens desenvolvimento, a imaginação e a comunicação em 3D são cruciais para todo o espectro de experiências de realidade mista.

Pensar espacialmente durante o processo de design

Qualquer processo de design ou enquadramento de design destina-se a iterar o pensamento: Abordar um problema em geral, partilhar ideias com outros de forma eficaz, avaliar essas ideias e chegar a uma solução. Hoje, dispomos de métodos de design e desenvolvimento bem estabelecidos para construir experiências em desktops, telefones e tablets. Teams têm expectativas claras do que é necessário para iteração de uma ideia e transformá-la num produto para os utilizadores.

Teams são muitas vezes compostas por uma mistura de desenvolvimento, design, pesquisa e gestão. Todas as funções devem participar no processo de design. A barreira à entrada para contribuir com uma ideia para uma aplicação móvel é tão simples como desenhar um retângulo para o ecrã do dispositivo. Enquanto isso, desenhar elementos de UI com caixas e linhas é suficiente para estabelecer requisitos técnicos ou definir o comportamento potencial do utilizador.

Com a realidade mista, o processo de design 2D tradicional começa a decompor-se. O esboço em 3D é difícil para a maioria das pessoas, e usar ferramentas 2D como caneta e papel ou quadros brancos, pode muitas vezes limitar ideias a essas dimensões. Enquanto isso, ferramentas 3D, construídas para jogos ou engenharia, requerem um alto grau de habilidade para fortalecer rapidamente as ideias. A falta de ferramentas leves é agravada pela incerteza técnica inerente aos novos dispositivos, onde ainda estão a ser estabelecidos métodos de interação fundamental. Estes desafios podem potencialmente limitar as contribuições de design para membros da equipa com fundos de desenvolvimento 3D - reduzindo drasticamente a capacidade de iteração da equipa.

Teams a trabalhar durante um workshop na Academia de Realidade Mista
Teams do Programa Parceiro de Realidade Mista no nosso workshop

Quando trabalhamos com parceiros externos, ouvimos histórias de equipas à espera que o desenvolvedor termine o protótipo antes que possam continuar o seu processo de design. O resto da equipa está potencialmente impedida de fazer progressos significativos no produto. Os desenvolvedores acabam por ter toda a responsabilidade de resolver tanto a implementação técnica como a experiência do utilizador, uma vez que tentam colocar uma ideia áspera em código.

Técnicas para expandir o processo de design

As nossas equipas na Microsoft têm um conjunto de técnicas para incluir mais eficazmente a sua equipa e iterar rapidamente através de problemas complexos de design. Embora não seja um processo formal, estas técnicas destinam-se a complementar em vez de substituir o seu fluxo de trabalho. Estes métodos permitem aos membros da equipa sem competências 3D especializadas oferecer ideias antes de mergulhar na fase de prototipagem. Diferentes papéis e disciplinas podem fazer parte do processo de design, não apenas designers 3D, e desenvolvedores. Desvendar oportunidades e identificar possíveis desafios pode ocorrer mais tarde no desenvolvimento.

Técnicas para o processo de design

Gerar ideias com bodystorming

Fazer com que a sua equipa pense em eventos que ocorram no mundo real, para além do mundo tradicional de dispositivos 2D, é fundamental para desenvolver experiências de realidade mista inovadoras. Na Microsoft, encontramos os melhores resultados encorajando a interação com adereços físicos num espaço real. Utilizando materiais de artesanato simples e baratos construímos adereços físicos para representar objetos digitais, interfaces de utilizador e animações numa experiência proposta. Esta técnica chama-se bodystorming e tem sido um fundamento de ideação de produto dentro do design industrial durante décadas.

Teams trabalhar com materiais na Academia de Realidade MistaSimples, material de arte barato usado em bodystorming

Adereços físicos simples nivelam o campo de jogo para os participantes, permitindo que indivíduos com diferentes habilidades e origens contribuam com ideias e descubram oportunidades inerentes a experiências de realidade mista em vez de serem presos ao pensamento 2D. Enquanto prototipagem técnica ou storyboarding de alta fidelidade requer um desenvolvedor ou artista 3D habilidoso, algumas bolas de esferovite e cartão podem ser suficientes para mostrar como uma interface pode desenrolar-se no espaço físico. Estas técnicas aplicam-se tanto ao desenvolvimento da realidade mista com HoloLens e auscultadores imersivos. Por exemplo, um conjunto de conectores de plástico pode ilustrar aproximadamente o tamanho dos hologramas que aparecem numa experiência HoloLens ou como adereços para atuar em elementos interagiáveis ou desenhos de movimento num mundo virtual.

Bodystorming é uma técnica usada para gerar rapidamente ideias e avaliar ideias que são demasiado nebulosas para protótipo. Na Microsoft, bodystorming é mais comumente usado para vetar rapidamente uma ideia. Também pode ajudar a organizar uma sessão mais aprofundada se envolver partes interessadas externas que não estejam familiarizadas com o desenvolvimento da realidade mista ou precisem de destilar cenários amplos. Lembre-se que o objetivo do bodystorming é idealar de forma rápida e eficiente, encorajando os participantes a pensar espacialmente. Obras de arte detalhadas ou medidas precisas não são importantes nesta fase. Os adereços físicos só precisam de cumprir os requisitos mínimos para explorar ou comunicar uma ideia. Não se espera que as ideias apresentadas através do bodystorming sejam totalmente examinadas, mas o processo pode ajudar a reduzir as possibilidades de teste mais tarde durante a fase de prototipagem no dispositivo. Como tal, o bodystorming não substitui a prototipagem técnica, mas compensa o fardo de resolver desafios técnicos e de design durante a fase de prototipagem.

Feedback de atuação e perito

Seguindo o processo de brainstorming de ideação com objetos físicos no mundo real, o próximo passo é percorrer uma experiência com estes objetos. Chamamos a esta fase do processo de atuação e muitas vezes envolve encenar como um utilizador se move através da experiência ou uma interação específica.

Teams a representar um cenário durante um workshop na Academia de Realidade Mista
Teams a representar um cenário durante um workshop

Atuar com adereços físicos permite que os participantes experimentem a perspetiva do utilizador, ao mesmo tempo que permitem que observadores externos vejam como os eventos se desem. Este apresenta um momento ideal para incluir um público mais vasto de membros da equipa ou partes interessadas que podem fornecer feedback específico de "expert". Por exemplo, se estiver a explorar uma experiência de realidade mista concebida para hospitais, agir em conformidade com o seu pensamento sobre um profissional médico pode fornecer comentários inestimáveis. Outro exemplo é quando pode ter um desafio específico que está a tentar compreender, como áudio espacial ou orçamento para a qualidade dos ativos vs. desempenho. Nestes casos, a atuação dá aos especialistas um conceito rápido e áspero de como a experiência pode desenrolar-se, sem a necessidade de um protótipo baseado em dispositivos.

Este tipo de atuação não é formalizada, sem necessidade de trazer talento profissional, mas em situações em que queremos partilhar o pensamento com outros que não estão presentes, vamos gravar em vídeo uma 'cena' de interação ou incluir um artista de storyboard para observar e esboçar momentos-chave. A atuação também pode ser uma atividade leve, muitas vezes acontecendo in situ durante a fase de bodystorming. Decidir qual o método a utilizar depende do público e da fidelidade necessária para suscitar o tipo adequado de feedback. Em última análise, resume-se ao que mais eficazmente capturará o pensamento da sua equipa.

Captar ideias com storyboards

O melhor método para transmitir as ideias e conceitos da sua experiência proposta depende do seu público pretendido, e o tipo de feedback que a sua próxima iteração requer. Ao apresentar novas ideias aos membros da equipa, as reconstituições de baixa fidelidade de bodystorming podem ser suficientes para pôr alguém a par. Ao introduzir os conceitos da sua experiência em novos stakeholders ou potenciais utilizadores, o melhor método é muitas vezes o storyboarding. Storyboarding é uma técnica comum à indústria do entretenimento, encontrada nos bastidores em filmes e desenvolvimento de videojogos. A técnica ajuda a transmitir tanto o fluxo global de uma experiência (com baixas fidelidades) como o olhar e a sensação estética (em altas fidelidades). Tal como acontece com os protótipos, compreender as necessidades de fidelidade do seu storyboard é fundamental para reunir o feedback certo e evitar discussões contraproducentes.

Exemplo de um storyboard de baixa fidelidade
Exemplo de um storyboard de baixa fidelidade

Os storyboards de baixa fidelidade são a fidelidade certa para discussões rápidas, especialmente quando transmitem ideias de alto nível. Estes podem ser tão simples como desenhos de figuras de vara e formas primitivas para denotar elementos virtuais numa cena ou a proximidade de componentes interativos (tanto físicos como virtuais). Embora estes sejam úteis dada a relativa facilidade e baixa barreira de habilidades para executar, lembre-se da lição de bodystorming: Nem todos podem ver representações 2D de uma experiência e entender as implicações 3D.

Exemplo de um storyboard de alta fidelidade
Exemplo de um storyboard de alta fidelidade

Os storyboards de alta fidelidade são uma ferramenta poderosa ao trazer novos stakeholders ou combinar insights de uma sessão de bodystorming com a direção estética proposta da sua experiência. Os storyboards podem construir placas de humor para ilustrar a aparência final de uma experiência virtual, e capturar momentos-chave que podem ser fundamentais para o produto final. Tenha em mente que os storyboards de alta fidelidade muitas vezes requerem um artista, especialmente um incorporado dentro da equipa, que pode capturar ideias difíceis de descrever. Na Microsoft, adicionámos artistas de storyboard, muitas vezes com origens no desenvolvimento de jogos, às nossas equipas de realidade mista que assistem a reuniões preparadas para capturar rapidamente esboços que serão posteriormente expandidos para maquetes de maior fidelidade. Estes indivíduos trabalham em estreita colaboração com artistas técnicos, ajudando a transmitir a direção artística dos ativos utilizados na experiência final.

Processo de design

O nosso processo de hoje começa com o quadro e notas pegajosas e expande-se para bodystorming e atuação físicas. Em seguida, traduzimos esse pensamento em storyboards e algo a que chamamos um "Conceito de Uma Linha" (a frase de alto nível que descreve o que estamos a fazer) antes de passar para a criação de protótipos e ativos. O nosso trabalho de design é muitas vezes físico antes de entrarmos na fase de desenvolvimento.

Fluxo de processo de design 1
Processo de design geral

O processo de design é complicado e cada equipa é diferente. No entanto, métodos como bodystorming, acting e storyboarding podem ajudar a aliviar as dificuldades na iteração.

Fluxo de processo de design 2
Na realidade, as suas fases iterativas contínuas

Expandir as competências da sua equipa

Alterar o seu processo para melhor acomodar experiências de realidade mista depende de uma ligação mais estreita das funções técnicas e de design. Trabalhando com parceiros na Microsoft, vimos várias equipas com sucesso a transição para o desenvolvimento 3D, e descobrimos que a maior vantagem vem dos membros da equipa que saem da sua zona de conforto e desenvolvem competências que lhes dão mais envolvimento ao longo do processo de desenvolvimento (não limitando apenas as suas competências ao design ou desenvolvimento).

O feedback e a iteração são fundamentais para qualquer design bem sucedido, e com experiências de realidade mista, este tipo de feedback muitas vezes se inclina para conceitos mais técnicos, especialmente dada a relativa produção da tecnologia e ferramentas da realidade mista. Construir as habilidades da sua equipa de design em áreas técnicas, incluindo habilidades com ferramentas como Unidade ou Irreal, ajuda esses indivíduos a entender melhor a abordagem dos desenvolvedores e fornecer feedback mais eficaz durante a prototipagem. Da mesma forma, os desenvolvedores que compreendem os conceitos fundamentais de experiências de realidade mista (e potenciais armadilhas de design) podem ajudá-los a oferecer insights de implementação durante as primeiras fases do planeamento.

Normalmente recebemos perguntas de parceiros que trabalham em realidade mista sobre a melhor forma de crescer a sua equipa e habilidades com ferramentas 3D. Esta é uma pergunta difícil de responder dado o estado da indústria, uma vez que as equipas são confrontadas com a construção das experiências de amanhã com as ferramentas de ontem. Muitas equipas estão a reunir indivíduos com formação em jogos e entretenimento, onde o desenvolvimento 3D tem sido um agrafo durante décadas. Teams também estão a encorajar as suas equipas existentes a recolher ferramentas como o Unity e o software de modelação 3D. Embora ambas sejam necessidades essenciais para satisfazer a linha de base das experiências de realidade mista de hoje, provavelmente haverá um grande número de ferramentas e competências especializadas para ajudar a construir as aplicações inovadoras de amanhã.

O campo do design de realidade mista está sempre a mudar, com maior foco nos dados e serviços em nuvem em experiências holográficas. Esta próxima geração de experiências tirará partido do processamento avançado da linguagem natural e da visão computacional em tempo real, e de cenários mais inerentemente sociais dentro de experiências imersivas. Por exemplo, as experiências na realidade virtual permitem aos designers construir ambientes e espaços imaginativos, requerendo um conjunto de habilidades mais semelhante à arquitetura ou psicologia do que ao design de interface tradicional. Ou pode considerar experiências no mundo real com HoloLens, onde os casos de uso envolvem frequentemente áreas altamente especializadas como medicina, engenharia ou fabrico, onde ambientes específicos e dados em tempo real são elementos essenciais da experiência. Trabalhar em todos os papéis, utilizando o design e o conhecimento especializado, e ter vontade de aprender novas ferramentas são habilidades inestimáveis para equipas que trabalham em realidade mista.

Ajudar a sua equipa a explorar a realidade mista de forma rápida e eficaz

Nos primeiros dias de HoloLens, estas técnicas surgiram por necessidade, uma vez que o primeiro protótipo do dispositivo provou ser um formato menos do que ideal para iterar rapidamente através de ideias de design. Os métodos de interação, incluindo a UI fundamental no sistema operativo, foram explorados com bodystorming, enquanto a atuação ajudou a nossa equipa de usabilidade a compreender comportamentos fundamentais do utilizador para cenários no local de trabalho. No final, a equipa estabeleceu uma base forte para o HoloLens core UX, comunicando conceitos entre as funções de equipa e permitindo que o desenvolvimento do SO se mova rapidamente em paralelo com o desenvolvimento de hardware.

Materiais de workshop na Academia de Realidade Mista

Quer se trate de bodystorming, de atuação, de revisão com especialistas, ou de storyboarding, estas técnicas destinam-se a poupar-lhe tempo e esforço. Embora ainda estejamos muito nos primeiros dias do desenvolvimento da HoloLens e da realidade virtual, expandir o seu processo de design para a realidade mista ajudará a sua equipa a gastar a sua energia a explorar novos e desafiantes problemas de design em vez de superar dificuldades em comunicar ideias.

Lista de amostras de fornecimentos de oficinas

Os materiais de arte simples fornecem aos membros da equipa as ferramentas necessárias para explicar ideias sem quaisquer habilidades artísticas avançadas. Aqui está uma amostra do que a nossa equipa usa comumente durante o bodystorming:

  • Discos de esferovite
  • Cubos de esferovite
  • Cones de esferovite
  • Esferas de esferovite
  • Caixas de cartão
  • Cavilhas de madeira
  • Palitos de chupa-chupa
  • Cardstock
  • Copos de papel
  • Fita adesiva
  • Fita adesiva
  • Scissors
  • Clipes de papel
  • Pinças de arquivo
  • Pós-Its
  • Fio
  • Lápis
  • Afiados

Próximo Ponto de Verificação de Descobertas

Parabéns, completaste o núcleo da jornada de descoberta da Realidade Mista! Você pode ver como os parceiros da indústria estão usando a Realidade Mista,explore a HoloLens,ou inicie suas viagens de design ou desenvolvimento: