Estudo de caso – Meu primeiro ano na equipe de design do HoloLens

Minha jornada de uma terra plana 2D para o mundo 3D começou quando entrei para a equipe de design do HoloLens em janeiro de 2016. Antes de ingressar na equipe, eu tinha muito pouca experiência em design 3D. Era como o provérbio chinês sobre uma viagem de mil milhas começando com um único passo, exceto no meu caso que o primeiro passo foi um salto!

Dando o salto de 2D para 3D

"Senti como se tivesse pulado no banco do motorista sem saber como dirigir o carro. Eu estava sobrecarregado e assustado, mas muito focado.
— Hae Jin Lee

Durante o ano passado, eu peguei habilidades e conhecimento o mais rápido que pude, mas ainda tenho muito a aprender. Aqui, escrevi quatro observações com um tutorial em vídeo documentando minha transição de um designer de interação 2D para 3D. Espero que minha experiência inspire outros designers a dar o salto para 3D.

Quadro de adeus. Olá, interface do usuário espacial/diegetic

Sempre que eu projetava cartazes, revistas, sites ou telas de aplicativo, um quadro definido (geralmente um retângulo) era uma constante para todos os problemas. A menos que você esteja lendo esta postagem em um HoloLens ou em outro dispositivo VR, você está olhando para isso de fora até a tela 2D protegida com segurança dentro de um quadro. O conteúdo é externo a você. No entanto, Realidade Misturada headset elimina o quadro, portanto, você está dentro do espaço de conteúdo, olhando e andando pelo conteúdo de dentro para fora.

Entendi isso conceitualmente, mas no início cometi o erro de simplesmente transferir o pensamento 2D para o espaço 3D. Isso obviamente não funcionou bem porque o espaço 3D tem suas próprias propriedades exclusivas, como uma alteração de exibição (com base no movimento da cabeça do usuário) e requisitos diferentes de conforto do usuário (com base nas propriedades dos dispositivos e dos humanos que os usam). Por exemplo, em um espaço de design de interface do usuário 2D, bloquear elementos da interface do usuário no canto de uma tela é um padrão muito comum, mas essa interface do usuário de estilo HUD (Head Up Display) não parece natural em experiências de MR/VR; isso dificulta a imersão do usuário no espaço e causa desconforto do usuário. É como ter uma partícula de poeira irritante em seus óculos que você está morrendo de vontade de se livrar. Com o tempo, aprendi que é mais natural posicionar o conteúdo no espaço 3D e adicionar um comportamento bloqueado pelo corpo que faz com que o conteúdo siga o usuário a uma distância fixa relativa.

Corpo bloqueado

Bloqueado pelo mundo

Fragmentos: um exemplo de grande interface do usuário diegetic

Fragmentos, um thriller criminal em primeira pessoa desenvolvido pelo Asobo Studio para HoloLens demonstra uma grande interface do usuário diegetic. Neste jogo, o usuário se torna um personagem main, um detetive que tenta resolver um mistério. As pistas cruciais para resolver esse mistério são polvilhadas na sala física do usuário e muitas vezes são inseridas dentro de um objeto fictício em vez de existirem por conta própria. Essa interface do usuário diegetic tende a ser menos detectável do que a interface do usuário bloqueada pelo corpo, portanto, a equipe do Asobo habilmente usou muitas indicações, incluindo direção de foco, som, luz e guias de caracteres virtuais (por exemplo, seta apontando o local da pista) para chamar a atenção do usuário.

Fragmentos – exemplos de interface do usuário diegetic

Observações sobre a interface do usuário diegetic

A interface do usuário espacial (bloqueada pelo corpo e pelo mundo) e a interface do usuário diegetic têm seus próprios pontos fortes e fracos. Encorajo os designers a experimentar o maior número possível de aplicativos de MR/VR e desenvolver sua própria compreensão e sensibilidade para vários métodos de posicionamento da interface do usuário.

O retorno do skeuomorphism e da interação mágica

O skeuomorphism, uma interface digital que imita a forma de objetos do mundo real, tem sido "não legal" nos últimos 5 a 7 anos na indústria de design. Quando a Apple finalmente deu lugar ao design simples no iOS 7, parecia que o Skeuomorphism estava finalmente morto como uma metodologia de design de interface. Mas então, um novo fone de ouvido médio, MR/VR chegou ao mercado e parece que o skeuomorphismo voltou novamente. : )

Simulador de trabalho: um exemplo de design vr skeuomorphic

Job Simulator, um jogo caprichoso desenvolvido pela Owlchemy Labs é um dos exemplos mais populares para design vr skeuomorphic. Dentro deste jogo, os jogadores são transportados para o futuro, onde robôs substituem humanos e humanos visitam um museu para experimentar como é realizar tarefas mundanas em um dos quatro trabalhos diferentes: Auto Mechanic, Gourmet Chef, Store Clerk ou Office Worker.

O benefício do Skeuomorphism é claro. Ambientes e objetos familiares neste jogo ajudam os novos usuários de VR a se sentirem mais confortáveis e presentes no espaço virtual. Isso também faz com que eles se sintam como se estivessem no controle associando conhecimento e comportamentos familiares a objetos e suas reações físicas correspondentes. Por exemplo, para beber uma xícara de café, as pessoas simplesmente precisam caminhar até a cafeteira, pressionar um botão, pegar a alça da xícara e incliná-la em direção à boca como fariam no mundo real.

Simulador de trabalho

Como o MR/VR ainda é um meio em desenvolvimento, o uso de um certo grau de eskeuomorfismo é necessário para desmistificar a tecnologia MR/VR e apresentá-la a públicos maiores em todo o mundo. Além disso, o uso do skeuomorphism ou da representação realista pode ser benéfico para tipos específicos de aplicativos, como cirurgia ou simulação de voo. Como o objetivo desses aplicativos é desenvolver e refinar habilidades específicas que podem ser aplicadas diretamente no mundo real, quanto mais próxima a simulação estiver do mundo real, mais transferível será o conhecimento.

Lembre-se de que o skeuomorphism é apenas uma abordagem. O potencial do mundo mr/VR é muito maior do que isso, e os designers devem se esforçar para criar interações mágicas hiper-naturais — novas funcionalidades que são exclusivamente possíveis no mundo mr/VR. Como início, considere adicionar poderes mágicos a objetos comuns para permitir que os usuários cumpram seus desejos fundamentais, incluindo teletransporte e omniciência.

Porta mágica de Doraemon (esquerda) e chinelos de rubi (direita)

Observações sobre skeuomorphism em VR

De "Anywhere Door" em Doraemon, "Ruby Slippers" em O Mágico de Oz até "Mapa de Maurader" em Harry Potter, exemplos de objetos comuns com poder mágico abundam na ficção popular. Esses objetos mágicos nos ajudam a visualizar uma conexão entre o mundo real e o fantástico, entre o que é e o que poderia ser. Tenha em mente que, ao projetar o objeto mágico ou surreal, é necessário encontrar um equilíbrio entre funcionalidade e entretenimento. Cuidado com a tentação de criar algo puramente mágico só por causa da novidade.

Noções básicas sobre diferentes métodos de entrada

Quando eu projetei para o meio 2D, tive que me concentrar nas interações de toque, mouse e teclado para entradas. No espaço de design MR/VR, nosso corpo se torna a interface e os usuários podem usar uma seleção mais ampla de métodos de entrada: incluindo fala, foco, gesto, controladores de 6 dof e luvas que proporcionam conexão mais intuitiva e direta com objetos virtuais.

Entradas disponíveis no HoloLens

"Tudo é melhor para alguma coisa, e pior para outra coisa."
— Bill Buxton

Por exemplo, a entrada de gestos usando sensores de mão nua e câmera em um dispositivo HMD libera a mão dos usuários de segurar controladores ou usar luvas suadas, mas o uso frequente pode causar fadiga física (também conhecido como braço gorila). Além disso, os usuários precisam manter as mãos dentro da linha de visão; se a câmera não conseguir ver as mãos, as mãos não poderão ser usadas.

A entrada de fala é boa em percorrer tarefas complexas porque permite que os usuários cortem os menus aninhados com um comando (por exemplo, "Mostre-me os filmes feitos pelo Estúdio Laika").) e também muito econômicos quando associados a outras modalidades (por exemplo, o comando "Face me" orienta o holograma que um usuário está olhando para o usuário). No entanto, a entrada de fala pode não funcionar bem em um ambiente barulhento ou pode não ser apropriada em um espaço muito silencioso.

Além de gesto e fala, os controladores controlados manualmente (por exemplo, toque Oculus, Vive etc.) são métodos de entrada muito populares porque são fáceis de usar, precisos, aproveitar a proprioceptão das pessoas e fornecer indicações hápticas passivas. No entanto, esses benefícios têm o custo de não poder ser de mãos nuas e usar o acompanhamento de dedos completos.

Senso (esquerda) e Manus VR (direita)

Embora não seja tão popular quanto os controladores, as luvas estão ganhando impulso novamente graças à onda MR/VR. Mais recentemente, a entrada de cérebro/mente começou a ganhar tração como uma interface para ambientes virtuais integrando o sensor EEG ou EMG ao headset (por exemplo, MindMaze VR).

Observações sobre métodos de entrada

Estes são apenas uma amostra de dispositivos de entrada disponíveis no mercado para MR/VR. Eles continuarão a proliferar até que a indústria amadureça e concorde com as melhores práticas. Até lá, os designers devem permanecer cientes dos novos dispositivos de entrada e serem bem versados nos métodos de entrada específicos para seu projeto específico. Os designers precisam procurar soluções criativas dentro das limitações, ao mesmo tempo em que jogam com os pontos fortes de um dispositivo.

Esboçar a cena e testar no headset

Quando trabalhei em 2D, eu esboçou principalmente apenas o conteúdo. No entanto, no espaço de realidade misturada isso não era suficiente. Tive que esboçar toda a cena para imaginar melhor as relações entre o usuário e os objetos virtuais. Para ajudar meu pensamento espacial, comecei a esboçar cenas no Cinema 4D e, às vezes, criar ativos simples para protótipos em Maya. Eu nunca tinha usado nenhum dos programas antes de ingressar na equipe do HoloLens e ainda sou um novato, mas trabalhar com esses programas 3D definitivamente me ajudou a me sentir confortável com uma nova terminologia, como sombreador e IK (cinematics inversos).

"Não importa o quanto eu tenha esboçado a cena em 3D, a experiência real no fone de ouvido quase nunca foi a mesma que o esboço. É por isso que é importante testar a cena nos fones de ouvido de destino." — Hae Jin Lee

Para a prototipagem do HoloLens, experimentei todos os tutoriais em Realidade Misturada tutoriais para começar. Em seguida, comecei a jogar com o HoloToolkit.Unity que a Microsoft fornece aos desenvolvedores para acelerar o desenvolvimento de aplicativos holográficos. Quando fiquei preso a algo, postei minha pergunta no Fórum de Perguntas & Respostas do HoloLens.

Depois de adquirir a compreensão básica da prototipagem do HoloLens, eu queria capacitar outros não codificadores a criar protótipos por conta própria. Então fiz um tutorial em vídeo que ensina a desenvolver um projétil simples usando o HoloLens. Eu explico brevemente os conceitos básicos, portanto, mesmo que você não tenha nenhuma experiência no desenvolvimento do HoloLens, você deve ser capaz de acompanhar.

Fiz este tutorial simples para não programadores como eu.

Para protótipos de VR, fiz cursos na VR Dev School e também fiz a Criação de Conteúdo 3D para Realidade Virtual no Lynda.com. A escola vr de desenvolvimento me forneceu um conhecimento mais aprofundado em codificação e o curso lynda me ofereceu uma breve introdução à criação de ativos para VR.

Dê o salto

Há um ano, senti que tudo isso era um pouco avassalador. Agora posso dizer que valeu 100% o esforço. MR/VR ainda é um meio muito jovem e há tantas possibilidades interessantes esperando para serem realizadas. Eu me sinto inspirado e afortunado ser capaz de desempenhar um pequeno papel na criação do futuro. Espero que você se junte a mim na jornada para o espaço 3D!

Sobre o autor

Hae Jin Lee UX Designer @Microsoft