Apresentação de interações instintivasIntroducing instinctual interactions

Manipulação distante com as mãos

A filosofia de interações simples e instintivas está presente em toda a plataforma de MR (realidade misturada).The philosophy of simple, instinctual interactions is interwoven throughout the mixed reality (MR) platform. Temos três etapas para os desenvolvedores e designers de aplicativos fornecerem interações fáceis e intuitivas para os clientes deles.We've taken three steps to ensure that application designers and developers can provide their customers with easy and intuitive interactions.

Primeiro, fizemos nossos incríveis sensores e tecnologia de entrada, incluindo o acompanhamento da mão, de olho e de linguagem natural, serem combinados em modelos descomplicados de interação multimodal.First, we've made sure our sensors and input technologies (which includes hand and eye tracking along with natural language input) combine into seamless, multimodal interaction models.
Com base em nossa pesquisa, projetar e desenvolver em uma estrutura multimodal (em vez de com base em entradas individuais) é o segredo para criar experiências instintivas.Based on our research, designing and developing within a multimodal framework (and not based on individual inputs) is the key to creating instinctual experiences.

Em segundo lugar, reconhecemos que muitos desenvolvedores destinam suas criações a vários dispositivos HoloLens, por exemplo, HoloLens 2 e HoloLens (1ª geração) ou então HoloLens e VR.Second, we recognize that many developers target multiple HoloLens devices, such as HoloLens 2 and HoloLens (1st gen) or HoloLens and VR.
Sendo assim, criamos nossos modelos de interação para que funcionem em vários dispositivos (mesmo que a tecnologia de entrada varie em cada dispositivo).So we've designed our interaction models to work across devices, even if the input technology varies on each device.
Por exemplo, a interação distante em um headset imersivo do Windows com um controlador 6DoF e interação distante em um HoloLens 2 usam as funcionalidades e os padrões idênticos, facilitando o desenvolvimento de aplicativos entre dispositivos e oferecendo uma sensação natural para interações do usuário.For example, far interaction on a Windows Immersive headset with a 6DoF controller and far interaction on a HoloLens 2 both use identical affordances and patterns, making it easy for cross-device application development and providing a natural feel to user interactions.

Ainda que reconheçamos que há milhares de interações eficazes, envolventes e mágicas possíveis na MR, descobrimos que empregar intencionalmente um único modelo de interação de ponta a ponta em um aplicativo é a melhor maneira de garantir que os usuários sejam bem-sucedidos e tenha uma ótima experiência.While we recognize that there are thousands of effective, engaging, and magical interactions possible in MR, we've found that intentionally employing a single interaction model end-to-end in an application is the best way to ensure users are successful and have a great experience. Para isso, incluímos três coisas neste guia de interação:To that end, we've included three things in this interaction guidance:

  • Diretrizes específicas sobre os três principais modelos de interação e os componentes e os padrões necessários para cada um.Specific guidance around the three primary interaction models and the components and patterns required for each.
  • Diretrizes complementares sobre os outros benefícios fornecidos por nossa plataforma.Supplemental guidance about other benefits that our platform provides.
  • Diretrizes gerais para ajudar a selecionar o modelo de interação apropriado para seu cenário de desenvolvimento.General guidance to help select the appropriate interaction model for your development scenario.

Modelos de interação multimodalMultimodal interaction models

Com base na pesquisa e nos comentários dos clientes, descobrimos que três modelos de interação principais atendem à maioria das experiências de realidade misturada.Based on our research and feedback from customers, we've discovered that three primary interaction models suit the majority of mixed reality experiences. Em muitos aspectos, o modelo de interação é o modelo mental do usuário para a maneira como concluir um fluxo de trabalho.In many ways, the interaction model is the user's mental model for how to complete a workflow. Cada um desses modelos de interação é otimizado para um conjunto de necessidades do cliente e é conveniente, avançado e utilizável quando usado corretamente.Each of these interaction models is optimized for a set of customer needs and is convenient, powerful, and usable when used correctly.

O gráfico abaixo é uma visão geral simplificada.The chart below is a simplified overview. Há links para informações detalhadas de uso de cada modelo de interação nas páginas abaixo com imagens e exemplos de código.Detailed information for using each interaction model is linked in the pages below with images and code samples.


ModeloModel Cenários de exemploExample scenarios AjustarFit HardwareHardware
Controladores de movimentos e mãosHands and motion controllers Experiências 3D espaciais, por exemplo, design e layout espacial, manipulação de conteúdo ou simulação.3D spatial experiences, such as spatial layout and design, content manipulation, or simulation. Excelente para novos usuários, juntamente com voz, acompanhamento ocular ou foco com a cabeça.Great for new users coupled with voice, eye tracking or head gaze. Baixa curva de aprendizado.Low learning curve. Experiência do usuário consistente com acompanhamento da mão e controladores 6DoF.Consistent UX across hand tracking and 6DoF controllers. HoloLens 2HoloLens 2
Headsets imersivosImmersive headsets
Mãos livresHands-free Experiências contextuais, nas quais as mãos de um usuário estão ocupadas, por exemplo, no aprendizado no trabalho e na manutenção.Contextual experiences where a user's hands are occupied, such as on-the-job learning and maintenance. Algum aprendizado é necessário.Some learning required. Caso as mãos não estejam disponíveis, o dispositivo emparelha bem com voz e linguagem natural.If hands are unavailable, the device pairs well with voice and natural language. HoloLens 2HoloLens 2
HoloLens (1ª geração)HoloLens (1st gen)
Headsets imersivosImmersive headsets
Focar e confirmarGaze and commit Clique pelas experiências, p.ex., apresentações e demonstrações 3D.Click-through experiences, e.g. 3D presentations, demos. Requer treinamento em HMDs, mas não em dispositivos móveis.Requires training on HMDs but not on mobile. Melhor para controladores acessíveis.Best for accessible controllers. Melhor para HoloLens (1ª geração).Best for HoloLens (1st gen). HoloLens 2HoloLens 2
HoloLens (1ª geração)HoloLens (1st gen)
Headsets imersivosImmersive headsets
AR móvelMobile AR

A melhor maneira de garantir que não existem lacunas na experiência de interação do usuário é seguir as diretrizes para um único modelo, do início ao fim.To ensure that there are no gaps in the user interaction experience, it is best to follow the guidance for a single model from beginning to end.

As seções a seguir seguem as etapas de seleção e implementação de um desses modelos de interação.The sections below walk through the steps for selecting and implementing one of these interaction models.

No final desta página, você entenderá nossas diretrizes em:By the end of this page, you will understand our guidance on:

  • Escolhendo um modelo de interação para seu clienteChoosing an interaction model for your customer
  • Implementar o modelo de interaçãoImplementing the interaction model
  • Transição entre os modelos de interaçãoTransitioning between interaction models
  • Próximas etapas de designDesign next steps

Escolha um modelo de interação para seu clienteChoose an interaction model for your customer

Na maioria dos casos, os desenvolvedores e criadores pensaram nos tipos de interações que seus clientes podem ter.Typically, developers and creators have thought through the types of interactions that their customers can have. Para incentivar uma abordagem do design voltada para o cliente, é recomendável seguir as orientações abaixo para selecionar o modelo de interação que é otimizado para o cliente.To encourage a customer-focused approach to design, we recommend the following guidance for selecting the interaction model that's optimized for your customer.

Por que seguir esta orientação?Why follow this guidance?

  • Nossos modelos de interação são testados com critérios objetivos e subjetivos, tais como esforço físico e cognitivo, intuitividade e capacidade de aprendizado.Our interaction models are tested for objective and subjective criteria, such as physical and cognitive effort, intuitiveness, and learnability.
  • Como as interações são diferentes, as funcionalidades de áudio/visuais e o comportamento de objeto podem ser diferentes entre os modelos de interação.Because interactions differ, visual/audio affordances and object behavior might differ between interaction models.
  • Combinar partes de vários modelos de interação cria o risco de funcionalidades conflitantes, tais como raios de mão simultâneos e um cursor de foco com a cabeça.Combining parts of multiple interaction models creates the risk of competing affordances, such as simultaneous hand rays and a head-gaze cursor. Isso pode sobrecarregar e confundir os usuários.This can overwhelm and confuse users.

Aqui estão alguns exemplos de como as capacidades e os comportamentos são otimizados para cada modelo de interação.Here are some examples of how affordances and behaviors are optimized for each interaction model. Vemos com frequência que novos usuários têm perguntas semelhantes, como "como faço para saber se o sistema está funcionando” , “como saber o que posso fazer” e “como saber se entendi o que acabei de fazer?"We often see new users have similar questions, such as "how do I know the system is working", "how do I know what I can do", and "how do I know if it understood what I just did?"


ModeloModel Como saber se está funcionando?How do I know it's working? Como saber o que posso fazer?How do I know what I can do? Como saber o que eu acabei de fazer?How do I know what I just did?
Controladores de movimentos e mãosHands and motion controllers Vejo uma malha de mão, uma funcionalidade de ponta do dedo ou raios de mão/controlador.I see a hand mesh, a fingertip affordance, or hand/controller rays. Vejo alças ou uma caixa delimitadora é exibida quando a minha mão está próxima de um objeto.I see grabbable handles, or a bounding box appears when my hand is near an object. Posso ouvir sons e ver animações ao capturar e soltar.I hear audible tones and see animations on grab and release.
Focar com a cabeça e confirmarHead-gaze and commit Eu vejo um cursor no centro do meu campo de visão.I see a cursor in the center of my field of view. O cursor muda de estado quando está sobre determinados objetos.The cursor changes state when it's over certain objects. Posso ver/ouvir confirmações visuais e audíveis quando executo uma ação.I see/hear visual and audible confirmations when I take action.
Mãos livres (foco com a cabeça e permanência)Hands-free (Head-gaze and dwell) Eu vejo um cursor no centro do meu campo de visão.I see a cursor in the center of my field of view. Vejo um indicador de progresso quando paro em um objeto com o qual posso interagir.I see a progress indicator when I dwell on an interactable object. Posso ver/ouvir confirmações visuais e audíveis quando executo uma ação.I see/hear visual and audible confirmations when I take action.
Mãos livres (comandos de voz)Hands-free (Voice commanding) Vejo um indicador de escuta e legendas que mostram o que o sistema ouviu.I see a listening indicator and captions that show what the system heard. Obtenho prompts de voz e dicas.I get voice prompts and hints. Quando digo: "O que posso falar?"When I say: "What can I say?" Vejo feedback.I see feedback. Vejo/ouço confirmações visuais e auditivas quando emito um comando ou obtenho uma experiência de usuário de desambiguação quando necessário.I see/hear visual and audible confirmations when I give a command, or get disambiguation UX when needed.

Veja as perguntas que descobrimos que ajudam as equipes e selecionar um modelo de interação:Below are questions that we've found help teams select an interaction model:

  1. P: Meus usuários desejam tocar em hologramas e executar manipulações holográficas de precisão?Q: Do my users want to touch holograms and perform precision holographic manipulations?

    R: Nesse caso, confira o modelo de interação de mãos e controladores de movimentos para direcionamento de precisão e manipulação.A: If so, check out the Hands and motion controllers interaction model for precision targeting and manipulation.

  2. P: Meus usuários precisam manter as mãos livres para tarefas do mundo real?Q: Do my users need to keep their hands free for real-world tasks?

    R: Nesse caso, examine o modelo de interação de mãos livres, que fornece uma ótima experiência de mãos livres por meio de interações de movimento e voz.A: If so, take a look at the Hands-free interaction model, which provides a great hands-free experience through gaze and voice-based interactions.

  3. P: Meus usuários têm tempo para aprender as interações de meu aplicativo de realidade misturada ou precisam das interações com a curva de aprendizado mais baixa possível?Q: Do my users have time to learn interactions for my MR application or do they need the interactions with the lowest learning curve possible?

    R: Para a mais baixa curva de aprendizado e as interações mais intuitivas, recomendamos o modelo de mãos e controladores de movimentos, desde que os usuários sejam capazes de usar suas mãos para interação.A: For the lowest learning curve and most intuitive interactions, we recommend the Hands and motion controllers model, as long as users are able to use their hands for interaction.

  4. P: Meus usuários usam controladores de movimento para apontar e manipular?Q: Do my users use motion controllers for pointing and manipulation?

    R: O modelo de mãos e de controladores de movimentos inclui todas as orientações para uma ótima experiência com os controladores de movimentos.A: The Hands and motion controllers model includes all guidance for a great experience with motion controllers.

  5. P: Meus usuários usam um controlador de acessibilidade ou um controlador de Bluetooth comum, como um clicker?Q: Do my users use an accessibility controller or a common Bluetooth controller, such as a clicker?

    R: Recomendamos o modelo de foco com a cabeça e de confirmação para todos os controladores não acompanhados.A: We recommend the Head-gaze and commit model for all non-tracked controllers. Ele foi projetado para permitir que um usuário passe por uma experiência completa com um mecanismo simples de "direcionar e confirmar".It's designed to allow a user to traverse an entire experience with a simple "target and commit" mechanism.

  6. P: Meus usuários progridem por uma experiência somente "clicando" (por exemplo em um ambiente de apresentação de slides 3D), em vez de navegar por layouts densos de controles de interface de usuário?Q: Do my users only progress through an experience by "clicking through" (for example in a 3D slideshow-like environment), as opposed to navigating dense layouts of UI controls?

    R: Caso os usuários não precisem controlar muita interface de usuário, o foco de cabeça e confirmação oferece uma opção que pode ser aprendida, na qual os usuários não precisam se preocupar com direcionamento.A: If users do not need to control a lot of UI, Head-gaze and commit offers a learnable option where users do not have to worry about targeting.

  7. P: Meus usuários usam o HoloLens (1ª geração) e HoloLens 2/headsets imersivos do Windows Mixed Reality (VR)?Q: Do my users use both HoloLens (1st gen) and HoloLens 2/Windows Mixed Reality immersive headsets (VR)?

    R: Como o foco com a cabeça e confirmação é o modelo de interação do HoloLens (1ª geração), recomendamos que os criadores que dão suporte ao HoloLens (1ª geração) usem o foco com a cabeça e confirmação para os recursos ou modos que os usuários experimentarão em um headset HoloLens (1ª geração).A: Since Head-gaze and commit is the interaction model for HoloLens (1st gen), we recommend that creators who support HoloLens (1st gen) use Head-gaze and commit for any features or modes that users will experience on a HoloLens (1st gen) headset. Consulte a próxima seção abaixo em Transição de modelos de interação para obter detalhes sobre como ter uma excelente experiência em várias gerações do HoloLens.Please see the next section below on Transitioning interaction models for details on making a great experience for multiple HoloLens generations.

  8. P: E quanto aos usuários que normalmente usam dispositivos móveis, que abrangem um grande espaço ou o movimento entre espaços, em relação aos usuários que tendem a trabalhar em um único espaço?Q: What about users who are generally mobile, covering a large space or moving between spaces, versus users who tend to work in a single space?

    R: Qualquer um dos modelos de interação funcionará para esses usuários.A: Any of the interaction models will work for these users.

Observação

Mais diretrizes específicas ao design de aplicativo em breve.More guidance specific to app design coming soon.

Modelos de interação de transiçãoTransitioning interaction models

Também há casos de uso que podem exigir a utilização de mais de um modelo de interação.There are also use cases that might require utilizing more than one interaction model. Por exemplo, o fluxo de criação do aplicativo utiliza o modelo de interação de “mãos e controladores de movimentos” , mas convém empregar um modo de mãos livres para técnicos de campo.For example, your application's creation flow utilizes the "hands and motion controllers" interaction model, but you want to employ a hands-free mode for field technicians. Caso sua experiência precise de vários modelos de interação, tenha em mente que muitos usuários podem encontrar dificuldade ao fazer a transição de um modelo para outro, especialmente os usuários novatos na realidade misturada.If your experience does require multiple interaction models, please keep in mind that many users might encounter difficulty when transitioning from one model to another, especially users who are new to mixed reality.

Observação

Estamos trabalhando constantemente em mais diretrizes que estarão disponíveis para desenvolvedores e designers, informando-os sobre como, quando e por que usar vários modelos de interação de realidade misturada.We're constantly working on more guidance that will be available to developers and designers, informing them about the how, when, and why for using multiple MR interaction models.

Veja tambémSee also