O que é realidade misturada?What is mixed reality?

Apontar e confirmar com as mãos no HoloLens 2

A realidade misturada é o resultado da mistura do mundo físico com o mundo digital.Mixed reality is the result of blending the physical world with the digital world. A realidade misturada é a próxima evolução em interação humana, computacional e de ambiente e proporciona possibilidades que antes eram restritas à nossa imaginação.Mixed reality is the next evolution in human, computer, and environment interaction and unlocks possibilities that before now were restricted to our imaginations. Isso é possível devido a aprimoramentos na pesquisa visual computacional, na capacidade de processamento gráfico, na tecnologia de vídeo e em sistemas de entrada.It is made possible by advancements in computer vision, graphical processing power, display technology, and input systems. O termo realidade misturada foi introduzido originalmente em um artigo de 1994 de Paul Milgram e Fumio Kishino, "A Taxonomy of Mixed Reality Visual Displays."The term mixed reality was originally introduced in a 1994 paper by Paul Milgram and Fumio Kishino, "A Taxonomy of Mixed Reality Visual Displays." Esse artigo introduziu o conceito de continuum de virtualização e concentrou-se em como a categorização de taxonomia se aplicava a monitores.Their paper introduced the concept of the virtuality continuum, and focused on how the categorization of taxonomy applied to displays. Desde então, o aplicativo de realidade misturada vai além dos monitores.Since then, the application of mixed reality goes beyond displays. Ele também inclui entrada de ambiente, som espacial e local.It also includes environmental input, spatial sound, and location.

O espectro da realidade misturadaThe mixed reality spectrum
Imagem: a realidade misturada é o resultado da mistura do mundo físico com o mundo digital.Image: Mixed reality is the result of blending the physical world with the digital world.



Entrada e percepção do ambienteEnvironmental input and perception

Nas últimas décadas, a relação entre a entrada humana e a do computador foi bem explorada.Over the past several decades, the relationship between human and computer input has been well explored. Ela teve até mesmo uma disciplina amplamente estudada conhecida como interação entre humanos e computadores ou HCI.It even has a widely studied discipline known as human computer interaction or HCI. A entrada humana acontece por meio de uma variedade de meios, incluindo teclados, mouses, toque, tinta, voz e até mesmo controle estrutural Kinect.Human input happens through a variety of means, including keyboards, mice, touch, ink, voice, and even Kinect skeletal tracking.

Os avanços nos sensores e no processamento estão proporcionando aumento em uma nova área de entrada computacional de ambientes.Advancements in sensors and processing are giving rise to a new area of computer input from environments. A interação entre computadores e ambientes é efetivamente a noção ou a percepção do ambiente.The interaction between computers and environments is effectively environmental understanding or perception. Portanto, os nomes de API no Windows que revelam informações do ambiente são chamados de APIs de percepção.Hence the API names in Windows that reveal environmental information are called the perception APIs. A entrada do ambiente captura coisas como a posição de uma pessoa no mundo (por ex., acompanhamento de cabeça), superfícies e limites (por ex., mapeamento espacial e noção de cena), iluminação do ambiente, som do ambiente, reconhecimento de objetos e local.Environmental input captures things like a person's position in the world (e.g. head tracking), surfaces and boundaries (e.g. spatial mapping and scene understanding), ambient lighting, environmental sound, object recognition, and location.


Diagrama de Venn mostrando interações entre computadores, seres humanos e ambientesVenn diagram showing interactions between computers, humans and environments

Imagem: as interações entre computadores, seres humanos e ambientes.

Image: The interactions between between computers, humans and environments.


Agora, a combinação de todos os três – processamento do computador, entrada humana e entrada do ambiente – define a oportunidade de criar experiências de realidade misturada verdadeiras.Now, the combination of all three--computer processing, human input, and environmental input--sets the opportunity to create true mixed reality experiences. A movimentação no mundo físico pode ser convertida em movimento no mundo digital.Movement through the physical world can translate to movement in the digital world. Os limites no mundo físico podem influenciar as experiências de aplicativos, como jogos, no mundo digital.Boundaries in the physical world can influence application experiences, such as game play, in the digital world. Sem a entrada do ambiente, as experiências não podem ser combinadas entre realidades físicas e digitais.Without environmental input, experiences cannot blend between physical and digital realities.



O espectro da realidade misturadaThe mixed reality spectrum

Como a realidade misturada combina mundos físicos e digitais, elas definem as extremidades polares de um espectro conhecido como o continuum de virtualização.Since mixed reality blends both physical and digital worlds, these two realities define the polar ends of a spectrum known as the virtuality continuum. Para simplificar, nós nos referimos a isso como o espectro de realidade misturada.For simplicity, we refer to this as the mixed reality spectrum. Do lado esquerdo, temos a realidade física, em que nós, humanos, existimos; do lado direito, temos a realidade digital correspondente.On the left-hand side we have physical reality in which we, humans, exist; on the right-hand side we have the corresponding digital reality.



Realidade aumentada versus virtualAugmented vs. virtual reality

A maioria dos celulares no mercado atualmente tem pouca ou nenhuma funcionalidade de noção do ambiente.Most mobile phones on the market today have little to no environmental understanding capabilities. Portanto, as experiências que eles oferecem não podem ser misturadas entre realidades físicas e digitais.Thus the experiences they offer cannot mix between physical and digital realities. As experiências que sobrepõem elementos gráficos em fluxos de vídeo do mundo físico são realidade aumentada.The experiences that overlay graphics on video streams of the physical world are augmented reality. As experiências que ocultam sua exibição para apresentar uma experiência digital são realidade virtual.The experiences that occlude your view to present a digital experience are virtual reality. Como você pode ver, as experiências habilitadas entre esses dois extremos são realidade misturada:As you can see, the experiences enabled between these two extremes is mixed reality:

  • Com base no mundo físico, colocando um objeto digital, como um holograma, como se ele realmente estivesse lá.Starting with the physical world, placing a digital object, such as a hologram, as if it was really there.
  • Com base no mundo físico, uma representação digital de outra pessoa – um avatar – mostra o local em que ela estava quando deixou anotações.Starting with the physical world, a digital representation of another person--an avatar--shows the location where they were standing when leaving notes. Em outras palavras, as experiências que representam a colaboração assíncrona em diferentes pontos no tempo.In other words, experiences that represent asynchronous collaboration at different points in time.
  • Com base em um mundo digital, os limites físicos do mundo físico, como paredes e mobília, são exibidos digitalmente dentro da experiência para ajudar os usuários a evitar objetos físicos.Starting with a digital world, physical boundaries from the physical world, such as walls and furniture, appear digitally within the experience to help users avoid physical objects.

O espectro da realidade misturadaThe mixed reality spectrum
Imagem: o espectro da realidade misturadaImage: The mixed reality spectrum


Atualmente, a maioria das ofertas de realidade aumentada e realidade virtual representa uma parte muito pequena desse espectro.Most augmented reality and virtual reality offerings available today represent a very small part of this spectrum. No entanto, elas são subconjuntos do espectro maior de realidade misturada.They are, however, subsets of the larger mixed reality spectrum. O Windows 10 é criado com todo o espectro em mente e permite a combinação de representações digitais de pessoas, locais e coisas com o mundo real.Windows 10 is built with the entire spectrum in mind, and allows blending digital representations of people, places, and things with the real world.

Dispositivos e experiênciasDevices and experiences

Há dois tipos principais de dispositivos que fornecem experiências do Windows Mixed Reality:There are two main types of devices that deliver Windows Mixed Reality experiences:

  1. Dispositivos holográficos.Holographic devices. Eles são caracterizados pela capacidade do dispositivo de colocar conteúdo digital no mundo real como se realmente estivesse lá.These are characterized by the device's ability to place digital content in the real world as if it were really there.
  2. Dispositivos imersivos.Immersive devices. Eles são caracterizados pela capacidade do dispositivo de criar uma sensação de “presença”, ocultando o mundo físico e substituindo-o por uma experiência digital.These are characterized by the device's ability to create a sense of "presence"--hiding the physical world, and replacing it with a digital experience.
CaracterísticaCharacteristic Dispositivos holográficosHolographic devices Dispositivos imersivosImmersive devices
Dispositivo de exemploExample device Microsoft HoloLensMicrosoft HoloLens

Microsoft HoloLens 2 image
Samsung HMD Odyssey+Samsung HMD Odyssey+

Samsung HMD Odyssey+ image
MonitorDisplay Monitor transparente.See-through display. Permite que o usuário veja o ambiente físico ao usar o headset.Allows user to see the physical environment while wearing the headset. Monitor opaco.Opaque display. Bloqueia o ambiente físico ao usar o headset.Blocks out the physical environment while wearing the headset.
MovimentaçãoMovement Movimentação completa de seis graus de liberdade, rotação e conversão.Full six-degrees-of-freedom movement, both rotation and translation. Movimentação completa de seis graus de liberdade, rotação e conversão.Full six-degrees-of-freedom movement, both rotation and translation.

Observação: um dispositivo estar conectado ou vinculado a um computador separado (por cabo USB ou Wi-Fi) ou ser autônomo (não conectado) não refletirá se um dispositivo é holográfico ou imersivo.Note, whether a device is connected to or tethered to a separate PC (via USB cable or Wi-Fi) or self-contained (untethered) does not reflect whether a device is holographic or immersive. Certamente, os recursos que aprimoram a mobilidade produzem melhores experiências, e os dispositivos holográficos e imersivos podem estar conectados ou não.Certainly, features that improve mobility lead to better experiences, and both holographic and immersive devices could be tethered or untethered.

O avanço tecnológico é o que habilitou experiências de realidade misturada.Technological advancement is what has enabled mixed reality experiences. Não há dispositivos atualmente que podem executar experiências em todo o espectro.There are no devices today that can run experiences across the entire spectrum. No entanto, o Windows 10 oferece uma plataforma comum de realidade misturada para fabricantes e desenvolvedores de dispositivos.However, Windows 10 provides a common mixed reality platform for both device manufacturers and developers. Atualmente, os dispositivos podem dar suporte a um intervalo específico dentro do espectro de realidade misturada.Devices today can support a specific range within the mixed reality spectrum. Ao longo do tempo, novos dispositivos expandirão esse intervalo.Over time, new devices will expand that range. No futuro, dispositivos holográficos ficarão mais imersivos, e os dispositivos imersivos ficarão mais holográficos.In the future, holographic devices will become more immersive, and immersive devices will become more holographic.


Tipos de dispositivo no espectro de realidade misturadaDevice types in the mixed reality spectrum
Imagem: local no qual os dispositivos existem no espectro de realidade misturadaImage: Where devices exist on the mixed reality spectrum

Geralmente, é melhor considerar qual tipo de experiência um desenvolvedor de aplicativo ou jogo deseja criar.Often, it is best to think what type of experience an application or game developer wants to create. As experiências normalmente direcionarão uma parte ou ponto específico no espectro.The experiences will typically target a specific point or part on the spectrum. Em seguida, os desenvolvedores devem considerar as funcionalidades dos dispositivos que desejam direcionar.Then, developers should consider the capabilities of devices they want to target. Por exemplo, experiências que dependerem do mundo físico serão mais bem executadas no HoloLens.For example, experiences that rely on the physical world will run best on HoloLens.

  • Em direção à esquerda (perto da realidade física).Towards the left (near physical reality). Os usuários permanecem presentes no ambiente físico deles e nunca são induzidos a acreditar que saíram desse ambiente.Users remain present in their physical environment and are never made to believe they have left that environment.
  • No meio (realidade totalmente misturada).In the middle (fully mixed reality). Essas experiências combinam o mundo real e o mundo digital.These experiences blend the real world and the digital world. Os espectadores que viram o filme Jumanji podem reconciliar como a estrutura física da casa em que a história ocorreu foi combinada com um ambiente de selva.Viewers who have seen the movie Jumanji can reconcile how the physical structure of the house where the story took place was blended with a jungle environment.
  • Em direção à direita (perto da realidade digital).Towards the right (near digital reality). Os usuários experimentam um ambiente completamente digital e não sabem o que ocorre no ambiente físico ao redor deles.Users experience a completely digital environment, and are unaware of what occurs in the physical environment around them.

Veja tambémSee also