Experiências partilhadas na realidade mista
Os hologramas não precisam de permanecer privados apenas para um utilizador. As aplicações holográficas podem partilhar âncoras espaciais de um dispositivo HoloLens, iOS ou Android para outro, permitindo aos utilizadores compor um holograma no mesmo local do mundo real em vários dispositivos.
Seis perguntas para definir cenários partilhados
Antes de começar a conceber experiências partilhadas, é importante definir os cenários de destino. Estes cenários ajudam a esclarecer o que está a criar e estabelecer um vocabulário comum para ajudar a comparar e contrastar as funcionalidades necessárias na sua experiência. Compreender o problema principal e as diferentes vias para soluções é fundamental para descobrir oportunidades inerentes a este novo meio.
Através de protótipos internos e explorações das nossas agências parceiras do HoloLens, criámos seis perguntas para o ajudar a definir cenários partilhados. Estas perguntas formam uma arquitetura, não destinada a ser exaustiva, para ajudar a destilar os atributos importantes dos seus cenários.
1. Como estão a partilhar?
Uma apresentação pode ser liderada por um único utilizador virtual, enquanto vários utilizadores podem colaborar ou um professor pode fornecer orientações para estudantes virtuais que trabalham com materiais virtuais — a complexidade das experiências aumenta com base no nível de agência que um utilizador tem ou pode ter num cenário.
Existem muitas formas de partilhar, mas descobrimos que a maioria delas se enquadra em três categorias:
- Apresentação: quando o mesmo conteúdo está a ser apresentado a vários utilizadores. Por exemplo: Um professor está a dar uma palestra a vários alunos com o mesmo material holográfico que está a ser apresentado a todos. O professor, no entanto, poderia ter as suas próprias dicas e notas que podem não ser visíveis para os outros.
- Colaboração: quando as pessoas estão a trabalhar em conjunto para alcançar alguns objetivos comuns. Por exemplo: O professor deu um projeto para aprender sobre fazer uma cirurgia cardíaca. Os estudantes emparelham-se e criam uma experiência de laboratório de competências partilhadas, que permite que os estudantes de medicina colaborem no modelo cardíaco e aprendam.
- Orientação: quando uma pessoa está a ajudar alguém a resolver um problema numa interação de estilo mais um-para-um. Por exemplo: o professor a dar orientações a um aluno quando está a fazer o laboratório de competências de cirurgia cardíaca na experiência partilhada.
2. Qual é o tamanho do grupo?
As experiências de partilha um-para-um podem fornecer uma linha de base forte e, idealmente, as suas provas de conceito podem ser criadas a este nível. Mas tenha em atenção que a partilha com grandes grupos (além de seis pessoas) pode levar a dificuldades técnicas (dados e redes) e sociais (o impacto de estar numa sala com vários avatares). A complexidade aumenta exponencialmente à medida que passa de grupos pequenos para grandes.
Descobrimos que as necessidades dos grupos podem enquadrar-se em três categorias de tamanho:
- 1:1
- Pequeno < 7
- Grande >= 7
O tamanho do grupo cria uma pergunta importante porque influencia:
- Representações de pessoas no espaço holográfico
- Escala de objetos
- Escala do ambiente
3. Onde estão todos?
A força da realidade mista entra em jogo quando uma experiência partilhada pode ter lugar na mesma localização. Chamamos-lhe colocalizado. Por outro lado, quando o grupo é distribuído e pelo menos um participante não está no mesmo espaço físico (como acontece muitas vezes com VR), chamamos a isso uma experiência remota. Muitas vezes, é o caso de o seu grupo ter participantes colocados e remotos (por exemplo, dois grupos em salas de conferência).
As seguintes categorias ajudam a transmitir onde os utilizadores estão localizados:
- Colocação: todos os seus utilizadores estarão no mesmo espaço físico.
- Remoto: todos os seus utilizadores estarão em espaços físicos separados.
- Ambos: os seus utilizadores serão uma mistura de espaços colocais e remotos.
Esta questão é crucial porque influencia:
- Como as pessoas comunicam?
- Por exemplo: se devem ter avatares?
- Que objetos vêem. Todos os objetos são partilhados?
- Se precisamos de nos adaptar ao ambiente deles?
4. Quando estão a partilhar?
Normalmente, pensamos em experiências síncronas quando surgem experiências partilhadas: estamos todos a fazê-lo juntos. No entanto, se incluirmos um único elemento virtual que foi adicionado por outra pessoa, temos um cenário assíncrono . Imagine uma nota, ou memorando de voz, deixada num ambiente virtual. Como lida com 100 memorandos virtuais restantes na sua estrutura? E se forem de dezenas de pessoas com diferentes níveis de privacidade?
Considere as suas experiências como uma destas categorias de tempo:
- Síncronamente: partilhar a experiência holográfica ao mesmo tempo. Por exemplo: Dois estudantes a fazer o laboratório de competências ao mesmo tempo.
- Assíncrono: partilhar a experiência holográfica em momentos diferentes. Por exemplo: Dois estudantes a fazer o laboratório de competências, mas a trabalhar em secções separadas em momentos diferentes.
- Ambos: por vezes, os seus utilizadores irão partilhar de forma síncrona, mas outras vezes de forma assíncrona. Por exemplo: um professor a classificar a tarefa feita pelos estudantes mais tarde e a deixar notas para os alunos para o dia seguinte.
Esta questão é importante porque influencia:
- Persistência de objetos e ambientes. Por exemplo: armazenar os estados para que possam ser obtidos.
- Perspetiva do utilizador. Por exemplo: Talvez memorizar o que o utilizador estava a ver ao deixar notas.
5. Quão semelhantes são os seus ambientes físicos?
A probabilidade de dois ambientes idênticos na vida real, fora das experiências colocadas, é escassa, a menos que esses ambientes tenham sido concebidos para serem idênticos. É mais provável que tenha ambientes semelhantes . Por exemplo, as salas de conferência são semelhantes, normalmente têm uma mesa centralmente localizada rodeada de cadeiras. As salas de estar, por outro lado, são diferentes** e podem incluir qualquer número de peças de mobiliário numa infinita matriz de esquemas.
Considere as suas experiências de partilha que se enquadram numa destas duas categorias:
- Semelhante: ambientes que tendem a ter móveis semelhantes, luz ambiente e som, tamanho físico da sala. Por exemplo: o Professor está na sala de aula A e os alunos estão na sala de aula B. A sala de aula A pode ter menos cadeiras do que B, mas ambos podem ter uma secretária física para colocar hologramas.
- Diferente: ambientes diferentes em definições de móveis, tamanhos de sala, considerações leves e sonoras. Por exemplo: Um professor está numa sala de concentração, mas os alunos estão numa grande sala de aula, repleta de alunos e professores.
É importante pensar no ambiente, pois irá influenciar:
- Como as pessoas vão experimentar estes objetos. Por exemplo: se a sua experiência funcionar melhor numa tabela e o utilizador não tiver tabela? Ou numa superfície plana do piso, mas o utilizador tem um espaço desorganizado.
- Dimensionamento dos objetos. Por exemplo: colocar um modelo humano de 1,80m numa tabela pode ser um desafio, mas um modelo cardíaco funcionaria muito bem.
6. Que dispositivos estão a utilizar?
Atualmente, é provável que veja muitas vezes experiências partilhadas entre dois dispositivos envolventes (esses dispositivos podem ser ligeiramente diferentes Para botões e capacidade relativa, mas não muito) ou dois dispositivos holográficos , dadas as soluções que estão a ser direcionadas para estes dispositivos. No entanto, considere se os dispositivos 2D (um participante ou observador móvel/de ambiente de trabalho) serão uma consideração necessária, especialmente em situações de dispositivos 2D e 3D mistos. Compreender os tipos de dispositivos que os seus participantes vão utilizar é importante, não só porque vêm com diferentes restrições de fidelidade e dados e oportunidades, mas porque os utilizadores têm expectativas únicas para cada plataforma.
Explorar o potencial das experiências partilhadas
As respostas às perguntas acima podem ser combinadas para compreender melhor o seu cenário partilhado, cristalizando os desafios à medida que expande a experiência. Para a equipa da Microsoft, isto ajudou a estabelecer um mapa de objetivos para melhorar as experiências que utilizamos atualmente, compreender a nuance destes problemas complexos e como tirar partido de experiências partilhadas na realidade mista.
Por exemplo, considere um dos cenários do Skype a partir do lançamento do HoloLens: um utilizador trabalhou em como corrigir um interruptor de luz quebrado com a ajuda de um especialista localizado remotamente.
Um especialista fornece orientações 1:1 do seu computador de secretária 2D para um utilizador de um dispositivo de realidade mista 3D . A documentação de orientação é síncrona e os ambientes físicos são diferentes.
Uma experiência como esta é uma mudança de passo da nossa experiência atual: aplicar o paradigma do vídeo e da voz a um novo meio. Mas à medida que olhamos para o futuro, temos de definir melhor a oportunidade dos nossos cenários e criar experiências que reflictam a força da realidade mista.
Considere a ferramenta de colaboração onSight, desenvolvida pelo Laboratório de Propulsão a Jato da NASA. Os cientistas que trabalham em dados das missões mars rover podem colaborar com colegas em tempo real dentro dos dados da paisagem marciana.
Um cientista explora um ambiente com um dispositivo de realidade mista 3D com um pequeno grupo de colegas remotos que utilizam dispositivos 3D e 2D . A colaboração é síncrona (mas pode ser revisitada de forma assíncrona) e os ambientes físicos são (virtualmente) semelhantes.
Experiências como o OnSight apresentam novas oportunidades para colaborar. Desde apontar fisicamente elementos no ambiente virtual até ficar ao lado de um colega e partilhar a sua perspetiva enquanto explicam as suas descobertas. O OnSight utiliza a lente de imersão e presença para repensar a partilha de experiências na realidade mista.
A colaboração intuitiva é a base da conversa, trabalhar em conjunto e compreender como podemos aplicar esta intuição à complexidade da realidade mista é crucial. Se não só pudermos recriar a partilha de experiências na realidade mista, mas também sobrecarregá-las, será uma mudança de paradigma para o futuro do trabalho. O design de experiências partilhadas na realidade mista é um espaço novo e emocionante e estamos apenas no início.
Introdução à criação de experiências partilhadas
Consoante a sua aplicação e cenário, haverá vários requisitos para alcançar a sua experiência desejada. Algumas destas incluem:
- Match-making: capacidade de criar sessões, anunciar sessões, descobrir e convidar pessoas específicas, tanto localmente como remotamente, para participar na sua sessão.
- Partilha de âncora: capacidade de alinhar coordenadas em vários dispositivos num espaço local comum, para que os hologramas apareçam no mesmo local para todas as pessoas.
- Rede: capacidade de ter posições, interações e movimentos de pessoas e hologramas sincronizados em tempo real em todos os participantes.
- Armazenamento de estado: capacidade de armazenar características e localizações de hologramas no espaço para a associação a meio da sessão, recuperar mais tarde e robustez em relação a problemas de rede.
A chave para experiências partilhadas é ter vários utilizadores a ver os mesmos hologramas no mundo no seu próprio dispositivo, frequentemente feitos através da partilha de âncoras para alinhar coordenadas entre dispositivos.
Para partilhar âncoras, utilize as Âncoras Espaciais do Azure:
- Primeiro, o utilizador coloca o holograma.
- A aplicação cria uma âncora espacial para afixar esse holograma precisamente no mundo.
- As âncoras podem ser partilhadas em dispositivos HoloLens, iOS e Android através das Âncoras Espaciais do Azure.
Com uma âncora espacial partilhada, a aplicação em cada dispositivo tem agora um sistema de coordenadas comum no qual pode colocar conteúdo. Agora, a aplicação pode garantir que posiciona e orienta o holograma na mesma localização.
Em dispositivos HoloLens, também pode partilhar âncoras offline de um dispositivo para outro. Utilize as ligações abaixo para decidir o que é melhor para a sua aplicação.
Avaliar as opções tecnológicas
Existem várias opções de serviço e tecnologia disponíveis para ajudar a criar experiências de realidade mista de vários utilizadores. Pode ser complicado escolher um caminho, por isso, tendo uma perspetiva focada no cenário, algumas opções são detalhadas abaixo.
Hologramas estáticos partilhados (sem interações)
Tire partido das Âncoras Espaciais do Azure na sua aplicação. Ativar e partilhar âncoras espaciais entre dispositivos permite-lhe criar uma aplicação onde os utilizadores veem hologramas no mesmo local ao mesmo tempo. É necessária sincronização adicional entre dispositivos para permitir que os utilizadores interajam com hologramas e vejam movimentos ou atualizações de estado de hologramas.
Partilhar a perspetiva da primeira pessoa
Tire partido do suporte incorporado do Miracast para utilizadores locais quando tiver um recetor Miracast suportado, como um PC ou TV. Não é necessário nenhum código de aplicação adicional.
Experiência de colaboração multiutilizador
Comece com o nosso tutorial de aprendizagem multiutilizador, que tira partido das Âncoras Espaciais do Azure para utilizadores locais e do SDK do Photon para sincronizar o conteúdo/estado no cenário. Crie aplicações localmente colaborativas em que cada utilizador tenha a sua própria perspetiva sobre os hologramas na cena e cada um possa interagir totalmente com os hologramas. Atualizações são fornecidas em todos os dispositivos e a gestão de conflitos de interação é processada pelo Photon.
Nota
Tenha em atenção que o Photon não é um produto Da Microsoft, pelo que pode ser necessária uma relação de faturação com o Photon para productizar e dimensionar para uma utilização mais elevada.
Trabalho futuro
As capacidades e interfaces dos componentes ajudarão a fornecer consistência comum e suporte robusto nos vários cenários e tecnologias subjacentes. Até lá, escolha o melhor caminho que se alinha com o cenário que está a tentar alcançar na sua aplicação.
Cenário diferente ou desejo de utilizar uma tecnologia/serviço diferente? Forneça feedback como problemas do GitHub no repositório correspondente, na parte inferior desta página, ou contacte o Slack do HoloDevelopers.