Caso prático - A busca de uma computação mais pessoal
As oportunidades de amanhã são descobertas pela construção de produtos hoje em dia. As soluções que estes produtos fornecem revelam o que é necessário para avançar no futuro. Com a realidade mista, isto é especialmente verdade: as informações relevantes vêm da prática do trabalho real : dispositivos reais, clientes reais, problemas reais.
Na Microsoft, faço parte da equipa de design que ajuda os parceiros empresariais a criar experiências para os seus negócios com Windows Mixed Reality. Ao longo do último ano, a nossa equipa focou-se no HoloLens e compreendeu como o principal dispositivo holográfico da Microsoft pode fornecer valor aos clientes atualmente. Trabalhando em estreita colaboração com designers e programadores destas empresas, a nossa equipa foca-se em descobrir soluções que seriam tecnicamente inviáveis, financeiramente impraticáveis ou impossíveis sem o HoloLens.
HoloAnatomy da Case Western Reserve University
A criação destas soluções ajuda as equipas internas da Microsoft a prepararem-se para a próxima geração de computação. Aprender como indivíduos e empresas interagem com tecnologias fundamentais, como realidade mista, voz e IA, ajuda a Microsoft a criar melhores dispositivos, plataformas e ferramentas para programadores. Se for um designer ou um programador a explorar este espaço, compreender o que as nossas equipas estão a aprender com os parceiros de hoje é fundamental para se preparar para as oportunidades de realidade mista de amanhã.
A ambição da Microsoft para a realidade mista
Vivemos as nossas vidas entre dois mundos: o físico e o digital. Ambos têm pontos fortes fundamentais que tiramos partido para aumentar e expandir as nossas capacidades. Podemos falar pessoalmente com um amigo, usando os nossos sentidos físicos para entender coisas como linguagem corporal, ou podemos aumentar a nossa capacidade de falar em vídeo conversando com um amigo a quilómetros de distância. Até agora, estes dois mundos, e as suas respectivas forças, foram fundamentalmente separados.
O mundo físico é um dos átomos e da física. Utilizamos os nossos sentidos para tomar decisões, tirando partido de anos de comportamento aprendido para interagir com objetos e pessoas nos nossos ambientes. Apesar da facilidade destas interações, estamos limitados pelas nossas capacidades físicas e pelas leis da natureza.
O mundo digital é um dos bits e da lógica. Os cálculos são feitos instantaneamente, enquanto as informações podem ser distribuídas sem esforço. Apesar da velocidade e do fluxo de informação, as interações estão demasiadas vezes limitadas a ecrãs pequenos, entradas abstratas e feeds ruidosos.
HoloStudio
E se pudéssemos combinar as vantagens dos mundos físico e digital? Esta é a pedra angular das experiências em todo o espectro da realidade mista: um meio onde a coexistição física e digital e interagem perfeitamente. Combinar estes mundos cria uma nova base para interagir mais naturalmente com a tecnologia — uma evolução na computação pessoal.
O espectro da realidade mista explodiu à medida que os programadores começaram a explorar as oportunidades de imersão e presença. Trazer utilizadores para o mundo digital com experiências envolventes (realidade virtual) e criar objetos digitais no mundo físico com experiências holográficas (realidade aumentada). Mas quais são os benefícios de mapear o mundo físico para o mundo digital? O que acontece quando damos olhos aos computadores para verem?
A tecnologia de visão da câmara fundamental por trás de hologramas age como um par de olhos para o computador ver o ambiente à sua volta: Objetos no mundo, pessoas à sua volta, mudam à medida que acontecem. Uma compreensão digital do seu contexto no mundo físico. Isto leva a uma enorme quantidade de informação, cujas implicações estamos apenas a começar a compreender.
Culminar tecnologias principais
A computação é demasiadas vezes uma coisa tangível. Agarrando os nossos dispositivos para lhes dizer quem somos e o que queremos. Contorcendo o nosso pensamento e alinhando o que dizemos para corresponder ao que acreditamos que o computador precisa de ouvir.
A promessa da realidade mista, especialmente no mundo real com experiências holográficas, é diminuir o fardo de interagir com a tecnologia. Reduzir a carga cognitiva à medida que os utilizadores navegam nas camadas de abstração inerentes à computação atualmente. Como podemos conceber experiências que não só tiram partido da compreensão contextual, como facilitam a criação de informações e a ação? Duas tecnologias que contribuem também estão a tentar resolver este problema:
- A voz, em termos de voz e conversação, está a permitir que os utilizadores comuniquem com computadores através de meios mais naturais, respondendo a bots através de texto ou emitindo comandos para hardware de conversação.
- A IA está a potenciar experiências que destilam informações de conjuntos de dados cada vez mais complexos. Embora a IA seja um tópico enorme, os recentes progressos forneceram as bases para dispositivos que dependem da imagem digitalizada, de assistentes digitais mais naturais e de recomendação de ações para os utilizadores.
A realidade mista fornece um meio para combinar estas tecnologias numa única experiência de utilizador. A voz torna-se um método natural poderoso para a entrada ao usar um headset holográfico. A IA atua como uma cifra crítica para contextualizar as enormes quantidades de informação que ligam os mundos físico e digital. É por isso que Sataya Nadella se refere ao HoloLens como "o computador final", é um dispositivo culminante para três tecnologias principais. Uma plataforma para capacitar os seres humanos a interagirem mais facilmente com a complexidade crescente de dispositivos e serviços.
Menos interface no rosto
Um dispositivo culminando que liga o mundo físico ao mundo digital permite-nos conceber experiências que se ajustem mais naturalmente, sem abstrações complicadas. Considere as experiências que criou: quando as barreiras da abstração são removidas, quanto da interface resta? Que partes do fluxo da aplicação mudam quando conhece o utilizador e o respetivo contexto? Quantos menus e botões permanecem?
Por exemplo, pense em experiências partilhadas na realidade mista, como o Laboratório de Propulsão a Jato da NASA criado para cientistas. Em vez de criar um sistema para olhar para os dados marcianos (abstraindo os dados em ecrãs ou ecrãs), trouxeram cientistas para dentro dos dados, colocando-os efetivamente na superfície de Marte enquanto colaboravam.
NASA/JPL OnSight
Em vez de encontrar o botão para chamar a atenção para alguma geologia marciana, os cientistas podem apontá-lo diretamente. Sem menus, sem canetas, sem curva de aprendizagem para utilizar a ferramenta de forma eficaz. Ao tirar partido das nossas capacidades conhecidas do mundo físico, interações mais naturais na realidade mista podem contornar a profunda literacia técnica nas ferramentas mais avançadas da indústria.
Da mesma forma, a voz e a IA podem expandir a interação natural em experiências como esta. Quando os assistentes digitais podem 'ver' o mundo que nos rodeia, as conversas sentir-se-ão menos complicadas. Um bot na ferramenta da NASA pode extrair contexto dos cientistas que conferem sobre a geologia marciana, agindo como uma fonte de informação pronta (e conversacional) quando os cientistas fazem gestos e perguntam sobre "isto" ou "aquilo". Um computador que conheça o seu contexto está pronto para avançar com informações adequadas para si, através de um método de interação mais adequado ao seu contexto.
Criar uma base
Neste mundo de experiências contextuais, a mobilidade do utilizador é fundamental. Movendo-se fluidamente entre dispositivos e serviços, com contextos altamente personalizados, os utilizadores viajarão totalmente sobre o mundo físico , criando um enorme desafio de plataforma. Quando o mundo físico se torna um ponto final digital, a interoperabilidade reina suprema.
"Reunir o universo digital e o mundo físico irá desbloquear o potencial humano... permitindo que todas as pessoas e organizações do planeta consigam mais."
— Satya Nadella
Windows Mixed Reality é um esforço para criar uma plataforma para um ecossistema de dispositivos, permitindo que os programadores criem experiências envolventes, acessíveis e compatíveis para o maior público possível. O futuro não será limitado a um único fabricante, muito menos a um único dispositivo. Auscultadores, dispositivos móveis, PCs, acessórios... todas estas coisas físicas têm de interoperar (bem como grafos e serviços digitais) através de uma plataforma subjacente para cumprir com êxito a promessa de realidade mista.
Estruturar para as experiências de amanhã hoje
Cada uma das principais tecnologias por trás desta nova classe de experiências está a permitir que designers e programadores criem experiências apelativas e bem-sucedidas hoje em dia. Ao reduzir a abstração, podemos interagir mais diretamente com o mundo digital, permitindo-nos conceber de formas que aumentam e amplificam as capacidades humanas. A tecnologia de voz (através de bots e assistentes digitais como a Cortana) está a permitir que os utilizadores realizem conversações e cenários cada vez mais complexos, enquanto a tecnologia de IA (através de ferramentas como os Serviços Cognitivos da Microsoft) está a fazer com que as empresas repensem a forma como os utilizadores irão interagir com tudo, desde redes sociais a gestão de cadeias de fornecimento.
Estes tipos de interações dependerão tanto de uma nova classe de ferramentas de design como de suporte fundamental da plataforma. Criar estas ferramentas e criar esta plataforma para dispositivos e serviços depende da compreensão de como as experiências de amanhã resolverão problemas reais e tangíveis. Identificámos cinco áreas de oportunidade em que os nossos parceiros empresariais forneceram soluções valiosas e onde acreditamos que o investimento contínuo nos ajudará a preparar-nos para esta nova classe de computação.
Áreas de oportunidade
O último ano de parcerias para programadores revelou áreas de oportunidade que ressoam com os clientes e criam soluções empresariais de sucesso. Desde cientistas e técnicos a designers e clientes, surgiram cinco áreas de oportunidade onde os parceiros da Microsoft encontram valor com a realidade mista. Estas áreas já estão a fornecer informações massivas sobre as necessidades futuras de plataformas como Windows Mixed Reality e podem ajudá-lo a compreender como estas novas experiências irão afetar as formas como aprendemos, colaboramos, comunicamos e criamos.
1. Criação e estrutura
Uma das principais oportunidades da realidade mista é a capacidade de ver e manipular designs 3D em tempo real, num cenário real, com tamanho e escala verdadeiros. As ferramentas de design e prototipagem escaparam aos limites dos ecrãs, regressando a um reino de design normalmente reservado para materiais físicos tangíveis, como madeira e argila.
O Autodesk criou uma experiência de realidade mista com o objetivo de melhorar a colaboração em todo o processo de desenvolvimento de produtos. A capacidade de engenheiros e designers analisarem e criticarem modelos 3D no seu ambiente permitiu-lhes iterar um design em tempo real. Isto não só permitiu prototipagem mais rápida, como deu lugar a decisões mais confiantes no processo.
Experiências como esta realçam a necessidade de experiências de colaboração fundamentais, a capacidade de os utilizadores verem e comunicarem com objetos partilhados. O objetivo do Autodesk é expandir o produto desde profissionais de design e engenheiros a artistas digitais, estudantes e hobbyistas. À medida que o nível de conhecimento 3D dos utilizadores diminui, a capacidade de interagir com objetos torna-se naturalmente crucial.
2. Montagem e fabrico
Desde a quantidade crescente de especialização em pisos de fábrica até aos rápidos avanços da gestão da cadeia de abastecimento, o acesso totalmente integrado às informações relevantes é fundamental. A realidade mista oferece a capacidade de sintetizar conjuntos de dados extensivos e fornecer apresentações visuais que ajudam em áreas como navegação e operações. Estes são, muitas vezes, campos altamente técnicos e de nicho onde a integração com conjuntos de dados e serviços personalizados é crucial para reduzir a complexidade e proporcionar uma experiência de sucesso.
O fabricante do elevador ThyssenKrupp criou uma experiência para técnicos de serviço de elevador, permitindo-lhes visualizar e identificar problemas em preparação para um trabalho. Com uma equipa com mais de 24.000 técnicos, dispositivos como o HoloLens permitem que estes técnicos tenham acesso remoto e mãos livres a informações técnicas e especializadas.
ThyssenKrupp destaca um conceito poderoso aqui que as informações críticas e contextualmente relevantes podem ser fornecidas rapidamente aos utilizadores. À medida que olhamos para uma nova classe de experiências, a destilação de grandes quantidades de informações possíveis para conteúdos relevantes para o utilizador será fundamental.
3. Formação e desenvolvimento
Representar objetos e informações em três dimensões oferece novas formas de explicar cenários visualmente e com compreensão espacial. A preparação torna-se uma área-chave de oportunidade, tirando partido da capacidade de representar digitalmente objetos enormes e complexos (como motores a jacto) para criar simulações de preparação para uma fração do custo de uma solução física.
A Japan Airlines tem vindo a experimentar programas conceptais para fornecer formação suplementar para a mecânica dos motores e as tripulações de voo. Os motores a jacto maciços (em tamanho e complexidade) podem ser representados em 3D, ignorando as limitações do mundo físico para mover e rodar objetos virtuais em torno dos estagiários, permitindo-lhes ver como os componentes das companhias aéreas funcionam em tempo real.
A formação com componentes virtuais (e a redução da necessidade de simuladores de preparação física dispendiosos) é uma forma fundamental de fornecer valor em cenários empresariais atualmente. À medida que este cenário se expande (como vimos em áreas como a medicina), a imagem digitalizada torna-se especialmente importante para reconhecer objetos exclusivos no ambiente, compreender o contexto do utilizador e fornecer instruções relevantes.
4. Comunicação e compreensão
As interações entre duas pessoas (quer ambos os participantes estejam em dispositivos de realidade mista ou um num PC ou telemóvel tradicional) podem proporcionar uma sensação de imersão num novo ambiente ou uma sensação de presença ao comunicar virtualmente com outras pessoas. Em cenários empresariais, este sentimento de presença é uma vantagem para as equipas móveis, ajudando a aumentar a compreensão dos projetos e diminuindo a necessidade de viajar.
O fabricante de tecnologia comercial Trimble desenvolveu uma solução para profissionais do setor da arquitetura e construção para colaborar e rever trabalhos durante o desenvolvimento da construção. Os profissionais podem mergulhar remotamente num projeto para discutir o progresso ou estar na localização e rever planos como iriam olhar (na sua forma final) no ambiente à sua volta.
As experiências partilhadas são uma área de investimento importante para a Microsoft, com aplicações como o Skype a explorar novas formas de representar humanos no espaço digital. As equipas estão a explorar gravações de vídeo volumetricas, avatares e recriações do espaço físico de um participante.
5. Entretenimento e envolvimento
A natureza da imersão na realidade mista pode ter um enorme impacto na forma como os clientes se envolvem com entretenimento e marketing. Artistas e estúdios de entretenimento exploraram a realidade mista como um meio convincente para a narrativa, enquanto as empresas exploram as implicações para o marketing da marca. Desde demonstrações de produtos em showrooms privados a peças visuais contadas na exposição comercial, os conteúdos podem ser entregues de formas mais envolventes e personalizadas.
A Volvo criou uma experiência para mostrar os seus modelos de automóveis mais recentes (envolvendo utilizadores em cores e configurações diferentes) ao mesmo tempo que destaca como os sensores avançados funcionam para criar uma experiência de condução melhor e mais segura. Levar os clientes através de uma experiência guiada de showroom permite à Volvo contar a história por trás da funcionalidade de carros de ponta, enquanto proporciona uma interpretação memorável da sua história de marca.
O entretenimento está, em muitos aspectos, a impulsionar os limites da realidade mista (especialmente a realidade virtual) e talvez o mais convincente neste espaço seja a forma como irá interagir combinando com a área de oportunidade anterior: comunicação e compreensão. Com vários utilizadores, cada um com a sua própria variante de dispositivos e métodos de interface, pode imaginar um vasto futuro de personalização no domínio do entretenimento.
Começar a construir hoje
É difícil dizer como será o futuro distante da realidade mista para os consumidores, mas concentrar-se em problemas únicos, ficar prático com hardware real e experimentar hoje com a interseção entre a realidade mista, a voz e a IA é fundamental. A Microsoft está apenas a começar a utilizar a realidade mista, mas aprender com os sucessos realizados hoje pelas empresas irá ajudá-lo a criar as experiências do futuro.
Próximo Ponto de Verificação de Deteção
Se está a seguir a jornada de descoberta que fizemos, está no meio de explorar as noções básicas de Mixed Reality. A partir daqui, pode avançar para o próximo tópico fundamental:
Em alternativa, avance para Mixed Reality experiências principais:
Acerca do autor
 |
Mark Vitazko UX Designer @Microsoft |