Casestudy - Het streven naar meer persoonlijke computing
De kansen van morgen worden ontdekt door vandaag producten te bouwen. De oplossingen die deze producten bieden, laten zien wat er nodig is om de toekomst vooruit te helpen. Met mixed reality is dit met name het geval: Zinvol inzicht komt voort uit het praktijkgerichte werk: echte apparaten, echte klanten, echte problemen.
Bij Microsoft maak ik deel uit van het ontwerpteam om zakelijke partners te helpen bij het bouwen van ervaringen voor hun bedrijf met behulp van Windows Mixed Reality. In het afgelopen jaar heeft ons team zich gericht op HoloLens en inzicht in hoe het belangrijkste holografische apparaat van Microsoft vandaag de dag waarde kan leveren aan klanten. Ons team werkt nauw samen met ontwerpers en ontwikkelaars van deze bedrijven en richt zich op het ontdekken van oplossingen die technisch onuitvoerbaar, financieel onpraktisch of anderszins onmogelijk zouden zijn zonder HoloLens.
HoloAnatomy van Case Western Reserve University
Door deze oplossingen te bouwen, kunnen de interne teams van Microsoft zich voorbereiden op de volgende generatie computing. Als u leert hoe personen en bedrijven omgaan met kerntechnologieën zoals mixed reality, spraak en AI, kunnen microsoft betere apparaten, platforms en hulpprogramma's bouwen voor ontwikkelaars. Als u een ontwerper of ontwikkelaar bent die deze ruimte verkent, is het essentieel om u voor te bereiden op de mixed reality-mogelijkheden van morgen.
De ambitie van Microsoft voor mixed reality
We leven tussen twee werelden: de fysieke en de digitale. Beide hebben fundamentele sterke punten die we gebruiken om onze vaardigheden te vergroten en uit te breiden. We kunnen persoonlijk praten met een vriend, onze fysieke zintuigen gebruiken om dingen zoals lichaamstaal te begrijpen, of we kunnen ons vermogen vergroten om te praten door videochats te maken met een vriend van kilometers afstand. Tot nu toe waren deze twee werelden, en hun respectieve sterke punten, fundamenteel gescheiden.
De fysieke wereld is er een van atomen en fysica. We gebruiken onze zintuigen om beslissingen te nemen en gebruiken jaren van geleerd gedrag om te communiceren met objecten en mensen in onze omgeving. Ondanks het gemak van deze interacties, worden we beperkt door onze fysieke vermogens en de wetten van de natuur.
De digitale wereld is er een van bits en logica. Berekeningen worden direct uitgevoerd, terwijl informatie moeiteloos kan worden gedistribueerd. Ondanks de snelheid en stroom van informatie, zijn interacties te vaak beperkt tot kleine schermen, abstracte invoer en ruisige feeds.
HoloStudio
Wat als we de voordelen van de fysieke en digitale wereld kunnen combineren? Dit is de hoeksteen van ervaringen in het spectrum van mixed reality: een medium waar het fysieke en digitale naast elkaar bestaan en naadloos samenwerken. Het combineren van deze werelden vormt een nieuwe basis voor een natuurlijkere interactie met technologie: een evolutie in personal computing.
Het spectrum van mixed reality is geëxplodeerd naarmate ontwikkelaars zijn begonnen met het verkennen van de mogelijkheden van onderdompeling en aanwezigheid. Gebruikers in de digitale wereld brengen met immersive (virtual reality) ervaringen en digitale objecten maken in de fysieke wereld met holografische (augmented reality) ervaringen. Maar wat zijn de voordelen van het in kaart brengen van de fysieke wereld aan de digitale wereld? Wat gebeurt er als we computers ogen geven om te zien?
De fundamentele Camera Vision-technologie achter hologrammen fungeert als een paar ogen voor de computer om de omgeving om u heen te zien: objecten in de wereld, mensen om u heen, veranderen wanneer ze zich voordoen. Een digitaal begrip van uw context in de fysieke wereld. Dit leidt tot een enorme hoeveelheid informatie, waarvan we de implicaties pas beginnen te begrijpen.
Culminerende kerntechnologieën
Computing is te vaak een tastbaar iets. Pak onze apparaten om ze te vertellen wie we zijn en wat we willen. Ons denken af te stemmen en uit te lijnen wat we zeggen om te voldoen aan wat we geloven dat de computer moet horen.
De belofte van mixed reality, vooral in de echte wereld met holografische ervaringen, is om de last van interactie met technologie te verminderen. Cognitieve belasting verminderen terwijl gebruikers navigeren in de abstractielagen die tegenwoordig inherent zijn aan computing. Hoe kunnen we ervaringen ontwerpen die niet alleen profiteren van contextueel begrip, maar het ook gemakkelijker maken om inzicht te krijgen en actie te ondernemen? Twee technologieën proberen dit probleem ook op te lossen:
- Spraak, in termen van spraak en gesprek, stelt gebruikers in staat om met computers te communiceren via meer natuurlijke middelen: bots beantwoorden via tekst of het geven van opdrachten aan gesprekshardware.
- AI zorgt voor ervaringen die inzichten afleiden uit steeds complexeer gegevenssets. Hoewel AI een enorm onderwerp is, biedt de recente vooruitgang de basis voor apparaten die afhankelijk zijn van Computer Vision, meer natuurlijke digitale assistenten en het aanbevelen van acties aan gebruikers.
Mixed reality biedt een medium om deze technologieën te combineren in één gebruikerservaring. Voice wordt een krachtige, natuurlijke methode voor invoer bij het dragen van een holografische headset. AI fungeert als een kritieke codering voor het contextualiseren van de enorme hoeveelheden informatie die de fysieke en digitale wereld verbinden. Daarom verwijst Sataya Nadella naar HoloLens als 'de ultieme computer', het is een hoogtepunt voor drie kerntechnologieën. Een platform waarmee mensen gemakkelijker kunnen communiceren met de toenemende complexiteit van apparaten en services.
Minder interface in uw gezicht
Een culminerend apparaat dat de fysieke wereld verbindt met de digitale wereld, stelt ons in staat om ervaringen te ontwerpen die natuurlijker passen, zonder lastige abstracties. Houd rekening met de ervaringen die u hebt gemaakt: wanneer de barrières van abstractie zijn verwijderd, hoeveel van uw interface is er dan nog over? Welke onderdelen van uw app-stroom worden gewijzigd wanneer u de gebruiker en hun context kent? Hoeveel menu's en knoppen blijven er over?
Denk bijvoorbeeld aan gedeelde ervaringen in mixed reality, zoals de OnSight-tool die NASA's Jet Propulsion Laboratory heeft gebouwd voor wetenschappers. In plaats van een systeem te bouwen om naar Mars-gegevens te kijken (de gegevens te abstraheren op schermen of beeldschermen), brachten ze wetenschappers binnen in de gegevens en plaatsten ze effectief op het oppervlak van Mars terwijl ze samenwerkten.
NASA/JPL OnSight
In plaats van de knop te vinden om de aandacht te vestigen op een Bepaalde Mars-geologie, kunnen wetenschappers er rechtstreeks naar verwijzen. Geen menu's, geen pennen, geen leercurve om de tool effectief te gebruiken. Door gebruik te maken van onze bekende vaardigheden uit de fysieke wereld, kunnen meer natuurlijke interacties in mixed reality diepe technische geletterdheid in zelfs de meest geavanceerde industriële hulpmiddelen omzeilen.
Op dezelfde manier kunnen spraak en AI natuurlijke interactie in een ervaring als deze uitbreiden. Wanneer digitale assistenten kunnen 'zien' in de wereld om ons heen, zullen gesprekken minder omslachtig aanvoelen. Een bot in het hulpprogramma van NASA kan context extraheren uit de wetenschappers die aan de Mars-geologie werken en fungeren als een kant-en-klare (en gespreks)bron van informatie wanneer wetenschappers gebaar maken en vragen stellen over 'dit' of 'dat'. Een computer die uw context kent, is klaar om te beginnen met informatie die geschikt is voor u, via een interactiemethode die het meest geschikt is voor uw context.
Bouwen op een fundament
In deze wereld van contextuele ervaringen is de mobiliteit van de gebruiker essentieel. Gebruikers bewegen zich soepel tussen apparaten en services, met zeer persoonlijke contexten, en reizen naadloos door de fysieke wereld, wat een enorme platformuitdaging creëert. Wanneer de fysieke wereld een digitaal eindpunt wordt, heerst interoperabiliteit het hoogste punt.
"Het samenbrengen van het digitale universum en de fysieke wereld zal het menselijk potentieel ontsluiten... elke persoon en organisatie op de planeet in staat stellen om meer te bereiken."
— Satya Nadella
Windows Mixed Reality is een poging om een platform te maken voor een ecosysteem van apparaten, zodat ontwikkelaars meeslepende, betaalbare en compatibele ervaringen kunnen maken voor een zo groot mogelijk publiek. De toekomst is niet beperkt tot één fabrikant, laat staan één apparaat. Headsets, mobiele apparaten, pc's, accessoires... al deze fysieke dingen moeten samenwerken (evenals digitale zaken zoals grafieken en services) via een onderliggend platform om de belofte van mixed reality succesvol waar te maken.
Ontwerpen voor de ervaringen van morgen vandaag
Elk van de kerntechnologieën achter deze nieuwe klasse van ervaringen stelt ontwerpers en ontwikkelaars in staat om vandaag aantrekkelijke en succesvolle ervaringen te creëren. Door abstractie te verminderen, kunnen we directer communiceren met de digitale wereld, zodat we kunnen ontwerpen op manieren die menselijke vaardigheden vergroten en versterken. Spraaktechnologie (via bots en digitale assistenten zoals Cortana) stelt gebruikers in staat om steeds complexeer gesprekken en scenario's uit te voeren, terwijl AI-technologie (via hulpprogramma's als Microsoft Cognitive Services) ervoor zorgt dat bedrijven opnieuw nadenken over de manier waarop gebruikers communiceren met alles, van sociale media tot toeleveringsketenbeheer.
Deze typen interacties zijn afhankelijk van zowel een nieuwe klasse ontwerphulpprogramma's als fundamentele ondersteuning van het platform. Het maken van deze hulpprogramma's en het bouwen van dit platform voor apparaten en services is afhankelijk van het begrijpen hoe de ervaringen van morgen echte, tastbare problemen kunnen oplossen. We hebben vijf gebieden met kansen geïdentificeerd waar onze zakelijke partners waardevolle oplossingen hebben geleverd en waar we geloven dat continue investeringen ons helpen ons voor te bereiden op deze nieuwe computingklasse.
Mogelijkheden
Het afgelopen jaar van samenwerkingsverbanden voor ontwikkelaars heeft kansen blootgelegd die bij klanten aanslaan en succesvolle bedrijfsoplossingen creëren. Van wetenschappers en technici tot ontwerpers en klanten, er zijn vijf gebieden van kansen naar voren gekomen waar Microsoft-partners waarde vinden met mixed reality. Deze gebieden bieden al een enorm inzicht in de toekomstige behoeften van platforms zoals Windows Mixed Reality en kunnen u helpen begrijpen hoe deze nieuwe ervaringen van invloed zijn op de manieren waarop we leren, samenwerken, communiceren en creëren.
1. Creatie en ontwerp
Een van de belangrijkste mogelijkheden van mixed reality is de mogelijkheid om 3D-ontwerpen in realtime, in een echte omgeving, op ware grootte en schaal te bekijken en te manipuleren. Ontwerp- en prototypingtools zijn aan de grenzen van schermen ontsnapt, en keren terug naar een gebied van ontwerp dat meestal gereserveerd is voor tastbare, fysieke materialen zoals hout en klei.
Autodesk heeft een mixed reality-ervaring gecreëerd die gericht is op het verbeteren van de samenwerking in het hele productontwikkelingsproces. Dankzij de mogelijkheid voor technici en ontwerpers om 3D-modellen in hun omgeving te onderzoeken en te bekritiseren, konden ze in realtime een ontwerp herhalen. Dit maakte niet alleen snellere prototyping mogelijk, maar maakte ook plaats voor meer betrouwbare beslissingen in het proces.
Ervaringen zoals deze benadrukken de noodzaak van kernsamenwerkingservaringen, de mogelijkheid voor gebruikers om gedeelde objecten te zien en ermee te communiceren. Autodesk's doel is om het product uit te breiden van designprofessionals en ingenieurs tot digitale kunstenaars, studenten en hobbyisten. Naarmate het niveau van 3D-expertise van gebruikers afneemt, wordt de mogelijkheid om met objecten te communiceren op natuurlijke wijze cruciaal.
2. Assemblage en productie
Van de toenemende specialisatie op fabrieksvloeren tot de snelle vooruitgang van supply chain management, naadloze toegang tot relevante informatie is essentieel. Mixed reality biedt de mogelijkheid om uitgebreide gegevenssets te synthetiseren en visuele weergaven te bieden die u helpen bij navigatie en bewerkingen. Dit zijn vaak zeer technische nichevelden waar integratie met aangepaste gegevenssets en services cruciaal is om de complexiteit te verminderen en een succesvolle ervaring te bieden.
Liftfabrikant ThyssenKrupp heeft een ervaring gecreëerd voor liftservicetechnici, zodat ze problemen kunnen visualiseren en identificeren ter voorbereiding op een baan. Met een team van meer dan 24.000 technici hebben deze technici met apparaten zoals HoloLens op afstand handsfree toegang tot technische en deskundige informatie.
Een krachtig concept dat kritieke, contextrelevante informatie snel aan gebruikers kan worden geleverd, wordt benadrukt. Terwijl we vooruitkijken naar een nieuwe klasse van ervaringen, is het essentieel om grote hoeveelheden mogelijke informatie te destilleren naar inhoud die relevant is voor de gebruiker.
3. Training en ontwikkeling
Het weergeven van objecten en informatie in drie dimensies biedt nieuwe manieren om scenario's visueel en met ruimtelijk inzicht uit te leggen. Training wordt een belangrijk gebied van kansen, waarbij gebruik wordt gemaakt van de mogelijkheid om enorme, complexe objecten (zoals straalmotoren) digitaal te vertegenwoordigen om trainingssimulaties te maken voor een fractie van de kosten van een fysieke oplossing.
Japan Airlines heeft geëxperimenteerd met conceptprogramma's om aanvullende training te bieden voor motormonteurs en vliegtuigbemanningen. De enorme straalmotoren (in zowel grootte als complexiteit) kunnen worden weergegeven in 3D, waarbij de beperkingen van de fysieke wereld worden genegeerd om virtuele objecten rond stagiairs te verplaatsen en te draaien, zodat ze in realtime kunnen zien hoe vliegtuigonderdelen werken.
Training met virtuele onderdelen (en het verminderen van de behoefte aan dure, fysieke trainingssimulators) is een belangrijke manier om vandaag de dag waarde te leveren in bedrijfsscenario's. Naarmate dit scenario zich uitbreidt (zoals we hebben gezien in gebieden als geneeskunde), wordt computer vision vooral belangrijk om unieke objecten in de omgeving te herkennen, de context van de gebruiker te begrijpen en relevante instructies te geven.
4. Communicatie en begrip
Interacties tussen twee personen (of beide deelnemers zich op mixed reality-apparaten bevinden of één op een traditionele pc of telefoon) kunnen zowel een gevoel van onderdompeling in een nieuwe omgeving als een gevoel van aanwezigheid bieden bij het virtueel communiceren met anderen. In bedrijfsscenario's is dit gevoel van aanwezigheid een zegen voor mobiele teams, waardoor het inzicht in projecten wordt vergroot en de behoefte aan reizen wordt verminderd.
Commerciële technische fabrikant Trimble ontwikkelde een oplossing voor architectuur- en bouwprofessionals om samen te werken en werk te beoordelen tijdens de bouwontwikkeling. Professionals kunnen zich op afstand onderdompelen in een project om de voortgang te bespreken of op locatie te zijn en plannen te beoordelen zoals ze (in hun uiteindelijke vorm) in de omgeving om hen heen zouden zien.
Gedeelde ervaringen zijn een belangrijk investeringsgebied voor Microsoft, met apps zoals Skype die nieuwe manieren verkennen om mensen in de digitale ruimte te vertegenwoordigen. Teams verkennen volumetrische video-opnamen, avatars en recreaties van de fysieke ruimte van een deelnemer.
5. Entertainment en betrokkenheid
De aard van onderdompeling in mixed reality kan een enorme invloed hebben op de manier waarop klanten omgaan met entertainment en marketing. Kunstenaars en entertainmentstudio's hebben mixed reality verkend als een overtuigend medium voor storytelling, terwijl bedrijven de implicaties voor merkmarketing onderzoeken. Van productdemo's in privéshowrooms tot visiestukken die op beurstentoonstellingen worden verteld, inhoud kan op meer meeslepende en op maat gemaakte manieren worden geleverd.
Volvo creëerde een ervaring voor het presenteren van hun nieuwste automodellen (gebruikers onderdompelen in verschillende kleuren en configuraties) en benadrukte hoe geavanceerde sensoren werken om een betere en veiligere rijervaring te creëren. Door klanten door een begeleide showroom-ervaring te leiden, kan Volvo het verhaal achter de geavanceerde autofunctie vertellen en tegelijkertijd een gedenkwaardige weergave van hun merkverhaal leveren.
Entertainment verleggen in veel opzichten de grenzen van mixed reality (met name virtual reality) en misschien wel het meest aantrekkelijke in deze ruimte is de manier waarop het zal communiceren in combinatie met het vorige gebied van kansen: communicatie en begrip. Met meerdere gebruikers, elk met hun eigen variant van apparaten en interfacemethoden, kunt u zich een enorme toekomst van persoonlijke instellingen voorstellen op het gebied van entertainment.
Begin vandaag met bouwen
Het is moeilijk te zeggen hoe de toekomst van mixed reality eruit zal zien voor consumenten, maar focussen op unieke problemen, praktijkervaring opdoen met echte hardware en vandaag experimenteren met het snijpunt tussen mixed reality, spraak en AI is essentieel. Microsoft is net begonnen met mixed reality, maar door te leren van de successen die bedrijven vandaag hebben gerealiseerd, kunt u de ervaringen van morgen creëren.
Volgend detectiecontrolepunt
Als u de ontdekkingsreis volgt die we hebben uitgezet, bent u bezig met het verkennen van de basisbeginselen van Mixed Reality. Hier kunt u doorgaan met het volgende basisonderwerp:
Of ga naar Mixed Reality kernervaringen:
Over de auteur
 |
Mark Vitazko UX-Designer @Microsoft |