Geavanceerde HoloLens Emulator en Mixed Reality Simulator-invoer

De meeste emulatorgebruikers hoeven alleen de basisinvoerbesturingselementen te gebruiken voor de HoloLens Emulator of de Windows Mixed Reality simulator. De onderstaande gegevens zijn voor geavanceerde gebruikers die de behoefte hebben gevonden om complexere typen invoer te simuleren.

Concepten

Om aan de slag te gaan met het beheren van de virtuele invoer voor HoloLens Emulator en Windows Mixed Reality simulator, moet u eerst enkele concepten begrijpen.

Beweging verwijst naar het beheren en wijzigen van de positie en richting van iets in de scène. Voor een gericht beheersbaar object wordt beweging beheerd met zowel rotatie als vertaling (beweging) op drie assen.

  • Yaw: ga naar links of rechts.
  • Pitch: omhoog of omlaag.
  • Roll: Roll side-to-side.
  • X: Verplaats naar links of rechts.
  • Y: omhoog of omlaag.
  • Z: vooruit of achteruit.

Bewegings- en bewegingscontrollerinvoer zijn nauw verbonden met fysieke apparaten:

  • Actie: Simuleert de actie van het drukken op de wijsvinger op de vingerafdruk of het binnenhalen van de actieknop op een controller. De invoer van de actie kan bijvoorbeeld worden gebruikt om de beweging in de lucht te simuleren, door inhoud te schuiven en in te drukken en in te houden.
  • Bloom/System gesture of Home: de HoloLens/systeembewegingen of de knop Start van een controller wordt gebruikt om terug te keren naar de shell en om systeemacties te fireen.

Handen hebben een rijke weergave in HoloLens 2. Naast het bijhouden/niet bijhouden en gebruiken van rijbewegingen, hebben handen nu een verwoord geraamte dat voor hen geschikt is en zichtbaar is voor de ontwikkelaar. Het basismodel heeft 26 bij te houden punten aan elke hand.

  • Gezamenlijk: een van de 20 bij te houden posities voor een bepaalde bij te houden hand met een bijbehorend punt in de 3d-ruimte.
  • Houding: Een volledige verzameling van alle Kanen in een bij te houden hand, 26 Manen in totaal.

Momenteel hebben we geen directe controle over afzonderlijke gemeenschappelijke posities via de emulator, maar u kunt ze instellen via de simulatie-API. We hebben een aantal handige representatieve houdingen waartussen u met de emulator kunt schakelen.

U kunt ook de status van de gesimuleerde sensorinvoer bepalen:

  • Opnieuw instellen: hiermee worden alle gesimuleerde sensoren teruggezet naar de standaardwaarden. Vanaf de HoloLens 2 Emulator kan een reset worden ingesteld op één of beide handen. Betrek de gewenste hand(en) met behulp van de modifiersleutel(s) of knop(en) (Links en/of Rechts Alt, of de linker- en/of rechterknop op het gamepad).
  • Bijhouden: doorloop de positionele traceringsmodi, waaronder:
    • Standaardinstelling: het besturingssysteem kiest de beste traceringsmodus op basis van de aanvragen van het systeem.
    • Stand: dwingt het bijhouden van alleen standen af, ongeacht de systeemaanvragen.
    • Positioneel: dwingt positietracking af, ongeacht de systeemaanvragen.

Typen invoer

In de volgende tabel ziet u hoe elk type invoer wordt gebruikt voor het toetsenbord, de muis en de Xbox-controller. Elk type heeft een andere toewijzing, afhankelijk van de invoerbeheermodus. Verder in dit document vindt u meer informatie over de invoerbeheermodi.

Invoer Toetsenbord Muis Xbox-controller
Yaw Pijlen links/rechts Naar links/rechts slepen Rechtervingerafdruk links/rechts
Worp Pijl-omhoog/pijl-omlaag Omhoog/omlaag slepen Rechtervingerafdruk omhoog/omlaag
Roll Q/E DPad links/rechts
X A/D Linkervingerafdruk links/rechts
J Pagina omhoog/omlaag DPad omhoog/omlaag
Z W/S Linkervingerafdruk omhoog/omlaag
Actie Enter of spatie De knop Rechts Een knop of een trigger
Bloom/System F2- of Windows sleutel Knop B
Controllerknop/handbevatten G
Menuknop Controller M
Touchpad Touch controller U
Controller touchpad drukt u op P
Controllervingerafdruk K
Traceringstoestand van linkercontroller F9
Traceringstoestand van de rechtercontroller F10
Hand'Close' Pose 7
Hand 'Open' Pose (standaard) 8
Hand 'Point' Pose 9
Handhouding 'Knijpen' 0
Opnieuw instellen Escape-sleutel De knop Starten
Tracering T of F3 X-knop

Opmerking: de controllerknoppen kunnen worden gericht op de ene hand/controller of de andere met behulp van de hand gericht op modifiers.

Targeting

Sommige van de bovenstaande invoerconcepten staan op zichzelf. Actie, Bloom/System, Reset en Tracking zijn volledige concepten, hebben geen behoefte en worden niet beïnvloed door, eventuele aanvullende modifiers voor targeting. De overige concepten kunnen worden toegepast op een van meerdere doelen. We hebben manieren geïntroduceerd waarop u kunt opgeven op welk beoogde doel uw opdracht moet worden toegepast. In alle gevallen is het mogelijk om op te geven via de gebruikersinterface of via toetsenbordtoetsen, welk object moet worden gericht. In sommige gevallen is het ook mogelijk om rechtstreeks op te geven met de Xbox-controller.

De volgende tabel beschrijft de opties voor het instellen van een doel en de manier om deze te activeren.

Object Toetsenbord modifier Controller Modifier Emulator UI-modifier
Hoofdtekst (standaard) (standaard) (standaard)
Head H in de wacht houden (Niet beschikbaar) (Niet beschikbaar)
Linker-/controller Alt-knop links ingedrukt houden Houd de knop Linkerknop ingedrukt Left-Hand punaise
Rechterkant/controller Alt-knop rechts ingedrukt Knop Voor rechts houden Right-Hand punaise
Ogen Y in stand houden (Niet beschikbaar) Punaise door ogen

In de volgende tabel ziet u hoe elke doelmodifier elk van de belangrijkste invoerconcepten voor verplaatsingen toekent

Invoer Standaard (body) Hand/controller (Houd Alt ingedrukt, houd de knop gamepad vast of schakel de UI-punaise in) Hoofd (Hold H) Ogen (houd Y vast of schakel ui-punaise in of uit)
Yaw De body naar links/rechts draaien Hand naar links/rechts verplaatsen Ga naar links/rechts Oogcontact ziet er links/rechts uit
Worp Kop omhoog/omlaag Hand omhoog/omlaag verplaatsen Kop omhoog/omlaag zetten Oogcontact kijkt omhoog/omlaag
Roll Kop naar links/rechts draaien Kop naar links/rechts draaien (Geen actie)
X Dia-body naar links/rechts Hand/controller naar links/rechts verplaatsen Ga naar links/rechts (Geen actie)
J De body omhoog/omlaag verplaatsen Hand/controller omhoog/omlaag verplaatsen Kop omhoog/omlaag (Geen actie)
Z De body naar voren/naar achteren verplaatsen Hand/controller vooruit/achteruit verplaatsen Kop omhoog/omlaag (Geen actie)

Een app beheren

De volgende set besturingselementen wordt aanbevolen voor dagelijks gebruik:

Bewerking Toetsenbord en muis Controller
Body X A/D Linkervingerafdruk links/rechts
Body Y Pagina omhoog/pagina omlaag DPad omhoog/omlaag
Body Z W/S Linkervingerafdruk omhoog/omlaag
Body Yaw De muis naar links/rechts slepen Rechtervingerafdruk links/rechts
Head Yaw H + muis naar links/rechts slepen H (op toetsenbord) + rechtervingerafdruk naar links/rechts
Hoofdpraatje De muis omhoog/omlaag slepen Rechtervingerafdruk omhoog/omlaag
Hoofdrollen Q/E DPad links/rechts
Hand/Controller X Alt + A /D Linkervingerafdruk + linkervingerafdruk / rechts
Hand/Controller Y Alt + Pagina omhoog/pagina omlaag Uit elkaar + DPad omhoog/omlaag
Hand/Controller Z Alt + W/S Linkervingerafdruk omhoog/omlaag
Hand/Controller Yaw Alt + de muis naar links/rechts slepen Vingerafdruk + rechtervingerafdruk naar links/rechts
Hand-/controllerpraat Alt + muis omhoog/omlaag slepen Uitding + rechtervinger omhoog/omlaag
Hand-/controller-roll Alt + Q/E Naar links/rechts naar links/rechts met DPad
Actie Rechtermuisknop Trigger
Bloom / Systeem / Start F2- of Windows sleutel Knop B
Opnieuw instellen Escape De knop Starten
Tracering T X-knop
Scrollen Alt + rechter muisknop + muis omhoog/omlaag slepen Uithalen + activeren + rechtervinger omhoog/omlaag
Sneller verplaatsen/draaien Shift-toets links of rechts Houd de rechtervingerafdruk in de hand en houd deze vast
Langzaam verplaatsen/draaien Ctrl-toets links of rechts Houd de linkervingerafdruk in stand

Een Windows Mixed Reality immersive headset en bewegingscontrollers gebruiken met de HoloLens 2 Emulator

Wanneer u een Windows Mixed Reality immersive headset met de HoloLens 2 Emulator, worden beweging en rotatie automatisch aan de verplaatsing en rotatie van headsets toegesneden. De positie en stand van de bewegingscontroller worden automatisch aan de handpositie en -richting in de emulator toegesneden. De onderstaande tabel bevat aanvullende acties die beschikbaar zijn bij het gebruik van een bewegingscontroller.

Notitie

Wanneer u een headset gebruikt, worden standaardbesturingselementen voor toetsenbord, muis en gamepad automatisch genegeerd.

Bewerking Actie Notities
Body X Vingerafdruk links/rechts
Body Z Thumb forward/back
Body Y Toetsenbordpagina omhoog/omlaag Zorg ervoor dat Windows Mixed Reality focus heeft. Druk op Win+Y als de focus op het Windows Desktop ligt om de focus terug te Windows Mixed Reality.
Ogen naar links/rechts kijken DPad links/rechts
Ogen omhoog/omlaag kijken DPad omhoog/omlaag
Tik Trigger
Knijpen/vastknelen Knop Vastknop
Systeembewegingen Menuknop
Positie opnieuw instellen Klik op thumb usb

Perception Simulation Configuratiescherm sneltoetsen

U kunt het paneel Perception Simulation Control openen en pc-invoerapparaten in- of uitschakelen met de volgende sneltoetsen.

Bewerking Snelkoppeling Beschrijving/opmerkingen
'Toetsenbord gebruiken voor simulatie' in-/uitschakelen F4 Wanneer deze is uitgeschakeld, wordt toetsenbordinvoer naar de HoloLens of Windows Mixed Reality toepassing.
'Muis gebruiken voor simulatie' in-/uitschakelen F5 Wanneer deze is uitgeschakeld, gaat de muisinvoer naar Mixed Reality omgeving (Windows Mixed Reality alleen)
Schakel 'Gamepad gebruiken voor simulatie' in F6 Wanneer deze is uitgeschakeld, wordt gamepadinvoer genegeerd door simulatie
Het configuratiescherm weergeven of verbergen F7
Toetsenbordfocus instellen op het configuratiescherm F8 Als het deelvenster momenteel niet zichtbaar is, wordt het eerst weergegeven.
Het deelvenster aan/uit de emulator of het venster Mixed Reality-portal ontkoppelen F9 Als het venster wordt gesloten wanneer het wordt losgekoppeld, wordt het gedokt en verborgen.

Zie ook