Spracheingabe in Unreal
Die Spracheingabe in Unreal ermöglicht es Ihnen, mit einem Hologramm zu interagieren, ohne Handgesten verwenden zu müssen, und wird nur HoloLens 2 unterstützt. Die Spracheingabe auf HoloLens 2 wird von derselben Engine unterstützt, die Sprache in allen anderen universellen Windows-Apps unterstützt, aber Unreal verwendet eine eingeschränktere Engine für die Verarbeitung von Spracheingaben. Dadurch werden die Spracheingabefeatures in Unreal auf vordefinierte Sprachzuordnungen beschränkt, die in den folgenden Abschnitten behandelt werden.
Aktivieren der Spracherkennung
Wenn Sie Windows Mixed Reality Plug-In verwenden, erfordert die Spracheingabe keine speziellen Windows Mixed Reality-APIs. Sie basiert auf der vorhandenen Eingabezuordnungs-API der Unreal Engine 4. Wenn Sie OpenXR verwenden, sollten Sie zusätzlich das Microsoft OpenXR-Plug-In installieren.
So aktivieren Sie die Spracherkennung auf HoloLens:
- Wählen Sie Projekteinstellungen > Plattform > HoloLens-Funktionen > aus, und aktivieren Sie Mikrofon.
- Die Spracherkennung wurde in einstellungen > Privacy > Speech aktiviert, und wählen Sie Englisch aus.
Hinweis
Die Spracherkennung funktioniert immer in der Windows-Anzeigesprache, die in der Einstellungen-App konfiguriert ist. Es wird empfohlen, auch die Online-Spracherkennung zu aktivieren, um die beste Dienstqualität zu erzielen.
- Beim ersten Start der Anwendung wird ein Dialogfeld angezeigt, in dem Sie gefragt werden, ob Sie das Mikrofon aktivieren möchten. Wenn Sie Ja auswählen, wird die Spracheingabe in der App gestartet.
Hinzufügen von Sprachzuordnungen
Das Verbinden von Sprache und Aktion ist ein wichtiger Schritt bei der Verwendung der Spracheingabe. Diese Zuordnungen überwachen die App auf Sprachschlüsselwörter, die ein Benutzer möglicherweise sagt, und lösen dann eine verknüpfte Aktion aus. Sprachzuordnungen finden Sie wie folgt:
- Wählen Sie Projekteinstellungen bearbeiten >aus, scrollen Sie zum Abschnitt Engine, und klicken Sie auf Eingabe.
So fügen Sie eine neue Sprachzuordnung für einen Sprungbefehl hinzu:
- Wählen Sie das + Symbol neben Array-Elemente aus, und füllen Sie die folgenden Werte aus:
- jumpWord für Aktionsname
- jump für Speech-Schlüsselwort
Hinweis
Alle englischen Wörter oder kurzen Sätze können als Schlüsselwort (keyword) verwendet werden.
Sprachzuordnungen können als Eingabekomponenten wie Aktions- oder Achsenzuordnungen oder als Blaupausenknoten im Ereignisgraph verwendet werden. Beispielsweise können Sie den Jump-Befehl verknüpfen, um zwei verschiedene Protokolle auszudrucken, je nachdem, wann das Wort gesprochen wird:
- Doppelklicken Sie auf eine Blaupause, um sie im Ereignisgraphen zu öffnen.
- Klicken Sie mit der rechten Maustaste, suchen Sie nach dem Aktionsnamen Ihrer Sprachzuordnung (in diesem Fall jumpWord), und drücken Sie dann die EINGABETASTE, um dem Diagramm einen Eingabeaktionsknoten hinzuzufügen.
- Ziehen Sie den Knoten Pressed pin to Print String (Druckzeichenfolge) wie in der folgenden Abbildung dargestellt, und legen Sie ihn ab. Sie können den Pin "Freigegeben " leer lassen. Für Sprachzuordnungen wird nichts ausgeführt.
- Spielen Sie die App ab, sagen Sie das Wort sprung, und watch die Konsole die Protokolle aus.
Das ist alles, was Sie zum Hinzufügen von Spracheingaben zu Ihren HoloLens-Apps in Unreal benötigen. Weitere Informationen zu Sprache und Interaktivität finden Sie unter den folgenden Links, und denken Sie unbedingt über die Benutzererfahrung nach, die Sie für Ihre Benutzer erstellen.
Nächster Entwicklungsprüfpunkt
Wenn Sie die von uns beschriebene Entwicklungsphase von Unreal befolgen, müssen Sie sich als nächstes mit den Mixed Reality Plattformfunktionen und APIs vertraut geben:
Sie können jederzeit zu den Prüfpunkten für die Unreal-Entwicklung zurückkehren.