Unreal での音声入力Voice Input in Unreal

概要Overview

Unreal の音声入力を使用すると、ハンドジェスチャを使用しなくても、または HoloLens 2 のみがサポートされるようになります。Voice input in Unreal allows you to interact with a hologram without having to use hand gestures and is only supported HoloLens 2. HoloLens 2 での音声入力は、他のすべてのユニバーサル Windows アプリで音声をサポートする同じエンジンによって機能していますが、Unreal は独自のエンジンを使用して音声入力を処理します。Even though voice input on HoloLens 2 is powered by the same engine that supports speech in all other Universal Windows Apps, Unreal uses a more limited engine of its own to process voice input. これにより、次のセクションで説明するように、Unreal の音声入力機能が定義済みの音声マッピングに限定されます。This limits voice input features in Unreal to predefined speech mappings, which is covered in the following sections.

音声認識を有効にするEnabling Speech Recognition

HoloLens で音声認識を有効にするには:To enable speech recognition on HoloLens:

  1. [プロジェクトの設定] を選択して > プラットフォーム > HoloLens > 機能を選択し、マイクを有効にします。Select Project Settings > Platform > HoloLens > Capabilities and enable Microphone.
  2. [設定] で音声認識を有効にし、[プライバシー] > [> ] を選択します。 EnglishEnabled speech recognition in Settings > Privacy > Speech and select English.

注意

音声認識は常に、設定アプリで構成された Windows 表示言語で機能します。Speech recognition always functions in the Windows display language configured in the Settings app. また、サービス品質を最大限に高めるために、オンライン音声認識を有効にすることをお勧めします。It’s recommended that you also enable Online speech recognition for the best service quality.

Windows 音声認識の設定

  1. アプリケーションが最初にマイクを有効にするかどうかを確認すると、ダイアログが表示されます。A dialog will show up when the application first starts to ask if you want to enable the microphone. [はい] を選択すると、アプリで音声入力が開始されます。Selecting Yes starts voice input in the app.

音声入力には、特別な Windows Mixed Reality Api は必要ありません。これは、既存の Unreal Engine 4入力マッピング API を基に構築されています。Voice input doesn’t require any special Windows Mixed Reality APIs; it's built on the existing Unreal Engine 4 Input mapping API.

音声マッピングの追加Adding Speech Mappings

音声入力を使用する場合は、音声をアクションに接続することが重要な手順です。Connecting speech to action is an important step when using voice input. これらのマッピングは、ユーザーが話す可能性のある音声キーワードをアプリで監視し、リンクされたアクションを起動します。These mappings monitor the app for speech keywords that a user might say, then fire off a linked action. 音声マッピングは、次の方法で見つけることができます。You can find Speech Mappings by:

  1. [プロジェクト設定の編集 >] を選択し、[エンジン] セクションまでスクロールして [入力] をクリックします。Selecting Edit > Project Settings, scrolling to the Engine section, and clicking Input.

ジャンプコマンドの新しい音声マッピングを追加するには、次のようにします。To add a new Speech Mapping for a jump command:

  1. [ + 配列要素] の横にあるアイコンをクリックし、次の値を入力します。Click the + icon next to Array elements and fill out the following values:
    • アクション名jumpWordjumpWord for Action Name
    • Speech キーワードジャンプjump for Speech Keyword

注意

すべての英語の単語または短い文をキーワードとして使用できます。Any English word(s) or short sentence(s) can be used as a keyword.

UE4 Engine の入力設定

音声マッピングは、アクションや軸のマッピングなどの入力コンポーネントとして、またはイベントグラフのブループリントノードとして使用できます。Speech Mappings can be used as Input components like Action or Axis Mappings or as blueprint nodes in the Event Graph. たとえば、ジャンプコマンドをリンクして、単語が話されるタイミングに応じて2つの異なるログを出力することができます。For example, you could link the jump command to print out two different logs depending on when the word is spoken:

  1. ブループリントをダブルクリックして、イベントグラフで開きます。Double-click a blueprint to open it in the Event Graph.
  2. 右クリックして音声マッピングのアクション名(この場合はjumpWord) を検索し、 enter キーを押します。Right-click and search for the Action Name of your speech mapping (in this case jumpWord), then hit Enter. これにより、グラフに入力アクションノードが追加されます。This adds an Input Action node to the graph.
  3. 次の図に示すように、押された pin をドラッグアンドドロップして文字列ノードを印刷します。Drag and drop the Pressed pin to Print String node as shown in the image below. 解放された pin は空のままにすることができ、音声マッピングの場合は何も実行されません。You can leave the Released pin empty, it won't execute anything for speech mappings.

音声の単純なアクション

  1. アプリを再生します。 word のジャンプを言い、コンソールでログを出力します。Play the app, say the word jump and watch the console print out the logs!

これで、HoloLens アプリへの音声入力の追加を開始する必要があります。That's all the setup you'll need to start adding voice input to your HoloLens apps in Unreal. 音声と対話機能の詳細については、以下のリンクを参照してください。ユーザー向けに作成しているエクスペリエンスについて考えてください。You can find more information on speech and interactivity can be found at the links below, and be sure to think about the experience you're creating for your users.

こちらもご覧くださいSee also