Unreal での音声入力
Unreal での音声入力を使用すると、手のジェスチャを使用せずにホログラムを操作できます。これは、HoloLens 2 でのみサポートされています。 HoloLens 2 の音声入力は、他のすべてのユニバーサル Windows アプリで音声をサポートするのと同じエンジンを利用しますが、Unreal では、より限定的なエンジンを使用して音声入力を処理します。 これにより、Unreal の音声入力機能が定義済みの音声マッピングに制限されます。これについて、以下のセクションで説明します。
音声認識の有効化
Windows Mixed Reality プラグインを使用する場合、音声入力には特別な Windows Mixed Reality API は必要ありません。既存の Unreal Engine 4 Input Mapping API 上に構築されています。 OpenXR を使用する場合は、加えて Microsoft OpenXR プラグインをインストールする必要があります。
HoloLens で音声認識を有効にするには、次の手順を実行します。
- [プロジェクト設定] >[プラットフォーム] > [HoloLens] > [機能] を選択し、[マイク] を有効にします。
- [設定] > [プライバシー] > [音声認識] で音声認識を有効にし、[英語] を選択します。
Note
音声認識は、設定アプリで構成された Windows の表示言語で常に機能します。 サービス品質を向上させるために、[オンライン音声認識] も有効にすることをお勧めします。
- アプリケーションがマイクを有効にするかどうかを最初に確認する際に、ダイアログが表示されます。 [はい] を選択すると、アプリで音声入力が開始されます。
音声マッピングの追加
音声入力を使用する場合は、音声を操作に接続することが重要な手順です。 これらのマッピングは、ユーザーが言う可能性がある音声キーワードをアプリで監視し、リンクされたアクションを起動します。 音声マッピングは、次の方法で確認できます。
- [編集] > [プロジェクトの設定] を選択し、[エンジン] までスクロールして、[入力] をクリックします。
jump コマンドの新しい音声マッピングを追加するには、次の手順を実行します。
- 配列要素の隣の + アイコンを選択し、次の値を入力します。
- [アクション名] に jumpWord
- [音声キーワード] に jump
Note
任意の英語の単語または短い文をキーワードとして使用できます。
音声マッピングは、アクションや軸マッピングなどの入力コンポーネントとして、または Event Graph でブループリント ノードとして使用できます。 たとえば、jump コマンドをリンクして、単語が読み上げられた時間に応じて 2 つの異なるログを出力できます。
- ブループリントをダブルクリックして、Event Graph で開きます。
- 右クリックして、音声マッピングの [アクション名] (この例では jumpWord) を検索し、Enter キーを押して入力アクション ノードをグラフに追加します。
- 次の図に示すように、[押下] ピンを [印刷文字列] ノードにドラッグ アンド ドロップします。 [リリース済み] ピンは空のままにしても、音声マッピングに対して何も実行されません。
- アプリを再生し、「jump」と言って、コンソールがログを出力するのを確認します。
Unreal の HoloLens アプリへの音声入力の追加を開始するために必要な設定は以上です。 音声と対話機能の詳細については、以下のリンクを参照してください。また、ユーザー向けに作成するエクスペリエンスについて必ずご確認ください。
次の開発チェックポイント
用意されている Unreal 開発体験に従っている場合、次のタスクは、Mixed Reality プラットフォームの機能と API の探索です。
いつでも Unreal 開発チェックポイントに戻ることができます。