音声アシスタントを使用した IoT デバイスの制御

ボット サービス
音声
IoT Hub
Language Understanding

ソリューションのアイデア

さらなる情報、実装の詳細、価格ガイダンス、コード例を追加してこの記事を拡張することをお望みの場合は、GitHub のフィードバックでご連絡ください。

接続されたテレビや冷蔵庫から、接続された発電所のデバイスまで、インターネットにアクセス可能なすべてのデバイスとのシームレスな会話型インターフェイスを作成できます。 開発者は、Azure 音声サービスLanguage Understanding Service (LUIS) と Azure Bot Framework を組み合わせることにより、人間に似た自然な会話インターフェイスを作成して、Azure IoT Hub を使用してスマート デバイスを制御することができます。

Architecture

アーキテクチャの図

データ フロー

  1. ユーザーが音声を使用して、家の外のライトを付けるように音声アシスタント アプリに頼みます。
  2. アプリは Speech SDK を使用して Direct Line Speech に接続します。 キーワード検証によってキーワードが確定されたら、音声がテキストに書き起こされ、Bot Service に送信されます。
  3. Bot Service は Language Understanding サービス (LUIS) に接続します。 LUIS を使用すると、アプリケーションが人の発言の意図を認識できるようになります。 ユーザーの要求の意図 (例:TurnOnLight) が Bot Service に返されます。
  4. 要求がデバイスにリレーされます。
    • デバイスが Azure IoT Hub に接続されている場合、Bot Service は Azure IoT Hub Service API に接続して、ダイレクト メソッド、デバイス ツインの必要なプロパティへの更新、Cloud to Device メッセージのいずれかを使用してデバイスにコマンドを送信します。
    • デバイスがサード パーティの IoT クラウドに接続されている場合、Bot Service はサード パーティのサービス API に接続して、デバイスにコマンドを送信します。
  5. Bot は、音声用のテキストを含む応答を生成して、ユーザーにコマンドの結果を返します。
  6. 応答はテキスト読み上げサービスを使用して音声に変換され、Direct Line Speech により、音声アシスタント アプリに渡されます。
  7. Application Insights がランタイム テレメトリを収集して、ボットのパフォーマンスと使用状況の情報によって開発を支援します。
  8. Azure App Service は Bot Service アプリケーションをホストします。

Components

  1. 音声アシスタントのドキュメント
  2. チュートリアル:Speech SDK を使用して音声でボットを有効にする
  3. Direct Line Speech とは
  4. Azure Bot Service
  5. 音声テキスト変換
  6. テキスト読み上げ
  7. カスタム キーワード
  8. Language Understanding サービス (LUIS)
  9. Azure IoT Hub

次のステップ