音声アシスタントを使用した IoT デバイスの制御

接続されたテレビや冷蔵庫から、接続された発電所のデバイスまで、インターネットにアクセス可能なすべてのデバイスとのシームレスな会話型インターフェイスを作成できます。 開発者は、Azure 音声サービス、Language Understanding Service (LUIS) と Azure Bot Framework を組み合わせることにより、人間に似た自然な会話インターフェイスを作成して、Azure IoT Hub を使用してスマート デバイスを制御することができます。

Architecture

データ フロー

1. ユーザーが音声を使用して、家の外のライトを付けるように音声アシスタント アプリに頼みます。
2. アプリは Speech SDK を使用して Direct Line Speech に接続します。 キーワード検証によってキーワードが確定されたら、音声がテキストに書き起こされ、Bot Service に送信されます。
3. Bot Service は Language Understanding サービス (LUIS) に接続します。 LUIS を使用すると、アプリケーションが人の発言の意図を認識できるようになります。 ユーザーの要求の意図 (例:TurnOnLight) が Bot Service に返されます。
4. 要求がデバイスにリレーされます。
   • デバイスが Azure IoT Hub に接続されている場合、Bot Service は Azure IoT Hub Service API に接続して、ダイレクト メソッド、デバイス ツインの必要なプロパティへの更新、Cloud to Device メッセージのいずれかを使用してデバイスにコマンドを送信します。
   • デバイスがサード パーティの IoT クラウドに接続されている場合、Bot Service はサード パーティのサービス API に接続して、デバイスにコマンドを送信します。
5. Bot は、音声用のテキストを含む応答を生成して、ユーザーにコマンドの結果を返します。
6. 応答はテキスト読み上げサービスを使用して音声に変換され、Direct Line Speech により、音声アシスタント アプリに渡されます。
7. Application Insights がランタイム テレメトリを収集して、ボットのパフォーマンスと使用状況の情報によって開発を支援します。
8. Azure App Service は Bot Service アプリケーションをホストします。

Components

1. 音声アシスタントのドキュメント
2. チュートリアル:Speech SDK を使用して音声でボットを有効にする
3. Direct Line Speech とは
4. Azure Bot Service
5. 音声テキスト変換
6. テキスト読み上げ
7. カスタム キーワード
8. Language Understanding サービス (LUIS)
9. Azure IoT Hub

次のステップ

• LUIS アプリを作成してアプリに意図を追加する方法については、以下の記事を参照してください。
  • LUIS アプリの作成
  • 意図を追加して LUIS アプリをトレーニングする
• LUIS アプリをボットに追加する方法の詳細については、以下を参照してください。
  • Azure Bot Service を使用してボットを作成する方法
  • 自然言語の理解 (LUIS) をボットに追加する方法
• Azure IoT Hub を使用して IoT デバイスにコマンドを送信するために使用できるさまざまな方法については、以下を参照してください。
  • cloud-to-device コマンドの送信
  • デバイス ツインの使用
  • ダイレクト メソッドの使用
• Azure Bot Service を使用してエンタープライズ グレードの会話型ボットを作成する方法を確認します。
• IoT Hub を使用したソリューションの開発に関する詳細については、Azure Iot Hub 開発者ガイドを参照してください。