IoT-eszközök vezérlése hangvezérelt asszisztens használatával

Robotszolgáltatás
Speech
IoT Hub
Language Understanding

Solution Idea

Ha szeretné látni, hogyan bővítjük ki ezt a cikket olyan további információkkal, mint a lehetséges esetek, az alternatív szolgáltatások, az implementációval kapcsolatos megfontolások vagy a díjszabási útmutató, GitHub visszajelzéssel!

Zökkenőmentes társalgási felületeket hozhat létre az összes internethez csatlakoztatott eszközzel – a csatlakoztatott televíziótól vagy hűtőszekrénytől kezdve egy csatlakoztatott erőmű eszközeiig. Az Azure Speech Service, a Language Understanding Service (LUIS) és az Azure Bot Frameworkkombinálásával a fejlesztők természetes, emberhez hasonló társalgási felületeket hozhatnak létre az intelligens eszközök vezérléséhez a Azure IoT Hub.

Architektúra

Architektúradiagram

Adatfolyam

  1. Hang használatával a felhasználó megkéri a hangsegéd alkalmazást, hogy kapcsolja be a ház világítását.
  2. A Speech SDK használatával az alkalmazás a Direct Line Speech. Ha a kulcsszavakat kulcsszó-ellenőrzés is megerősíti, a rendszer szövegre írja át a beszédet, és elküldi a Bot Service.
  3. A Bot Service csatlakozik a Language Understanding (LUIS) szolgáltatáshoz. A LUIS lehetővé teszi, hogy az alkalmazás megértse, mit szeretne egy személy a saját szavaival. A rendszer a felhasználói kérés (például: TurnOnLight) szándékát adja vissza a Bot Service.
  4. A rendszer továbbítja a kérést az eszközre.
    • Ha az eszköz az Azure IoT Hub-hoz csatlakozik, a Bot Service csatlakozik a Azure IoT Hub Service API-hoz, és elküldi a parancsot az eszközre egy közvetlen metódussal, az ikereszköz Kívánt tulajdonságának frissítésével vagy egy Felhőből egy eszközre üzenettel.
    • Ha az eszköz külső IoT-felhőhöz csatlakozik, a Bot Service a külső szolgáltatási API-hoz csatlakozik, és parancsot küld az eszköznek.
  5. A robot visszaadja a parancs eredményeit a felhasználónak egy olyan válasz generálása által, amely tartalmazza a beszéljen szöveget.
  6. A válasz hanganyagra vált a Text-to-Speech szolgáltatással, és a hangsegéd alkalmazásnak ad vissza Direct Line Speech.
  7. Az Elemzések gyűjti a futásidejű telemetriát, hogy segítsen a robot teljesítményének és használatának fejlesztésében
  8. Azure App Service a Bot Service alkalmazást.

Összetevők

  1. A hangvezérelt asszisztensek dokumentációja
  2. Oktatóanyag: Robot hangalapú engedélyezése a Speech SDK használatával
  3. Mi a Direct Line Speech
  4. Azure Bot Service
  5. Speech to Text
  6. Text to Speech
  7. Egyéni kulcsszavak
  8. Language Understanding szolgáltatás (LUIS)
  9. Azure IoT Hub

Következő lépések