Szerkesztés

IoT-eszközök vezérlése hangsegéd alkalmazással

Azure AI Bot Service
Azure IoT Hub
Azure AI services
Azure AI Speech

Megoldási ötletek

Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, alternatív szolgáltatásokat, megvalósítási szempontokat vagy díjszabási útmutatást, a GitHub visszajelzésével tudassa velünk.

Ez a megoldási ötlet bemutatja, hogyan hozhat létre hangbeszélgetési interfészeket ioT-eszközökkel. Az Azure Speech Service, a Language Understanding Service (LUIS) és az Azure Bot Framework kombinálásával természetes, emberhez hasonló felületeket hozhat létre, amelyek az Azure IoT Hubon keresztül irányítják az IoT-eszközöket.

Lehetséges használati esetek

  • Vezérelje az internetről elérhető otthoni eszközöket, például a televíziókat és a hűtőszekrényeket hangvezérléssel.
  • Hang- és természetes nyelv használata az IoT-hez csatlakoztatott eszközökkel kapcsolatos problémák jelentéséhez.

Architektúra

Diagram showing the architecture of a voice assistant app.

Töltse le az architektúra Visio-fájlját.

Adatfolyam

  1. A hangeszközön keresztül a felhasználó megkéri a hangsegéd alkalmazást, hogy kapcsolja be a külső ház fényeit.

  2. Az alkalmazás az Azure Speech SDK használatával csatlakozik a Direct Line Speech Bot Service csatornához. Ha a kulcsszófelismerés megerősíti bizonyos kulcsszavakat, a Direct Line Speech szöveggé továbbítja a beszédet, és elküldi a szöveget a Azure-alkalmazás Szolgáltatásban üzemeltetett Bot Service alkalmazásnak.

  3. A Bot Service csatlakozik a Language Understanding (LUIS) szolgáltatáshoz. A LUIS meghatározza a felhasználó kérésének, a TurnOnLightnak a szándékát.

  4. A LUIS visszaadja a szándékot a Bot Service-nek.

  5. Ha az eszközök csatlakoznak az Azure IoT Hubhoz, a Bot Service az Azure IoT Hubon keresztül továbbítja a kérést a külső lámpák bekapcsolásához. A Bot Service az IoT Hub API használatával küldi el a parancsot az eszközöknek közvetlen módszerekkel, az ikereszköz kívánt tulajdonságának frissítésével vagy egy felhő eszközüzenetbe való küldésével.

    Ha az eszközök harmadik féltől származó IoT-telepítéshez csatlakoznak, a Bot Service a külső API-val csatlakozik, hogy parancsot küldjön az eszközöknek.

  6. A Bot Service válasz létrehozásával adja vissza a parancs eredményeit a felhasználónak. A szövegfelolvasási szolgáltatás hanggá alakítja a választ, és a Direct Line Speech használatával visszajuttathatja a Hangsegéd alkalmazásba.

  7. Az alkalmazás Elemzések futásidejű telemetriát gyűjt a robotok teljesítmény- és használatfejlesztéséhez.

Összetevők

  • A Bot Service integrált környezetet biztosít a robotfejlesztéshez.
  • A Speech Service olyan iparági vezető beszédfunkciókat kínál, mint a beszédfelolvasás, a szövegfelolvasás, a beszédfordítás és a beszélőfelismerés.
  • A Language Understanding Service (LUIS) egyéni gépi tanulási intelligenciát alkalmaz a beszélgetési, természetes nyelvi szövegekre a jelentés előrejelzéséhez és a releváns információk kinyeréséhez.
  • Az IoT Hub egy központi felhőalapú üzenetközpont az IoT-alkalmazások és -eszközök közötti kétirányú kommunikációhoz.
  • Az alkalmazás Elemzések az Azure Monitor szolgáltatása, amely bővíthető alkalmazásteljesítmény-kezelést és monitorozást biztosít az élő webalkalmazások számára.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerző:

További lépések