Oplossingsideeën
Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door GitHub-feedback te geven.
In dit oplossingsidee wordt beschreven hoe u spraakgespreksinterfaces maakt met IoT-apparaten (Internet of Things). U kunt Azure Speech Service, Language Understanding Service (LUIS) en Azure Bot Framework combineren om natuurlijke, menselijke interfaces te maken die IoT-apparaten beheren via Azure IoT Hub.
Potentiële gebruikscases
- Beheer apparaten die toegankelijk zijn via internet, zoals televisies en koelkasten, via spraakopdracht.
- Gebruik spraak en natuurlijke taal om problemen met ioT-verbonden apparaten te melden.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Gegevensstroom
Via een spraakapparaat vraagt de gebruiker de spraakassistent-app om de verlichting van het buitenhuis in te schakelen.
De app maakt verbinding met het Direct Line Speech Bot Service-kanaal met behulp van de Azure Speech SDK. Wanneer trefwoordherkenning bepaalde trefwoorden bevestigt, transcribeert Direct Line Speech de spraak naar tekst en verzendt de tekst naar de Bot Service-app die wordt gehost op Azure-app Service.
De Bot Service maakt verbinding met de LUIS-service (Language Understanding). LUIS bepaalt de intentie van de aanvraag van de gebruiker, TurnOnLight.
LUIS retourneert de intentie naar de Bot Service.
Als de apparaten zijn verbonden met Azure IoT Hub, stuurt Bot Service de aanvraag door via Azure IoT Hub om de buitenlichten in te schakelen. Bot Service gebruikt de IoT Hub-API om de opdracht naar de apparaten te verzenden met behulp van directe methoden, het bijwerken van de gewenste eigenschap van de apparaatdubbel of het verzenden van een cloud naar apparaatbericht.
Als de apparaten zijn verbonden met een IoT-installatie van derden, maakt Bot Service verbinding via de API van derden om een opdracht naar de apparaten te verzenden.
De Bot Service retourneert de resultaten van de opdracht aan de gebruiker door een antwoord te genereren. De tekst-naar-spraak-service verandert het antwoord in audio en geeft het weer door aan de spraakassistent-app met Direct Line Speech.
Application Insights verzamelt runtimetelemetrie voor botprestaties en gebruiksontwikkeling.
Onderdeel
- Bot Service biedt een geïntegreerde omgeving voor botontwikkeling.
- Speech Service biedt toonaangevende spraakmogelijkheden, zoals spraak-naar-tekst, tekst-naar-spraak, spraakomzetting en sprekerherkenning.
- Language Understanding Service (LUIS) past aangepaste machine learning-intelligentie toe op conversationele, natuurlijke taaltekst om betekenis te voorspellen en relevante informatie op te halen.
- IoT Hub is een centrale cloudberichthub voor bidirectionele communicatie tussen IoT-toepassingen en -apparaten.
- Application Insights is een functie van Azure Monitor die uitbreidbaar beheer en bewaking van toepassingsprestaties biedt voor live web-apps.
Inzenders
Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.
Hoofdauteur:
- Kevin Hilscher | Principal Product Manager, Azure IoT
Volgende stappen
- Documentatie voor spraakassistenten
- Quickstart: Een aangepast trefwoord maken
- Een bot maken
- Zelfstudie: Uw bot inschakelen met behulp van de Speech SDK
- Luis (Natural Language Understanding) toevoegen aan een bot
- Een LUIS-app maken
- Een intentie toevoegen en een LUIS-app trainen
- Ontwikkelaarshandleiding voor Azure Iot Hub