Sterowanie urządzeniami IoT przy użyciu asystenta głosowego

Usługa bota
Mowa
Usługa IoT Hub
Language Understanding

Pomysł na rozwiązanie

Jeśli chcesz, abyśmy rozszerzyli ten artykuł o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, GitHub opinie!

Twórz płynne interfejsy konwersacyjne ze wszystkimi urządzeniami dostępnymi z Internetu — od połączonej telewizji lub lodówki po urządzenia w połączonej elektrowni. Łącząc usługę Azure Speech Service, usługę Language Understanding Service (LUIS) i usługę Azure Bot Framework,deweloperzy mogą tworzyć naturalne interfejsy konwersacyjne podobne do ludzkich, aby kontrolować inteligentne urządzenia przy użyciu Azure IoT Hub.

Architektura

Diagram architektury

Przepływ danych

  1. Korzystając z głosu, użytkownik prosi aplikację asystenta głosowego o włączenie światła domu w domu.
  2. Za pomocą zestawu SPEECH SDK aplikacja nawiązuje połączenie z Direct Line Speech. Jeśli słowa kluczowe zostaną potwierdzone przez weryfikację słów kluczowych, mowa jest transkrybowana na tekst i wysyłana do Bot Service.
  3. Połączenie Bot Service z usługą Language Understanding (LUIS). Usługa LUIS umożliwia aplikacji zrozumienie, czego chce dana osoba własnymi słowami. Intencja żądania użytkownika (na przykład TurnOnLight) jest zwracana do Bot Service.
  4. Żądanie jest przekazywane do urządzenia.
    • Jeśli urządzenie jest połączone z usługą Azure IoT Hub, usługa Bot Service łączy się z interfejsem API usługi Azure IoT Hub Service i wysyła polecenie do urządzenia przy użyciu metody bezpośredniej, aktualizacji żądanej właściwości bliźniaczej reprezentacji urządzenia lub komunikatu z chmury do urządzenia.
    • Jeśli urządzenie jest połączone z chmurą IoT innej firmy, usługa Bot Service nawiąże połączenie z interfejsem API usługi innej firmy i wyśle polecenie do urządzenia.
  5. Bot zwraca wyniki polecenia do użytkownika, generując odpowiedź, która zawiera tekst do mówienia.
  6. Odpowiedź jest przełączona w dźwięk przy użyciu usługi text-to-speech i przekazywana z powrotem do aplikacji asystenta głosowego przez Direct Line Speech.
  7. Program Application Szczegółowe informacje zbiera dane telemetryczne środowiska uruchomieniowego, aby ułatwić tworzenie aplikacji z użyciem i wydajnością bota
  8. Azure App Service hostuje Bot Service aplikacji.

Składniki

  1. Dokumentacja asystentów głosowych
  2. Samouczek: włączanie głosowo bota przy użyciu zestawu SPEECH SDK
  3. Co to jest Direct Line Speech
  4. Azure Bot Service
  5. Zamiana mowy na tekst
  6. Zamiana tekstu na mowę
  7. Niestandardowe słowa kluczowe
  8. Language Understanding Service (LUIS)
  9. Azure IoT Hub

Następne kroki