Tworzenie asystenta głosowego bez kodu w Azure Percept Studio

W tym samouczku utworzysz asystenta głosowego na podstawie szablonu, który będzie Azure Percept DK i Azure Percept Audio. Pokaz asystenta głosowego działa w Azure Percept Studio i zawiera wybór kontrolowanych głosowo obiektów wirtualnych. Aby kontrolować obiekt, powiedzmy słowo kluczowe , czyli słowo lub krótka fraza, która wznawia urządzenie, a następnie polecenie. Każdy szablon odpowiada na zestaw określonych poleceń.

Ten przewodnik poprowadzi Cię przez proces konfigurowania urządzeń, tworzenia asystenta głosowego i niezbędnych zasobów usług Speech Services, testowania asystenta głosowego, konfigurowania słowa kluczowego i tworzenia niestandardowych słów kluczowych.

Wymagania wstępne

Tworzenie asystenta głosowego przy użyciu dostępnego szablonu

  1. Przejdź do Azure Percept Studio.

  2. Otwórz kartę Samouczki demonstracyjne.

    Screenshot of Azure portal homepage.

  3. Kliknij pozycję Wypróbuj szablony asystenta głosowego w obszarze Samouczki i pokazy dotyczące mowy. Spowoduje to otwarcie okna po prawej stronie ekranu.

  4. W oknie wykonaj następujące czynności:

    1. Z IoT Hub rozwijanego wybierz centrum IoT Hub, z którym połączony jest Twój zestaw deweloperski.

    2. Z menu rozwijanego Urządzenie wybierz swój zestaw deweloperski.

    3. Wybierz jeden z dostępnych szablonów asystenta głosowego.

    4. Kliknij pole wyboru Wyrażam zgodę na warunki dla tego projektu.

    5. Kliknij pozycję Utwórz.

    Screenshot of voice assistant template creation.

  5. Po kliknięciu pozycji Utwórzw portalu zostanie otwarte kolejne okno, w których można utworzyć zasób motywu mowy. W oknie wykonaj następujące czynności:

    1. Wybierz subskrypcję platformy Azure w polu Subskrypcja.

    2. Wybierz preferowaną grupę zasobów z menu rozwijanego Grupa zasobów. Jeśli chcesz utworzyć nową grupę zasobów do użycia z asystentem głosowym, kliknij pozycję Utwórz w menu rozwijaym i postępuj zgodnie z monitami.

    3. W sekcji Prefiksaplikacji wprowadź nazwę. Będzie to prefiks projektu i niestandardowa nazwa polecenia.

    4. W obszarze Regionwybierz region, w ramach których mają zostać wdrożone zasoby.

    5. W obszarze Warstwa cenowa przewidywania usługi LUISwybierz pozycję Standardowa (warstwa Bezpłatna nie obsługuje żądań mowy).

    6. Kliknij przycisk Utwórz. Zasoby aplikacji asystenta głosowego zostaną wdrożone w twojej subskrypcji.

      Ostrzeżenie

      NIE zamykaj okna, dopóki portal nie zakończy wdrażania zasobu. Wczesne zamknięcie okna może spowodować nieoczekiwane zachowanie asystenta głosowego. Po wdrożeniu zasobu zostanie wyświetlona wersja demonstracyjna.

    Screenshot of subscription and resource group selection window.

Testowanie asystenta głosowego

Aby korzystać z asystenta głosowego, powiedz słowo kluczowe , a następnie polecenie. Gdy funkcja Ear SoM rozpozna Twoje słowo kluczowe, urządzenie emituje chime (co można słyszeć, jeśli jest podłączona głośnik lub słuchawka), a diody LED migają na niebiesko. Podczas przetwarzania polecenia diody LED przestaną się zmieniać na niebieskie. Odpowiedź asystenta głosowego na Twoje polecenie zostanie wydrukowana w tekście w oknie pokazu i emitowana za pośrednictwem głośnika/słuchawki. Domyślne słowo kluczowe (wyświetlane obok Niestandardowe słowo kluczowe )ma wartość "Komputer", a każdy szablon ma zestaw zgodnych poleceń, które umożliwiają interakcję z obiektami wirtualnymi w oknie pokazu. Jeśli na przykład korzystasz z pokazu opieki zdrowotnej lub opieki zdrowotnej, powiedz "Computer, turn on TV" (Komputer, włącz tv), aby włączyć wirtualny odbiornik TV.

Screenshot of hospitality demo window.

Polecenia demonstracyjne dotyczące opieki zdrowotnej

Pokazy dla opieki zdrowotnej i medyczno-medycznej mają wirtualne wideo, światła, żaluzje i termostaty, z których można wchodzić w interakcje. Obsługiwane są następujące polecenia (i dodatkowe odmiany):

  • "Turn on/off the lights" (Włącz/wyłącz światło).
  • "Turn on/off the TV".
  • "Włączanie/wyłączanie prądu zmiennego".
  • "Open/close the blinds".
  • "Ustaw temperaturę na X stopni". (X to żądana temperatura, np. 75).

Screenshot of healthcare demo window.

Polecenia demonstracyjne dla samochodów

Pokaz samochodowy ma wirtualny cieplejszy, odmrożenie i termostat, z których można wchodzić w interakcje. Obsługiwane są następujące polecenia (i dodatkowe odmiany):

  • "Turn on/off the defroster".
  • "Turn on/off the seat warmer".
  • "Ustaw temperaturę na X stopni". (X to żądana temperatura, np. 75).
  • "Zwiększanie/zmniejszanie temperatury o Y stopni".

Screenshot of automotive demo window.

Polecenia pokazu spisu

Pokaz spisu zawiera wybrane wirtualne niebieskie, żółte i zielone pola do interakcji z aplikacją spisu wirtualnego. Obsługiwane są następujące polecenia (i dodatkowe odmiany):

  • "Dodawanie/usuwanie pól X". (X to liczba pól, np. 4).
  • "Order/ship X boxes".
  • "How many boxes are in stock?" (Ile pól jest w magazynie?)
  • "Count Y boxes". (Y to kolor pól, np. żółty).
  • "Ship everything in stock" (Wyślij wszystko w magazynie).

Screenshot of inventory demo window.

Konfigurowanie słowa kluczowego

Możesz dostosować słowo kluczowe dla aplikacji asystenta głosowego.

  1. Kliknij przycisk Zmień obok Niestandardowe słowo kluczowe w oknie pokazu.

  2. Wybierz jedno z dostępnych słów kluczowych. Możesz wybrać spośród wybranych przykładowych słów kluczowych i dowolnych niestandardowych słów kluczowych, które zostały utworzone.

  3. Kliknij pozycję Zapisz.

Tworzenie niestandardowego słowa kluczowego

Możesz utworzyć własne słowo kluczowe dla aplikacji głosowej. Szkolenie niestandardowego słowa kluczowego może zakończyć się w zaledwie kilka minut.

  1. Kliknij pozycję + Niestandardowe słowo kluczowe u góry okna pokazu.

  2. Wprowadź żądane słowo kluczowe, które może być pojedynczym słowem lub krótką frazą.

  3. Wybierz zasób rozpoznawania mowy (jest on wymieniony obok polecenia niestandardowego w oknie pokazu i zawiera prefiks aplikacji).

  4. Kliknij pozycję Zapisz.

Tworzenie polecenia niestandardowego

Portal udostępnia również funkcję tworzenia poleceń niestandardowych z istniejącymi zasobami mowy. "Polecenie niestandardowe" odnosi się do samej aplikacji asystenta głosowego, a nie do konkretnego polecenia w istniejącej aplikacji. Tworząc polecenie niestandardowe, tworzysz nowy projekt mowy, który należy dalej opracowywać w Speech Studio .

Aby utworzyć nowe polecenie niestandardowe w oknie pokazu, kliknij pozycję + Utwórz polecenie niestandardowe w górnej części strony i wykonaj następujące czynności:

  1. Wprowadź nazwę polecenia niestandardowego.

  2. Wprowadź opis projektu (opcjonalnie).

  3. Wybierz preferowany język.

  4. Wybierz zasób mowy.

  5. Wybierz zasób usługi LUIS.

  6. Wybierz zasób tworzenia usługi LUIS lub utwórz nowy.

  7. Kliknij pozycję Utwórz.

Screenshot of custom commands creation window.

Po utworzeniu polecenia niestandardowego musisz przejść do Speech Studio w celu dalszego rozwoju. Jeśli otworzysz Speech Studio i nie widzisz polecenia niestandardowego na liście, wykonaj następujące kroki:

  1. Na panelu menu po lewej stronie Azure Percept Studio pozycję Mowa w obszarzeAI Projects (Projekty AI).

  2. Wybierz kartę Polecenia.

    Screenshot of list of custom commands available to edit.

  3. Wybierz polecenie niestandardowe, które chcesz opracować. Spowoduje to otwarcie projektu w Speech Studio.

    Screenshot of speech studio home screen.

Aby uzyskać więcej informacji na temat tworzenia poleceń niestandardowych, zobacz dokumentację usługi Mowa.

Rozwiązywanie problemów

Asystent głosowy został utworzony, ale nie odpowiada na polecenia

Sprawdź diody LED na tablicy Interposer:

  • Trzy pełne niebieskie światła wskazują, że asystent głosowy jest gotowy i czeka na słowo kluczowe.
  • Jeśli środkowa dioda LED (L02) jest biały, zestaw deweloperski zakończył inicjowanie i musi zostać skonfigurowany za pomocą słowa kluczowego .
  • Jeśli środkowa dioda LED (L02) pulsuje na biały, urządzenie Audio SoM nie zakończyło jeszcze inicjowania. Inicjowanie może potrwać kilka minut.

Aby uzyskać więcej informacji na temat wskaźników LED, zobacz artykuł LED.

Asystent głosowy nie odpowiada na niestandardowe słowo kluczowe utworzone w Speech Studio

Może się to zdarzyć, jeśli moduł mowy jest aktualny. Wykonaj następujące kroki, aby zaktualizować moduł mowy do najnowszej wersji:

  1. Kliknij pozycję Urządzenia w panelu menu po lewej stronie strony Azure Percept Studio głównej.

  2. Znajdź i wybierz urządzenie.

    Screenshot of device list in Azure Percept Studio.

  3. W oknie urządzenia wybierz kartę Mowa.

  4. Sprawdź wersję modułu mowy. Jeśli aktualizacja jest dostępna, obok numeru wersji zostanie wyświetlony przycisk Aktualizuj.

  5. Kliknij przycisk Aktualizuj, aby wdrożyć aktualizację modułu mowy. Proces aktualizacji zwykle trwa 2–3 minuty.

Czyszczenie zasobów

Po zakończeniu pracy z aplikacją asystenta głosowego wykonaj następujące kroki, aby wyczyścić zasoby mowy wdrożone w ramach tego samouczka:

  1. Na stronie Azure Portalpozycję Grupy zasobów z panelu menu po lewej stronie lub wpisz ją na pasku wyszukiwania.

    Screenshot of Azure portal homepage showing left menu panel and Resource Groups.

  2. Wybierz swoją grupę zasobów.

  3. Wybierz wszystkie sześć zasobów, które zawierają prefiks aplikacji, a następnie kliknij ikonę Usuń na górnym panelu menu.
    Screenshot of speech resources selected for deletion.

  4. Aby potwierdzić usunięcie, wpisz tak w polu potwierdzenia, sprawdź, czy wybrano odpowiednie zasoby, a następnie kliknij pozycję Usuń.

    Screenshot of delete confirmation window.

Ostrzeżenie

Spowoduje to usunięcie wszystkich niestandardowych słów kluczowych utworzonych za pomocą usuwanych zasobów mowy, a pokaz asystenta głosowego nie będzie już działać.

Następne kroki

Teraz, po utworzeniu rozwiązania mowy bez kodu, spróbuj utworzyć rozwiązanie do rozpoznawania mowy bez kodu dla Azure Percept DK.