Zarządzanie aplikacją asystenta głosowego platformy Azure Percept

Ważne

Wycofanie zestawu DK platformy Azure Percept:

Aktualizacja 22 lutego 2023 r.: Aktualizacja oprogramowania układowego dla składników akcesoriów percept DK Vision i Audio (znana również jako Vision and Audio SOM) jest teraz dostępna tutaj i umożliwi składnikom akcesoriów dalsze działanie poza datą wycofania.

Publiczna wersja zapoznawcza platformy Azure Percept będzie ewoluować w celu obsługi nowych platform urządzeń brzegowych i środowisk deweloperskich. W ramach tej ewolucji zestaw Azure Percept DK i akcesoria audio oraz skojarzone z nią usługi platformy Azure dla klucza DK percept zostaną wycofane 30 marca 2023 r.

Od 30 marca 2023 r. zestaw Azure Percept DK i akcesoria audio nie będą już obsługiwane przez żadne usługi platformy Azure, w tym Azure Percept Studio, aktualizacje systemu operacyjnego, aktualizacje kontenerów, wyświetlanie strumienia internetowego i integrację z Custom Vision. Firma Microsoft nie będzie już zapewniać pomocy technicznej dla klientów i wszelkich powiązanych usług pomocniczych. Aby uzyskać więcej informacji, odwiedź wpis w blogu Powiadomienie o wycofaniu.

W tym artykule opisano sposób konfigurowania słowa kluczowego i poleceń aplikacji asystenta głosowego w Azure Percept Studio. Aby uzyskać wskazówki dotyczące konfigurowania słowa kluczowego w IoT Hub zamiast portalu, zobacz ten artykuł z instrukcjami.

Jeśli nie utworzono jeszcze aplikacji asystenta głosowego, zobacz Tworzenie asystenta głosowego bez kodu przy użyciu Azure Percept Studio i Azure Percept Audio.

Konfiguracja słowa kluczowego

Słowo kluczowe to słowo lub krótka fraza używana do aktywowania asystenta głosowego. Na przykład "Hej Cortana" jest słowem kluczowym asystenta Cortany. Aktywacja głosowa umożliwia użytkownikom rozpoczęcie interakcji z produktem bez konieczności mówienia słowa kluczowego. Ponieważ produkt stale nasłuchuje słowa kluczowego, cały dźwięk jest przetwarzany lokalnie na urządzeniu do momentu wykrycia, aby zapewnić, że dane użytkownika pozostaną tak prywatne, jak to możliwe.

Konfiguracja w oknie pokazowym asystenta głosowego

  1. Wybierz pozycję Zmień obok pozycji Słowo kluczowe niestandardowe na stronie demonstracyjnej.

    Zrzut ekranu przedstawiający okno pokazu gościnności.

    Jeśli nie masz otwartej strony demonstracyjnej, przejdź do strony urządzenia (zobacz poniżej) i wybierz pozycję Testuj asystenta głosowego w obszarze Akcje , aby uzyskać dostęp do pokazu.

  2. Wybierz jedno z dostępnych słów kluczowych i wybierz pozycję Zapisz , aby zastosować zmiany.

  3. Trzy światła LED na urządzeniu Azure Percept Audio zmieni się na jasnoniebieski (bez migania) po zakończeniu konfiguracji, a asystent głosowy jest gotowy do użycia.

Konfiguracja na stronie urządzenia

  1. Na stronie przeglądu Azure Percept Studio wybierz pozycję Urządzenia w okienku menu po lewej stronie.

    Zrzut ekranu przedstawiający stronę przeglądu Azure Percept Studio z wyróżnioną pozycją Urządzenia.

  2. Wybierz urządzenie, na którym wdrożono aplikację asystenta głosowego.

  3. Otwórz kartę Mowa .

    Zrzut ekranu przedstawiający stronę urządzenia brzegowego z wyróżnioną kartą Mowa.

  4. Wybierz pozycję Zmień obok pozycji Słowo kluczowe.

    Zrzut ekranu przedstawiający dostępne akcje rozwiązania mowy.

  5. Wybierz jedno z dostępnych słów kluczowych i wybierz pozycję Zapisz , aby zastosować zmiany.

  6. Trzy światła LED na urządzeniu Azure Percept Audio zmieni się na jasnoniebieski (bez migania) po zakończeniu konfiguracji, a asystent głosowy jest gotowy do użycia.

Tworzenie niestandardowego słowa kluczowego

Za pomocą usługi Speech Studio możesz utworzyć niestandardowe słowo kluczowe dla asystenta głosowego. Trenowanie podstawowego niestandardowego modelu słów kluczowych trwa do 30 minut.

Postępuj zgodnie z dokumentacją usługi Speech Studio , aby uzyskać wskazówki dotyczące tworzenia niestandardowego słowa kluczowego. Po skonfigurowaniu nowe słowo kluczowe będzie dostępne w portalu Project Santa Cruz do użycia z aplikacją asystenta głosowego.

Konfiguracja poleceń

Polecenia niestandardowe ułatwiają tworzenie rozbudowanych aplikacji poleceń głosowych zoptymalizowanych pod kątem środowisk interakcji głosowych. Polecenia niestandardowe najlepiej nadają się do wykonywania zadań lub scenariuszy poleceń i sterowania.

Konfiguracja w oknie pokazowym asystenta głosowego

  1. Wybierz pozycję Zmień obok pozycji Polecenie niestandardowe na stronie demonstracyjnej. Jeśli nie masz otwartej strony demonstracyjnej, przejdź do strony urządzenia (zobacz poniżej) i wybierz pozycję Testuj asystenta głosowego w obszarze Akcje , aby uzyskać dostęp do pokazu.

  2. Wybierz jedno z dostępnych poleceń niestandardowych i wybierz pozycję Zapisz , aby zastosować zmiany.

Konfiguracja na stronie urządzenia

  1. Na stronie przeglądu Azure Percept Studio wybierz pozycję Urządzenia w okienku menu po lewej stronie.

  2. Wybierz urządzenie, na którym wdrożono aplikację asystenta głosowego.

  3. Otwórz kartę Mowa .

  4. Wybierz pozycję Zmień obok pozycji Polecenie.

  5. Wybierz jedno z dostępnych poleceń niestandardowych i wybierz pozycję Zapisz , aby zastosować zmiany.

Tworzenie poleceń niestandardowych

Za pomocą usługi Speech Studio można tworzyć niestandardowe polecenia dla asystenta głosowego do wykonania.

Postępuj zgodnie z dokumentacją usługi Speech Studio , aby uzyskać wskazówki dotyczące tworzenia poleceń niestandardowych. Po skonfigurowaniu nowe polecenia będą dostępne w Azure Percept Studio do użycia z aplikacją asystenta głosowego.

Następne kroki

Po utworzeniu aplikacji asystenta głosowego spróbuj utworzyć rozwiązanie do przetwarzania obrazów bez kodu za pomocą zestawu DK platformy Azure Percept.