Omówienie urządzenia Azure Percept Audio

  • Artykuł

Ważne

Wycofanie zestawu DK platformy Azure Percept:

Aktualizacja 22 lutego 2023 r.: Aktualizacja oprogramowania układowego dla składników akcesoriów percept DK Vision i Audio (znanych również jako Vision and Audio SOM) jest teraz dostępna w tym miejscu i umożliwi składnikom akcesoriów kontynuowanie działania poza datą wycofania.

Publiczna wersja zapoznawcza platformy Azure Percept będzie ewoluować w celu obsługi nowych platform urządzeń brzegowych i środowisk deweloperskich. W ramach tej ewolucji zestawy Azure Percept DK i audio Accessory oraz skojarzone usługi platformy Azure dla zestawu DK platformy Percept zostaną wycofane 30 marca 2023 r.

Od 30 marca 2023 r. usługa Azure Percept DK i akcesorium audio nie będą już obsługiwane przez żadne usługi platformy Azure, w tym Azure Percept Studio, aktualizacje systemu operacyjnego, aktualizacje kontenerów, wyświetlanie strumienia internetowego i integrację Custom Vision. Firma Microsoft nie będzie już zapewniać pomocy technicznej dla klientów i skojarzonych usług pomocniczych. Aby uzyskać więcej informacji, odwiedź wpis w blogu o wycofaniu.

Azure Percept Audio to urządzenie dostępu, które dodaje możliwości sztucznej inteligencji mowy do usługi Azure Percept DK. Zawiera on wstępnie skonfigurowany procesor audio i tablicę liniową z czterema mikrofonami, umożliwiając korzystanie z poleceń głosowych, wykrywanie słów kluczowych i dalekowsych mowy w terenie za pomocą usług Azure Cognitive Services. Jest ona zintegrowana z usługą Azure Percept DK, Azure Percept Studio i innymi usługami zarządzania brzegowymi platformy Azure.

Azure Percept Audio składników

Azure Percept Audio zawiera następujące główne składniki:

  • Urządzenie Azure Percept Audio gotowe do produkcji (SoM) z macierzą liniową z czterema mikrofonami i przetwarzaniem dźwięku za pośrednictwem XMOS Codec
  • Płyta dewelopera (interposer): 2x przyciski, 3x LED, Micro USB i 3,5 mm gniazda audio
  • Wymagane kable: kabel FPC, USB Micro Type-B do USB-A
  • Karta powitalna
  • Płyta montażowa mechaniczna ze zintegrowanym montażem serii 80/20 1010

Możliwości obliczeniowe

Azure Percept Audio przekazuje dane wejściowe audio za pośrednictwem stosu mowy działającego na procesorze tablicy nośnej DK platformy Azure Percept w sposób hybrydowy chmury brzegowej. W związku z tym Azure Percept Audio wymaga tablicy przewoźnika z systemem operacyjnym obsługującym stos mowy w celu wykonania. ​

Przetwarzanie dźwięku odbywa się w następujący sposób:

  • Azure Percept Audio: przechwytuje i konwertuje dźwięk i wysyła go do gniazda DK i audio.

  • Azure Percept DK: stos mowy wykonuje tworzenie wiązki i anulowanie echa oraz przetwarza przychodzący dźwięk w celu zoptymalizowania pod kątem mowy. Po przetworzeniu wykonuje ono wykrywanie słów kluczowych.

  • Chmura: przetwarza polecenia i frazy języka naturalnego, weryfikację słów kluczowych i ponowne trenowanie. ​

  • Offline: jeśli urządzenie jest w trybie offline, wykryje słowo kluczowe i przechwytuje dane telemetryczne stanu połączenia internetowego. Można zaobserwować zwiększony współczynnik akceptowania fałszywych słów kluczowych w przypadku wykrycia słowa kluczowego, ponieważ nie można przeprowadzić weryfikacji słowa kluczowego w chmurze. ​

Wprowadzenie

Tworzenie prototypu bez kodu

Utwórz rozwiązanie mowy bez kodu w Azure Percept Studio przy użyciu szablonów asystenta głosowego usługi Azure Percept dla scenariuszy hotelarskich, opieki zdrowotnej, zapasów i samochodów.

Zarządzanie rozwiązaniem do rozpoznawania mowy bez kodu

Dodatkowe informacje techniczne