Azure Percept Studio'de kodsuz ses yardımcı oluşturma

Önemli

Azure Percept DK'nın kullanımdan kaldırılması:

Güncelleştirme 22 Şubat 2023: Percept DK Görüntü İşleme ve Ses aksesuar bileşenleri (Görüntü ve Ses SOM olarak da bilinir) için bir üretici yazılımı güncelleştirmesi artık burada kullanıma sunulmuştur ve aksesuar bileşenlerinin kullanımdan kaldırılma tarihinden sonra çalışmaya devam etmesini sağlayacaktır.

Azure Percept genel önizlemesi, yeni uç cihaz platformlarını ve geliştirici deneyimlerini destekleyecek şekilde geliştirilecek. Bu evrimin bir parçası olarak Azure Percept DK ve Ses Donatısı ve Percept DK için destekleyici Azure hizmetleri 30 Mart 2023'de kullanımdan kaldırılacaktır.

30 Mart 2023 tarihinden itibaren Azure Percept DK ve Ses Donatısı artık Azure Percept Studio, işletim sistemi güncelleştirmeleri, kapsayıcı güncelleştirmeleri, web akışını görüntüleme ve Özel Görüntü İşleme tümleştirmesi gibi Azure hizmetleri tarafından desteklenmeyecektir. Microsoft artık müşteri başarısı desteği ve ilişkili destek hizmetleri sağlamayacaktır. Daha fazla bilgi için lütfen Emeklilik Bildirimi Blog Gönderisi'ni ziyaret edin.

Bu öğreticide, Azure Percept DK ve Azure Percept Audio ile kullanmak üzere bir şablondan ses yardımcı oluşturacaksınız. Ses yardımcı tanıtımı, Azure Percept Studio içinde çalışır ve ses denetimli sanal nesneler içerir. Bir nesneyi denetlemek için, cihazınızı uyandıran bir sözcük veya kısa tümcecik olan ve ardından bir komut gelen anahtar sözcüğünüzü söyleyin. Her şablon belirli bir komut kümesine yanıt verir.

Bu kılavuzda cihazlarınızı ayarlama, ses yardımcı ve gerekli Konuşma Hizmetleri kaynakları oluşturma, ses yardımcı test etme, anahtar sözcüğünüzü yapılandırma ve özel anahtar sözcükler oluşturma işlemleri adım adım gösterilir.

Önkoşullar

• Azure Percept DK (devkit)
• Azure Percept Audio
• 3,5 mm ses jakına bağlanabilen hoparlör veya kulaklıklar (isteğe bağlı)
• Azure aboneliği
• Azure Percept DK kurulum deneyimi: Devkit'inizi bir Wi-Fi ağına bağladınız, bir IoT Hub oluşturdunuz ve devkit'inizi IoT Hub
• kurulumu Azure Percept Audio

Kullanılabilir bir şablon kullanarak ses yardımcı oluşturma

1. Azure Percept Studio'e gidin.

2. Tanıtımlar & öğreticiler sekmesini açın.

   

3. Konuşma öğreticileri ve tanıtımları altında Ses yardımcı şablonlarını deneyin'e tıklayın. Bu işlem, ekranınızın sağ tarafında bir pencere açar.

4. Pencerede aşağıdakileri yapın:

   1. IoT Hub açılan menüsünde devkitinizin bağlı olduğu IoT hub'ını seçin.

   2. Cihaz açılan menüsünde devkit'inizi seçin.

   3. Kullanılabilir ses yardımcı şablonlarından birini seçin.

   4. Bu proje için & koşulları kabul ediyorum onay kutusuna tıklayın.

   5. Oluştur’a tıklayın.

   

5. Oluştur'a tıkladıktan sonra portal, konuşma teması kaynağınızı oluşturmak için başka bir pencere açar. Pencerede aşağıdakileri yapın:

   1. Abonelik kutusunda Azure aboneliğinizi seçin.

   2. Kaynak grubu açılan menüsünden tercih ettiğiniz kaynak grubunu seçin. Ses yardımcı kullanmak üzere yeni bir kaynak grubu oluşturmak istiyorsanız, açılan menünün altında Oluştur'a tıklayın ve istemleri izleyin.

   3. Uygulama ön eki için bir ad girin. Bu, projenizin ön eki ve özel komut adınız olacaktır.

   4. Bölge'nin altında, kaynakların dağıtılacağı bölgeyi seçin.

   5. LUIS tahmin fiyatlandırma katmanı altında Standart'ı seçin (ücretsiz katman konuşma isteklerini desteklemez).

   6. Oluştur düğmesine tıklayın. Ses yardımcı uygulamasının kaynakları aboneliğinize dağıtılır.

      Uyarı

      Portal kaynağı dağıtmayı bitirene kadar pencereyi KAPATMAYıN . Pencerenin erken kapatılması, ses yardımcı beklenmeyen davranışlara neden olabilir. Kaynağınız dağıtıldıktan sonra tanıtım görüntülenir.

   

Ses yardımcı test edin

Ses yardımcı etkileşime geçmek için anahtar sözcüğünü ve ardından bir komutu söyleyin. Ear SoM anahtar sözcüğünüzü tanıdığında, cihaz bir zil (hoparlör veya kulaklık bağlıysa duyabileceğiniz) yayar ve LED'ler mavi yanıp söner. LED'ler, komutunuz işlenirken mavi yarışa geçer. Ses yardımcı komutunuza verdiği yanıt, tanıtım penceresindeki metinde yazdırılır ve hoparlör/kulaklıklarınız aracılığıyla sesli olarak yayılır. Varsayılan anahtar sözcük ( Özel Anahtar Sözcük'ün yanında listelenir) "Bilgisayar" olarak ayarlanır ve her şablonun tanıtım penceresindeki sanal nesnelerle etkileşim kurmanızı sağlayan uyumlu bir komut kümesi vardır. Örneğin, konukseverlik veya sağlık tanıtımını kullanıyorsanız sanal TV'yi açmak için "Bilgisayar, TV'yi aç" deyin.

Konukseverlik ve sağlık hizmeti tanıtım komutları

Hem sağlık hem de konukseverlik tanıtımlarında etkileşim kurabileceğiniz sanal televizyonlar, ışıklar, panjurlar ve termostatlar vardır. Aşağıdaki komutlar (ve ek çeşitlemeler) desteklenir:

• "Işıkları aç/kapat."
• "TV'yi açın/kapatın."
• "AC'yi açın/kapatın."
• "Perdeleri aç/kapat."
• "Sıcaklığı X dereceye ayarla." (X istenen sıcaklıktır, örneğin 75.)

Otomotiv tanıtım komutları

Otomotiv demosunun sanal koltuk ısıtıcısı, defroster ve termostat ile etkileşim kurabilirsiniz. Aşağıdaki komutlar (ve ek çeşitlemeler) desteklenir:

• "Defroster'i açın/kapatın."
• "Koltuk ısıtıcısını açın/kapatın."
• "Sıcaklığı X dereceye ayarla." (X istenen sıcaklıktır, örneğin 75.)
• "Sıcaklığı Y derece artırın/azaltın."

Envanter tanıtım komutları

Envanter tanıtımında sanal envanter uygulamasıyla etkileşime geçmek için sanal mavi, sarı ve yeşil kutulardan oluşan bir seçim bulunur. Aşağıdaki komutlar (ve ek çeşitlemeler) desteklenir:

• "X kutularını ekle/kaldır." (X kutu sayısıdır, örneğin 4.)
• "Sipariş/gönderme X kutuları."
• "Stokta kaç kutu var?"
• "Y kutularını say." (Y, kutuların rengidir, örneğin sarıdır.)
• "Her şeyi stokta gönder."

Anahtar sözcüğünüzü yapılandırma

Ses yardımcı uygulamanız için anahtar sözcüğü özelleştirebilirsiniz.

1. Tanıtım penceresinde Özel Anahtar Sözcük'in yanındaki Değiştir'e tıklayın.

2. Kullanılabilir anahtar sözcüklerden birini seçin. Örnek anahtar sözcükler ve oluşturduğunuz özel anahtar sözcükler arasından seçim yapabilirsiniz.

3. Kaydet’e tıklayın.

Özel anahtar sözcük oluşturma

Ses uygulamanız için kendi anahtar sözcüğünüzü oluşturabilirsiniz. Özel anahtar sözcüğünüz için eğitim yalnızca birkaç dakika içinde tamamlanabilir.

1. Tanıtım penceresinin üst kısmındaki + Özel Anahtar Sözcük Oluştur'a tıklayın.

2. tek bir sözcük veya kısa bir tümcecik olabilecek istediğiniz anahtar sözcüğü girin.

3. Konuşma kaynağınızı seçin (bu, tanıtım penceresinde Özel Komut'un yanında listelenir ve uygulama ön ekinizi içerir).

4. Kaydet’e tıklayın.

Özel komut oluşturma

Portal ayrıca mevcut konuşma kaynaklarıyla özel komutlar oluşturmaya yönelik işlevler de sağlar. "Özel komut", mevcut uygulama içindeki belirli bir komutu değil, uygulamanın ses yardımcı kendisini ifade eder. Özel bir komut oluşturarak, Speech Studio'da geliştirmeniz gereken yeni bir konuşma projesi oluşturacaksınız.

Tanıtım penceresinin içinden yeni bir özel komut oluşturmak için sayfanın üst kısmındaki + Özel Komut Oluştur'a tıklayın ve aşağıdakileri yapın:

1. Özel komutunuz için bir ad girin.

2. Projenizin açıklamasını girin (isteğe bağlı).

3. Tercih ettiğiniz dili seçin.

4. Konuşma kaynağınızı seçin.

5. LUIS kaynağınızı seçin.

6. LUIS yazma kaynağınızı seçin veya yeni bir kaynak oluşturun.

7. Oluştur’a tıklayın.

Özel bir komut oluşturduktan sonra daha fazla geliştirme için Speech Studio'ya gitmeniz gerekir. Speech Studio'yu açar ve özel komutunuzu listede görmüyorsanız şu adımları izleyin:

1. Azure Percept Studio sol taraftaki menü panelinde Yapay Zeka Projeleri'nin altında Konuşma'ya tıklayın.

2. Komutlar sekmesini seçin.

   

3. Geliştirmek istediğiniz özel komutu seçin. Bu işlem projeyi Speech Studio'da açar.

   

Özel komutlar geliştirme hakkında daha fazla bilgi için konuşma hizmeti belgelerine bakın.

Sorun giderme

Ses yardımcı oluşturuldu ancak komutlara yanıt vermiyor

Interposer Panosundaki LED ışıklarını kontrol edin:

• Üç düz mavi ışık, ses yardımcı hazır olduğunu ve anahtar sözcüğü beklediğini gösterir.
• Orta LED (L02) beyazsa, devkit başlatmayı tamamladı ve bir anahtar sözcükle yapılandırılması gerekiyor.
• Orta LED (L02) beyaz yanıp söniyorsa Ses SoM'sı başlatmayı henüz tamamlamamıştır. Başlatma işleminin tamamlanması birkaç dakika sürebilir.

LED göstergeleri hakkında daha fazla bilgi için lütfen LED makalesine bakın.

Voice yardımcı, Speech Studio'da oluşturulan özel anahtar sözcüklere yanıt vermiyor

Konuşma modülü güncel değilse bu durum oluşabilir. Konuşma modülünü en son sürüme güncelleştirmek için şu adımları izleyin:

1. Azure Percept Studio giriş sayfasının sol taraftaki menü panelinde Cihazlar'a tıklayın.

2. Cihazınızı bulun ve seçin.

   

3. Cihaz penceresinde Konuşma sekmesini seçin.

4. Konuşma modülü sürümünü denetleyin. Bir güncelleştirme varsa, sürüm numarasının yanında bir Güncelleştir düğmesi görürsünüz.

5. Konuşma modülü güncelleştirmesini dağıtmak için Güncelleştir'e tıklayın. Güncelleştirme işleminin tamamlanması genellikle 2-3 dakika sürer.

Kaynakları temizleme

Ses yardımcı uygulamanızla çalışmayı tamamladıktan sonra, bu öğretici sırasında dağıtılan konuşma kaynaklarını temizlemek için şu adımları izleyin:

1. Azure portal sol menü panelinden Kaynak grupları'nı seçin veya arama çubuğuna yazın.

   

2. Kaynak grubunuzu seçin.

3. Uygulama ön ekinizi içeren altı kaynağın tümünü seçin ve üst menü panelindeki Sil simgesine tıklayın.
   

4. Silme işlemini onaylamak için onay kutusuna evet yazın, doğru kaynakları seçtiğinizi doğrulayın ve Sil'e tıklayın.

   

Uyarı

Bu işlem, silmekte olduğunuz konuşma kaynaklarıyla oluşturulan özel anahtar sözcükleri kaldırır ve ses yardımcı tanıtımı artık çalışmaz.

Sonraki Adımlar

Artık kod içermeyen bir konuşma çözümü oluşturduğunuza göre, Azure Percept DK'niz için kod içermeyen bir görüntü işleme çözümü oluşturmayı deneyin.