Testa kunskapsbasen i QnA Maker

Att testa QnA Maker kunskapsbas är en viktig del av en iterativ process för att förbättra noggrannheten för de svar som returneras. Du kan testa kunskapsbasen via ett förbättrat chattgränssnitt som även gör att du kan göra ändringar.

Testa interaktivt i QnA Maker portalen

1. Öppna din kunskapsbas genom att välja dess namn på sidan Mina kunskapsbaser.
2. Om du vill öppna panelen Testa dra ut väljer du Test på programmets översta panel.
3. Ange en fråga i textrutan och välj Retur.
4. Det bäst matchade svaret från kunskapsbasen returneras som svar.

Rensa testpanelen

Om du vill rensa alla angivna testfrågor och deras resultat från testkonsolen väljer du Starta om i det övre vänstra hörnet på testpanelen.

Stäng testpanelen

Stäng panelen Test genom att välja knappen Test igen. När testpanelen är öppen kan du inte redigera innehållet i kunskapsbasen.

Granska poäng

Du kan granska information om testresultatet i panelen Inspektera.

1. När panelen Testa dra ut är öppen väljer du Granska för mer information om svaret.

   

2. Panelen Inspektion visas. Panelen innehåller avsikten med högst poäng samt alla identifierade entiteter. Panelen visar resultatet av det valda yttrandena.

Korrigera svaret med högst poäng

Om det översta bedömningssvaret är felaktigt väljer du rätt svar i listan och väljer Spara och träna.

Lägga till alternativa frågor

Du kan lägga till alternativa former av en fråga i ett visst svar. Skriv de alternativa svaren i textrutan och välj Retur för att lägga till dem. Välj Spara och träna för att lagra uppdateringarna.

Lägga till ett nytt svar

Du kan lägga till ett nytt svar om något av de befintliga svaren som matchades är felaktigt eller om svaret inte finns i kunskapsbasen (ingen bra matchning hittades i KUNSKAPSBASEN).

Längst ned i svarslistan använder du textrutan för att ange ett nytt svar och trycker på Retur för att lägga till det.

Välj Spara och träna för att spara det här svaret. Nu har ett nytt par med frågor och svar lagts till i kunskapsbasen.

Testa den publicerade kunskapsbasen

Du kan testa den publicerade versionen av kunskapsbasen i testfönstret. När du har publicerat kunskapsbasen väljer du rutan Publicerad KB och skickar en fråga för att hämta resultat från den publicerade kunskapsbasen.

Batchtest med verktyg

Använd batchtestverktyget när du vill:

• fastställa högsta svar och poäng för en uppsättning frågor
• validera förväntat svar för en uppsättning frågor

Förutsättningar

• Azure-prenumeration – skapa en kostnadsfritt
• Skapa antingen QnA Maker tjänst eller använd en befintlig tjänst som använder det engelska språket.
• Ladda ned exempelfilen med flera .docx turn-filer
• Ladda ned batchtestverktygetoch extrahera den körbara filen från .zip filen.

Logga in QnA Maker portalen

Logga in på QnA Maker portalen.

Skapa en ny kunskapsbas från multi-turn-sample.docx filen

1. Välj Skapa en kunskapsbas från verktygsfältet.

2. Hoppa över steg 1 eftersom du redan bör ha QnA Maker resurs och gå vidare till Steg 2 för att välja din befintliga resursinformation:

   • Azure Active Directory ID
   • Azure-prenumerationsnamn
   • Azure QnA-tjänstnamn
   • Språk – det engelska språket

3. Ange namnet Multi-turn batch test quickstart som namn på kunskapsbasen.

4. I steg 4 konfigurerar du inställningarna med följande tabell:

   Inställning	Värde
   Aktivera fleraktivera extrahering från URL:er, .pdf eller .docx filer.	Markerad
   Standardsvarstext	Batch test - default answer not found.
   + Lägg till fil	Välj den .docx nedladdade fillistan i förutsättningarna.
   Chit-chat	Välj Professional

5. I steg 5 väljer du Skapa kunskapsbasen.

   När skapandeprocessen är klar visar portalen den redigerbara kunskapsbasen.

Spara, träna och publicera kunskapsbas

1. Välj Spara och träna från verktygsfältet för att spara kunskapsbasen.

2. Välj Publicera i verktygsfältet och sedan Publicera igen för att publicera kunskapsbasen. Publicering gör kunskapsbasen tillgänglig för frågor från en offentlig URL-slutpunkt. När publiceringen är klar sparar du informationen om värd-URL:en och slutpunktsnyckeln som visas på sidan Publicera.

   Obligatoriska data	Exempel
   Publicerad värd	https://YOUR-RESOURCE-NAME.azurewebsites.net
   Publicerad nyckel	XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX (32 tecken sträng visas efter Endpoint )
   App-ID	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (Sträng med 36 tecken visas som en del av POST )

Skapa en batchtestfil med fråge-ID:er

För att kunna använda batchtestverktyget skapar du en fil med namnet batch-test-data-1.tsv med en textredigerare. Filen ska vara i UTF-8-format och måste ha följande kolumner avgränsade med en flik.

För den här kunskapsbasen lägger du till tre rader med bara de två obligatoriska kolumnerna i filen. Den första kolumnen är ditt kunskapsbas-ID och den andra kolumnen ska vara följande lista över frågor:

Dessa frågor är den exakta frasen från kunskapsbasen och bör returnera 100 som förtroendepoäng.

Lägg sedan till några frågor som liknar dessa frågor, men som inte är exakt desamma på ytterligare tre rader, med samma kunskapsbas-ID:

Batchtestfilen, som öppnas i Excel, ser ut som på följande bild. Kunskapsbasens ID har ersatts med xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx för säkerhet. För ditt eget batchtest kontrollerar du att kolumnen visar ditt kunskapsbas-ID.

Testa batchfilen

Kör batchtestningsprogrammet med hjälp av följande CLI-format på kommandoraden.

Ersätt YOUR-RESOURCE-NAME och med dina egna värden för ENDPOINT-KEY tjänstnamn och slutpunktsnyckel. Dessa värden finns på sidan Inställningar i QnA Maker portalen.

batchtesting.exe batch-test-data-1.tsv https://YOUR-RESOURCE-NAME.azurewebsites.net ENDPOINT-KEY out.tsv

Testet slutförs och genererar out.tsv filen:

Kunskapsbasens ID har ersatts med xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx för säkerhet. För ditt eget batchtest visar kolumnen ditt kunskapsbas-ID.

Testresultatet från förtroendepoängen i den fjärde kolumnen visar de tre främsta frågorna som returnerade ett resultat på 100 som förväntat eftersom varje fråga är exakt samma som den visas i kunskapsbasen. De tre sista frågorna, med den nya texten i frågan, returnerar inte 100 som förtroendepoäng. För att öka poängen både för testet och dina användare måste du lägga till fler alternativa frågor i kunskapsbasen.

Testa med de valfria fälten

När du förstår formatet och processen kan du generera en testfil som körs mot kunskapsbasen från en datakälla, till exempel från chattloggar.

Eftersom datakällan och processen automatiseras kan testfilen köras många gånger med olika inställningar för att fastställa rätt värden.

Om du till exempel har en chattlogg och vill avgöra vilken chattloggtext som gäller för vilka metadatafält, skapar du en testfil och anger metadatafälten för varje rad. Kör testet och granska sedan de rader som matchar metadata. Vanligtvis bör matchningarna vara positiva, men du bör granska resultatet för falska positiva resultat. En falsk positiv är en rad som matchar metadata, men den bör inte matcha baserat på texten.

Använda valfria fält i testfilen för indatabatch

Använd följande diagram för att förstå hur du hittar fältvärden för valfria data.

Lägga till metadata i kunskapsbasen

1. I QnA-portalen går du till sidan Redigera och lägger till metadata för till topic:power följande frågor:

   Frågor
   Debitera din Surface Pro 4
   Kontrollera batterinivån

   Två QnA-par har metadatauppsättningen.

   Tips

   Om du vill se metadata och QnA-ID för varje uppsättning exporterar du kunskapsbasen. Välj sidan Inställningar och välj sedan Exportera som en .xls fil. Leta upp den nedladdade filen och öppna med hjälp Excel granska för metadata och ID.

2. Välj Spara och träna, välj sedan sidan Publicera och välj sedan knappen Publicera. De här åtgärderna gör ändringen tillgänglig för batchtestet. Ladda ned kunskapsbasen från Inställningar sidan.

   Den nedladdade filen har rätt format för metadata och rätt fråge- och svarsuppsättnings-ID. Använd de här fälten i nästa avsnitt

   

Skapa ett andra batchtest

Det finns två huvudscenarier för batchtestning:

• Bearbeta chattloggfiler – Fastställ det översta svaret för en tidigare obevakade fråga – den vanligaste situationen är när du behöver bearbeta loggfilen med frågor, till exempel användarfrågor för en chattrobot. Skapa ett batchfiltest med endast de kolumner som krävs. Testet returnerar det översta svaret för varje fråga. Det innebär inte att det översta svaret är rätt svar. När du har slutfört det här testet går du vidare till valideringstestet.
• Valideringstest – Validera det förväntade svaret. Det här testet kräver att alla frågor och matchande förväntade svar i batchtestet har verifierats. Detta kan kräva viss manuell process.

Följande procedur förutsätter att scenariot är att bearbeta chattloggar med

1. Skapa en ny batchtestfil som ska innehålla valfria data, batch-test-data-2.tsv . Lägg till de sex raderna från den ursprungliga batchtestindatafilen och lägg sedan till metadata- och top- och QnA-par-ID:t för varje rad.

   Om du vill simulera den automatiserade processen att kontrollera ny text från chattloggar mot kunskapsbasen anger du metadata för varje kolumn till samma värde: topic:power .

   

2. Kör testet igen och ändra namnen på indata- och utdatafilarna för att visa att det är det andra testet.

   

<a name="test-results-and-an-automated-test-system">Testresultat och ett automatiserat testsystem

Den här testutdatafilen kan parsas som en del av en automatiserad pipeline för kontinuerlig testning.

Dessa specifika testutdata bör läsas som: varje rad filtrerades med metadata, och eftersom varje rad inte matchade metadata i kunskapsbasen returnerades standardsvaret för de icke-matchande raderna ("ingen bra matchning hittades i kb"). Av de rader som matchade returnerades QnA-ID:t och poängen.

Alla rader returnerade etiketten felaktig eftersom ingen rad matchade det förväntade svars-ID:t.

Du bör kunna se med dessa resultat att du kan ta en chattlogg och använda texten som fråga för varje rad. Utan att känna till något om data ger resultatet mycket information om de data som du sedan kan använda framöver:

• metadata
• QnA-ID
• poäng

Var filtrering med metadata en bra idé för testet? Ja och nej. Testsystemet bör skapa testfiler för varje metadatapar samt ett test utan metadatapar.

Rensa resurser

Om du inte tänker fortsätta testa kunskapsbasen tar du bort batchfilverktyget och testfilerna.

Om du inte tänker fortsätta att använda den här kunskapsbasen tar du bort kunskapsbasen med följande steg:

1. I QnA Maker väljer du Mina kunskapsbaser på den översta menyn.
2. I listan över kunskapsbaser väljer du ikonen Ta bort på raden i kunskapsbasen för den här snabbstarten.

Referensdokumentation om verktyget omfattar:

• kommandoradsexempel för verktyget
• formatet för TSV-indata och outfile-filer

Nästa steg