Testa din kunskapsbas i QnA Maker

  • Artikel

Att testa din QnA Maker-kunskapsbas är en viktig del av en iterativ process för att förbättra noggrannheten för svaren som returneras. Du kan testa kunskapsbas via ett förbättrat chattgränssnitt som också gör att du kan göra ändringar.

Kommentar

QnA Maker-tjänsten dras tillbaka den 31 mars 2025. En nyare version av fråge- och svarsfunktionen är nu tillgänglig som en del av Azure AI Language. Information om funktioner för frågesvar i språktjänsten finns i svar på frågor. Från och med den 1 oktober 2022 kommer du inte att kunna skapa nya QnA Maker-resurser. Information om hur du migrerar befintliga QnA Maker-kunskapsbas till frågesvar finns i migreringsguiden.

Testa interaktivt i QnA Maker-portalen

  1. Få åtkomst till din kunskapsbas genom att välja dess namn på sidan Mina kunskapsbas.
  2. Om du vill komma åt panelen Testa utrullningsbara objekt väljer du Testa på programmets översta panel.
  3. Ange en fråga i textrutan och välj Retur.
  4. Det bäst matchade svaret från kunskapsbas returneras som svar.

Rensa testpanelen

Om du vill rensa alla angivna testfrågor och deras resultat från testkonsolen väljer du Starta om i det övre vänstra hörnet på testpanelen.

Stäng testpanelen

Stäng panelen Test genom att välja knappen Testa igen. När testpanelen är öppen kan du inte redigera innehållet i kunskapsbasen.

Inspektera poäng

Du kan granska information om testresultatet i panelen Inspektera.

  1. När panelen Test är öppen väljer du Inspektera för mer information om svaret.

    Inspect responses

  2. Panelen Inspektion visas. Panelen innehåller avsikten med högst poäng samt eventuella identifierade entiteter. Panelen visar resultatet av det valda yttrandet.

Korrigera det bästa bedömningssvaret

Om det högsta bedömningssvaret är felaktigt väljer du rätt svar i listan och väljer Spara och Träna.

Correct the top scoring answer

Lägg till alternativa frågor

Du kan lägga till alternativa former av en fråga i ett givet svar. Skriv de alternativa svaren i textrutan och välj retur för att lägga till dem. Välj Spara och träna för att lagra uppdateringarna.

Add alternate questions

Lägga till ett nytt svar

Du kan lägga till ett nytt svar om något av de befintliga svaren som matchades är felaktiga eller om svaret inte finns i kunskapsbas (ingen bra matchning hittades i KB).

Längst ned i svarslistan använder du textrutan för att ange ett nytt svar och trycker på Retur för att lägga till det.

Välj Spara och träna för att spara det här svaret. Ett nytt frågesvarspar har nu lagts till i kunskapsbas.

Kommentar

Alla ändringar i din kunskapsbas sparas bara när du trycker på knappen Spara och träna.

Testa den publicerade kunskapsbas

Du kan testa den publicerade versionen av kunskapsbas i testfönstret. När du har publicerat KB väljer du rutan Publicerad KB och skickar en fråga för att få resultat från den publicerade KB:en.

Test against a published KB

Batchtest med verktyg

Använd batchtestningsverktyget när du vill:

  • fastställa högsta svar och poäng för en uppsättning frågor
  • validera förväntat svar för uppsättning frågor

Förutsättningar

Logga in på QnA Maker-portalen

Logga in på QnA Maker-portalen.

Skapa en ny kunskapsbas från multi-turn sample.docx-filen

  1. Välj Skapa en kunskapsbas i verktygsfältet.

  2. Hoppa över steg 1 eftersom du redan bör ha en QnA Maker-resurs och gå vidare till steg 2 för att välja din befintliga resursinformation:

    • Microsoft Entra ID
    • Azure-prenumerationsnamn
    • Azure QnA-tjänstnamn
    • Språk – det engelska språket

  3. Ange namnet Multi-turn batch test quickstart som namnet på din kunskapsbas.

  4. I steg 4 konfigurerar du inställningarna med följande tabell:

    Inställning Värde
    Aktivera extrahering av flera svängar från URL:er, .pdf- eller .docx-filer. Kontrollerad
    Standardsvarstext Batch test - default answer not found.
    + Lägg till fil Välj den nedladdade .docx fillistan i förhandskraven.
    Chit-chat Välj Professional

  5. I Steg 5 väljer du Skapa din KB.

    När skapandeprocessen är klar visar portalen den redigerbara kunskapsbas.

Spara, träna och publicera kunskapsbas

  1. Välj Spara och träna från verktygsfältet för att spara kunskapsbas.

  2. Välj Publicera i verktygsfältet och välj sedan Publicera igen för att publicera kunskapsbas. Publicering gör kunskapsbas tillgängliga för frågor från en offentlig URL-slutpunkt. När publiceringen är klar sparar du den värd-URL och slutpunktsnyckelinformation som visas på sidan Publicera .

    Obligatoriska data Exempel
    Publicerad värd https://YOUR-RESOURCE-NAME.azurewebsites.net
    Publicerad nyckel XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX (32 tecken sträng visas efter Endpoint )
    Program-ID xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (36 tecken sträng visas som en del av POST)

Skapa batchtestfil med fråge-ID:t

Om du vill använda batchtestverktyget skapar du en fil med namnet batch-test-data-1.tsv med en textredigerare. Filen ska vara i UTF-8-format och måste ha följande kolumner avgränsade med en flik.

Fält för TSV-indatafil OBS! Exempel
Kunskapsbas-ID Ditt kunskapsbas-ID finns på sidan Publicera. Testa flera kunskapsbas i samma tjänst samtidigt i en enda fil med hjälp av olika kunskapsbas-ID:t i en enda fil. xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (36 tecken sträng visas som en del av POST)
Fråga Frågetexten som en användare skulle ange. Max 1 000 tecken. How do I sign out?
Metadatataggar valfri topic:powerkey:value använder formatet
Översta parametern valfri 25
Förväntat svars-ID valfri 13

För den här kunskapsbas lägger du till tre rader med bara de två obligatoriska kolumnerna i filen. Den första kolumnen är ditt kunskapsbas-ID och den andra kolumnen bör vara följande lista med frågor:

Kolumn 2 – frågor
Use Windows Hello to sign in
Charge your Surface Pro 4
Get to know Windows 10

Dessa frågor är den exakta formuleringen från kunskapsbas och bör returnera 100 som konfidenspoäng.

Lägg sedan till några frågor som liknar dessa frågor, men inte exakt samma på tre rader till, med samma kunskapsbas ID:

Kolumn 2 – frågor
What is Windows Hello?
How do I charge the laptop?
What features are in Windows 10?

Varning

Kontrollera att varje kolumn endast avgränsas med en tabbavgränsare. Inledande eller avslutande blanksteg läggs till i kolumndata och gör att programmet utlöser undantag när typen eller storleken är felaktig.

Batch-testfilen ser ut som följande bild när den öppnas i Excel. Kunskapsbas-ID:t har ersatts med xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx för säkerhet. För ditt eget batchtest kontrollerar du att kolumnen visar ditt kunskapsbas-ID.

Input first version of .tsv file from batch test

Testa batchfilen

Kör batchtestningsprogrammet med följande CLI-format på kommandoraden.

Ersätt YOUR-RESOURCE-NAME och ENDPOINT-KEY med dina egna värden för tjänstnamn och slutpunktsnyckel. Dessa värden finns på sidan Inställningar i QnA Maker-portalen.

batchtesting.exe batch-test-data-1.tsv https://YOUR-RESOURCE-NAME.azurewebsites.net ENDPOINT-KEY out.tsv

Testet slutförs och genererar out.tsv filen:

Output first version of .tsv file from batch test

Kunskapsbas-ID:t har ersatts med xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx för säkerhet. För ditt eget batchtest visar kolumnen ditt kunskapsbas-ID.

Testutdata för konfidenspoäng i den fjärde kolumnen visar att de tre viktigaste frågorna returnerade poängen 100 som förväntat eftersom varje fråga är exakt densamma som den visas i kunskapsbas. De tre sista frågorna, med ny formulering av frågan, returnerar inte 100 som förtroendepoäng. För att öka poängen för både testet och användarna måste du lägga till fler alternativa frågor i kunskapsbas.

Testa med valfria fält

När du förstår formatet och processen kan du generera en testfil för att köra mot dina kunskapsbas från en datakälla, till exempel från chattloggar.

Eftersom datakällan och processen automatiseras kan testfilen köras många gånger med olika inställningar för att fastställa rätt värden.

Om du till exempel har en chattlogg och vill avgöra vilken chattloggtext som gäller för vilka metadatafält skapar du en testfil och anger metadatafälten för varje rad. Kör testet och granska sedan de rader som matchar metadata. I allmänhet bör matchningarna vara positiva, men du bör granska resultatet för falska positiva identifieringar. En falsk positiv identifiering är en rad som matchar metadata men som baseras på texten, den bör inte matcha.

Använda valfria fält i indatabatchtestfilen

Använd följande diagram för att förstå hur du hittar fältvärdena för valfria data.

Column number Valfri kolumn Dataplats
3 metadata Exportera befintliga kunskapsbas för befintliga key:value par.
4 top Standardvärdet 25 för rekommenderas.
5 Fråge- och svarsuppsättnings-ID Exportera befintliga kunskapsbas för ID-värden. Observera också att ID:na returnerades i utdatafilen.

Lägga till metadata i kunskapsbas

  1. I QnA-portalen går du till sidan Redigera och lägger till metadata topic:power för följande frågor:

    Frågor
    Ladda Surface Pro 4
    Kontrollera batterinivån

    Två QnA-par har metadatauppsättningen.

    Dricks

    Om du vill se metadata och QnA-ID:t för varje uppsättning exporterar du kunskapsbas. Välj sidan Inställningar och välj sedan Exportera som en .xls fil. Leta upp den här nedladdade filen och öppna med Excel-granskning för metadata och ID.

  2. Välj Spara och träna, välj sedan sidan Publicera och välj sedan knappen Publicera . De här åtgärderna gör ändringen tillgänglig för batchtestet. Ladda ned kunskapsbas från sidan Inställningar.

    Den nedladdade filen har rätt format för metadata och rätt fråge- och svarsuppsättnings-ID. Använd de här fälten i nästa avsnitt

    Exported knowledge base with metadata

Skapa ett andra batchtest

Det finns två huvudsakliga scenarier för batchtestning:

  • Bearbeta chattloggfiler – Fastställa det översta svaret för en tidigare osedda fråga – den vanligaste situationen är när du behöver bearbeta loggfilen med frågor, till exempel en chattrobots användarfrågor. Skapa ett batchfiltest med endast de kolumner som krävs. Testet returnerar det översta svaret för varje fråga. Det betyder inte att det översta svaret är rätt svar. När du har slutfört det här testet går du vidare till valideringstestet.
  • Valideringstest – Verifiera det förväntade svaret. Det här testet kräver att alla frågor och matchande förväntade svar i batchtestet har verifierats. Detta kan kräva en manuell process.

Följande procedur förutsätter att scenariot är att bearbeta chattloggar med

  1. Skapa en ny batchtestfil för att inkludera valfria data, batch-test-data-2.tsv. Lägg till de sex raderna från den ursprungliga indatafilen för batchtestet och lägg sedan till metadata- och QnA-par-ID:t för varje rad.

    Om du vill simulera den automatiserade processen för att kontrollera ny text från chattloggar mot kunskapsbas anger du metadata för varje kolumn till samma värde: topic:power.

    Input second version of .tsv file from batch test

  2. Kör testet igen och ändra filnamnen för indata och utdata för att indikera att det är det andra testet.

    Output second version of .tsv file from batch test

Testresultat och ett automatiserat testsystem

Den här testutdatafilen kan parsas som en del av en automatiserad kontinuerlig testpipeline.

Det här specifika testutdata bör läsas som: varje rad filtrerades med metadata och eftersom varje rad inte matchade metadata i kunskapsbas returnerades standardsvaret för de rader som inte matchar ("ingen bra matchning hittades i kb"). Av de rader som matchade returnerades QnA-ID och poäng.

Alla rader returnerade etiketten felaktig eftersom ingen rad matchade det förväntade svars-ID:t.

Du bör kunna se med dessa resultat att du kan ta en chattlogg och använda texten som fråga för varje rad. Utan att veta något om data berättar resultaten mycket om de data som du sedan kan använda framöver:

  • metadata
  • QnA-ID
  • poäng

Var filtrering med metadata en bra idé för testet? Ja och nej. Testsystemet bör skapa testfiler för varje metadatapar samt ett test utan metadatapar.

Rensa resurser

Om du inte ska fortsätta att testa kunskapsbas tar du bort batchfilverktyget och testfilerna.

Om du inte fortsätter att använda den här kunskapsbas tar du bort kunskapsbas med följande steg:

  1. I QnA Maker-portalen väljer du Mina kunskapsbaser på den översta menyn.
  2. I listan över kunskapsbas väljer du ikonen Ta bort på raden i kunskapsbas i den här snabbstarten.

Referensdokumentation om verktyget innehåller:

  • kommandoradsexemplet för verktyget
  • formatet för TSV-indata- och utfilfiler

Nästa steg

Publicera en kunskapsbas