Uw Knowledge Base testen in QnA Maker
Het testen van uw QnA Maker-knowledge base is een belangrijk onderdeel van een iteratief proces om de nauwkeurigheid van de geretourneerde antwoorden te verbeteren. U kunt de Knowledge Base testen via een verbeterde chatinterface waarmee u ook wijzigingen kunt aanbrengen.
Notitie
De QnA Maker-service wordt op 31 maart 2025 buiten gebruik gesteld. Een nieuwere versie van de vraag- en antwoordmogelijkheid is nu beschikbaar als onderdeel van Azure AI Language. Zie vraagantwoording voor vragen in de Language Service voor het beantwoorden van vragen. Vanaf 1 oktober 2022 kunt u geen nieuwe QnA Maker-resources maken. Raadpleeg de migratiehandleiding voor informatie over het migreren van bestaande QnA Maker-knowledge bases om vragen te beantwoorden.
Interactief testen in QnA Maker-portal
- Open uw knowledge base door de naam te selecteren op de pagina Mijn knowledge bases .
- Als u het deelvenster Dia-out testen wilt openen, selecteert u Testen in het bovenste deelvenster van uw toepassing.
- Voer een query in het tekstvak in en selecteer Enter.
- Het best overeenkomende antwoord uit de knowledge base wordt geretourneerd als het antwoord.
Testpaneel wissen
Als u alle ingevoerde testquery's en de bijbehorende resultaten in de testconsole wilt wissen, selecteert u Opnieuw beginnen in de linkerbovenhoek van het testvenster.
Testpaneel sluiten
Als u het testvenster wilt sluiten, selecteert u de knop Testen opnieuw. Terwijl het deelvenster Test is geopend, kunt u de inhoud van de Knowledge Base niet bewerken.
Score inspecteren
U inspecteert details van het testresultaat in het deelvenster Inspect.
Als het deelvenster Dia-out testen is geopend, selecteert u Controleren voor meer informatie over dat antwoord.
Het deelvenster Inspectie wordt weergegeven. Het deelvenster bevat de meest scorende intentie en alle geïdentificeerde entiteiten. In het deelvenster wordt het resultaat van de geselecteerde uiting weergegeven.
Het meest scorende antwoord corrigeren
Als het meest scorende antwoord onjuist is, selecteert u het juiste antwoord in de lijst en selecteert u Opslaan en Trainen.
Alternatieve vragen toevoegen
U kunt alternatieve vormen van een vraag toevoegen aan een bepaald antwoord. Typ de alternatieve antwoorden in het tekstvak en selecteer Enter om deze toe te voegen. Selecteer Opslaan en trainen om de updates op te slaan.
Een nieuw antwoord toevoegen
U kunt een nieuw antwoord toevoegen als een van de bestaande antwoorden die overeenkomen onjuist zijn of als het antwoord niet bestaat in de knowledge base (er is geen goede overeenkomst gevonden in de KB).
Gebruik het tekstvak onderaan de antwoordenlijst om een nieuw antwoord in te voeren en druk op Enter om het antwoord toe te voegen.
Selecteer Opslaan en trainen om dit antwoord te behouden. Er is nu een nieuw vraag-antwoordpaar toegevoegd aan uw Knowledge Base.
Notitie
Alle bewerkingen in uw Knowledge Base worden alleen opgeslagen wanneer u op de knop Opslaan en Trainen drukt.
De gepubliceerde Knowledge Base testen
U kunt de gepubliceerde versie van de Knowledge Base testen in het testvenster. Zodra u de KB hebt gepubliceerd, selecteert u het vak Gepubliceerde KB en verzendt u een query om resultaten van de gepubliceerde KB op te halen.
Batch-test met hulpprogramma
Gebruik het hulpprogramma voor batchtests als u het volgende wilt doen:
- het belangrijkste antwoord en de score voor een reeks vragen bepalen
- het verwachte antwoord voor een reeks vragen valideren
Vereisten
- Azure-abonnement: u kunt een gratis abonnement nemen
- Maak een QnA Maker-service of gebruik een bestaande service die gebruikmaakt van de Engelse taal.
- Het
.docxvoorbeeldbestand meerdere paden downloaden - Download het batchtestprogramma, pak het uitvoerbaar bestand uit vanuit het
.zip-bestand.
Aanmelden bij QnA Maker-portal
Meld u aan bij de QnA Maker-portal.
Een Knowledge Base maken op basis van het .docx-voorbeeldbestand meerdere paden
Selecteer Een Knowledge Base maken in de menubalk.
Sla Stap 1 over, want u moet al een QnA Maker-resource hebben, ga naar Stap 2 om uw bestaande resourcegegevens te selecteren:
- Microsoft Entra ID
- Azure-abonnementsnaam
- Azure QnA Service-naam
- Taal, de Engelse taal
Voer de naam
Multi-turn batch test quickstartin als de naam van uw Knowledge Base.Configureer in Stap 4 de instellingen met de volgende tabel:
Instelling Waarde Schakel uitpakken van meerdere paden in vanuit URL's, .pdf- of .docx-bestanden. Geselecteerd Standaardantwoordtekst Batch test - default answer not found.+ Bestand toevoegen Selecteer de gedownloade .docx-bestandslijst in de vereisten.Chit-chat Professional selecteren Selecteer in stap 5, Uw KB maken.
Wanneer het proces is voltooid, geeft de portal de bewerkbare Knowledge Base weer.
De knowledge base opslaan, trainen en publiceren
Selecteer Opslaan en trainen in de werkbalk om de Knowledge Base op te slaan.
Selecteer Publiceren in de werkbalk en selecteer dan nogmaals Publiceren om de Knowledge Base te publiceren. Door de Knowledge Base te publiceren is deze beschikbaar voor query's vanuit een openbaar URL-eindpunt. Wanneer het publiceren is voltooid, slaat u de host-URL en eindpuntsleutelgegevens op die worden weergegeven op de pagina Publiceren.
Vereiste gegevens voorbeeld Gepubliceerde host https://YOUR-RESOURCE-NAME.azurewebsites.netGepubliceerde sleutel XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX(tekenreeks van 32 tekens weergegeven naEndpoint)App-id xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx(tekenreeks van 36 tekens weergegeven als onderdeel vanPOST)
Batchtestbestand maken met vraag-ID's
Maak een bestand met de naam batch-test-data-1.tsv met een teksteditor om het batchtestprogramma te gebruiken. Het bestand moet een UTF-8-indeling hebben en de volgende kolommen, gescheiden door een tab.
| TSV-invoerbestandsvelden | Aantekeningen | voorbeeld |
|---|---|---|
| Id van de Knowledge Base | Uw Knowledge Base-ID dat u kunt vinden op de pagina Publiceren. Test tegelijkertijd verschillende Knowledge Bases in dezelfde service in een enkel bestand door verschillende Knowledge Base-ID's te gebruiken in een enkel bestand. | xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (tekenreeks van 36 tekens weergegeven als onderdeel van POST) |
| Vraag | De vraag die een gebruiker zou invoeren. Maximaal 1000 tekens. | How do I sign out? |
| Tags met metagegevens | optioneel | topic:power maakt gebruik van de key:value indeling |
| Top-parameter | optioneel | 25 |
| ID van verwacht antwoord | optioneel | 13 |
Voor deze Knowledge Base voegt u drie rijen met alleen de twee vereiste kolommen toe aan het bestand. De eerste kolom is het Knowledge Base-ID en de tweede kolom moet de volgende lijst vragen zijn:
| Kolom 2, vragen |
|---|
Use Windows Hello to sign in |
Charge your Surface Pro 4 |
Get to know Windows 10 |
Deze vragen zijn de exacte tekst uit de Knowledge Base en moeten als waarde 100 retourneren voor waarschijnlijkheid.
Voeg vervolgens een paar vragen toe, vergelijkbaar met deze vragen, maar niet precies hetzelfde in drie rijen, met dezelfde knowledge base-id:
| Kolom 2, vragen |
|---|
What is Windows Hello? |
How do I charge the laptop? |
What features are in Windows 10? |
Let op
Zorg ervoor dat elke kolom wordt gescheiden door alleen een tab-scheidingsteken. Voorloop- of volgspaties worden aan de kolomgegevens toegevoegd en zorgen voor uitzonderingen in het programma als het type of de grootte onjuist is.
Als het batchtestbestand in Excel wordt geopend, ziet het eruit als de volgende afbeelding. De Knowledge Base-ID is vervangen door xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx voor de beveiliging. Zorg voor uw eigen batchtest dat de kolom uw Knowledge Base-ID weergeeft.
Batchbestand testen
Voer op de opdrachtregel het batchtestprogramma uit met de volgende CLI-indeling.
Vervang YOUR-RESOURCE-NAME en ENDPOINT-KEY met uw eigen waarden voor servicenaam en eindpuntsleutel. Deze waarden vindt u op de pagina Instellingen in de QnA Maker-portal.
batchtesting.exe batch-test-data-1.tsv https://YOUR-RESOURCE-NAME.azurewebsites.net ENDPOINT-KEY out.tsv
De test wordt voltooid en genereert het out.tsv-bestand:
De Knowledge Base-ID is vervangen door xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx voor de beveiliging. De kolom van uw eigen batchtest geeft uw Knowledge Base-ID weer.
In de testuitvoer van de betrouwbaarheidsscore, in de vierde kolom, worden de drie belangrijkste vragen weergegeven die een score van 100 hebben geretourneerd, omdat elke vraag precies hetzelfde is als in de knowledge base. De laatste drie vragen, met nieuwe formulering van de vraag, retourneren niet 100 als betrouwbaarheidsscore. Om de score voor de test en uw gebruikers te verhogen, moet u meer alternatieve vragen toevoegen aan de Knowledge Base.
Testen met optionele velden
Wanneer u de indeling en het proces begrijpt, kunt u een testbestand genereren om met uw Knowledge Base uit te voeren op basis van een gegevensbron zoals chatlogboeken.
Omdat de gegevensbron en het proces zijn geautomatiseerd, kan het testbestand vaak worden uitgevoerd met verschillende instellingen om de juiste waarden te bepalen.
Als u bijvoorbeeld een chatlogboek hebt en u wilt vaststellen welk chattekst van toepassing is op welke metagegevensvelden, maakt u een testbestand en stelt u voor elke regel de metagegevensvelden in. Voer de test uit en beoordeel de rijen die overeenkomen met de metagegevens. Over het algemeen moeten de overeenkomsten positief zijn, maar u moet de resultaten beoordelen op fout-positieve resultaten. Een fout-positief is een rij die overeenkomt met de metagegevens, maar op basis van de tekst niet overeen zou moeten komen.
Optionele velden gebruiken in het invoerbestand voor batchtesten
Gebruik het volgende diagram om de veldwaarden te vinden voor de optionele gegevens.
| Column number | Optionele kolom | Gegevenslocatie |
|---|---|---|
| 3 | metagegevens | Bestaande knowledge base exporteren voor bestaande key:value paren. |
| 4 | top | De standaardwaarde 25 wordt aanbevolen. |
| 5 | Vraag-en-antwoord-set-ID | Exporteer bestaande Knowledge Base voor ID-waarden. U ziet ook dat de ID's in het uitvoerbestand zijn geretourneerd. |
Metagegevens toevoegen aan de Knowledge Base
Voeg in de QnA-portal op de pagina Bewerken aan de volgende vragen metagegevens toe van
topic:power:Vragen Uw Surface Pro 4 opladen Het niveau van de accu controleren Twee QnA-paren hebben de metagegevensset.
Fooi
Om de metagegevens en QnA-ID's van elke set te zien, moet u de Knowledge Base exporteren. Selecteer de pagina Instellingen en selecteer vervolgens Exporteren als
.xls-bestand. Zoek dit gedownloade bestand en open het met Excel om te controleren op metagegevens en ID.Selecteer Opslaan en trainen, selecteer dan de pagina Publiceren en vervolgens de knop Publiceren. Door deze acties zijn de wijziging beschikbaar voor de batchtest. Download de Knowledge Base vanuit de pagina Instellingen.
Het gedownloade bestand heeft de juiste indeling voor de metagegevens en de juiste vraag-en-antwoord-set-ID. Gebruik deze velden in het volgende gedeelte
Een tweede batchtest maken
Er zijn twee belangrijke scenario's voor batchtesten:
- Chatlogboekbestanden verwerken, bepaal het meestvoorkomende antwoord voor een nog niet bekeken vraag. De meestvoorkomende situatie is wanneer u een logboekbestand van query's moet verwerken, zoals gebruikersvragen van een chatbot. Maak een batchbestandtest met alleen de vereiste kolommen. De test retourneert het meestvoorkomende antwoord voor elke vraag. Dat betekent niet dat het meestvoorkomende antwoord ook het goede antwoord is. Wanneer deze test is voltooid, gaat u verder met de validatietest.
- Validatietest, valideer het verwachte antwoord. Voor deze test moeten alle vragen en bijbehorende verwachte antwoorden in de batchtest zijn gevalideerd. Hier is mogelijk wat handmatige verwerking nodig.
In de volgende procedure wordt ervan uitgegaan dat het scenario het verwerken is van chatlogboeken met
Maak een nieuw batchtestbestand om de optionele gegevens in op te nemen:
batch-test-data-2.tsv. Voeg de zes rijen uit het oorspronkelijke batchtestinvoerbestand toe en voeg vervolgens de metagegevens, bovenkant en QnA-paar-id voor elke rij toe.Stel de metagegevens voor elke kolom in op dezelfde waarde:
topic:power, om het geautomatiseerde proces te simuleren van het vergelijken van nieuwe tekst van chatlogboeken met de Knowledge Base.
Voer de test opnieuw uit, wijzig de namen van het invoer- en uitvoerbestand om aan te geven dat het de tweede test is.
Testresultaten en een geautomatiseerd testsysteem
Dit testuitvoerbestand kan worden geparseerd als onderdeel van een geautomatiseerde doorlopende testpijplijn.
Deze specifieke testuitvoer moet als volgt worden gelezen: elke rij is gefilterd met metagegevens en omdat niet elke rij overeenkwam met de metagegevens in de Knowledge Base, is het standaardantwoord geretourneerd voor deze niet-overeenkomende rijen ('geen goede overeenkomst gevonden in KB'). Van deze rijen die overeenkomen, is de QnA-id en -score geretourneerd.
Alle rijen hebben het label 'onjuist' geretourneerd, omdat geen enkele rij overeenkwam met het verwachte antwoord-ID.
U moet met deze resultaten kunnen zien dat u de tekst van een chatlogboek kunt gebruiken als de query voor elke rij. Zonder iets te weten over de gegevens vertellen de resultaten u veel over de gegevens dat u kunt gebruiken voor het vervolg:
- metagegevens
- QnA-ID
- score
Was het filteren met metagegevens een goed idee voor de test? Ja en nee. Het testsysteem moet testbestanden maken voor elk metagegevenspaar en ook een test zonder metagegevensparen.
Resources opschonen
Als u deze Knowledge Base verder niet gaat testen, verwijder dan het batchbestandprogramma en de testbestanden.
Als u deze Knowledge Base verder niet gaat gebruiken, verwijder dan de Knowledge Base met de volgende stappen:
- Selecteer in de QnA Maker-portal Mijn Knowledge Bases in het hoofdmenu.
- Selecteer in de lijst met Knowledge Bases het pictogram Verwijderen op de rij van de Knowledge Base van deze quickstart.
Referentiedocumentatie over het hulpprogramma omvat:
- het opdrachtregelvoorbeeld van het hulpprogramma
- de indeling voor TSV-invoer- en outfilebestanden