Otestujte znalostní bázi v QnA Maker

Testování QnA Maker znalostní báze je důležitou součástí iterativního procesu, který vylepšuje přesnost vrácených odpovědí. Znalostní bázi můžete testovat prostřednictvím vylepšeného rozhraní chatu, které také umožňuje provádět úpravy.

Interaktivní testování na portálu QnA Maker

1. K znalostní bázi se dostanete tak, že na stránce Moje základy znalostí vyberete její název.
2. Pro přístup k panelu testovacího snímku vyberte v horním panelu aplikace test .
3. Do textového pole zadejte dotaz a vyberte Enter.
4. Nejvhodnější odpověď ze znalostní báze se vrátí jako odpověď.

Vymazat testovací panel

Chcete-li vymazat všechny zadané testovací dotazy a jejich výsledky z konzoly test, vyberte možnost začít znovu v levém horním rohu panelu Test.

Zavřít testovací panel

Chcete-li panel testu zavřít, vyberte tlačítko test znovu. I když je panel test otevřený, nelze upravit obsah znalostní báze.

Zkontrolovat skóre

Podrobnosti o výsledku testu si můžete prohlédnout na panelu Kontrola.

1. Na panelu Test snímků na více instancí otevřete možnost zkontrolovat , kde najdete další podrobnosti o této odpovědi.

   

2. Zobrazí se panel kontrola. Panel zahrnuje nejvyšší záměr hodnocení i všechny identifikované entity. Na panelu se zobrazí výsledek vybrané utterance.

Opravte odpověď na nejvyšší hodnocení.

Pokud je odpověď na nejvyšší vyhodnocování nesprávná, vyberte správnou odpověď ze seznamu a vyberte Uložit a výuka.

Přidat alternativní otázky

K dané odpovědi můžete přidat alternativní formy otázky. Do textového pole zadejte alternativní odpovědi a pokud je chcete přidat, vyberte Enter. Vyberte Uložit a výuka pro uložení aktualizací.

Přidat novou odpověď

Můžete přidat novou odpověď, pokud některé ze stávajících odpovědí, které se shodují, nejsou správné nebo odpověď ve znalostní bázi neexistuje (v KB) nebyla nalezena žádná dobrá shoda.

V dolní části seznamu odpovědí zadejte novou odpověď pomocí textového pole a stisknutím klávesy ENTER ji přidejte.

Vyberte Save (Uložit) a výuka a zachovejte tuto odpověď. Do znalostní báze se teď přidala nová dvojice otázek a odpovědí.

Testování publikované znalostní báze

Publikovanou verzi znalostní báze můžete otestovat v podokně test. Po publikování znalostní báze vyberte pole zveřejněné znalostní báze a odešlete dotaz, který získá výsledky z PUBLIKOVANÉHO znalostní báze.

Batch test s nástrojem

Nástroj Batch test použijte, když chcete:

• určení nejlepší odpovědi a skóre pro sadu otázek
• ověřit očekávanou odpověď pro sadu otázek

Požadavky

• Předplatné Azure – Vytvořte si ho zdarma .
• Buď vytvořte službu QnA maker , nebo použijte existující službu, která používá anglický jazyk.
• Stažení ukázkového .docx souboru s vícenásobným zapnete
• Stáhněte si Nástroj Batch test, extrahujte spustitelný soubor ze .zip souboru.

Přihlaste se QnA Maker portálu

Přihlaste se k portálu QnA maker.

Vytvoření nové znalostní báze z sample.docx souboru s vícenásobným zahnutím

1. Na panelu nástrojů vyberte vytvořit znalostní bázi .

2. Přeskočte Krok 1 , protože byste už měli mít QnA maker prostředek, přesunete se ke kroku 2 a vyberete své existující informace o zdroji:

   • Azure Active Directory ÚČET
   • Název předplatného Azure
   • Název služby Azure QnA
   • Jazyk – anglický jazyk

3. Multi-turn batch test quickstartJako název vaší znalostní báze zadejte název.

4. V kroku 4 nakonfigurujte nastavení pomocí následující tabulky:

   Nastavení	Hodnota
   Povolí vícenásobné extrakci z adres URL, .pdf nebo .docx souborů.	Zaškrtnuto
   Výchozí text odpovědi	Batch test - default answer not found.
   + Přidat soubor	Vyberte stažený .docx soubor výpisu v části požadavky.
   Povídání	Vyberte Professional

5. V kroku 5 vyberte vytvořit znalostní báze.

   Po dokončení procesu vytváření se na portálu zobrazí upravitelná znalostní báze.

Uložení, výuka a publikování znalostní báze

1. Pro uložení znalostní báze vyberte možnost Uložit a výuka z panelu nástrojů.

2. Vyberte publikovat z panelu nástrojů a potom znovu vyberte publikovat a publikujte znalostní bázi. Publikování zpřístupňuje znalostní bázi pro dotazy z koncového bodu veřejné adresy URL. Po dokončení publikování uložte adresu URL hostitele a klíč koncového bodu, které jsou zobrazené na stránce publikovat .

   Požadovaná data	Příklad
   Publikovaný hostitel	https://YOUR-RESOURCE-NAME.azurewebsites.net
   Publikovaný klíč	XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX (32 řetězec znaků zobrazený po Endpoint )
   ID aplikace	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (36 řetězec znaků zobrazený jako součást POST )

Vytvořit soubor dávkového testu s ID dotazů

Chcete-li použít nástroj Batch test, vytvořte soubor s názvem batch-test-data-1.tsv s textovým editorem. Soubor by měl být ve formátu UTF-8 a musí mít následující sloupce oddělené tabulátorem.

Pro tuto znalostní bázi přidejte do souboru tři řádky pouze dvou požadovaných sloupců. Prvním sloupcem je ID znalostní báze a druhý sloupec by měl být následující seznam otázek:

Tyto otázky jsou přesným zněním ze znalostní báze a jako skóre spolehlivosti by se mělo vrátit 100.

Dále přidejte několik otázek podobných těmto otázkám, ale ne úplně stejné na třech dalších řádcích s použitím stejného ID znalostní báze:

Soubor dávkového testu při otevření Excel vypadá jako na následujícím obrázku. Kvůli zabezpečení se ID znalostní báze xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx nahradilo za . U vlastního dávkového testu se ujistěte, že se ve sloupci zobrazuje ID znalostní báze.

Otestování dávkového souboru

Spusťte program dávkového testování pomocí následujícího formátu rozhraní příkazového řádku na příkazovém řádku.

Nahraďte YOUR-RESOURCE-NAME ENDPOINT-KEY a vlastními hodnotami pro název služby a klíč koncového bodu. Tyto hodnoty najdete na Nastavení portálu QnA Maker Portal.

batchtesting.exe batch-test-data-1.tsv https://YOUR-RESOURCE-NAME.azurewebsites.net ENDPOINT-KEY out.tsv

Test se dokončí a vygeneruje out.tsv soubor:

Kvůli zabezpečení se ID znalostní báze xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx nahradilo za . Pro vlastní dávkový test se ve sloupci zobrazí ID znalostní báze.

Výstup testu skóre spolehlivosti ve čtvrtém sloupci ukazuje první tři otázky, které vrátily skóre 100 podle očekávání, protože každá otázka je naprosto stejná jako ve znalostní bázi. Poslední tři otázky s novým formulací otázky nevrací 100 jako skóre spolehlivosti. Pokud chcete zvýšit skóre testu i uživatelů, musíte do znalostní báze přidat další alternativní otázky.

Testování s volitelnými poli

Jakmile porozuměli formátu a procesu, můžete vygenerovat testovací soubor, který se bude spouštět ve znalostní bázi ze zdroje dat, jako jsou protokoly chatů.

Vzhledem k tomu, že zdroj dat a proces jsou automatizované, lze testovací soubor spustit mnohokrát s různými nastaveními a určit tak správné hodnoty.

Pokud máte například protokol chatu a chcete určit, který text protokolu chatu se vztahuje na která pole metadat, vytvořte testovací soubor a nastavte pole metadat pro každý řádek. Spusťte test a pak zkontrolujte řádky, které odpovídají metadatům. Obecně platí, že shody by měly být kladné, ale měli byste ve výsledcích zkontrolovat falešně pozitivní výsledky. Falešně pozitivní je řádek, který odpovídá metadatům, ale na základě textu by se neměl shodovat.

Použití volitelných polí ve vstupním dávkovém testovacím souboru

Následující graf vám porozumí, jak najít hodnoty polí pro volitelná data.

Přidání metadat do znalostní báze

1. Na portálu QnA přidejte na stránce Upravit metadata k topic:power následujícím otázkám:

   Dotazy
   Poplatek za Surface Pro 4
   Kontrola stavu baterie

   Dvě páry QnA mají nastavená metadata.

   Tip

   Pokud chcete zobrazit metadata a ID QnA každé sady, exportujte znalostní bázi. Vyberte Nastavení a pak vyberte Exportovat jako .xls soubor. Vyhledejte tento stažený soubor a otevřete ho Excel a zkontrolujte metadata a ID.

2. Vyberte Save and train (Uložit a natrénovat), pak vyberte stránku Publish (Publikovat) a pak vyberte tlačítko Publish (Publikovat). Tyto akce změnu zk dispozici pro dávkový test. Znalostní bázi si můžete stáhnout ze Nastavení stránky.

   Stažený soubor má správný formát metadat a správné ID sady otázek a odpovědí. Tato pole použijte v další části.

   

Vytvoření druhého dávkového testu

Existují dva hlavní scénáře dávkového testování:

• Zpracování souborů protokolu chatu – Určete nejlepší odpověď na dříve neodpovídanou otázku – nejběžnější situací je, že potřebujete zpracovat soubor protokolu dotazů, jako jsou otázky uživatelů chatbota. Vytvořte test dávkového souboru pouze s požadovanými sloupci. Test vrátí nejvyšší odpověď pro každou otázku. To neznamená, že nejlepší odpověď je správná odpověď. Po dokončení tohoto testu přejděte k ověřovacímu testu.
• Ověřovací test – Ověří očekávanou odpověď. Tento test vyžaduje, aby byly ověřeny všechny otázky a odpovídající očekávané odpovědi v dávkovém testu. To může vyžadovat nějaký ruční proces.

Následující postup předpokládá, že scénář je zpracování protokolů chatu pomocí

1. Vytvořte nový soubor dávkového testu, který bude obsahovat volitelná data batch-test-data-2.tsv . Přidejte šest řádků z původního vstupního souboru dávkového testu a pak pro každý řádek přidejte metadata, horní a ID páru QnA.

   Pokud chcete simulovat automatizovaný proces kontroly nového textu z protokolů chatu vůči znalostní bázi, nastavte metadata pro každý sloupec na stejnou hodnotu: topic:power .

   

2. Spusťte test znovu a změň názvy vstupních a výstupních souborů tak, aby označoval, že se jedná o druhý test.

   

Výsledky testů a automatizovaný testovací systém

Tento výstupní soubor testu je možné analyzovat jako součást kanálu automatizovaného průběžného testování.

Tento konkrétní výstup testu by měl být přečten takto: každý řádek byl filtrován s metadaty, a protože se každý řádek neshodoval s metadaty ve znalostní bázi, výchozí odpověď na tyto neodpovídající řádky se vrátila (v kb se nenašla žádná dobrá shoda). Z řádků, které se shodují, se vrátilo ID a skóre QnA.

Všechny řádky vrátily popisek nesprávné hodnoty, protože žádný řádek neodpovídá očekávanému ID odpovědi.

S těmito výsledky byste měli vidět, že můžete vzít protokol chatu a použít text jako dotaz na každý řádek. Aniž byste o datech něco věděli, výsledky vás informují o datech, která pak můžete dále použít:

• meta-data
• QnA ID
• skóre

Bylo filtrování metadat pro test vhodné? Ano a ne. Testovací systém by měl vytvořit testovací soubory pro každý pár metadat a také test bez párů metadat.

Vyčištění prostředků

Pokud znalostní bázi nadále testovat již chyste, odstraňte nástroj dávkového souboru a testovací soubory.

Pokud tuto znalostní bázi nadále používat nadále, odstraňte znalostní bázi pomocí následujících kroků:

1. Na QnA Maker Portal vyberte v horní nabídce Moje znalostní báze.
2. V seznamu znalostních báců vyberte ikonu Odstranit na řádku znalostní báze v tomto rychlém startu.

Referenční dokumentace k nástroji zahrnuje:

• příklad příkazového řádku nástroje
• formát pro vstupní a výstupní soubory TSV

Další kroky