Testowanie baza wiedzy w usłudze QnA Maker

Testowanie baza wiedzy usługi QnA Maker jest ważną częścią procesu iteracyjnego w celu zwiększenia dokładności zwracanych odpowiedzi. Możesz przetestować baza wiedzy za pomocą ulepszonego interfejsu czatu, który umożliwia również wprowadzanie zmian.

Uwaga

Usługa QnA Maker jest wycofywana 31 marca 2025 r. Nowsza wersja funkcji pytań i odpowiedzi jest teraz dostępna w ramach języka sztucznej inteligencji platformy Azure. Aby uzyskać odpowiedzi na pytania w usłudze językowej, zobacz odpowiadanie na pytania. Od 1 października 2022 r. nie będzie można tworzyć nowych zasobów usługi QnA Maker. Aby uzyskać informacje na temat migrowania istniejących baza wiedzy usługi QnA Maker do odpowiadania na pytania, zapoznaj się z przewodnikiem migracji.

Interakcyjny test w portalu usługi QnA Maker

1. Uzyskaj dostęp do baza wiedzy, wybierając jego nazwę na stronie Moje baza wiedzy s.
2. Aby uzyskać dostęp do panelu wysuwanym Test, wybierz pozycję Testuj w górnym panelu aplikacji.
3. Wprowadź zapytanie w polu tekstowym i wybierz klawisz Enter.
4. Najlepiej dopasowana odpowiedź z baza wiedzy jest zwracana jako odpowiedź.

Wyczyść panel testowy

Aby wyczyścić wszystkie wprowadzone zapytania testowe i ich wyniki z konsoli testowej, wybierz pozycję Rozpocznij od początku w lewym górnym rogu panelu Test.

Zamknij panel testowy

Aby zamknąć panel Test, ponownie wybierz przycisk Testuj. Gdy panel Test jest otwarty, nie można edytować zawartości bazy wiedzy.

Sprawdzanie wyniku

Szczegółowe informacje o wyniku testu można sprawdzić w panelu Inspekcja.

1. Po otwarciu panelu wysuwanym Test wybierz pozycję Sprawdź , aby uzyskać więcej informacji na temat tej odpowiedzi.

   

2. Zostanie wyświetlony panel Inspekcja. Panel zawiera intencję oceniania najwyższego poziomu, a także wszystkie zidentyfikowane jednostki. Na panelu zostanie wyświetlony wynik wybranej wypowiedzi.

Poprawianie odpowiedzi na pierwsze wyniki

Jeśli górna odpowiedź oceniania jest niepoprawna, wybierz poprawną odpowiedź z listy i wybierz pozycję Zapisz i trenuj.

Dodawanie alternatywnych pytań

Możesz dodać alternatywne formy pytania do danej odpowiedzi. Wpisz alternatywne odpowiedzi w polu tekstowym i wybierz klawisz Enter, aby je dodać. Wybierz pozycję Zapisz i trenuj , aby przechowywać aktualizacje.

Dodawanie nowej odpowiedzi

Możesz dodać nową odpowiedź, jeśli którakolwiek z istniejących dopasowanych odpowiedzi jest niepoprawna lub odpowiedź nie istnieje w baza wiedzy (nie znaleziono dobrego dopasowania w kb).

W dolnej części listy odpowiedzi użyj pola tekstowego, aby wprowadzić nową odpowiedź i naciśnij klawisz Enter, aby ją dodać.

Wybierz pozycję Zapisz i trenuj , aby utrwały tę odpowiedź. Nowa para pytań i odpowiedzi została teraz dodana do baza wiedzy.

Uwaga

Wszystkie zmiany w baza wiedzy są zapisywane tylko po naciśnięciu przycisku Zapisz i trenuj.

Testowanie opublikowanej baza wiedzy

Opublikowaną wersję baza wiedzy można przetestować w okienku testu. Po opublikowaniu bazy wiedzy wybierz pole Opublikowane bazy wiedzy i wyślij zapytanie, aby uzyskać wyniki z opublikowanej bazy wiedzy.

Test wsadowy za pomocą narzędzia

Użyj narzędzia do testowania wsadowego, jeśli chcesz:

• określanie najwyższej odpowiedzi i oceny dla zestawu pytań
• weryfikowanie oczekiwanej odpowiedzi na zestaw pytań

Wymagania wstępne

• Subskrypcja platformy Azure — utwórz jedną bezpłatnie
• Utwórz usługę QnA Maker lub użyj istniejącej usługi, która używa języka angielskiego.
• Pobieranie przykładowego pliku wieloetkowego .docx
• Pobierz narzędzie do testowania wsadowego, wyodrębnij plik wykonywalny z .zip pliku.

Zaloguj się do portalu usługi QnA Maker

Zaloguj się do portalu usługi QnA Maker.

Tworzenie nowego baza wiedzy na podstawie pliku sample.docx z wieloma krokami

1. Wybierz pozycję Utwórz baza wiedzy na pasku narzędzi.

2. Pomiń krok 1 , ponieważ masz już zasób usługi QnA Maker, przechodząc do kroku 2 , aby wybrać istniejące informacje o zasobie:

   • Identyfikator usługi Microsoft Entra
   • Nazwa subskrypcji platformy Azure
   • Nazwa usługi Azure QnA
   • Język — język angielski

3. Wprowadź nazwę jako nazwę Multi-turn batch test quickstart baza wiedzy.

4. W kroku 4 skonfiguruj ustawienia przy użyciu następującej tabeli:

   Ustawienie	Wartość
   Włącz wyodrębnianie z wielu obrotu z adresów URL, plików PDF lub .docx.	Zaznaczony
   Domyślny tekst odpowiedzi	Batch test - default answer not found.
   + Dodaj plik	Wybierz listę pobranych .docx plików w wymaganiach wstępnych.
   Pogawędka	Wybierz pozycję Professional

5. W kroku 5 wybierz pozycję Utwórz bazę wiedzy.

   Po zakończeniu procesu tworzenia portal wyświetli edytowalne baza wiedzy.

Zapisywanie, trenowanie i publikowanie baza wiedzy

1. Wybierz pozycję Zapisz i trenuj na pasku narzędzi, aby zapisać baza wiedzy.

2. Wybierz pozycję Publikuj na pasku narzędzi, a następnie ponownie wybierz pozycję Publikuj, aby opublikować baza wiedzy. Publikowanie udostępnia baza wiedzy dla zapytań z publicznego punktu końcowego adresu URL. Po zakończeniu publikowania zapisz adres URL hosta i informacje o kluczu punktu końcowego wyświetlane na stronie Publikowanie .

   Wymagane dane	Przykład
   Opublikowany host	https://YOUR-RESOURCE-NAME.azurewebsites.net
   Klucz opublikowany	XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX (32 ciąg znaków wyświetlany po Endpoint )
   Identyfikator aplikacji	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (Ciąg 36 znaków wyświetlany jako część POST)

Tworzenie pliku testowego wsadowego z identyfikatorami pytań

Aby użyć narzędzia do testowania wsadowego, utwórz plik o nazwie batch-test-data-1.tsv z edytorem tekstów. Plik powinien być w formacie UTF-8 i musi zawierać następujące kolumny oddzielone kartą.

Pola pliku wejściowego TSV	Uwagi	Przykład
Identyfikator bazy wiedzy	Identyfikator baza wiedzy znaleziony na stronie Publikowanie. Przetestuj kilka baza wiedzy w tej samej usłudze jednocześnie w jednym pliku przy użyciu różnych identyfikatorów baza wiedzy w jednym pliku.	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (Ciąg 36 znaków wyświetlany jako część POST)
Pytanie	Tekst pytania, który zostanie wprowadzony przez użytkownika. Maksymalnie 1000 znaków.	How do I sign out?
Tagi metadanych	optional	topic:powerkey:value używa formatu
Najwyższy parametr	optional	25
Oczekiwany identyfikator odpowiedzi	optional	13

W tym baza wiedzy dodaj do pliku trzy wiersze tylko dwóch wymaganych kolumn. Pierwsza kolumna to twój identyfikator baza wiedzy, a druga kolumna powinna zawierać następującą listę pytań:

Kolumna 2 — pytania
Use Windows Hello to sign in
Charge your Surface Pro 4
Get to know Windows 10

Te pytania są dokładnym sformułowaniem z baza wiedzy i powinny zwrócić 100 jako współczynnik ufności.

Następnie dodaj kilka pytań, podobnie jak w przypadku tych pytań, ale nie dokładnie tak samo w przypadku trzech kolejnych wierszy, używając tego samego identyfikatora baza wiedzy:

Kolumna 2 — pytania
What is Windows Hello?
How do I charge the laptop?
What features are in Windows 10?

Uwaga

Upewnij się, że każda kolumna jest oddzielona tylko ogranicznikiem tabulacji. Spacje wiodące lub końcowe są dodawane do danych kolumny i spowodują, że program zgłasza wyjątki, gdy typ lub rozmiar jest niepoprawny.

Plik testowy wsadowy, po otwarciu w programie Excel, wygląda jak na poniższej ilustracji. Identyfikator baza wiedzy został zastąpiony dla zabezpieczeńxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx. W przypadku własnego testu wsadowego upewnij się, że kolumna wyświetla identyfikator baza wiedzy.

Testowanie pliku wsadowego

Uruchom program testowania wsadowego przy użyciu następującego formatu interfejsu wiersza polecenia w wierszu polecenia.

Zastąp YOUR-RESOURCE-NAME wartości i ENDPOINT-KEY własnymi wartościami nazwy usługi i klucza punktu końcowego. Te wartości znajdują się na stronie Ustawienia w portalu usługi QnA Maker.

batchtesting.exe batch-test-data-1.tsv https://YOUR-RESOURCE-NAME.azurewebsites.net ENDPOINT-KEY out.tsv

Test zakończy się i wygeneruje out.tsv plik:

Identyfikator baza wiedzy został zastąpiony dla zabezpieczeńxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx. W przypadku własnego testu wsadowego kolumna wyświetla identyfikator baza wiedzy.

Dane wyjściowe testu wyniku ufności, w czwartej kolumnie, pokazują trzy pierwsze pytania zwróciły wynik 100 zgodnie z oczekiwaniami, ponieważ każde pytanie jest dokładnie takie samo, jak w baza wiedzy. Ostatnie trzy pytania, z nowym sformułowaniem pytania, nie zwracają 100 jako współczynnik ufności. Aby zwiększyć ocenę zarówno dla testu, jak i użytkowników, należy dodać więcej alternatywnych pytań do baza wiedzy.

Testowanie przy użyciu pól opcjonalnych

Po zapoznaniu się z formatem i procesem możesz wygenerować plik testowy w celu uruchomienia względem baza wiedzy ze źródła danych, takiego jak z dzienników czatów.

Ponieważ źródło danych i proces są zautomatyzowane, plik testowy może być uruchamiany wiele razy z różnymi ustawieniami w celu określenia prawidłowych wartości.

Jeśli na przykład masz dziennik czatu i chcesz określić, który tekst dziennika czatu ma zastosowanie do pól metadanych, utwórz plik testowy i ustaw pola metadanych dla każdego wiersza. Uruchom test, a następnie przejrzyj wiersze zgodne z metadanymi. Ogólnie rzecz biorąc, dopasowania powinny być pozytywne, ale należy przejrzeć wyniki dla wyników fałszywie dodatnich. Wynik fałszywie dodatni to wiersz, który pasuje do metadanych, ale na podstawie tekstu, nie powinien być zgodny.

Używanie opcjonalnych pól w wejściowym pliku testowym wsadowym

Skorzystaj z poniższego wykresu, aby dowiedzieć się, jak znaleźć wartości pól dla opcjonalnych danych.

Numer kolumny	Kolumna opcjonalna	Lokalizacja danych
3	metadane	Wyeksportuj istniejące baza wiedzy dla istniejących key:value par.
4	top	Zalecana jest wartość domyślna 25 .
5	Identyfikator zestawu pytań i odpowiedzi	Wyeksportuj istniejące baza wiedzy dla wartości identyfikatorów. Zwróć również uwagę, że identyfikatory zostały zwrócone w pliku wyjściowym.

Dodawanie metadanych do baza wiedzy

1. W portalu pytań i odpowiedzi na stronie Edycja dodaj metadane topic:power do następujących pytań:

   Pytania
   Ładowanie urządzenia Surface Pro 4
   Sprawdzanie poziomu baterii

   Dwie pary pytań i odpowiedzi mają zestaw metadanych.

   Napiwek

   Aby wyświetlić metadane i identyfikatory QnA każdego zestawu, wyeksportuj baza wiedzy. Wybierz stronę Ustawienia, a następnie wybierz pozycję Eksportuj.xls jako plik. Znajdź pobrany plik i otwórz go, przeglądając metadane i identyfikator programu Excel.

2. Wybierz pozycję Zapisz i trenuj, a następnie wybierz stronę Publikuj , a następnie wybierz przycisk Publikuj . Te akcje udostępniają zmianę testowi wsadowemu. Pobierz baza wiedzy ze strony Ustawienia.

   Pobrany plik ma poprawny format metadanych oraz poprawnego identyfikatora zestawu pytań i odpowiedzi. Użyj tych pól w następnej sekcji

   

Tworzenie drugiego testu wsadowego

Istnieją dwa główne scenariusze testowania wsadowego:

• Przetwarzanie plików dziennika czatu — określ odpowiedź na pierwsze pytanie, które wcześniej nie było wyświetlane — najczęstszą sytuacją jest to, że konieczne jest przetworzenie pliku dziennika zapytań, takich jak pytania użytkownika czatbota. Utwórz test pliku wsadowego z tylko wymaganymi kolumnami. Test zwraca górną odpowiedź dla każdego pytania. To nie znaczy, że górną odpowiedzią jest prawidłowa odpowiedź. Po zakończeniu tego testu przejdź do testu weryfikacyjnego.
• Test weryfikacji — zweryfikuj oczekiwaną odpowiedź. Ten test wymaga zweryfikowania wszystkich pytań i dopasowania oczekiwanych odpowiedzi w teście wsadowym. Może to wymagać ręcznego procesu.

Poniższa procedura zakłada, że scenariusz polega na przetwarzaniu dzienników czatów za pomocą polecenia

1. Utwórz nowy plik testowy wsadowy, aby uwzględnić opcjonalne dane. batch-test-data-2.tsv Dodaj sześć wierszy z oryginalnego pliku wejściowego testu wsadowego, a następnie dodaj metadane, górny i identyfikator pary QnA dla każdego wiersza.

   Aby zasymulować zautomatyzowany proces sprawdzania nowego tekstu z dzienników czatów względem baza wiedzy, ustaw metadane dla każdej kolumny na tę samą wartość: topic:power.

   

2. Uruchom ponownie test, zmieniając nazwy plików wejściowych i wyjściowych, aby wskazać, że jest to drugi test.

   

Wyniki testów i system testów automatycznych

Ten plik wyjściowy testu można przeanalizować jako część zautomatyzowanego potoku testu ciągłego.

Te konkretne dane wyjściowe testu powinny być odczytywane jako: każdy wiersz został przefiltrowany za pomocą metadanych i ponieważ każdy wiersz nie pasuje do metadanych w baza wiedzy, domyślna odpowiedź dla tych nie pasujących wierszy została zwrócona ("nie znaleziono dobrego dopasowania w kb"). Spośród tych wierszy, które były zgodne, zwrócono identyfikator QnA i wynik.

Wszystkie wiersze zwróciły etykietę niepoprawną, ponieważ żaden wiersz nie był zgodny z oczekiwanym identyfikatorem odpowiedzi.

Powinny być widoczne te wyniki, które można pobrać z dziennika czatów i użyć tekstu jako zapytania dla każdego wiersza. Nie znając żadnych informacji o danych, wyniki dużo informują o danych, które można następnie użyć w przyszłości:

• meta-dane
• Identyfikator QnA
• score

Czy filtrowanie za pomocą metadanych było dobrym pomysłem na test? Tak i nie. System testowy powinien tworzyć pliki testowe dla każdej pary metadanych, a także test bez par metadanych.

Czyszczenie zasobów

Jeśli nie zamierzasz kontynuować testowania baza wiedzy, usuń narzędzie do plików wsadowych i pliki testowe.

Jeśli nie zamierzasz nadal używać tego baza wiedzy, usuń baza wiedzy, wykonując następujące czynności:

1. W portalu usługi QnA Maker wybierz pozycję Moje bazy wiedzy z górnego menu.
2. Na liście baza wiedzy wybierz ikonę Usuń w wierszu baza wiedzy tego przewodnika Szybki start.

Dokumentacja referencyjna dotycząca narzędzia obejmuje następujące elementy:

• przykład wiersza polecenia narzędzia
• format plików wejściowych i plików outfile TSV

Następne kroki

Publikowanie bazy wiedzy