Wyświetlanie oceny i szczegółów niestandardowego modelu NER

Po zakończeniu trenowania modelu można wyświetlić wydajność modelu i wyświetlić wyodrębnione jednostki dla dokumentów w zestawie testowym.

Uwaga

Użycie opcji Automatyczne dzielenie zestawu testów z danych treningowych może spowodować, że podczas trenowania nowego modelu wynik oceny modelu jest wybierany losowo z danych. Aby upewnić się, że ewauacja jest obliczana na tym samym zestawie testowym za każdym razem, gdy trenujesz model, należy użyć opcji Użyj ręcznego podziału danych trenowania i testowania podczas uruchamiania zadania trenowania i definiowania dokumentów testowych podczas etykietowania danych.

Wymagania wstępne

Przed wyświetleniem oceny modelu potrzebne są następujące elementy:

• Pomyślnie utworzono projekt ze skonfigurowanym kontem usługi Azure Blob Storage.
• Dane tekstowe przekazane do konta magazynu.
• Dane oznaczone etykietami
• Pomyślnie wytrenowany model

Aby uzyskać więcej informacji, zobacz cykl projektowania projektu .

Szczegóły modelu

Studio językowe

1. Przejdź do strony projektu w programie Language Studio.

2. Wybierz pozycję Wydajność modelu z menu po lewej stronie ekranu.

3. Na tej stronie można wyświetlić tylko pomyślnie wytrenowane modele, wynik F1 dla każdego modelu i daty wygaśnięcia modelu. Możesz kliknąć nazwę modelu, aby uzyskać więcej informacji na temat jej wydajności.

4. Metryki oceny na poziomie modelu można znaleźć w obszarze Przegląd oraz metryki oceny na poziomie klasy w obszarze Metryki wydajności klasy. Aby uzyskać więcej informacji, zobacz Metryki oceny .

   

5. Macierz pomyłek dla modelu znajduje się w obszarze Macierz pomyłek zestawu testów.

   

Uwaga

Jednostki, które nie są oznaczone ani przewidywane w zestawie testów, nie będą częścią wyświetlanych wyników.

Interfejsy API REST

Prześlij żądanie GET przy użyciu następującego adresu URL, nagłówków i treści JSON, aby uzyskać wytrenowane podsumowanie oceny modelu.

Adres URL żądania

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
{ENDPOINT}	Punkt końcowy do uwierzytelniania żądania interfejsu API.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	myProject
{trainedModelLabel}	Nazwa wytrenowanego modelu. Ta wartość jest uwzględniana w wielkości liter.	Model1
{API-VERSION}	Wersja wywoływanego interfejsu API. Zobacz Cykl życia modelu , aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	2022-05-01

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Klucz	Wartość
Ocp-Apim-Subscription-Key	Klucz do zasobu. Służy do uwierzytelniania żądań interfejsu API.

Treść odpowiedzi

Po wysłaniu żądania otrzymasz następującą odpowiedź.

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Usuwanie modelu

Studio językowe

Aby usunąć model z poziomu programu Language Studio:

1. Wybierz pozycję Wydajność modelu z menu po lewej stronie.

2. Kliknij nazwę modelu , którą chcesz usunąć, a następnie kliknij pozycję Usuń w górnym menu.

3. W wyświetlonym oknie kliknij przycisk OK , aby usunąć model.

Interfejsy API REST

Utwórz żądanie DELETE przy użyciu następującego adresu URL, nagłówków i treści JSON, aby usunąć wytrenowany model.

Adres URL żądania

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Symbol zastępczy	Wartość	Przykład
{ENDPOINT}	Punkt końcowy do uwierzytelniania żądania interfejsu API.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nazwa projektu. Ta wartość jest uwzględniana w wielkości liter.	myProject
{trainedModelLabel}	Nazwa modelu. Ta wartość jest uwzględniana w wielkości liter.	model1
{API-VERSION}	Wersja wywoływanego interfejsu API. Wartość, do których odwołuje się tutaj, dotyczy najnowszej wersji wydanej. Zobacz Cykl życia modelu , aby dowiedzieć się więcej o innych dostępnych wersjach interfejsu API.	2022-05-01

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Klucz	Wartość
Ocp-Apim-Subscription-Key	Klucz do zasobu. Służy do uwierzytelniania żądań interfejsu API.

Po wysłaniu żądania interfejsu API otrzymasz odpowiedź wskazującą 204 powodzenie, co oznacza, że wytrenowany model został usunięty.

Następne kroki

• Po przejrzeniu oceny modelu możesz rozpocząć ulepszanie modelu.
• Dowiedz się więcej o metrykach używanych w ocenie.