De evaluatie en details van uw model voor tekstclassificatie weergeven

Nadat de training van uw model is voltooid, kunt u de modelprestaties bekijken en de voorspelde klassen voor de documenten in de testset bekijken.

Notitie

Als u de optie De testset automatisch splitsen uit trainingsgegevens gebruikt, kan dit resulteren in een ander modelevaluatieresultaat wanneer u een nieuw model traint, omdat de testset willekeurig uit de gegevens wordt geselecteerd. Als u ervoor wilt zorgen dat de evaluatie elke keer wordt berekend op dezelfde testset wanneer u een model traint, gebruikt u de optie Een handmatige splitsing van training- en testgegevens gebruiken bij het starten van een trainingstaak en definieert u uw testdocumenten bij het labelen van gegevens.

Vereisten

Voordat u modelevaluatie bekijkt, hebt u het volgende nodig:

• Een aangepast tekstclassificatieproject met een geconfigureerd Azure Blob Storage-account.
• Tekstgegevens die zijn geüpload naar uw opslagaccount.
• Gelabelde gegevens
• Een model dat is getraind

Zie de levenscyclus van projectontwikkeling voor meer informatie.

Modeldetails

Taalstudio

1. Ga naar uw projectpagina in Language Studio.

2. Selecteer Modelprestaties in het menu aan de linkerkant van het scherm.

3. Op deze pagina kunt u alleen de met succes getrainde modellen, F1-score voor elk model en de vervaldatum van het model bekijken. U kunt de naam van het model selecteren voor meer informatie over de prestaties.

Notitie

Klassen die niet zijn gelabeld of voorspeld in de testset, maken geen deel uit van de weergegeven resultaten.

Overzicht

• Op dit tabblad kunt u de details van het model bekijken, zoals: F1-score, precisie, terugroepactie, datum en tijd voor de trainingstaak, totale trainingstijd en het aantal trainings- en testdocumenten dat in deze trainingstaak is opgenomen.

  

• U ziet ook richtlijnen voor het verbeteren van het model. Wanneer u op Details weergeven klikt, wordt er een zijpaneel geopend met meer richtlijnen voor het verbeteren van het model. In dit voorbeeld zijn er onvoldoende gegevens in de trainingsset voor deze klassen. Ook is er een onduidelijk onderscheid tussen klassentypen in de trainingsset, waarbij twee klassen met elkaar worden verward. Als u op de verwarde klassen klikt, gaat u naar de pagina voor gegevenslabels om meer gegevens met de juiste klasse te labelen.

  

  Meer informatie over modelrichtlijnen en verwarringsmatrix in modelprestatieconcepten .

Prestaties van klassetype

• Dit is een momentopname van hoe uw model heeft gepresteerd tijdens het testen. De metrische gegevens hier zijn statisch en gekoppeld aan uw model, dus ze worden pas bijgewerkt als u opnieuw traint.

• U kunt de precisie, terugroepactie, F1-score en het aantal trainings- en testlabels voor elke klasse bekijken.

  

Details van testset

• Hier ziet u de documenten die zijn opgenomen in de testset en de resultaatklasse voor elk document. U kunt de wisselknop Alleen niet-overeenkomende items weergeven gebruiken om alleen documenten met niet-overeenkomende items weer te geven of de selectie van de wisselknop opheffen om alle documenten in de testset weer te geven.

• Voor elk document kunt u: gelabelde tekst, de respectieve gelabelde klasse en de klasse waarmee het is voorspeld bekijken. U ziet ook of het een terecht positief, fout-positief of fout-negatief is.

  

Distributie van gegevenssets

Deze momentopname laat zien hoe entiteiten worden verdeeld over uw trainings- en testsets. Deze gegevens zijn statisch en gekoppeld aan uw model, dus ze worden pas bijgewerkt als u opnieuw traint.

• U kunt de distributie van de gegevensset weergeven in de grafiek - of tabelweergave .

Grafiekweergave

Documenten met ten minste één label: in deze weergave wordt voor elke klasse het aantal exemplaren voor deze klasse weergegeven in de trainings- en testsets.

Tabelweergave

Voor elke klas kunt u het volgende bekijken: gelabelde documenten in de trainingsset, gelabelde documenten in de testset en het totale aantal gelabelde documenten.

Verwarringsmatrix

Notitie

Verwarringsmatrix is niet beschikbaar voor projecten met meerdere classificaties.

Een verwarringsmatrix is een N x N-matrix die wordt gebruikt voor het evalueren van de prestaties van een classificatiemodel, waarbij N het aantal doelklassen is. De matrix vergelijkt de werkelijke doelwaarden met de waarden die door het machine learning-model zijn voorspeld om aan te geven hoe goed het extractiemodel presteert en wat voor soort fouten het maakt.

U kunt de verwarringsmatrix bekijken in de genormaliseerde of onbewerkte tellingsweergave .

• Alle waarden: toont de verwarringsmatrix voor alle klassen.

• Alleen fouten: toont de verwarringsmatrix voor klassen met alleen fouten.

• Alleen overeenkomsten: toont de verwarringsmatrix voor klassen met alleen de juiste voorspellingen.

REST-API's

Classificatie van één label

Dien een GET-aanvraag in met behulp van de volgende URL, headers en JSON-hoofdtekst om een getraind modelevaluatieoverzicht op te halen.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor het getrainde model. Deze waarde is hoofdlettergevoelig.	Model1
{API-VERSION}	De versie van de API die u aanroept. De waarde waarnaar hier wordt verwezen, is voor de meest recente versie die is uitgebracht. Meer informatie over andere beschikbare API-versies	2022-05-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Hoofdtekst van antwoord

Nadat u de aanvraag hebt verzonden, krijgt u het volgende antwoord.

{
  "projectKind": "customSingleLabelClassification",
  "customSingleLabelClassificationEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Classificatie van meerdere labels

Dien een GET-aanvraag in met behulp van de volgende URL, headers en JSON-hoofdtekst om een getraind modelevaluatieoverzicht op te halen.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor het getrainde model. Deze waarde is hoofdlettergevoelig.	Model1
{API-VERSION}	De versie van de API die u aanroept. De waarde waarnaar hier wordt verwezen, is voor de meest recente versie die is uitgebracht. Meer informatie over andere beschikbare API-versies	2022-05-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Hoofdtekst van antwoord

Nadat u de aanvraag hebt verzonden, krijgt u het volgende antwoord.

{
  "projectKind": "customMultiLabelClassification",
  "customMultiLabelClassificationEvaluation": {
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Modelgegevens laden of exporteren

Taalstudio

Uw modelgegevens laden :

1. Selecteer een model op de pagina modelevaluatie .

2. Selecteer de knop Modelgegevens laden .

3. Controleer of u geen niet-opgeslagen wijzigingen hebt die u moet vastleggen in het venster dat wordt weergegeven en selecteer Gegevens laden.

4. Wacht totdat uw modelgegevens weer in uw project zijn geladen. Na voltooiing wordt u teruggeleid naar de pagina Schemaontwerp .

Uw modelgegevens exporteren :

1. Selecteer een model op de pagina modelevaluatie .

2. Selecteer de knop Modelgegevens exporteren . Wacht tot de JSON-momentopname van uw model lokaal is gedownload.

REST-API's

Modelgegevens laden

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens in uw project te laden.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduidingen hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Nadat u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Extraheer de waarde in de operation-location antwoordheaders. Deze wordt als volgt opgemaakt:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de status van het laden van uw modelgegevens op te halen met behulp van dezelfde verificatiemethode.

Modelgegevens exporteren

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens te exporteren.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduidingen hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Nadat u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Extraheer de waarde in de operation-location antwoordheaders. Deze wordt als volgt opgemaakt:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de geëxporteerde project-JSON op te halen met behulp van dezelfde verificatiemethode.

Model verwijderen

Taalstudio

Uw model verwijderen vanuit Language Studio:

1. Selecteer Modelprestaties in het menu aan de linkerkant.

2. Selecteer de modelnaam die u wilt verwijderen en selecteer Verwijderen in het bovenste menu.

3. Selecteer OK in het venster dat wordt weergegeven om het model te verwijderen.

REST-API's

Maak een DELETE-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om een getraind model te verwijderen.

Aanvraag-URL

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor uw modelnaam. Deze waarde is hoofdlettergevoelig.	model1
{API-VERSION}	De versie van de API die u aanroept. De waarde waarnaar hier wordt verwezen, is voor de meest recente versie die is uitgebracht. Meer informatie over andere beschikbare API-versies	2022-05-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Nadat u uw API-aanvraag hebt verzonden, ontvangt u een 204 antwoord dat aangeeft dat het is gelukt, wat betekent dat uw getrainde model is verwijderd.

Volgende stappen

Wanneer u bekijkt hoe uw model presteert, krijgt u meer informatie over de metrische evaluatiegegevens die worden gebruikt. Zodra u weet of de prestaties van uw model moeten worden verbeterd, kunt u beginnen met het verbeteren van het model.