Vue d’ensemble de la modération de texte

  • 4 minutes

Quand vous utilisez la modération de contenu assistée par ordinateur, vous bloquez, approuvez ou révisez le contenu en fonction de vos stratégies et de vos seuils. Vous pouvez utiliser l’assistance par ordinateur pour augmenter la modération humaine dans des environnements où des partenaires, des employés et des consommateurs génèrent du contenu de texte. Il s’agit notamment des environnements suivants :

  • Salles de conversation
  • Forums de discussion
  • Chatbots
  • Catalogues de sites marchands
  • Documents

La réponse de l’API Modération du texte contient les informations suivantes :

  • Une liste de mots potentiellement indésirables trouvée dans le texte.
  • Le type de mots potentiellement indésirables qui ont été trouvés.
  • Données personnelles possibles trouvées dans le texte.

Des propos injurieux

Quand vous passez un texte à cette API, les termes potentiellement injurieux du texte sont identifiés et retournés dans une réponse JSON. L’élément injurieux est retourné en tant que Term dans la réponse JSON avec une valeur d’index indiquant où il se trouve dans le texte fourni.

Vous pouvez aussi utiliser des listes de termes personnalisées avec cette API. Dans ce cas, si un terme injurieux est identifié dans le texte, un ListId est également retourné pour identifier la liste de termes personnalisée qui a été utilisée. La combinaison de ListID et de Term identifie le mot personnalisé spécifique qui a été trouvé. Voici un exemple de réponse JSON :

"Terms": [
{
    "Index": 118,
    "OriginalIndex": 118,
    "ListId": 0,
    "Term": "crap"
}

Classification

Cette fonctionnalité de l’API peut placer du texte dans des catégories spécifiques selon les spécifications suivantes :

  • Catégorie 1 : Présence potentielle de langage pouvant être considéré comme sexuellement explicite ou réservé aux adultes dans certaines situations.
  • Catégorie 2 : Présence potentielle de langage pouvant être considéré comme sexuellement suggestif ou réservé aux adultes dans certaines situations.
  • Catégorie 3 : Présence potentielle de langage pouvant être considéré comme offensant dans certaines situations.

Quand la réponse JSON est retournée, elle fournit une valeur booléenne pour recommander une révision du texte. Si la valeur est true, vous devez réviser le contenu manuellement pour déterminer le risque de problèmes.

Chaque catégorie est également retournée avec un score entre 0 et 1 pour indiquer la catégorie prédite pour le texte évalué. Plus le score est élevé, plus il est probable que la catégorie s’applique. Voici un exemple de réponse JSON :

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 0.99756889843889822
        },
    "Category2": {
        "Score": 0.12747249007225037
        },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Données à caractère personnel

Les données personnelles sont d’une importance critique dans de nombreuses applications. Cette fonctionnalité de l’API peut vous aider à détecter si des valeurs dans le texte risquent d’être considérées comme informations d’identification personnelle avant de les diffuser publiquement. Les principaux aspects qui sont détectés sont notamment :

  • Adresses e-mail
  • Adresses postales U.S.
  • Adresses IP
  • Numéros de téléphone U.S.
  • Numéros de téléphone R.-U.
  • Numéros de sécurité sociale

Si de possibles valeurs de données personnelles sont trouvées, la réponse JSON contient des informations pertinentes sur le texte et l’emplacement d’index dans le texte. Voici un exemple de réponse JSON :

"PII": {
    "Email": [{
        "Detected": "abcdef@abcd.com",
        "SubType": "Regular",
        "Text": "abcdef@abcd.com",
        "Index": 32
        }],
    "IPA": [{
        "SubType": "IPV4",
        "Text": "255.255.255.255",
        "Index": 72
        }],
    "Phone": [{
        "CountryCode": "US",
        "Text": "5557789887",
        "Index": 56
        }, {
        "CountryCode": "UK",
        "Text": "+44 123 456 7890",
        "Index": 208
        }],
    "Address": [{
        "Text": "1 Microsoft Way, Redmond, WA 98052",
        "Index": 89
        }],
    "SSN": [{
        "Text": "999-99-9999",
        "Index": 267
        }]
    }