Comment fonctionne Content Moderator

  • 10 minutes

Pour utiliser le service Content Moderator, il faut un abonnement Azure et une ressource Content Moderator. La ressource est nécessaire pour accéder au service et fournit le point de terminaison et la clé d’accès pour le service.

Microsoft offre un niveau tarifaire gratuit que vous pouvez utiliser pour tester le service. Avec le niveau gratuit, vous pouvez déterminer si le service Content Moderator est le bon choix pour votre organisation.

Le service Content Moderator est accessible via REST ou en utilisant le kit de développement logiciel (SDK) approprié. Les langages actuellement pris en charge dans le kit SDK sont les suivants :

  • .NET
  • Java
  • Node.JS
  • Python
  • Go

Modération de texte

Vous pouvez appeler une seule méthode dans l’API, ModerateText, pour analyser le texte d’un fichier. Vous spécifiez le fichier d’entrée et un fichier de sortie dans l’appel de la méthode. Le service analyse le texte présent dans le fichier et retourne les résultats dans le fichier de sortie. L’API retourne un résultat au format JSON à l’application appelante. Utilisation d’un exemple d’entrée de texte :

"Is this a janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052"

Le service identifie certaines données personnelles (e-mail, téléphone, adresse IP et adresse), puis classe le texte avec une suggestion de révision.

{
  "OriginalText": "Is this a janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052",
  "NormalizedText": "   janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052",
  "Misrepresentation": null,
  "PII": {
    "Email": [{
      "Detected": "abcdef@abcd.com",
      "SubType": "Regular",
      "Text": "abcdef@abcd.com",
      "Index": 21
    }],
    "IPA": [{
      "SubType": "IPV4",
      "Text": "255.255.255.255",
      "Index": 61
    }],
    "Phone": [{
      "CountryCode": "US",
      "Text": "6657789887",
      "Index": 45
    }],
    "Address": [{
      "Text": "1 Microsoft Way, Redmond, WA 98052",
      "Index": 78
    }],
    "SSN": []
  },
  "Classification": {
    "ReviewRecommended": true,
    "Category1": {
      "Score": 0.00040505084325559437
    },
    "Category2": {
      "Score": 0.22345089912414551
    },
    "Category3": {
      "Score": 0.98799997568130493
    }
  },
  "Language": "eng",
  "Terms": [{
    "Index": 3,
    "OriginalIndex": 10,
    "ListId": 0,
    "Term": "janky"
  }],
  "Status": {
    "Code": 3000,
    "Description": "OK",
    "Exception": null
  },
  "TrackingId": "7a6e3717-1382-4b63-a8f4-24922e041f82"
}

Modération d’images

L’utilisation du service pour la modération d’images demande que les images soient accessibles par le biais d’une URL. Si vous avez plusieurs images, vous placez les URL de chaque image sur une ligne distincte dans un fichier texte et vous l’envoyez au service. Le service évalue chaque image séparément.

Lorsque l’image a été évaluée, un résultat JSON est retourné, indiquant un score et une classification pour les catégories adulte et osé.

{
  "AdultClassificationScore": 0.02518901415169239,
  "IsImageAdultClassified": false,
  "RacyClassificationScore": 0.052860850468277931,
  "IsImageRacyClassified": false,
  "Result": false,
  "AdvancedInfo": [{
    "Key": "ImageDownloadTimeInMs",
    "Value": "499"
  }, {
    "Key": "ImageSizeInBytes",
    "Value": "273405"
  }],
  "Status": {
    "Code": 3000,
    "Description": "OK",
    "Exception": null
  },
  "TrackingId": "d993e832-1bf5-48b2-b2b3-73e57b2bd6a2"
}

L’API d’image offre aussi la possibilité d’exécuter une détection des visages, d’effectuer une reconnaissance optique de caractères (OCR) pour analyser le texte présent dans l’image ou de chercher des correspondances entre une image et une liste d’images personnalisée. Chaque appel d’API est une fonction distincte.