テキストモデレーションの概念を確認する

[アーティクル]
01/18/2024

チャットルーム、ディスカッションボード、チャットボット、eコマースカタログ、ドキュメントなどのテキストコンテンツを分析するには、Content Moderator のテキストモデレーションモデルを使用します。

サービスの応答には次の情報が含まれています。

不適切な表現: さまざまな言語での不適切な用語の組み込みの一覧との用語ベースのマッチング
分類: 3 つのカテゴリへのコンピューター支援型の分類
個人データ
自動修正済みテキスト
元のテキスト
Language

不適切な表現

API が、いずれかのサポートされる言語で何らかの不適切な用語を検出した場合、それらの用語が応答に含められます。また、応答には、元のテキストの場所 (Index) も含まれます。以下のサンプル JSON にある ListId は、カスタム用語一覧で検出された用語を参照しています (利用可能な場合)。

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

注意

language パラメーターについては、eng を割り当てるか、パラメーターを空のままにして、コンピューター支援による分類応答を表示します (プレビュー機能)。 この機能でサポートされているのは英語のみです。

不適切用語の検出については、この記事の一覧に示したサポート対象言語の ISO 639-3 コードを使用するか、空のままにします。

分類

Content Moderator のコンピューター支援型テキスト分類機能では英語のみをサポートし、潜在的に不要なコンテンツを検出します。フラグが付いたコンテンツは、コンテキストによっては不適切として評価される可能性があります。各カテゴリの可能性を伝達します。この機能では、トレーニング済みのモデルを使用して、侮辱、軽蔑、差別と受け取られる可能性のある言葉を識別します。これには、俗語、省略語、不快な言葉、意図的なスペルミスが含まれます。

JSON の次の抽出箇所は、出力例を示しています。

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

説明

Category1 は、特定の状況で性的に露骨か、または成人向けであると見なされる可能性のある言語の潜在的な存在を示します。
Category2 は、特定の状況で性的な連想を起こさせるか、または成熟した表現であると見なされる可能性のある言語の潜在的な存在を示します。
Category3 は、特定の状況で不快であると見なされる可能性のある言語の潜在的な存在を示します。
Score は 0 から 1 の間です。このモデルでは、スコアが高いほど、そのカテゴリに該当する可能性が高いと予測しています。この機能は、人がコーディングした結果ではなく、統計モデルに依存しています。独自のコンテンツを使用してテストを行い、実際の要件に合うように各カテゴリをどのように設定するかを決めることをお勧めします。
ReviewRecommended は、内部スコアのしきい値に応じて true または false のどちらかになります。ユーザーは、この値を使用するか、独自のコンテンツポリシーに基づいてカスタムしきい値を決めるかを見極める必要があります。

個人データ

個人データ機能は、この情報の潜在的な存在を検出します。

電子メールアドレス
米国の住所
IP アドレス
米国の電話番号

次の例は、サンプルの応答を示しています。

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

自動修正

テキストモデレーション応答は、必要に応じて、基本的な自動修正が適用されたテキストを返すことができます。

たとえば、次の入力テキストにはスペルミスがあります。

The quick brown fox jumps over the lazzy dog.

自動修正を指定した場合、応答には修正されたバージョンのテキストが含まれます。

The quick brown fox jumps over the lazy dog.

カスタム用語一覧の作成と管理

既定のグローバル用語一覧は、ほとんどのケースで有効に機能しますが、ビジネスニーズに固有の用語に対してスクリーニングしたい場合があります。たとえば、ユーザーの投稿から競合するブランドの名前を検出したい場合があります。

Note

上限は用語の一覧が 5 つで、各一覧では用語が 10,000 個を超えてはいけません。

次の例では、一致するリスト ID を示しています。

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator は、用語一覧の API にカスタム用語一覧を管理する操作を提供します。用語一覧の API コンソールを起動して、REST API コードサンプルを使用してください。また、Visual Studio および C# に精通している場合は、用語一覧に関する .NET のクイックスタートを確認してください。

次のステップ

テキストモデレーション API コンソールを使用して、テストを行います。

テキスト モデレーションの概念を確認する