テキストのモデレートの概要
コンピューター支援型のコンテンツ モデレートを使用する場合は、ポリシーとしきい値に基づいて、コンテンツをブロック、承認またはレビューします。 コンピューター支援を使用して、パートナー、従業員、コンシューマーがテキスト コンテンツを生成する環境のヒューマン モデレートを拡張することができます。 これらの場所は次のとおりです。
- チャット ルーム
- ディスカッション掲示板
- チャットボット
- eコマース カタログ
- ドキュメント
テキスト モデレート API からの応答には、次の情報が含まれます。
- テキスト内で検出された望ましくない単語のリスト。
- 検出された望ましくない単語の種類。
- テキストで見つかった潜在的な個人データ。
不適切な表現
この API にテキストを渡すと、テキスト内の不適切な可能性のある単語が識別され、JSON 応答で返されます。 不適切な単語は、その単語が存在する指定テキスト内の場所を示すインデックス値と共に、JSON 応答で Term として返されます。
この API ではカスタムの単語リストを使用することもできます。 その場合、テキスト内で不適切な単語が識別されると、使用されたカスタム用語リストを識別するために ListId も返されます。 ListID と Term の組み合わせにより、見つかった特定のカスタム用語が識別されます。 JSON 応答の例を次に示します。
"Terms": [
{
"Index": 118,
"OriginalIndex": 118,
"ListId": 0,
"Term": "crap"
}
分類
API のこの機能では、次の仕様に基づいて特定のカテゴリにテキストを配置できます。
- カテゴリ 1:特定の状況で性的に露骨である、または成人向けであると見なされる可能性のある言語の潜在的な存在を示します。
- カテゴリ 2:特定の状況で性的な連想を起こさせるか、または大人向けの表現であると見なされる可能性のある言語の潜在的な存在を示します。
- カテゴリ 3:特定の状況で不快であると見なされる可能性のある言語の潜在的な存在を示します。
JSON 応答が返される際に、テキストのレビューが推奨されることを示すブール値が示されます。 true の場合は、コンテンツを手動で確認して、問題が発生する可能性を判断する必要があります。
また、各カテゴリは、評価されたテキストの予測カテゴリを示す 0 から 1 のスコアと共に返されます。 スコアが高いほど、そのカテゴリが適用される可能性が高くなります。 JSON 応答の例を次に示します。
"Classification": {
"ReviewRecommended": true,
"Category1": {
"Score": 0.99756889843889822
},
"Category2": {
"Score": 0.12747249007225037
},
"Category3": {
"Score": 0.98799997568130493
}
}
個人データ
多くのアプリケーションでは、個人データが非常に重要です。 API のこの機能は、テキスト内のいずれかの値が個人データと見なされる場合に、公開前に検出することができます。 検出される重要な側面は次のとおりです。
- メール アドレス
- 米国の住所
- IP アドレス
- 米国の電話番号
- 英国の電話番号
- 社会保障番号
潜在的な個人データ値が検出された場合、JSON 応答には、テキストに関連する情報と、テキスト内のインデックスの場所が含まれます。 JSON 応答の例を次に示します。
"PII": {
"Email": [{
"Detected": "abcdef@abcd.com",
"SubType": "Regular",
"Text": "abcdef@abcd.com",
"Index": 32
}],
"IPA": [{
"SubType": "IPV4",
"Text": "255.255.255.255",
"Index": 72
}],
"Phone": [{
"CountryCode": "US",
"Text": "5557789887",
"Index": 56
}, {
"CountryCode": "UK",
"Text": "+44 123 456 7890",
"Index": 208
}],
"Address": [{
"Text": "1 Microsoft Way, Redmond, WA 98052",
"Index": 89
}],
"SSN": [{
"Text": "999-99-9999",
"Index": 267
}]
}