コンテンツ セーフty (テキスト) ツール
Azure AI Content セーフty は、さまざまなモダリティと言語から有害なコンテンツを検出するのに役立つ、Microsoft によって開発された conテント モードration サービスです。 Content セーフty (Text) ツールは、Azure AI Content セーフty Text API のラッパーです。これにより、テキスト コンテンツを検出し、モデレーションの結果を取得できます。 詳細については、Azure AI Content Safety をご覧ください。
前提条件
- Azure AI Content セーフty リソースを作成します。
- プロンプト フローで接続を
Azure Content Safety追加します。 作成されたリソースのAPI keyセクションのKeys and EndpointフィールドPrimary keyに入力します。
入力
次のパラメーターをこのツールの入力として使用できます。
| Name | タイプ | 内容 | 必須 |
|---|---|---|---|
| text | string | モデレートする必要があるテキスト。 | はい |
| hate_category | string | カテゴリの Hate モデレーション感度。 次の 4 つのオプションから選択します。 disablelow_sensitivitymedium_sensitivityhigh_sensitivity このオプションは disable 、カテゴリのモデレーションがないことを Hate 意味します。 他の 3 つのオプションは、ヘイト コンテンツをフィルター処理する際の厳格さの度合いが異なることを意味します。 既定値は、medium_sensitivity です。 |
はい |
| sexual_category | string | カテゴリの Sexual モデレーション感度。 次の 4 つのオプションから選択します。 disablelow_sensitivitymedium_sensitivityhigh_sensitivity このオプションは disable 、カテゴリのモデレーションがないことを Sexual 意味します。 他の 3 つのオプションは、性的コンテンツをフィルター処理する際の厳格さの度合いが異なることを意味します。 既定値は、medium_sensitivity です。 |
はい |
| self_harm_category | string | カテゴリの Self-harm モデレーション感度。 次の 4 つのオプションから選択します。 disablelow_sensitivitymedium_sensitivityhigh_sensitivity このオプションは disable 、カテゴリのモデレーションがないことを Self-harm 意味します。 他の 3 つのオプションは、自傷行為のコンテンツをフィルターで除外する場合の厳格さの度合いが異なることがあります。 既定値は、medium_sensitivity です。 |
はい |
| violence_category | string | カテゴリの Violence モデレーション感度。 次の 4 つのオプションから選択します。 disablelow_sensitivitymedium_sensitivityhigh_sensitivity このオプションは disable 、カテゴリのモデレーションがないことを Violence 意味します。 他の 3 つのオプションは、暴力コンテンツをフィルター処理する際の厳格さの度合いが異なることを意味します。 既定値は、medium_sensitivity です。 |
はい |
詳細については、Azure AI Content Safety をご覧ください。
出力
次の例は、ツールによって返される JSON 形式の応答の例です。
{
"action_by_category": {
"Hate": "Accept",
"SelfHarm": "Accept",
"Sexual": "Accept",
"Violence": "Accept"
},
"suggested_action": "Accept"
}
このフィールドには action_by_category 、カテゴリ AcceptRejectごとにバイナリ値が表示されます。 この値は、テキストがそのカテゴリの要求パラメーターで設定した感度レベルを満たしているかどうかを示します。
suggested_action フィールドは、4 つのカテゴリに基づいた全体的な推奨事項を返します。 いずれかのカテゴリに値がある Reject 場合は、 suggested_action 次の値も Reject指定します。