Azure Content Moderator とは

重要

現在、このサービスに対するすべての HTTP 要求には、トランスポート層セキュリティ (TLS) 1.2 が適用されます。 詳細については、Azure Cognitive Services のセキュリティに関するページを参照してください。

Azure Content Moderator は、不快感を与える可能性がある内容、リスクのある内容、その他望ましくない可能性のある内容を管理できる AI サービスです。 テキスト、画像、動画をスキャンし、コンテンツ フラグを自動的に適用する AI 搭載コンテンツ モデレーション サービスと、人間のレビュー担当者からなるチーム用のオンライン モデレーター環境であるレビュー ツールが含まれています。

法的規制に準拠したり、ユーザーに意図されている環境を維持したりするために、コンテンツ フィルタリング ソフトウェアをアプリに組み込むことがあります。

このドキュメントには、次の種類の記事が含まれています。

  • クイックスタートは、サービスへの要求の実行方法を説明する概要手順です。
  • 攻略ガイドには、より具体的またはカスタマイズした方法でサービスを使用するための手順が記載されています。
  • 概念では、サービスの機能と特徴について詳しく説明します。
  • チュートリアルはより長文のガイドであり、より広範なビジネス ソリューションの 1 コンポーネントとしてこのサービスを使用する方法を示すものです。

使用場所

ソフトウェア開発者またはチームがコンテンツ モデレーション サービスを使用するシナリオをいくつか次に示します。

  • ユーザーが生成した製品カタログなどのコンテンツをモデレートするオンライン マーケットプレース。
  • ユーザーが生成したゲームの成果物とチャット ルームをモデレートするゲーム会社。
  • ユーザーによって追加された画像、テキスト、ビデオをモデレートするソーシャル メッセージング プラットフォーム。
  • コンテンツに対する一元的なモデレーションを実装するエンタープライズ メディア企業。
  • 学生および教育者にとって不適切なコンテンツをフィルター処理して除外する K-12 教育ソリューション プロバイダー。

重要

Content Moderator を使用して、子どもの搾取に該当する違法な画像を検出することはできません。 ただし、認められた機関は PhotoDNA Cloud Service を使用してこのようなコンテンツを審査できます。

備えている機能

Content Moderator サービスは、REST 呼び出しと .NET SDK のどちらを介しても利用できるいくつかの Web サービス API で構成されています。 ほかにはレビュー ツールが用意されており、レビュー担当者がサービスを補助したり、モデレーション機能を調整したりできるようになっています。

モデレート API

Content Moderator サービスには、モデレート API が含まれています。これは、不適切または好ましくない可能性がある素材についてコンテンツをチェックします。

Content Moderator モデレーション API のブロック図

次の表では、さまざまな種類のモデレーション API について説明します。

API グループ 説明
テキストのモデレーション テキストをスキャンし、不適切な表現、露骨に性的な表現、性的な内容を暗示する表現、下品な表現、個人データが含まれているかどうかを確認します。
カスタム用語リスト テキストをスキャンし、組み込みの用語と共に、カスタムの用語リストと照合します。 カスタム リストは、独自のコンテンツ ポリシーに従ってコンテンツをブロックまたは許可する際に使用します。
画像のモデレーション 画像をスキャンして成人向けのコンテンツやわいせつなコンテンツが含まれているかどうかを確認するほか、光学式文字認識 (OCR) 機能により画像内のテキストを検出したり、顔検出を実行したりします。
カスタム画像リスト 画像をスキャンし、画像のカスタム リストと照合します。 カスタム画像リストを使うと、何度も出現し、そのたびに分類をするのが煩わしいコンテンツを除去できます。
ビデオのモデレーション ビデオをスキャンして成人向けのコンテンツやわいせつなコンテンツが含まれているかどうかを確認し、そのようなコンテンツがあればタイム マーカーを返します。

API の確認

Review API を使用すると、モデレーション パイプラインを人間のレビューアーと統合することができます。 ジョブレビューワークフローの操作を使用して、レビュー ツール (下記参照) を使った人間参加型のワークフローを作成したり、自動化したりできます。

注意

Workflow API は、.NET SDK ではまだ利用できませんが、REST エンドポイントで使用できます。

Content Moderator レビュー API のブロック図

レビュー ツール

Content Moderator サービスには、ほかにも Web ベースのレビュー ツールが備わっています。このツールは、ヒューマン モデレーターによって処理されるコンテンツ レビューのホストとなります。 人間による入力がサービスに対するトレーニングになることはありませんが、このサービスの成果と目視レビュー チームの作業を組み合わせれば、開発者が効率性と正確性をうまく両立させることが可能になります。 また、レビュー ツールは、いくつかの Content Moderator リソース向けに、ユーザー フレンドリなフロントエンドも備えています。

Content Moderator レビュー ツール ホームページ

データのプライバシーとセキュリティ

Cognitive Services 全般に言えることですが、Content Moderator サービスを使用する開発者は、顧客データに関する Microsoft のポリシーに留意する必要があります。 詳細については、Microsoft セキュリティ センターの Cognitive Services のページを参照してください。

次のステップ

Web ポータルで Content Moderator の使用を開始するには、「Web 上で Content Moderator を試す」の手順に従います。 または、クライアント ライブラリや REST API クイックスタートを完了し、コードに基本シナリオを実装します。