Azure Content Moderator とはWhat is Azure Content Moderator?

Azure Content Moderator API は、テキスト、画像、ビデオのコンテンツに不適切な内容、リスクのある内容、その他望ましくない可能性のある内容が含まれているかどうかを確認できるコグニティブ サービスです。The Azure Content Moderator API is a cognitive service that checks text, image, and video content for material that is potentially offensive, risky, or otherwise undesirable. このサービスでは、そのような内容が検出されると、それに応じたラベル (フラグ) がコンテンツに適用されます。When such material is found, the service applies appropriate labels (flags) to the content. その後は、法的規制に準拠したり、ユーザーに意図されている環境を維持したりするために、フラグの設定されたコンテンツをアプリで処理することができます。Your app can then handle flagged content in order to comply with regulations or maintain the intended environment for users. コンテンツに適用されるフラグがそれぞれどのような意味であるかについての詳細は、「Content Moderator の API」のセクションを参照してください。See the Content Moderator APIs section to learn more about what the different content flags indicate.

使用場所Where it is used

ソフトウェア開発者またはチームが Content Moderator を使用するシナリオをいくつか次に示します。The following are a few scenarios in which a software developer or team would use Content Moderator:

  • ユーザーが生成した製品カタログなどのコンテンツをモデレーションするオンライン マーケットプレースOnline marketplaces that moderate product catalogs and other user-generated content
  • ユーザーが生成したゲームの成果物とチャット ルームをモデレーションするゲーム会社Gaming companies that moderate user-generated game artifacts and chat rooms
  • ユーザーによって追加された画像、テキスト、ビデオをモデレーションするソーシャル メッセージング プラットフォームSocial messaging platforms that moderate images, text, and videos added by their users
  • コンテンツに対する一元的なモデレーションを実装するエンタープライズ メディア企業Enterprise media companies that implement centralized moderation for their content
  • 学生および教育者にとって不適切なコンテンツをフィルター処理して除外する K-12 教育ソリューション プロバイダーK-12 education solution providers filtering out content that is inappropriate for students and educators

備えている機能What it includes

Content Moderator サービスは、REST 呼び出しと .NET SDK のどちらを介しても利用できるいくつかの Web サービス API で構成されています。The Content Moderator service consists of several web service APIs available through both REST calls and a .NET SDK. ほかには目視レビュー ツールが用意されており、レビュー担当者がサービスを補助したり、モデレーション機能を調整したりできるようになっています。It also includes the human review tool, which allows human reviewers to aid the service and improve or fine-tune its moderation function.

モデレーション用 API、レビュー用 API、目視レビュー ツールを示した Content Moderator のブロック図

Content Moderator の APIContent Moderator APIs

Content Moderator サービスには次のシナリオに対応するための API が含まれています。The Content Moderator service includes APIs for the following scenarios.

ActionAction 説明Description
テキストのモデレーションText moderation テキストをスキャンし、不適切な表現、露骨に性的な表現、性的な内容を暗示する表現、下品な表現、個人を特定できる情報 (PII) が含まれているかどうかを確認します。Scans text for offensive content, sexually explicit or suggestive content, profanity, and personally identifiable information (PII).
カスタム用語リストCustom term lists テキストをスキャンし、組み込みの用語に加え、カスタムの用語リストと照合します。Scans text against a custom list of terms in addition to the built-in terms. カスタム リストは、独自のコンテンツ ポリシーに従ってコンテンツをブロックまたは許可する際に使用します。Use custom lists to block or allow content according to your own content policies.
画像のモデレーションImage moderation 画像をスキャンして成人向けのコンテンツやわいせつなコンテンツが含まれているかどうかを確認するほか、光学式文字認識 (OCR) 機能により画像内のテキストを検出したり、顔検出を実行したりします。Scans images for adult or racy content, detects text in images with the Optical Character Recognition (OCR) capability, and detects faces.
カスタム画像リストCustom image lists 画像をスキャンし、画像のカスタム リストと照合します。Scans images against a custom list of images. カスタム画像リストを使うと、何度も出現し、そのたびに分類をするのが煩わしいコンテンツを除去できます。Use custom image lists to filter out instances of commonly recurring content that you don't want to classify again.
ビデオのモデレーションVideo moderation ビデオをスキャンして成人向けのコンテンツやわいせつなコンテンツが含まれているかどうかを確認し、そのようなコンテンツがあればタイム マーカーを返します。Scans videos for adult or racy content and returns time markers for said content.
レビューReview ジョブレビューワークフローの操作を使用して、目視レビュー ツールを使った人間参加型のワークフローを作成したり、自動化したりできます。Use the Jobs, Reviews, and Workflow operations to create and automate human-in-the-loop workflows with the human review tool. Workflow API は、.NET SDK ではまだ利用できません。The Workflow API is not yet available through the .NET SDK.

目視レビュー ツールHuman review tool

Content Moderator サービスには、ほかにも Web ベースの目視レビュー ツールが含まれています。The Content Moderator service also includes the web-based human review tool.

Content Moderator 目視レビュー ツールのホームページ

レビュー用 API を使うと、指定したフィルターに応じたテキスト、画像、ビデオのコンテンツに対するチーム レビューを設定できます。You can use the Review APIs to set up team reviews of text, image, and video content, according to filters that you specify. その後、モデレーション担当者がモデレートに関する最終的な意思決定を行えます。Then, human moderators can make the final moderation decisions. 人間による入力がサービスに対するトレーニングになることはありませんが、このサービスの成果と目視レビュー チームの作業を組み合わせれば、開発者が効率性と正確性をうまく両立させることが可能になります。The human input does not train the service, but the combined work of the service and human review teams allows developers to strike the right balance between efficiency and accuracy.

次の手順Next steps

Content Moderator の使用を開始するためのクイック スタートに従ってください。Follow the Quickstart to get started using Content Moderator.