Content Moderator とはWhat is Content Moderator?

コンテンツ モデレーションは、不快感を与え、危険で望ましくないコンテンツの可能性があるもの監視するプロセスです。Content moderation is the process of monitoring for possible offensive, undesirable, and risky content. イメージ、テキスト、ビデオがモデレート対象のコンテンツとなります。The moderated content can be images, text, and videos.

使用場所Where it is used

Content Moderator を使用するシナリオの例を次にいくつか一覧します。The following list shows a few example scenarios where Content Moderator is used:

  • 製品カタログとユーザー生成コンテンツをモデレートするオンライン マーケットプレースOnline marketplaces moderating product catalogs and user generated content
  • ユーザー生成ゲームの成果物とチャット ルームをモデレートするゲーム会社Gaming companies moderating user generated game artifacts and chat rooms
  • ユーザーによって追加されたイメージ、テキスト、ビデオをモデレートするソーシャル メッセージング プラットフォームSocial messaging platform moderating images, text, and videos added by their users
  • コンテンツに対する一元的なコンテンツ モデレーションを実装するエンタープライズ メディア企業Enterprise media companies implementing centralized content moderation for their content
  • 学生および教育者向けの不快感を与える不適切なコンテンツをフィルター処理する K-12 教育ソリューション プロバイダーK-12 education solution providers filtering bad and offensive content for students and educators

備えている機能What it includes

Content Moderator は、いくつかの Web サービス API と、イメージ、テキスト、ビデオのモデレートを支援する、組み込みの Human-in-the-loop (人間参加型) レビュー ツールとから構成されます。Content Moderator consists of several web service APIs and a built-in human-in-the-loop review tool that help moderate images, text, and videos.

Content Moderator のブロック図

APIAPIs

Content Moderator には次の API が含まれています。Content Moderator includes the following APIs:

  • テキスト モデレーション API: この API は、テキストをスキャンして不適切な表現、暗示的な表現、不快感を与える表現、個人を特定できる情報 (PII) の可能性があるものを探す場合に使用します。Text moderation API: Use this API to scan text for possible profanity, explicit, suggestive, offensive, and personally identifiable information (PII).
  • カスタム用語リスト API: この API は、組み込みの用語だけでなくカスタムの用語リストとの照合も行う場合に使用します。Custom term list API: Use this API to match against custom lists of terms in addition to the built-in terms. これらのリストは、コンテンツ ポリシーに従ってコンテンツをブロックまたは許可するために使用します。Use these lists to block or allow content as per your content policies.
  • イメージ モデレーション API: この API は、イメージをスキャンして成人向けのわいせつなコンテンツを探すため、光学式文字認識 (OCR) 機能によりイメージ内のテキストを検出するため、および顔を検出するために使用します。Image moderation API: Use this API to scan images for adult and racy content, detect text in images with the Optical Character Recognition (OCR) capability, and detect faces.
  • カスタム イメージ リスト API: この API は、イメージのカスタム リスト (事前に識別されたコンテンツのうち再び分類する必要のないもの) と照合する場合に使用します。Custom image list API: Use this API to match against custom lists of images, pre-identified content that you don’t need to classify again.
  • ビデオ モデレーション API: この API は、ビデオをスキャンして成人向けのわいせつなコンテンツの可能性があるものを探す場合に使用します。Video moderation API: Use this API to scan videos for potential adult and racy content.
  • レビュー API: ジョブレビューワークフロー 操作を使用して、レビュー ツール内で Human-in-the-loop (人間参加型) ワークフローを作成して自動化します。Review APIs: Use the Jobs, Reviews, and Workflow operations to create and automate human-in-the-loop workflows within the review tool.

目視レビュー ツールHuman review tool

Content Moderator サブスクリプションには、組み込みの目視レビュー ツールが含まれています。Your Content Moderator subscription includes the built-in human review tool. ヒューマン モデレーターが最終的な決定を行うようにテキスト、イメージ、ビデオのレビューを作成するには、前に説明したレビュー API を使用します。Use the previously mentioned Review API to create reviews of text, images, and videos for your human moderators to take final decisions.

Content Moderator ビデオ レビュー ツール

次の手順Next steps

クイック スタートを使用して Content Moderator を使い始める。Use the Quickstart to get started with Content Moderator.