Apa itu Azure Content Moderator?

Penting

API Ulasan Content Moderator dan Alat Peninjauan online telah dihentikan penggunaannya pada 31/12/2021. API Moderasi masih tersedia.

Azure Content Moderator adalah layanan AI yang memungkinkan Anda menangani konten yang berpotensi menyinggung, berisiko, atau tidak diinginkan. Ini termasuk layanan moderasi konten bertenaga AI yang memindai teks, gambar, dan video serta memberi konten bendera secara otomatis.

Anda mungkin ingin membangun perangkat lunak pemfilteran konten dalam aplikasi Anda untuk mematuhi peraturan atau mempertahankan lingkungan yang diinginkan untuk pengguna Anda.

Dokumentasi ini berisi jenis artikel berikut ini:

  • Mulai Cepat adalah instruksi memulai untuk memandu Anda membuat permintaan ke layanan.
  • Panduan cara berisi instruksi untuk menggunakan layanan dalam cara yang lebih spesifik atau disesuaikan.
  • Konsep memberikan penjelasan mendalam tentang fungsionalitas dan fitur layanan.
  • Tutorial adalah panduan lebih panjang yang menunjukkan cara menggunakan layanan sebagai komponen dalam memperluas solusi bisnis.

Untuk pendekatan yang lebih terstruktur, ikuti modul Microsoft Learn untuk Content Moderator.

Tempat penggunaan

Berikut ini adalah beberapa skenario di mana pengembang atau tim perangkat lunak memerlukan layanan moderasi konten:

  • Marketplace online yang memoderasi katalog produk dan konten buatan pengguna lainnya.
  • Perusahaan game yang memoderasi artefak game buatan pengguna dan ruang obrolan.
  • Platform Olahpesan sosial yang memoderasi gambar, teks, dan video yang ditambahkan oleh penggunanya.
  • Perusahaan media enterprise yang mengimplementasikan moderasi terpusat untuk konten mereka.
  • Penyedia solusi pendidikan K-12 yang memfilter konten yang tidak sesuai untuk siswa dan pendidik.

Penting

Anda tidak dapat menggunakan Content Moderator untuk mendeteksi gambar eksploitasi anak yang ilegal. Namun, organisasi yang memenuhi syarat dapat menggunakan Layanan Cloud PhotoDNA untuk menyaring jenis konten ini.

Apa yang termasuk

Layanan Content Moderator terdiri dari beberapa API layanan web yang tersedia melalui panggilan REST dan .NET SDK.

API Moderasi

Layanan Content Moderator mencakup API Moderasi, yang memeriksa konten untuk materi yang berpotensi tidak pantas atau tidak menyenangkan.

block diagram for Content Moderator moderation APIs

Tabel berikut ini menjelaskan berbagai jenis API moderasi.

Grup API Deskripsi
Moderasi teks Memindai teks untuk konten yang menyinggung, konten seksual eksplisit atau sugestif, kata-kata kotor, dan data pribadi.
Daftar istilah kustom Memindai teks menggunakan daftar istilah kustom serta dengan istilah bawaan. Gunakan daftar kustom untuk memblokir atau mengizinkan konten sesuai dengan kebijakan konten Anda sendiri.
Moderasi gambar Memindai gambar untuk konten dewasa atau cabul, mendeteksi teks dalam gambar dengan kemampuan Pengenalan Karakter Optik (OCR), dan mendeteksi wajah.
Daftar gambar kustom Memindai gambar menggunakan daftar gambar kustom. Gunakan daftar gambar kustom untuk memfilter instans konten berulang yang umumnya tidak ingin Anda klasifikasi lagi.
Moderasi video Memindai video untuk konten dewasa atau cabul dan mengembalikan penanda waktu untuk konten tersebut.

Privasi dan keamanan data

Seperti semua Cognitive Services, pengembang yang menggunakan layanan Content Moderator harus mengetahui kebijakan Microsoft tentang data pelanggan. Lihat halaman Cognitive Services di Pusat Kepercayaan Microsoft untuk mempelajari selengkapnya.

Langkah berikutnya

Untuk mulai menggunakan Content Moderator di portal web, ikuti Mencoba Content Moderator di web. Atau, selesaikan mulai cepat pustaka klien atau REST API untuk mengimplementasikan skenario dasar dalam kode.