Metin moderasyonuna genel bakış

  • 4 dakika

Makine destekli içerik moderasyonu kullanırken, ilke ve eşiklerinize göre içeriği engelleyebilir, onaylayabilir veya gözden geçirebilirsiniz. İş ortaklarının, çalışanların ve tüketicilerin metin içeriği oluşturduğu ortamlarda insan moderasyonunu artırmak için makine desteğini kullanabilirsiniz. Bu ortamlar şunlardır:

  • Sohbet odaları
  • Tartışma panoları
  • Sohbet botları
  • E-ticaret katalogları
  • Belgeler

Metin Moderasyonu API'sinden gelen yanıt aşağıdaki bilgileri içerir:

  • Metinde bulunan ve istenmiyor olabilecek sözcüklerin listesi.
  • Bulunan istenmiyor olabilecek sözcüklerin türü.
  • Metinde bulunan olası kişisel veriler.

Küfür

API’ye metin aktardığınızda, metindeki küfür içeriyor olabilecek tüm terimler belirlenir ve JSON yanıtında döndürülür. Küfür içeren öğe, metinde terimin nerede yer aldığını gösteren bir dizin değeriyle birlikte JSON yanıtında Term olarak döndürülür.

Bu API'yle özel terim listeleri de kullanabilirsiniz. Bu durumda, metinde küfür içeren bir terim tanımlanırsa, kullanılan özel terim listesini tanımlamak için bir ListId de döndürülür. ve TermbirleşimiListID, bulunan özel sözcüğü tanımlar. JSON yanıtının bir örneği burada gösterilmiştir:

"Terms": [
{
    "Index": 118,
    "OriginalIndex": 118,
    "ListId": 0,
    "Term": "crap"
}

Sınıflandırma

API’nin bu özelliği, aşağıdaki belirtimlere dayanarak metni belirli kategorilere ayırabilir:

  • Kategori 1: Belirli durumlarda cinsel olarak açık veya yetişkin olarak kabul edilebilecek olası dil varlığı.
  • Kategori 2: Bazı durumlarda cinsel açıdan öneride bulunabilecek veya olgunlaşabilecek olası dil varlığı.
  • Kategori 3: Bazı durumlarda rahatsız edici olarak kabul edilebilecek olası dil varlığı.

Döndürülen JSON yanıtı, metnin önerilen incelemesi için bir Boole değeri sağlar. Değer true ise, herhangi bir sorunun oluşma olasılığını belirlemek için içeriği incelemelisiniz.

Ayrıca, değerlendirilen metnin tahmin edilen kategorisini göstermek için her kategori 0 ile 1 arasında bir puanla döndürülür. Puan ne kadar yüksekse, söz konusu kategoriyi uygulanma olasılığı da o kadar yüksektir. Örnek JSON yanıtı:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 0.99756889843889822
        },
    "Category2": {
        "Score": 0.12747249007225037
        },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Kişisel veriler

Kişisel veriler birçok uygulamada kritik öneme sahiptir. API'nin bu özelliği, genel kullanıma sunmadan önce metindeki herhangi bir değerin kişisel veriler olarak kabul edilebileceğini algılamanıza yardımcı olabilir. Algılanan önemli noktalara şunlar da dahildir:

  • E-posta adresleri
  • ABD posta adresleri
  • IP adresleri
  • ABD telefon numaraları
  • Birleşik Krallık telefon numaraları
  • Sosyal Güvenlik numaraları

Mümkün olan kişisel veri değerleri bulunursa, JSON yanıtı metin ve metin içindeki dizin konumu hakkında ilgili bilgileri içerir. JSON yanıtının bir örneği burada gösterilmiştir:

"PII": {
    "Email": [{
        "Detected": "abcdef@abcd.com",
        "SubType": "Regular",
        "Text": "abcdef@abcd.com",
        "Index": 32
        }],
    "IPA": [{
        "SubType": "IPV4",
        "Text": "255.255.255.255",
        "Index": 72
        }],
    "Phone": [{
        "CountryCode": "US",
        "Text": "5557789887",
        "Index": 56
        }, {
        "CountryCode": "UK",
        "Text": "+44 123 456 7890",
        "Index": 208
        }],
    "Address": [{
        "Text": "1 Microsoft Way, Redmond, WA 98052",
        "Index": 89
        }],
    "SSN": [{
        "Text": "999-99-9999",
        "Index": 267
        }]
    }