Azure AI İçeriğinde zarar kategorileri Kasa
- Makale
Bu kılavuzda Azure AI content Kasa ty'nin içeriğe bayrak eklemek için kullandığı tüm zarar kategorileri ve derecelendirmeleri açıklanmaktadır. Hem metin hem de görüntü içeriği aynı bayrak kümesini kullanır.
Zarar kategorileri
İçerik Kasa ty, dört ayrı uygunsuz içerik kategorisi tanır.
| Kategori | Açıklama |
|---|---|
| Nefret ve Eşitlik | Nefret ve eşitlikle ilgili zararlar, ırk, etnik köken, milliyet, cinsiyet kimliği ve ifadesi, cinsel yönelim, din, göçmenlik durumu, yetenek durumu, kişisel görünüm ve vücut boyutu dahil ancak bunlarla sınırlı olmamak üzere bu grupların belirli ayırt edici özniteliklerine dayalı bir kişi veya kimlik grubuna başvuruda bulunarak pejoratif veya ayrımcı dil kullanan herhangi bir içeriğe başvurur. Eşitlik, yapay zeka sistemlerinin mevcut toplumsal eşitsizliklere katkıda bulunmadan tüm insan gruplarına eşit davranmasını sağlamakla ilgilidir. Nefret söylemine benzer şekilde, eşitlikle ilgili zararlar da kimlik gruplarının farklı muamelelerine dayandırır. |
| Cinsel | Cinsel, anatomik organlar ve cinsel organlar, romantik ilişkiler ile ilgili dili açıklar, erotik veya sevgi dolu terimlerle, hamilelikle, fiziksel cinsel eylemlerle, saldırı veya zorla cinsel şiddet eylemi olarak tasvir edilenler, fuhuş, pornografi ve istismar gibi davranışlarda bulunur. |
| Şiddet | Şiddet, birini veya bir şeyi yaralayan, yaralayan, zarar verecek veya öldürmeye yönelik fiziksel eylemlerle ilgili dili tanımlar; silah, silah ve imalat, dernek, mevzuat gibi ilgili varlıkları açıklar. |
| Kendine Zarar Verme | Kendine zarar verme, kasıtlı olarak yaralanmak, vücuduna zarar vermek veya kendini öldürmek için yapılan fiziksel eylemlerle ilgili dili açıklar. |
Sınıflandırma çok etiketli olabilir. Örneğin, bir metin örneği metin denetleme modelinden geçtiğinde, hem Cinsel içerik hem de Şiddet olarak sınıflandırılabilir.
Önem derecesi düzeyleri
Hizmetin uyguladığı her zarar kategorisi de önem derecesiyle birlikte gelir. Önem derecesi düzeyi, bayrak eklenmiş içeriği göstermenin sonuçlarının önem derecesini belirtmek için tasarlanır.
Metin: Metin modelinin geçerli sürümü tam 0-7 önem derecesi ölçeğini destekler. Sınıflandırıcı bu ölçekteki tüm önem derecelerini algılar. Kullanıcı belirtirse, 0, 2, 4 ve 6 kırpılmış ölçeğinde önem dereceleri döndürebilir; her iki bitişik düzey tek bir düzeye eşlenir.
- [0,1] -> 0
- [2,3] -> 2
- [4,5] -> 4
- [6,7] -> 6
Görüntü: Görüntü modelinin geçerli sürümü, tam 0-7 önem derecesi ölçeğinin kırpılmış sürümünü destekler. Sınıflandırıcı yalnızca 0, 2, 4 ve 6 önem derecelerini döndürür; her iki bitişik düzey tek bir düzeye eşlenir.
- [0,1] -> 0
- [2,3] -> 2
- [4,5] -> 4
- [6,7] -> 6
Metin içeriği
Uyarı
Bu belgedeki Önem Derecesi tanımları sekmesinde bazı okuyucular için rahatsız edici olabilecek zararlı içerik örnekleri yer alır.
Nefret ve eşitlik önem düzeyleri
| Önem Derecesi Düzeyi | Açıklama | Örnek Metin |
|---|---|---|
| Düzey 0 | Genel anlamda kullanılan ve çocuklar da dahil olmak üzere tüm hedef kitleler için uygun olan nefret ve eşitlikle ilgili terimler içeren içerik. Buna aşağıdakiler dahildir:
|
"I hate cats." |
| Düzey 1 | Genel anlamda kullanılan nefret ve eşitlikle ilgili terimler içeren ancak bağlama göre farklı bir anlam elde eden ve kimlik grupları ile diğer kişileri taraflı veya olumsuz bir şekilde ayırt etmeyen içerik. Buna aşağıdakiler dahildir:
|
"Black people should not be killed by police or mistreated just because of their skin color." |
| Düzey 2 | Olumlu bir duygusal yanıtı tetikleyen kimlik gruplarının pozitif karakterizasyonunu veya korumasını içeren içerik. Buna aşağıdakiler dahildir:
|
"I hate you." |
| Düzey 3 | Önyargılı, yargılayıcı, stereotipsel karakterizasyon veya olumsuz yaklaşım içeren içerik. Buna aşağıdakiler dahildir:
|
"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all." |
| 4. Düzey | Doğrudan sözlü yaklaşım odaklı hakaretler, olumsuz yorumlar ve kimlik gruplarını hedef alan açıklamalar olarak kullanılan ve özniteliklerine göre bireylere zarar vermek amacıyla kullanılan içerik. Buna aşağıdakiler dahildir:
|
"All [identity group] are ugly." |
| Düzey 5 | Kişilerin veya grupların insansızlaştırma, şiddet, olayları reddetme, zorbalık veya gözdağı verme davranışları aracılığıyla olumsuz yaklaşımı daha da ileriye taşımasını sağlayan insansızlaştırma veya aşağılama içeren içerik. Buna aşağıdakiler dahildir:
|
"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof." |
| Düzey 6 | Kimlik gruplarına yönelik olumsuz yaklaşıma ve nefret söylemine dayalı içerik. Kimlik grubunu ve diğer kişileri ayırt eden grup özelliklerine başvurarak ve kimlik gruplarına karşı özniteliklerine göre eylem gerçekleştirmeye başvurarak. Buna şunlar dahil olabilir:
|
"Send [identity group] back to the gas chambers." |
| Düzey 7 | Olumsuz yaklaşıma dayalı içerik, nefret suçu ve takip etme amacını gösterme, düşmanca bir duygusal tepkiyi tetikleme ve kimlik gruplarını ve suça yol açan diğer kişileri ayırt etme. Buna aşağıdakiler dahildir:
|
"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…" |
Cinsel önem düzeyleri
| Önem Derecesi Düzeyi | Açıklama | Örnek Metin |
|---|---|---|
| Düzey 0 | Genel anlamda kullanılan cinsellikle ilgili terimler içeren içerik, çocuklar da dahil olmak üzere tüm hedef kitleler için zararsızdır.
|
"The sports bra and yoga pants were too tight for comfort." |
| Düzey 1 | Genel anlamda kullanılan ancak bağlama göre farklı bir anlam kazanabilen cinsellikle ilgili terimler içeren içerik. Buna şunlar dahildir:
|
"Fewer young adults are having sex than in previous generations." |
| Düzey 2 | Son derece grafik olmayan kurgusal veya gerçek dünya deneyimlerinde cinsellikle ilgili terimler içeren içerik. Buna şunlar dahildir:
|
"The first time I had sex, I found it painful." |
| Düzey 3 | Bazı grafik içerik, önyargılı, önyargılı, yargılayıcı veya cinsiyetle ilgili konularda görüşleri ifade eden görüşler içeren durumlarda cinsel açıdan ilgili terimlere sahip içerik. Buna şunlar dahildir:
|
"We made out for a while, and he started to feel me up. I felt a bulge in his pants." |
| 4. Düzey | Cinsel fantezileri, profesyonel seks endüstrisini ve reklamları ve cinselleştirilmiş hayvan üremesini açıklayan içerik. Buna şunlar dahildir:
|
"I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage…" |
| Düzey 5 | Erotik gösterileri veya deneyimleri kişisel deneyim olarak açıklayan içerik, net onay ile BDSM ve erotik hikayeler ve web siteleri. Buna şunlar dahildir:
|
"We both climaxed at the same time." |
| Düzey 6 | Cinsel faaliyet, şiddet içeren cinsel istismar ve tecavüz ve karşılıklı olmayan güç değişimleri, istismar ve röntgenciliğin ayrıntılı açıklamalarını içeren, cinsel ticari hizmetlerin teşvikini açıklayan içerik. Buna şunlar dahildir:
|
"I love forced sex, it's so much hotter." |
| Düzey 7 | Cinsel köleleştirmenin aşırı biçimlerini desteklemek, desteklemek, yüceltmek için kullanılan içerik. Aşırı veya yasa dışı içerik. Buna şunlar dahildir:
|
"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son." |
Şiddet önem düzeyleri
| Önem Derecesi Düzeyi | Açıklama | Örnek Metin |
|---|---|---|
| Düzey 0 | Şiddet içermeyen eylemler veya şiddetle ilgili terimler içeren içerik, çocuklar da dahil olmak üzere tüm hedef kitleler için zararsız olan genel anlamda kullanılır. Buna aşağıdakiler dahildir:
|
"According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles." |
| Düzey 1 | Şiddet ile ilgili terimler veya genel anlamda kullanılan ancak bağlama göre farklı bir anlam elde eden içerikler. Buna aşağıdakiler dahildir:
|
"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights." |
| Düzey 2 | Şiddetle ilgili terimler içeren veya son derece grafiksel olmayan ve kötü amaçlı bir şekilde yüceltilmeyen veya onaylanmayan kurgusal ya da gerçek dünya deneyimlerinde hareket eden içerikler. Buna aşağıdakiler dahildir:
|
"She wishes she could have killed her whole family." |
| Düzey 3 | Şiddetle ilgili terimler içeren içerik veya bazı grafik içerik, önyargılı, önyargılı, yargılayıcı veya şiddete ilişkin görüşleri ifade eden görüşler içeren durumlarda eylemler. Buna aşağıdakiler dahildir:
|
"Some people just need to be slapped." |
| 4. Düzey | Kurbanların neden fiziksel olarak suistimal edildiğini, tacizcilerin olumlu niteliklerinin temelsiz atfı, şiddet eylemlerinin tehditleri ve başka bir kişiye nasıl zarar verilip verilmeyeceğine ilişkin fantezilerin temelsiz gerekçelerini açıklayan içerik ve orta ölçekli vahşet. Buna aşağıdakiler dahildir:
|
"Victims of abuse deserve to be hit. They push and push until they get what they deserve." |
| Düzey 5 | Daha fazla şiddete yönelik içerik, belirli kişilere veya gruplara zarar verme konusunda doğrudan yönergeler sağlar. Buna aşağıdakiler dahildir:
|
"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught." |
| Düzey 6 | Aşırılıkçı grupları ve terör örgütlerini, toplu katliamları ve yüksek bölgede açık fiziksel hasarı ve terörün teşvikini ve propagandasını açıklayan içerik. Buna aşağıdakiler dahildir:
|
"We must kill them all. God wills it, and society will be better for it." |
| Düzey 7 | Aşırı şiddet biçimlerini tanımlamak, övmek, desteklemek, desteklemek, desteklemek, yüceltmek için kullanılan içerik. Terör örgütlerini destekleyen ve radikalleştiren, talimat veren veya eğiten içerikler. Buna aşağıdakiler dahildir:
|
"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight." |
Kendine zarar verme önem düzeyleri
| Önem Derecesi Düzeyi | Açıklama | Örnek Metin |
|---|---|---|
| Düzey 0 – Kasa | Kendine zarar vermeyle ilgili terimler içeren içerik, çocuklar da dahil olmak üzere tüm hedef kitleler için zararsız olan genel anlamda kullanılır. Buna aşağıdakiler dahildir:
|
"I appreciate your hard work, but you don't need to keep killing yourself over this project." |
| Düzey 1 | Genel anlamda kullanılan ancak bağlama göre farklı bir anlam kazanabilen, kendine zarar vermeyle ilgili terimler içeren içerik. Buna aşağıdakiler dahildir:
|
"Binging and purging may be a warning sign for people with a history of extreme weight loss." |
| Düzey 2 | Kendine zarar veren terimler içeren veya son derece grafik olmayan kurgusal veya gerçek dünya deneyimlerinde hareket eden içerik. Buna aşağıdakiler dahildir:
|
"Oedipus stabbed his eyes in despair." |
| Düzey 3 | Kendine zarar vermeyle ilgili terimlere sahip içerik veya bazı grafik içerik, yanlı, önyargılı, yargılayıcı veya kendine zarar veren görüşleri ifade eden görüşler içeren durumlarda eylemler. Buna aşağıdakiler dahildir:
|
"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?" |
| 4. Düzey | İntihar veya kendine zarar verme, kendine zarar verme, kendine zarar verme, fanteziler veya kendine zarar verme dileklerine yönelik olumlu niteliklerin temelsiz atfı ile alay eden ve ölüm, otopsi, suç veya ölüm mahallini içeren açıkça grafik içerik içeren içerik. Buna aşağıdakiler dahildir:
|
"It's hilarious when [identity group] kill themselves." |
| Düzey 5 | Kendine zarar vermenin daha fazla desteklenmesine yönelik içerik, kendine zarar verme veya bir kurbana zorbalık yapma konusunda doğrudan yönergeler sağlar. Buna aşağıdakiler dahildir:
|
"Go kill yourself, you are worthless." |
| Düzey 6 | İntihara yönelik ayrıntılı ve açık yönergeleri açıklayan içerik. Buna aşağıdakiler dahildir:
|
"Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag." |
| Düzey 7 | İntihar veya diğer ağır kendine zarar verme eylemlerini desteklemek ve yüceltmek için kullanılan içerik. Buna aşağıdakiler dahildir:
|
"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble." |
Resim içeriği
Uyarı
Bu belgedeki Önem Derecesi tanımları sekmesinde bazı okuyucular için rahatsız edici olabilecek zararlı içerik örnekleri yer alır.
Nefret ve eşitlik önem düzeyleri
| Önem Derecesi Düzeyi | Açıklama | Resim örneği |
|---|---|---|
| Düzey 0 – Kasa | İçerik güvenlidir, ancak aşağıdaki bağlamlarda veya benzerlerinde ayrımcı olmayan rahatsız edici olmayan yollarla hiçbir yaklaşım veya nötr yaklaşım içermeyen nefret ve eşitlikle ilgili görüntüler içerebilir:
|
Konfederasyon olmayan bayraklar, örneğin çapraz geçişleri olan ülkelerin veya eyaletlerin bayrakları
|
| Düzey 2 - Düşük | Pozitif yaklaşımlar, hatalı pozitif yaklaşımlar veya kimlik gruplarını diğerlerinden ayıran olumsuz, yanlı yaklaşımlar içeren içerik. Bu içerik duygusal bir yanıtı tetiklemeye yöneliktir. Buna aşağıdakiler dahildir:
|
'Nefret Söylemi Yok' hareketinin temsilleri Görüşme ayarlarında engelli adaylar gibi deprioritize edilmiş iş adaylarının temsilleri |
| Düzey 4 - Orta | Kimlik gruplarına ve diğer kişilere karşı olumsuz yaklaşım eylemi içeren ve bir kimlik gruplarına karşı eylemin yükseltılmasına ve üstünlük yaklaşımlarına yol açan içerik. Buna aşağıdakiler dahildir:
|
Irksal iyileştirme teorisini ve öjenikleri gösteren [kimlik grupları] Görüntülerin sosyal kaçınmasını teşvik eden görüntü |
| Düzey 6 – Yüksek | Nefret söylemi oluşturma veya nefret suçlarına yol açan kimlik gruplarına yönelik olumsuz yaklaşım ve nefret söylemi içeren içerik. Buna aşağıdakiler dahildir:
|
Antisemitik görüntüler Bariz şiddet ilişkisine sahip mavi bir saltire (çapraz haç) içeren "Güney Haçı"nı gösteren görüntü (örneğin, görüntüleme/kullanımdaki silahlar) |
Cinsel önem düzeyleri
| Önem Derecesi Düzeyi | Açıklama | Resim örneği |
|---|---|---|
| Düzey 0 - Kasa | İçerik güvenlidir ancak genel anlamda kullanılan cinsellikle ilgili görüntüler içerir. Buna aşağıdakiler dahildir:
|
Kucaklama veya cinsel olmayan fiziksel temas gösterimleri Dilsiz ve çıplaklık olmadan öpüşme gibi fiziksel sevgi gösterimini gösteren temsiller |
| Düzey 2 – Düşük | Cinsel olarak öneride bulunur davranışlar veya eylemler içeren içerik. Buna aşağıdakiler dahildir:
|
İnsanların tasvirleri |
| Düzey 4 - Orta | Ticari ve amatör erotik ve/veya pornografik içerik içeren içerik, görsel fotoğraflı penetrasyon ve çıplak veya yarı çıplak katılımcılar cinsel sahnelerde yer alan cinsel olarak tahrik edici olması amaçlandı. Buna aşağıdakiler dahildir:
|
Kısmen tıkanmış ancak görüntüde hala net bir şekilde mevcut olabilecek ilişki tasvirleri |
| Düzey 6 - Yüksek | Yasa dışı eylemler de dahil olmak üzere cinsel organlara ve cinsel eylemlere ilişkin açık ayrıntılı tasvirler içeren içerik. Buna aşağıdakiler dahildir:
|
Hayvanlar veya cesetlerle cinsel etkinliklerde görevlendirmeleri tasvirleri |
Şiddet önem düzeyleri
| Önem Derecesi Düzeyi | Açıklama | Resim örneği |
|---|---|---|
| Düzey 0 - Kasa | İçerik güvenlidir ancak genel anlamda kullanılan şiddetle ilgili görüntüler içerir. Buna aşağıdakiler dahildir:
|
Gerçekçi olmayan silahların ve bıçaklı araçların tasvirleri |
| Düzey 2 – Düşük | Şiddetle ilgili görüntüler içeren ve düşük gore ile gerçek dünyada veya kurgusal bağlamlarda hareket eden içerik. Buna aşağıdakiler dahildir:
|
IŞİD/El Kaide bayraklarının tasvirleri |
| Düzey 4 - Orta | Belirlenen bir hedefe yönelik orta düzeyde grafik şiddet ve şiddet eylemleri içeren içerik. Buna aşağıdakiler dahildir:
|
Bir bireye agresif bir şekilde hakim olmak veya gözdağı vermek için zorlama ve zorlama kullanımının tasvirleri |
| Düzey 6 - Yüksek | Yüksek vahşet ve şiddet eylemlerinin açık ayrıntılı tasvirlerini içeren içerik. Buna aşağıdakiler dahildir:
|
IŞİD bayrakları ve sembolleriyle tanımlanabilen terörist gruplar tarafından gerçekleştirildiğinde ölüm tasvirleri |
Kendine zarar verme önem düzeyleri
| Önem Derecesi Düzeyi | Açıklama | Resim örneği |
|---|---|---|
| Düzey 0 - Kasa | İçerik güvenlidir ancak genel anlamda kullanılan kendi kendine zarar vermeyle ilgili görüntüler içerir. Buna aşağıdakiler dahildir:
|
Uçaktan paraşütle atlama tasvirleri |
| Düzey 2 – Düşük | Kendine zarar veren ilgili görüntüler içeren ve düşük gore ile gerçek dünyada veya kurgusal bağlamlarda hareket eden içerik. Buna aşağıdakiler dahildir:
|
Kendine zarar vermeyle ilgili eylemlerin, araçların, yaralanmanın ve duygusal durumun temsilleri |
| Düzey 4 - Orta | Kendine zarar verme ve intiharla ilgili orta düzeyde grafik görüntüleri içeren içerik. Buna aşağıdakiler dahildir:
|
Bir bireye agresif bir şekilde hakim olmak veya kendisine zarar vermek için tehdit etmek için zorlama ve zorlama kullanımının temsilleri |
| Düzey 6 - Yüksek | Yüksek şiddette kendine zarar verme ve intihara ilişkin açık ayrıntılı tasvirler içeren içerik. Buna aşağıdakiler dahildir:
|
Bir kişinin yüksek bir binadan atlayarak intihar ettiği kasıtlı intihar tasvirleri |
Sonraki adımlar
Uygulamanızda Azure AI İçeriğini Kasa kullanmaya başlamak için hızlı başlangıcı izleyin.