이 가이드에서는 Azure AI 콘텐츠 보안에서 콘텐츠를 신고하는 데 사용하는 모든 유해성 범주와 등급을 설명합니다. 텍스트와 이미지 콘텐츠 모두 동일한 플래그 집합을 사용합니다.
유해 범주
콘텐츠 안전에서는 불쾌한 콘텐츠를 네 가지 범주로 구분합니다.
범주
설명
증오와 공정성
증오와 공정성 관련 피해는 인종, 민족, 국적, 성 정체성 및 표현, 성적 지향, 종교, 이민 신분, 능력 상태, 개인 외모 및 신체 크기를 포함하지만 이에 국한되지 않는 이러한 그룹의 특정 차별화 특성에 근거하여 개인 또는 정체성 그룹을 참조하여 조롱적이거나 차별적인 언어를 사용하거나 공격하는 모든 콘텐츠를 가리킵니다.
공정성은 AI 시스템이 기존의 사회적 불평등에 기여하지 않고 모든 집단의 사람들을 공평하게 대우하도록 보장하는 것과 관련이 있습니다. 혐오 발언과 마찬가지로 공정성 관련 피해는 정체성 그룹의 이질적인 대우에 달려 있습니다.
성적
성적 범주는 해부학적 기관 및 생식기와 관련된 언어, 낭만적인 관계, 에로틱하거나 애정 어린 용어로 묘사된 행위, 임신, 신체적 성행위(자신의 의지에 반하는 폭행 또는 강제 성폭력 행위로 묘사되는 행위 포함), 매춘, 음란물 및 학대를 의미합니다.
폭력
폭력이란 누군가 또는 사물을 해치거나 손상시키거나 죽이려는 의도의 신체적 행동과 관련된 언어를 말합니다. 무기, 총기 및 관련 단체(제조업체, 협회, 법률 등)를 설명합니다.
자해
자해란 의도적으로 자신의 신체를 다치게 하거나 손상시키거나 자살하려는 의도를 지닌 신체적 행동과 관련된 언어를 말합니다.
분류에는 다중 레이블이 지정될 수 있습니다. 예를 들어 텍스트 샘플이 텍스트 조정 모델을 거치면 성적인 콘텐츠와 폭력으로 분류될 수 있습니다.
심각도 수준
서비스가 적용되는 모든 피해 범주에는 심각도 수준 등급도 함께 제공됩니다. 심각도 수준은 플래그가 지정된 콘텐츠 표시로 인한 결과의 심각도를 나타냅니다.
텍스트: 현재 버전의 텍스트 모델은 전체 0-7 심각도 척도를 지원합니다. 분류자는 이 척도를 기준으로 모든 심각도를 검색합니다. 사용자가 지정하는 경우 0, 2, 4, 6이라는 단축 척도로 심각도를 반환할 수 있습니다. 인접한 두 수준은 각각 단일 수준에 매핑됩니다.
[0,1] -> 0
[2,3] -> 2
[4,5] -> 4
[6,7] -> 6
이미지: 현재 버전의 이미지 모델은 전체 0-7 심각도 척도의 단축 버전을 지원합니다. 분류자는 심각도 0, 2, 4 및 6만 반환합니다. 인접한 두 수준은 각각 단일 수준에 매핑됩니다.
이 문서의 심각도 정의 탭에는 일부 읽기 권한자에게 불편을 줄 수 있는 유해 콘텐츠의 예가 포함되어 있습니다.
증오심 및 공정성 심각도 수준
심각도 수준
설명
예제 텍스트
수준 0
일반적인 의미에서 사용되는 증오 및 공정성 관련 용어를 포함하며, 어린이를 비롯한 모든 대상 그룹에 적합한 콘텐츠입니다. 다음 내용이 포함됩니다.
정체성 그룹에 대한 혐오를 표현하는 일반적인 경멸 언어
역사적, 지리적, 의학적 및 기타 유사한 맥락에서 인종, 민족, 종교 같은 정체성 집단 속성에 대한 아무 감정 없는 일반적인 언급
맥락을 벗어난 공격적인 의도의 인종적 저의가 없는 일반적인 용어
"I hate cats."
수준 1
일반적인 의미로 사용되지만 맥락에 따라 다른 의미를 가질 수 있는 혐오 및 공정성 관련 용어가 포함되어 있고, 편향적이거나 부정적인 방식으로 특정 정체성 집단을 다른 집단과 구분하지 않는 콘텐츠 다음 내용이 포함됩니다.
공식 통계, 법률 또는 문서
뉴스/언론 보도
다양성에 대한 인식을 재고하고 혐오 발언에 대처하기 위한 교육 자원
피부 미백 제품 및 치료 광고
인도-유라시아 만자, 남부 동맹 깃발, KKK와 시각적으로 유사한 비 KKK 단체에 대한 언급
"Black people should not be killed by police or mistreated just because of their skin color."
수준 2
긍정적인 감정 반응을 유발하는 정체성 그룹의 긍정적인 특성화 또는 보호를 포함하는 콘텐츠 다음 내용이 포함됩니다.
직접 인용이 포함된 연구 논문, 사전 또는 미디어에서 그대로 따온 비속어
자신의 정체성 집단을 대상으로 할 의도가 없는, 특정 정체성 그룹에 속한 화자의 발언
정체성 집단을 대상으로 하지 않는 욕설, 비속어 및 언어적 모욕
특정 정체성 집단을 대상으로 하지 않으며 신원이 확인되지 않은 개인/집단을 대상으로 하는 일반적인 혐오 발언
공격적인 용어 차단 목록을 만들려는 사용자 의도
영화, 비디오 게임, 의상, 장난감, 재연, 온라인 속어에서의 나치 독일, 히틀러, 남부 동맹 깃발, 쿠 클럭스 클랜 상징 표현
"I hate you."
수준 3
편견, 판단, 고정관념 또는 부정적인 감정이 포함된 콘텐츠 다음 내용이 포함됩니다.
고정관념이나 부정적인 감정에 따른 의견
편견, 판단 또는 독단적인 견해 표현
정체성 그룹과 다른 그룹을 구분하는 부정적 또는 긍정적 비교
가상 세계에서의 언급
채용 공고에서의 고용 차별
나치 독일, 미국 남북전쟁 시기의 남부 동맹 깃발 또는 쿠 클럭스 클랜과 관련된 역사적 사실과 유물
"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."
수준 4
직접적인 언어적 감정을 유발하는 모욕, 부정적인 댓글, 개인의 특성을 근거로 개인에게 상처를 주기 위해 특정 정체성 집단에 대한 묘사 형식으로 말하는 인종적 비하가 포함된 콘텐츠 다음 내용이 포함됩니다.
개인의 인종, 피부색을 노리는 용도로 하는 발언
사회적 회피 및 고립의 촉진
정체성 집단의 특성 조롱 및 흉내 내기
"All [identity group] are ugly."
수준 5
비인간화, 폭력, 사건 부인, 괴롭힘 또는 협박 행위를 통해 부정적인 감정을 조장하는, 개인 또는 집단에 대한 비인간화 또는 비하가 포함된 콘텐츠 다음 내용이 포함됩니다.
홀로코스트 같은 역사적이고 문서화가 잘 된 폭력적인 사건을 부정하는 텍스트
특정 정체성 집단에 속해 있다는 이유로 개인 또는 그룹을 신체적 또는 정신적으로 열등한 존재로 묘사하는 텍스트
정체성 집단의 존재에 의문을 제기하거나, 정체성 집단을 부정하거나, 비하하는 텍스트
원하는/기대하는 특성 적용
정체성 집단을 대상으로 하는 우생학 및 '인종 개선' 이론
나치, 남부 동맹기 또는 KKK 기호가 포함된 현대적인 상품
"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."
수준 6
정체성 집단에 대한 부정적인 감정과 혐오 발언을 기반으로 하는 콘텐츠 특정 정체성 집단을 다른 정체성 집단과 구분하는 집단 특성을 언급하고, 그러한 특성을 기준으로 정체성 집단에 대한 조치를 취하도록 호소하는 행위 여기에는 다음이 포함될 수 있습니다.
특정 정체성 집단에 대한 직접적인 위협이나 폭력 요청으로 인식될 수 있는 증오 발언 선전
선동적이고 모욕적이며 저속한 혐오 발언
차별, 분리 또는 배제를 정당화하기 위해 특정 정체성 집단의 속성을 가진 사람보다 다른 집단이 우월하다고 주장하는 텍스트
정체성 그룹을 대상으로 한 폭력 사건에 대한 기쁨을 표현하는 텍스트
"Send [identity group] back to the gas chambers."
수준 7
부정적인 정서에 기반을 두며, 증오 범죄 및 스토킹 의도를 드러내고, 적대적인 감정적 반응을 유발하고 정체성 집단 등을 차별하여 범죄로 이어질 수 있는 콘텐츠 다음 내용이 포함됩니다.
특정 정체성 집단에 대한 증오 범죄 준비, 찬양 및 폭력 미화
우월주의 집단의 모집 자료가 포함된 텍스트
정체성 집단에 대한 혐오 발언을 급진화하고 권장하는 텍스트
"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"
성적 심각도 수준
심각도 수준
설명
예제 텍스트
수준 0
어린이를 포함한 모든 대상 그룹에게 무해한, 일반적인 의미로 사용하는 성 관련 용어가 포함된 콘텐츠
가족 관계에 대한 언급
어린이를 포함한 모든 대상 그룹에 무해한 콘텐츠
"The sports bra and yoga pants were too tight for comfort."
수준 1
일반적인 의미로 사용되지만 맥락에 따라 다른 의미를 가질 수 있는 성 관련 용어가 포함된 콘텐츠 여기에는 다음이 포함됩니다.
성 관련 주제에 대한 공식 통계 및 문서
뉴스/언론 보도
해부학적 용어, 성 해부학 및 의학적 치료
성, 성 건강 및 성 인식 등에 대한 교육 리소스
생물학적 성별에 대한 언급 또는 유성 생식 묘사
노골적이지 않은 용어로 연애 관계를 설명하는 텍스트
"Fewer young adults are having sex than in previous generations."
수준 2
극도로 노골적이지 않은 가상 또는 실제 경험관 관련된 성 관련 용어가 포함된 콘텐츠 여기에는 다음이 포함됩니다.
제한적인 음담패설이나 짧고 노골적이지 않은 노출 장면이 포함된 문학/예술 텍스트, 영화, 조각 등에 대한 언급
일반적인 성 관련 개인 경험, 성 문제 및 트라우마와 이러한 문제를 해결하기 위한 대처 방법 및 자료 공유
성적인 콘텐츠 차단 목록을 만들려는 사용자 의도
성적 행위 및 가벼운 노출에 대한 언급
"The first time I had sex, I found it painful."
수준 3
약간의 노골적인 내용, 성 관련 문제에 대한 편견, 선입견, 판단 또는 독단적인 견해를 표현하는 성 관련 용어가 나오는 콘텐츠 여기에는 다음이 포함됩니다.
약간의 노골적인 콘텐츠가 포함된 개인적인 과거 또는 현재의 성적 경험
"We made out for a while, and he started to feel me up. I felt a bulge in his pants."
수준 4
성적 환상, 전문적인 성 산업 및 광고, 성적인 동물 생식을 묘사하는 콘텐츠 여기에는 다음이 포함됩니다.
실제 또는 가상의 노출 상상을 포함한 다양한 유형의 섹스에 대한 환상
성행위 장면 묘사가 없는 전문 성 산업
콘돔, 윤활제, 섹스 토이, 의류 등에 대한 광고
약간의 노골적인 내용이 포함된 동물 또는 동물과 비슷한 캐릭터 간의 유성 생식에 대한 묘사
성적 행위 및 노골적이지 않은 노출에 대한 언급
"I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage…"
수준 5
에로틱한 공연이나 경험을 개인적인 경험으로 묘사하는 콘텐츠, 명확한 동의가 있는 BDSM, 에로틱한 이야기 및 웹사이트 여기에는 다음이 포함됩니다.
성적, 에로틱 또는 탄트라 마사지, 스트립 클럽, 에로틱한 공연을 (전문 서비스가 아닌) 개인적인 경험으로 언급하는 경우
일반적인 BDSM 특성 및 행위와 관련된 개인적인 경험 및 설명 또는 BDSM 행위에 대한 명확한 내용을 포함하는 상황
성적 욕망이나 쾌락과 관련된 비상업적인 에로틱 콘텐츠에 대한 언급
"We both climaxed at the same time."
수준 6
성행위, 폭력적인 성적 학대 및 강간, 합의되지 않은 권력 교환, 학대, 관음증에 대한 자세한 설명을 포함하여 성적인 상업적 서비스의 권유를 설명하는 콘텐츠 여기에는 다음이 포함됩니다.
손이나 다른 물체를 이용한 성기 자극, 자위 행위 등에 대한 언급
명확한 동의 없이 체액, 성 통제 상황 또는 BDSM 활동과 관련된 페티시 또는 조잡한 콘텐츠
성폭력, 성폭행, 강간 또는 학대를 노골적으로 상세하게 묘사하는 텍스트
성폭행을 긍정적으로 평가하는 텍스트
성폭행을 추가하거나 지침을 제공하는 텍스트
이전에 녹화된 동의하지 않은 성적 이미지 또는 동영상을 공개하겠다는 협박 및 위협 행위
"I love forced sex, it's so much hotter."
수준 7
극단적인 형태의 성 노예화를 조장, 지지, 미화하는 데 사용하는 콘텐츠 극단적이거나 불법인 콘텐츠 여기에는 다음이 포함됩니다.
동물이나 시체 등과의 성행위
소아성애
자녀의 몸단장 추구 또는 지침 제공
근친상간에 대한 명시적 또는 잠재적 언급
인신매매 모집
"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."
폭력 심각도 수준
심각도 수준
설명
예제 텍스트
수준 0
폭력적이지 않은 행위 또는 어린이를 포함한 모든 대상 그룹에게 무해한 일반적인 의미로 사용하는 폭력 관련 용어가 포함된 콘텐츠 다음 내용이 포함됩니다.
무기로 사용되지 않을 때의 일반적인 물건
장난감 총, 현실적이지 않거나 가짜인 총
올가미로 사용하지 않는 밧줄에 대한 언급
"According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles."
수준 1
일반적인 의미로 사용되지만 맥락에 따라 다른 의미를 가질 수 있는 폭력 관련 용어 또는 행위가 포함된 콘텐츠 다음 내용이 포함됩니다.
전체 텍스트의 맥락상 폭력적인 의도가 없는, 폭력 행위에 대한 설명이 포함된 텍스트의 하위 집합
총기, 무기, 가정 폭력, 전쟁, 군사 등에 관한 공식 통계 및 문서
폭력과 관련된 교육용 리소스
뉴스/언론 보도
의료 용어 및 콘텐츠
사냥 또는 사격 스포츠 및 총기 기술 사양
전투 실습
ISIS/알카에다와 관련이 없는 대테러 및 테러리스트 상징
"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."
수준 2
극도로 노골적이지 않으며 악의를 미화하거나 지지하지 않는 가상 또는 실제 경험 속 폭력 관련 용어 또는 행위가 포함된 콘텐츠 다음 내용이 포함됩니다.
폭력적이거나 노골적인 장면을 묘사하는 비디오 게임의 1인칭, 2인칭, 3인칭 내레이션, 문학/예술 텍스트
게임 팁 및 추천
개인이 어떤 유형의 폭력에 어떻게 노출되었는지를 설명하는 개인적인 경험
사람을 묶지 않는 올가미로 사용하거나 올가미와 관련 없이 사용하는 로프에 대한 언급
폭력적인 콘텐츠 차단 목록을 만들려는 사용자 의도
"She wishes she could have killed her whole family."
수준 3
약간의 노골적인 내용, 폭력 관련 문제에 대한 편견, 선입견, 판단 또는 독단적인 견해를 표현하는 폭력 관련 용어 또는 행위가 나오는 콘텐츠 다음 내용이 포함됩니다.
일부 동물에 대한 잔인함 허용
일부 유형의 폭력이 긍정적인 영향을 미친다고 주장하는 텍스트
"Some people just need to be slapped."
수준 4
피해자가 신체적 학대를 당하는 이유에 대한 근거 없는 주장, 가해자의 긍정적인 자질에 대한 근거 없는 평가, 폭력 행위 위협 및 타인을 해치는 방법과 관련된 환상, 중간 정도의 잔혹한 묘사가 포함된 콘텐츠 다음 내용이 포함됩니다.
피해자에게 잘못을 돌리거나 가해자를 긍정적으로 묘사하는 텍스트
중간 정도의 잔인함을 동반한 폭력 및 죽음에 대한 노골적인 묘사
부검 보고서, 법의학 조사, 범죄 또는 사망 현장
육류 및 가금류 시설, 종교적 동물 제물
과거 또는 최근의 대량 학살 및 대량 사상자가 발생한 알려진 총격 사건에 대한, 지지나 미화가 없는 언급
지지나 미화가 없는, 테러리스트 및 폭력적인 극단주의자 사건에 대한 언급
"Victims of abuse deserve to be hit. They push and push until they get what they deserve."
수준 5
특정 개인이나 집단을 해치는 방법에 대한 직접적인 지침을 제공하여 폭력을 조장하는 콘텐츠 다음 내용이 포함됩니다.
대상 개인/집단에 대한 신체적 폭력을 선동하는 텍스트
개인에게 신체적 폭력을 가하거나 동물을 학대하는 방법에 대한 지침
동물, 개인 또는 집단에게 폭력적인 행위를 하는 방법에 관한 조언을 구하는 텍스트
괴롭힘과 협박
"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."
수준 6
극단주의 단체 및 테러 조직, 대량 살상 및 노골적이고 대단히 잔인한 신체적 피해를 묘사하는 콘텐츠, 테러 조장 및 테러 선전물 다음 내용이 포함됩니다.
인터넷상의 공식 테러리스트 또는 극단주의자 선전 자료 및 폭력적 이데올로기
폭력적인 행동을 취하도록 선동하는 행위
"We must kill them all. God wills it, and society will be better for it."
수준 7
극단적인 형태의 폭력을 묘사, 찬양, 지지, 홍보, 추천, 미화하는 데 사용하는 콘텐츠 테러 조직을 지원하거나 급진화, 지시 또는 교훈하는 콘텐츠 다음 내용이 포함됩니다.
아동, 가사 노동 또는 의학적 치료를 포함한 강제 노동
테러리스터 활동의 일환으로 살인을 미화하고 테러리스트 조직이나 대의에 대한 원조를 제안하는 온라인 테러리스트 및 폭력적 극단주의자 선전 자료
테러리스트 및 폭력적 극단주의자 단체와 연계하여 사람들을 모집하고, 영향력을 행사하고, 대의를 위해 사람들을 훈련시키는 방법에 대한 지침을 요구하는 텍스트
스토킹 또는 원치 않는 감시 같은 불법적인 괴롭힘 행위
개인 또는 집단에 대한 공격을 계획하고 조율하는 텍스트
식인 행위를 지지, 미화하거나 지침을 제공하는 텍스트
"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."
자해 심각도 수준
심각도 수준
설명
예제 텍스트
수준 0 – 안전
어린이를 포함한 모든 대상 그룹에게 무해한, 일반적인 의미로 사용하는 자해 용어가 포함된 콘텐츠 다음 내용이 포함됩니다.
건강 관련 맥락에서 연령 및 성별에 따른 체지방 및 체질량 지수를 언급하는 행위
"I appreciate your hard work, but you don't need to keep killing yourself over this project."
수준 1
일반적인 의미로 사용되지만 맥락에 따라 다른 의미를 가질 수 있는 자해 관련 용어가 포함된 콘텐츠 다음 내용이 포함됩니다.
비자살적 자해(NSSI), 자살 등에 관한 공식 통계 및 문서
자해와 관련된 교육용 리소스
뉴스/언론 보도
의료 용어 및 콘텐츠
우발적인 자해, 응급처치 요령 등을 설명하는 행위
"Binging and purging may be a warning sign for people with a history of extreme weight loss."
수준 2
극도로 노골적이지 않은 가상 또는 실제 경험관 관련된 자해 관련 용어 또는 행위가 포함된 콘텐츠 다음 내용이 포함됩니다.
미화나 지지 없이 자살을 계획하거나 실행하는 인물, 자해 행위, 섭식장애를 묘사하는 문학/예술 텍스트, 영화 등
자해 행위 또는 자살을 낮은 수준의 잔인함으로 묘사하는 텍스트
자해 용어 차단 목록을 만들려는 사용자 의도
"Oedipus stabbed his eyes in despair."
수준 3
약간의 노골적인 내용, 자해 관련 문제에 대한 편견, 선입견, 판단 또는 독단적인 견해를 표현하는 자해 관련 용어 또는 행위가 나오는 콘텐츠 다음 내용이 포함됩니다.
자해를 하거나 자살하기 전에 도움을 요청하는 등의 자해와 관련된 개인적인 경험
"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"
수준 4
자살 또는 자해의 피해자 또는 생존자를 조롱하거나, 자해에 대해 근거 없는 긍정적 특성을 부여하거나, 자해에 대한 환상 또는 희망이 포함되거나, 죽음과 부검, 범죄 또는 사망 현장과 관련된 대단히 노골적인 내용을 포함하는 콘텐츠 다음 내용이 포함됩니다.
문제 및 정서적 고통에 대한 해결책이나 고통으로부터의 도피책으로 제시되는 자해
자해 또는 자살이 중간 정도의 잔인함으로 묘사되며 칼이나 권총 같은 도구에 대한 묘사가 포함된 텍스트
"It's hilarious when [identity group] kill themselves."
수준 5
자해를 조장하거나 피해자를 괴롭히는 방법에 대한 직접적인 지침을 제공하여 자해를 조장하는 콘텐츠 다음 내용이 포함됩니다.
자살을 제외한 자해 행위 실행 방법에 대한 조언이나 추천을 구하는 텍스트
노골적인 세부 사항이 포함된, 과거와 현재의 개인적인 자해 경험을 설명하는 텍스트
자해 행위를 선동하고 조장하는 괴롭힘, 협박 및 압박 행위
"Go kill yourself, you are worthless."
수준 6
자살 방법에 대한 상세하고 노골적인 지침을 설명하는 콘텐츠 다음 내용이 포함됩니다.
가족에게 작별 인사를 쓰는 방법을 알려 주는 텍스트
"Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag."
수준 7
자살 또는 기타 심각한 자해 행위를 지지하고 미화하는 콘텐츠 다음 내용이 포함됩니다.
자기 참수
분신 자살
"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."