Wat is Azure AI Content Safety?
Azure AI Content Safety detecteert schadelijke door de gebruiker gegenereerde en DOOR AI gegenereerde inhoud in toepassingen en services. Azure AI Content Safety bevat api's voor tekst en afbeeldingen waarmee u materiaal kunt detecteren dat schadelijk is. We hebben ook een interactieve Content Safety Studio waarmee u voorbeeldcode kunt bekijken, verkennen en uitproberen voor het detecteren van schadelijke inhoud in verschillende modaliteiten.
Met software voor inhoudsfilters kan uw app voldoen aan regelgeving of de beoogde omgeving voor uw gebruikers behouden.
Deze documentatie bevat de volgende artikeltypen:
- Quickstarts zijn aan de slag-instructies om u te begeleiden bij het indienen van aanvragen bij de service.
- Instructiegidsen bevatten instructies voor het gebruik van de service op specifiekere of aangepaste manieren.
- Concepten bieden uitgebreide uitleg over de servicefunctionaliteit en -functies.
Waar het wordt gebruikt
Hieronder vindt u enkele scenario's waarin een softwareontwikkelaar of -team een service nodig hebben om toezicht te houden op content:
- Onlinemarktplaatsen die toezicht willen houden op productcatalogi en andere door gebruikers gegenereerde inhoud.
- Gamingbedrijven die toezicht willen houden op door gebruikers gegenereerde gameartefacten en chatruimten.
- Platforms voor sociale berichten die afbeeldingen en tekst beheren die door hun gebruikers worden toegevoegd.
- Grote mediabedrijven die gecentraliseerd toezicht implementeren voor hun inhoud.
- Leveranciers van oplossingen voor lager en voortgezet onderwijs die willen filteren op inhoud die ongepast is voor leerlingen en docenten.
Belangrijk
U kunt Azure AI Content Safety niet gebruiken om illegale afbeeldingen voor kinderuitbuiting te detecteren.
Producttypen
Er zijn verschillende soorten analyse beschikbaar vanuit deze service. In de volgende tabel worden de momenteel beschikbare API's beschreven.
| Type | Functionaliteit |
|---|---|
| Tekst-API analyseren | Scant tekst op seksuele inhoud, geweld, haat en zelfbeschadiging met niveaus met meerdere ernstniveaus. |
| Afbeeldings-API analyseren | Scant afbeeldingen op seksuele inhoud, geweld, haat en zelfbeschadiging met meerdere ernstniveaus. |
| Prompt shields (preview) | Hiermee wordt tekst gescand op het risico van een aanval op gebruikersinvoer in een groot taalmodel. Snelstartgids |
| Geaardheidsdetectie (preview) | Hiermee wordt gedetecteerd of de tekstreacties van grote taalmodellen (LLM's) worden geaard in de bronmaterialen van de gebruikers. Snelstartgids |
| Detectie van beveiligde materiaaltekst (preview) | Scant door AI gegenereerde tekst op bekende tekstinhoud (bijvoorbeeld liedteksten, artikelen, recepten, geselecteerde webinhoud). Snelstartgids |
Content Safety Studio
Azure AI Content Safety Studio is een onlinehulpprogramma dat is ontworpen om mogelijk aanstootgevende, riskante of ongewenste inhoud te verwerken met geavanceerde ML-modellen voor con tentmodus ration. Het biedt sjablonen en aangepaste werkstromen, zodat gebruikers hun eigen con tentmodus rationsysteem kunnen kiezen en bouwen. Gebruikers kunnen hun eigen inhoud uploaden of uitproberen met opgegeven voorbeeldinhoud.
Content Safety Studio bevat niet alleen out-of-the-box AI-modellen, maar bevat ook de ingebouwde termenlijsten van Microsoft om scheldwoorden te markeren en op de hoogte te blijven van nieuwe trends. U kunt ook uw eigen blokkeringslijsten uploaden om de dekking van schadelijke inhoud te verbeteren die specifiek is voor uw use-case.
Met Studio kunt u ook een beheerwerkstroom instellen, waar u de prestaties van con tentmodus ration continu kunt bewaken en verbeteren. Het kan u helpen om te voldoen aan de inhoudsvereisten van allerlei soorten branches, zoals gaming, media, onderwijs, E-commerce en meer. Bedrijven kunnen hun services eenvoudig verbinden met de Studio en hun con tentmodus in realtime laten beoordelen, ongeacht of ze door de gebruiker zijn gegenereerd of DOOR AI zijn gegenereerd.
Al deze mogelijkheden worden verwerkt door de Studio en de back-end; klanten hoeven zich geen zorgen te maken over modelontwikkeling. U kunt uw gegevens onboarden voor snelle validatie en uw KPI's dienovereenkomstig bewaken, zoals technische metrische gegevens (latentie, nauwkeurigheid, relevante overeenkomsten) of zakelijke metrische gegevens (bloksnelheid, blokvolume, categorieverhoudingen, taalverhoudingen en meer). Met eenvoudige bewerkingen en configuraties kunnen klanten snel verschillende oplossingen testen en de beste oplossing vinden, in plaats van tijd te besteden aan het experimenteren met aangepaste modellen of handmatig toezicht uit te voeren.
Safety Studio-functies voor inhoud
In Content Safety Studio zijn de volgende azure AI Content Safety-servicefuncties beschikbaar:
Tekstinhoud beheren: met het hulpprogramma voor tekstbeheer kunt u eenvoudig tests uitvoeren op tekstinhoud. Of u nu één zin of een hele gegevensset wilt testen, ons hulpprogramma biedt een gebruiksvriendelijke interface waarmee u de testresultaten rechtstreeks in de portal kunt beoordelen. U kunt experimenteren met verschillende gevoeligheidsniveaus om uw inhoudsfilters en bloklijstbeheer te configureren, zodat uw inhoud altijd wordt gecontroleerd op uw exacte specificaties. Bovendien kunt u met de mogelijkheid om de code te exporteren het hulpprogramma rechtstreeks in uw toepassing implementeren, uw werkstroom stroomlijnen en tijd besparen.
Moderate Image Content: Met het hulpprogramma voor afbeeldingsbeheer kunt u eenvoudig tests uitvoeren op afbeeldingen om ervoor te zorgen dat ze voldoen aan uw inhoudsstandaarden. Met onze gebruiksvriendelijke interface kunt u de testresultaten rechtstreeks in de portal evalueren en kunt u experimenteren met verschillende gevoeligheidsniveaus om uw inhoudsfilters te configureren. Zodra u uw instellingen hebt aangepast, kunt u de code eenvoudig exporteren om het hulpprogramma in uw toepassing te implementeren.
Onlineactiviteit bewaken: met de krachtige bewakingspagina kunt u eenvoudig het gebruik van uw beheer-API en trends in verschillende modaliteiten bijhouden. Met deze functie hebt u toegang tot gedetailleerde antwoordgegevens, waaronder de distributie van categorieën en ernst, latentie, fout en detectie van bloklijsten. Deze informatie biedt u een volledig overzicht van de prestaties van uw con tentmodus ration, zodat u uw werkstroom kunt optimaliseren en ervoor kunt zorgen dat uw inhoud altijd wordt beheerd volgens uw exacte specificaties. Met onze gebruiksvriendelijke interface kunt u snel en eenvoudig door de bewakingspagina navigeren om toegang te krijgen tot de informatie die u nodig hebt om weloverwogen beslissingen te nemen over uw strategie voor con tentmodus ration. U beschikt over de hulpmiddelen die u nodig hebt om op de hoogte te blijven van de prestaties van uw con tentmodus ration en om uw inhoudsdoelen te bereiken.
Vereisten voor invoer
De standaard maximumlengte voor tekstinzendingen is 10.000 tekens. Als u langere tekstblokken wilt analyseren, kunt u de invoertekst splitsen (bijvoorbeeld door interpunctie of afstand) over meerdere gerelateerde inzendingen.
De maximale grootte voor het indienen van afbeeldingen is 4 MB en de afmetingen van de afbeelding moeten tussen 50 x 50 pixels en 2048 x 2048 pixels zijn. Afbeeldingen kunnen een JPEG-, PNG-, GIF-, BMP-, TIFF- of WEBP-indeling hebben.
Beveiliging
Microsoft Entra ID of Managed Identity gebruiken om de toegang te beheren
Voor verbeterde beveiliging kunt u Microsoft Entra ID of Managed Identity (MI) gebruiken om de toegang tot uw resources te beheren.
- Beheerde identiteit wordt automatisch ingeschakeld wanneer u een Content Safety-resource maakt.
- Microsoft Entra ID wordt ondersteund in api- en SDK-scenario's. Raadpleeg de algemene richtlijn voor AI-services voor verificatie met Microsoft Entra-id. U kunt ook toegang verlenen aan andere gebruikers binnen uw organisatie door hen de rollen van Cognitive Services-gebruikers en -lezer toe te wijzen. Raadpleeg de handleiding voor op rollen gebaseerd toegangsbeheer voor meer informatie over het verlenen van gebruikerstoegang tot Azure-resources met behulp van Azure Portal.
Versleuteling van gegevens in rust
Meer informatie over hoe Azure AI Content Safety de versleuteling en ontsleuteling van uw gegevens afhandelt. Door de klant beheerde sleutels (CMK), ook wel BYOK (Bring Your Own Key) genoemd, bieden meer flexibiliteit om toegangsbeheer te maken, draaien, uitschakelen en intrekken. U kunt ook de versleutelingssleutels controleren die worden gebruikt voor het beveiligen van uw gegevens.
Prijzen
Momenteel heeft Azure AI Content Safety een prijscategorie F0 en S0 .
Servicelimieten
Taalondersteuning
Inhoudsveiligheidsmodellen zijn specifiek getraind en getest in de volgende talen: Engels, Duits, Japans, Spaans, Frans, Italiaans, Portugees en Chinees. De service kan echter in veel andere talen werken, maar de kwaliteit kan variëren. In alle gevallen moet u uw eigen tests uitvoeren om ervoor te zorgen dat deze werkt voor uw toepassing.
Zie Taalondersteuning voor meer informatie.
Regio/locatie
Als u de Content Safety-API's wilt gebruiken, moet u uw Azure AI Content Safety-resource maken in de ondersteunde regio's. Momenteel is deze beschikbaar in de volgende Azure-regio's:
- Australië - oost
- Canada - oost
- Central US
- VS - oost
- VS - oost 2
- Frankrijk - centraal
- Japan - oost
- VS - noord-centraal
- VS - zuid-centraal
- Zwitserland - noord
- Verenigd Koninkrijk Zuid
- Europa -west
- VS - west 2
- Zweden - centraal
Openbare preview-functies, zoals Prompt Shields en beveiligde materiaaldetectie, zijn beschikbaar in de volgende Azure-regio's:
- VS - oost
- Europa -west
Neem gerust contact met ons op als u andere regio's nodig hebt voor uw bedrijf.
Queryfrequenties
| Prijscategorie | Aanvragen per 10 seconden (RPS) |
|---|---|
| F0 | 1000 |
| S0 | 1000 |
Als u een sneller tarief nodig hebt, neem dan contact met ons op om te vragen.
Contact opnemen
Als u vastloopt, mailt u ons of gebruikt u de feedbackwidget in de rechterbovenhoek van een docs-pagina.
Volgende stappen
Volg een quickstart om aan de slag te gaan met Azure AI Content Safety in uw toepassing.