Wat is Video Analyzer voor media?

Azure Video Analyzer voor Media (voorheen Video Indexer) is een cloudtoepassing, onderdeel van Azure Applied AI Services, gebouwd op Azure Media Services en Azure Cognitive Services (zoals face, Vertalen, Computer Vision en spraak). Hiermee kunt u de inzichten uit uw video's extraheren met behulp van video- en audiomodellen van Video Analyzer voor Media.

Als u wilt beginnen met het extraheren van inzichten met Video Analyzer voor Media, moet u een account maken en video's uploaden. Wanneer u uw video's uploadt naar Video Analyzer voor Media, worden visuals en audio geanalyseerd door verschillende AI-modellen uit te voeren. Terwijl Video Analyzer voor Media uw video analyseert, worden de inzichten geëxtraheerd door de AI-modellen.

Wanneer u een Video Analyzer voor Media-account maakt en dit verbindt met Media Services, worden de media en metagegevensbestanden opgeslagen in het Azure-opslagaccount dat is gekoppeld aan dat Media Services-account. Zie Een Video Analyzer voor Media-accountmaken dat is verbonden met Azure voor meer informatie.

Het volgende diagram is een illustratie en geen technische uitleg van de manier waarop Video Analyzer voor Media in de back-end werkt.

Compliance, privacy en beveiliging

Een belangrijke herinnering is dat u moet voldoen aan alle toepasselijke wetten in uw gebruik van Video Analyzer voor Media. U mag Video Analyzer voor Media of een Azure-service niet gebruiken op een manier die de rechten van anderen schendt of die mogelijk schadelijk is voor anderen.

Voordat u een video/afbeelding uploadt naar Video Analyzer voor Media, moet u over alle juiste rechten voor het gebruik van de video/afbeelding, inclusief, indien vereist door de wet, alle benodigde toestemmingen van personen (indien van toepassing) in de video/afbeelding, voor het gebruik, de verwerking en de opslag van hun gegevens in Video Analyzer voor Media en Azure. Sommige jurisdicties kunnen speciale wettelijke vereisten opleggen voor het verzamelen, online verwerken en opslaan van bepaalde typen gegevens, zoals biometrische gegevens. Voordat u Video Analyzer for Media en Azure gebruikt voor de verwerking en opslag van gegevens die onderhevig zijn aan speciale wettelijke vereisten, moet u ervoor zorgen dat u voldoet aan dergelijke wettelijke vereisten die op u van toepassing kunnen zijn.

Ga naar het Vertrouwenscentrum van Microsoft voor meer informatie over naleving, privacy en beveiliging in Video Analyzer for Media. Als u meer wilt weten over de privacyverplichtingen en procedures voor gegevensverwerking en -retentie die Microsoft hanteert ten aanzien van uw gegevens, inclusief het verwijderen van uw gegevens, kunt u de Privacyverklaring van Microsoft, de Voorwaarden voor Online Diensten ('OST') en het Addendum met betrekking tot gegevensverwerking ('DPA') raadplegen. Door Video Analyzer voor Media te gebruiken, gaat u ermee akkoord dat u bent gebonden aan de OST, DPA en de privacyverklaring.

Wat kan ik doen met Video Analyzer voor media?

De inzichten van Video Analyzer for Media kunnen worden toegepast op veel scenario's, waaronder:

• Uitgebreid zoeken: gebruik de inzichten die zijn geëxtraheerd uit de video om de zoekervaring in een videobibliotheek te verbeteren. Het indexeren van gesproken woorden en gezichten kan bijvoorbeeld de zoekervaring inschakelen voor het vinden van momenten in een video waarin een persoon bepaalde woorden heeft uitgesproken of wanneer twee personen samen zijn gezien. Zoeken op basis van dergelijke inzichten uit video's is van toepassing op nieuwsinstellingen, onderwijsinstellingen, uitzenders, eigenaren van entertainmentinhoud, LOB-apps voor ondernemingen en in het algemeen op elke branche met een videobibliotheek waar gebruikers naar moeten zoeken.
• Inhoud maken: maak een video, markeer deze, markeer inhoud van sociale media of nieuwsclips op basis van de inzichten die Video Analyzer for Media uit uw inhoud extraheert. Sleutelframes, scènemarkeringen en tijdstempels voor de personen en labelopmaak maken het maakproces veel soepeler en eenvoudiger, en stelt u in staat om de onderdelen van de video te bekijken die u nodig hebt voor de inhoud die u maakt.
• Toegankelijkheid: of u nu uw inhoud beschikbaar wilt maken voor mensen met een handicap of als u wilt dat uw inhoud in verschillende regio's wordt gedistribueerd met behulp van verschillende talen, u kunt de transcriptie en vertaling van Video Analyzer for Media in meerdere talen gebruiken.
• Geld verdienen: Video Analyzer voor Media kan helpen de waarde van video's te verhogen. Branches die bijvoorbeeld afhankelijk zijn van advertentie-omzet (nieuwsmedia, sociale media, bijvoorbeeld) kunnen relevante advertenties leveren met behulp van de geëxtraheerde inzichten als extra signalen naar de advertentieserver.
• Inhoudsbeheer: gebruik moderatiemodellen voor tekstuele en visuele inhoud om uw gebruikers te beschermen tegen ongepaste inhoud en te controleren of de inhoud die u publiceert overeenkomt met de waarden van uw organisatie. U kunt automatisch bepaalde video's blokkeren of uw gebruikers waarschuwen over de inhoud.
• Aanbevelingen: Video-inzichten kunnen worden gebruikt om de betrokkenheid van gebruikers te verbeteren door de relevante videomomenten voor gebruikers te markeren. Door elke video met aanvullende metagegevens te taggen, kunt u gebruikers de meest relevante video's aanbevelen en de onderdelen van de video markeren die aan hun behoeften voldoen.

Functies

In de volgende lijst ziet u de inzichten die u kunt ophalen uit uw video's met video- en audiomodellen van Video Analyzer voor Media:

Video-inzichten

• Gezichtsdetectie: detecteert en groepeert gezichten die worden weergegeven in de video.
• Identificatie van beroemdheden: Video Analyzer for Media identificeert automatisch meer dan 1 miljoen beroemdheden, zoals leiders van de wereld, actoren, atleten, atleten, onderzoekers, zakelijke en technische leiders over de hele wereld. De gegevens over deze beroemdheden zijn ook te vinden op verschillende websites (IMDB, Wikipedia, etc.).
• Gezichtsidentificatie op basis van een account: Video Analyzer for Media traint een model voor een specifiek account. Vervolgens worden gezichten in de video herkend op basis van het getrainde model. Zie Customize a Person model from the Video Analyzer for Media website (Een persoonsmodel aanpassen op de website van Video Analyzer for Media) en Customize a Person model with the Video Analyzer for Media API (Een persoonsmodel aanpassen met de Video Analyzer voor Media-API) voor meer informatie.
• Miniatuurextractie voor gezichten ('beste gezicht'): identificeert automatisch het beste vastgelegde gezicht in elke groep gezichten (op basis van kwaliteit, grootte en frontale positie) en extraheert het als een afbeeldingsactivum.
• Visuele tekstherkenning (OCR): extraheert tekst die visueel wordt weergegeven in de video.
• Visueel inhoudstoezicht: detecteert inhoud voor volwassenen en/of ongepaste visuele elementen.
• Identificatie van labels: identificeert visuele objecten en acties die worden weergegeven.
• Scènesegmentatie: bepaalt wanneer een scène in een video verandert op basis van visuele aanwijzingen. Een scène geeft één gebeurtenis weer en bestaat uit een reeks opeenvolgende opnamen, die semantisch gerelateerd zijn.
• Detectie van schermafbeeldingen: bepaalt wanneer een video wordt gewijzigd op basis van visuele aanwijzingen. Een opname is een reeks frames die uit dezelfde bewegingscamera zijn genomen. Zie Scènes, opnamen en keyframes voor meer informatie.
• Detectie van zwarte frames: identificeert zwarte frames in de video.
• Extractie van sleutelframes: detecteert stabiele sleutelframes in een video.
• Rolling tegoeden: identificeert het begin en einde van het rolling tegoed aan het einde van tv-programma's en films.
• Detectie van animaties (preview): detectie, groepering en herkenning van tekens in animaties via integratie met Cognitive Services custom vision. Zie Detectie van animaties voor meer informatie.
• Detectie van het type hoofdopname: het taggen van opnamen op basis van hun type (zoals wide shot, medium shot, close-up, extreme close-up, twee keer een foto, meerdere personen, buiten en binnen, etc.). Zie Voor meer informatie De detectie van het type hoofdschermafbeelding.
• Geobserveerde personen bijhouden (preview): detecteert waargenomen personen in video's en biedt informatie zoals de locatie van de persoon in het videoframe (met behulp van begrenzesvakken) en de exacte tijdstempel (begin, einde) en het vertrouwen wanneer een persoon wordt weergegeven. Zie Waargenomen personen traceren in een video voor meer informatie.
  • Gedetecteerde kleding van mensen: detecteert de kledingtypen van personen die in de video worden weergegeven en biedt informatie zoals lange of korte hoesjes, lange of korte kleding en kleding of kleding. De gedetecteerde kleding is gekoppeld aan de personen die deze hebben gedragen en de exacte tijdstempel (start,end) en een betrouwbaarheidsniveau voor de detectie worden opgegeven.

Audio-inzichten

• Audiotranscriptie: converteert spraak naar tekst in meer dan 50 talen en staat extensies toe. Ondersteunde talen zijn onder andere Engels VS, Engels Verenigd Koninkrijk, Engels Australië, Spaans, Spaans (Mexico), Frans(Canada), Duits, Italiaans, Mandarijn Chinees, Chinees (Kantonees, Traditioneel), Chinees (vereenvoudigd), Japans, Russisch, Portugees, Hindi, Tsjechisch, Nederlands, Pools, Deens, Noors, Finish, Zweeds, Thai, Turks, Koreaans, Arabisch(Arabisch), Arabisch(Arabische Republiek), Arabisch(Engelstalig), Arabisch(Arabisch), Arabisch(Turks), Arabisch(Oman), Arabische (Oman), Arabisch(Schrift), Arabisch (Arabisch(Arabische Republiek), Arabisch (Verenigde Arabische Arabische Staten), Arabisch (Arabische autoriteit) en Arabische moderne standaard (Hongkong) .
• Automatische taaldetectie: identificeert automatisch de meest gesproken taal. De volgende talen worden ondersteund: Engels, Spaans, Frans, Duits, Italiaans, Chinees (Mandarijn), Japans, Arabisch, Russisch en Portugees. Als de taal niet met vertrouwen kan worden geïdentificeerd, gaat Video Analyzer voor Media ervan uit dat de gesproken taal Engels is. Zie Taalidentificatiemodel voor meer informatie.
• Spraakidentificatie en transcriptie in meerdere talen: identificeert automatisch de gesproken taal in verschillende audiosegmenten. Elke segment van het mediabestand wordt verzonden voor een transcriptie en deze transcripties worden vervolgens gecombineerd in één uniforme transcriptie. Zie Inhoud in meerdere talen automatisch identificeren en transcriberen voor meer informatie.
• Ondertiteling: hiermee maakt u ondertiteling in drie indelingen: VTT, TTML, SRT.
• Verwerking van twee kanalen: Automatisch detecteert afzonderlijke transcripties en samenvoegingen tot één tijdlijn.
• Ruisvermindering: maakt telefoonaudio of ruisopnamen leeg (op basis van Skype filters).
• Transcriptaanpassing (CRIS): traint aangepaste spraak-naar-tekst-modellen om branchespecifieke transcripten te maken. Zie Customize a Language model from the Video Analyzer for Media website (Een taalmodel aanpassen op de website van Video Analyzer for Media) en Customize a Language model with the Video Analyzer for Media APIIs (Een taalmodel aanpassen met de Video Analyzer voor Media-API's) voor meer informatie.
• Sprekerinseratie: Kaarten en begrijpt welke spreker welke woorden heeft gesproken en wanneer. 16-sprekers kunnen worden gedetecteerd in één audiobestand.
• Sprekerstatistieken: biedt statistieken voor de spraakverhoudingen van sprekers.
• Tekstueel inhoudsbeheer: detecteert expliciete tekst in het audiotranscript.
• Audio-effecten (preview) : Detecteert de volgende audio-effecten in de niet-spraaksegmenten van de inhoud: Gunshot, Glass- en Booing-, Alarm-, Siren-, Explosion-, Dog- En Uitings-, Crowd-, Clapping- en Booing-reacties en Stilte. Opmerking: de volledige set gebeurtenissen is alleen beschikbaar wanneer u Geavanceerde audioanalyse kiest in de uploadvoorinstelling, anders zijn alleen 'Stilte' en 'Crowdreactie' beschikbaar.
• Emotiedetectie: identificeert emoties op basis van spraak (wat er wordt gezegd) en stem-tonaliteit (hoe dit wordt gezegd). De emotie kan een gevoel van emoties, angst, angst of angst zijn.
• Vertaling: maakt vertalingen van het audiotranscript in 54 verschillende talen.
• Detectie van audio-effecten (preview): detecteert verschillende akoestische gebeurtenissen en classificeert deze in verschillende akoestische categorieën (zoals Gunshot,Ing, Crowd Reaction en meer). De gedetecteerde akoestische gebeurtenissen staan in het ondertitelingsbestand. Het bestand kan worden gedownload van de Video Analyzer for Media-portal. Zie Detectie van audio-effecten voor meer informatie.

Audio- en video-inzichten (meerdere kanalen)

Wanneer u indexeert op één kanaal, is een gedeeltelijk resultaat voor deze modellen beschikbaar.

• Extractie van trefwoorden: extraheert trefwoorden uit spraak- en visuele tekst.
• Extractie van benoemde entiteiten: extraheert merken, locaties en personen uit spraak en visuele tekst via natuurlijke taalverwerking (NLP).
• Onderwerpdeductie: maakt een deductie van de belangrijkste onderwerpen uit de transcripten. De IPTC-taxonomie op het tweede niveau is opgenomen.
• Artefacten: extraheert een grote verscheidenheid aan 'extra gedetailleerde' artefacten voor elk van de modellen.
• Gevoelsanalyse: identificeert positieve, negatieve en neutrale gevoelens uit visuele tekst en gesproken woorden.

Hoe ga ik aan de slag met Video Analyzer voor media?

U hebt op drie manieren toegang tot de mogelijkheden van Video Analyzer voor media:

• Video Analyzer for Media-portal: een gebruiksoplossing waarmee u het product kunt evalueren, het account kunt beheren en modellen kunt aanpassen.

  Zie Get started with the Video Analyzer for Media website (Aan de slag met de website videoanalyse voor media)voor meer informatie over de portal.

• API-integratie: alle mogelijkheden van Video Analyzer voor media zijn beschikbaar via een REST API, waarmee u de oplossing kunt integreren in uw apps en infrastructuur.

  Zie Video Analyzervoor Media gebruiken om als ontwikkelaar aan de slag REST API.

• Insluitbare widget: hiermee kunt u de videoanalyse voor media-inzichten, speler en editor-ervaringen insluiten in uw app.

  Zie Visualwidgets insluiten in uw toepassing voor meer informatie.

Als u de website gebruikt, worden de inzichten toegevoegd als metagegevens en zijn ze zichtbaar in de portal. Als u API's gebruikt, zijn de inzichten beschikbaar als een JSON-bestand.

Ondersteunde browsers

In de volgende lijst ziet u de ondersteunde browsers die u kunt gebruiken voor de website Video Analyzer for Media en voor uw apps die de widgets insluiten. In de lijst wordt ook de minimaal ondersteunde browserversie weergegeven:

• Edge, versie: 16
• Firefox, versie: 54
• Chrome, versie: 58
• Safari, versie: 11
• Opera, versie: 44
• Opera Mobile, versie: 59
• Android-browser, versie: 81
• Samsung Browser, versie: 7
• Chrome voor Android, versie: 87
• Firefox voor Android, versie: 83

Volgende stappen

U bent nu klaar om aan de slag te gaan met Video Analyzer for Media. Raadpleeg voor meer informatie de volgende artikelen:

• Ga aan de slag met de website van Video Analyzer for Media.
• Inhoud verwerken met Video Analyzer voor Media REST API.
• Sluit visuele widgets in uw toepassing in.