Wat is Azure Media Services Video Indexer?What is Azure Media Services Video Indexer?

Op 11 juni 2020 kondigde Microsoft aan dat het geen gezichtsherkenningssoftware verkoopt aan politieafdelingen in de Verenigde Staten totdat er solide wetgeving op basis van mensenrechten in werking is getreden.

Video Indexer (VI) is de Azure Media Services AI-oplossing en deel van het Cognitive Services merk van Azure.Video Indexer (VI) is the Azure Media Services AI solution and part of the Azure Cognitive Services brand. Video Indexer biedt de mogelijkheid om diepere inzichten te verkrijgen (zonder gegevens analyse of codeer vaardig heden) met behulp van machine learning modellen op basis van meerdere kanalen (spraak, vocals, Visual).Video Indexer provides ability to extract deep insights (with no need for data analysis or coding skills) using machine learning models based on multiple channels (voice, vocals, visual). U kunt de modellen verder aanpassen en trainen.You can further customize and train the models. Met de service kunnen uitgebreide zoek opdrachten worden uitgevoerd, worden operationele kosten verminderd, worden nieuwe verdiensten maximaliseren-mogelijkheden geboden en worden nieuwe gebruikers ervaringen gemaakt op grote archieven van Video's (met een lage vermelding).The service enables deep search, reduces operational costs, enables new monetization opportunities, and creates new user experiences on large archives of videos (with low entry barriers).

Als u inzichten wilt gaan extra heren met Video Indexer, moet u een account maken en Video's uploaden.To start extracting insights with Video Indexer, you need to create an account and upload videos. Wanneer u uw Video's uploadt naar Video Indexer, analyseert deze zowel visuele elementen als audio door verschillende AI-modellen uit te voeren.When you upload your videos to Video Indexer, it analyses both visuals and audio by running different AI models. Als Video Indexer analyseert u uw video, de inzichten die worden geëxtraheerd door de AI-modellen.As Video Indexer analyzes your video, the insights that are extracted by the AI models.

Wanneer u een Video Indexer account maakt en verbindt met Media Services, worden de media-en meta gegevensbestanden opgeslagen in het Azure-opslag account dat is gekoppeld aan dat Media Services-account.When you create a Video Indexer account and connect it to Media Services, the media and metadata files are stored in the Azure storage account associated with that Media Services account. Zie een video indexer-account maken dat is verbonden met Azurevoor meer informatie.For more information, see Create a Video Indexer account connected to Azure.

Het volgende diagram is een illustratie en is geen technische uitleg over de werking van Video Indexer in de back-end.The following diagram is an illustration and not a technical explanation of how Video Indexer works in the backend.

Video Indexer stroom diagram Azure Media Services

Compliance, privacy en beveiligingCompliance, Privacy and Security

Als belang rijke herinnering moet u zich houden aan alle toepasselijke wetgeving bij het gebruik van Video Indexer en mag u Video Indexer of een Azure-service niet gebruiken op een manier die de rechten van anderen schendt of die schadelijk voor anderen kunnen zijn.As an important reminder, you must comply with all applicable laws in your use of Video Indexer, and you may not use Video Indexer or any Azure service in a manner that violates the rights of others, or that may be harmful to others.

Voordat u een video/afbeelding naar Video Indexer uploadt, moet u over alle juiste rechten beschikken voor het gebruik van de video/afbeelding, inclusief, indien vereist door de wet, alle vereiste mede werkers (indien van toepassing) in de video/afbeelding, voor gebruik, verwerking en opslag van hun gegevens in Video Indexer en Azure.Before uploading any video/image to Video Indexer, You must have all the proper rights to use the video/image, including, where required by law, all the necessary consents from individuals (if any) in the video/image, for the use, processing, and storage of their data in Video Indexer and Azure. Sommige jurisdicties kunnen speciale wettelijke vereisten opleggen voor het verzamelen, online verwerken en opslaan van bepaalde typen gegevens, zoals biometrische gegevens.Some jurisdictions may impose special legal requirements for the collection, online processing and storage of certain categories of data, such as biometric data. Voordat u Video Indexer en Azure gebruikt voor het verwerken en opslaan van gegevens die onder bijzondere wettelijke vereisten vallen, moet u ervoor zorgen dat u voldoet aan de wettelijke vereisten die voor u van toepassing kunnen zijn.Before using Video Indexer and Azure for the processing and storage of any data subject to special legal requirements, You must ensure compliance with any such legal requirements that may apply to You.

Ga naar het vertrouwens centrumvan micro soft voor meer informatie over naleving, privacy en beveiliging in video indexer.To learn about compliance, privacy and security in Video Indexer please visit the Microsoft Trust Center. Als u meer wilt weten over de privacyverplichtingen en procedures voor gegevensverwerking en -retentie die Microsoft hanteert ten aanzien van uw gegevens, inclusief het verwijderen van uw gegevens, kunt u de Privacyverklaring van Microsoft, de Voorwaarden voor Online Diensten ('OST') en het Addendum met betrekking tot gegevensverwerking ('DPA') raadplegen.For Microsoft's privacy obligations, data handling and retention practices, including how to delete your data, please review Microsoft's Privacy Statement, the Online Services Terms ("OST") and Data Processing Addendum ("DPA"). Door Video Indexer te gebruiken, gaat u ermee akkoord dat u bent gebonden aan de OST, DPA en de privacyverklaring.By using Video Indexer, you agree to be bound by the OST, DPA and the Privacy Statement.

Wat kan ik doen met Video Indexer?What can I do with Video Indexer?

De inzichten van Video Indexer kunnen worden toegepast op verschillende scenario's, waaronder:Video Indexer's insights can be applied to many scenarios, among them are:

  • Uitgebreide zoek opdracht: gebruik de inzichten die zijn geëxtraheerd uit de video om de zoek ervaring in een video bibliotheek te verbeteren.Deep search: Use the insights extracted from the video to enhance the search experience across a video library. Als u bijvoorbeeld gesp roken woorden en gezichten indexeert, kan de zoek ervaring van het vinden van momenten in een video waarbij een persoon op bepaalde woorden is gespokeeerd of wanneer twee personen samen worden weer gegeven.For example, indexing spoken words and faces can enable the search experience of finding moments in a video where a person spoke certain words or when two people were seen together. Zoeken op basis van deze inzichten van Video's is van toepassing op de nieuws instanties, onderwijs instituten, omroep organisaties, eigen aren van entertainment, zakelijke LOB-apps, en in het algemeen voor elke branche met een video bibliotheek die gebruikers nodig hebben om te zoeken.Search based on such insights from videos is applicable to news agencies, educational institutes, broadcasters, entertainment content owners, enterprise LOB apps, and in general to any industry that has a video library that users need to search against.
  • Maken van inhoud: Maak Trailers, Markeer trommels, sociale media-inhoud of Nieuws clips op basis van de inzichten video indexer extracten van uw inhoud.Content creation: Create trailers, highlight reels, social media content, or news clips based on the insights Video Indexer extracts from your content. Met keyframes, scènes en tijds tempels voor de vormgeving van personen en labels kan het maken van het proces veel vloeiender en eenvoudiger worden en kunt u de onderdelen van de video ophalen die u nodig hebt voor de inhoud die u wilt maken.Keyframes, scenes markers, and timestamps for the people and label appearances make the creation process much smoother and easier, and allows you to get to the parts of the video you need for the content you're creating.
  • Toegankelijkheid: of u uw inhoud beschikbaar wilt maken voor mensen met een handicap of als u wilt dat uw inhoud naar verschillende regio's wordt gedistribueerd met behulp van verschillende talen, kunt u de transcriptie en vertaling van de video indexer in meerdere talen gebruiken.Accessibility: Whether you want to make your content available for people with disabilities or if you want your content to be distributed to different regions using different languages, you can use the transcription and translation provided by video indexer in multiple languages.
  • Verdiensten maximaliseren: video indexer kunt u helpen de waarde van Video's te verhogen.Monetization: Video Indexer can help increase the value of videos. Zo kunnen branches die gebruikmaken van de inkomsten van de advertentie (nieuws media, sociale media, enzovoort), relevante advertenties leveren door gebruik te maken van de uitgepakte inzichten als extra signalen voor de ad-server.For example, industries that rely on ad revenue (news media, social media, and so on) can deliver relevant ads by using the extracted insights as additional signals to the ad server.
  • Toezicht op inhoud: gebruik tekstuele en visuele toezicht modellen voor inhoud om uw gebruikers veilig te houden van ongepaste inhoud en te controleren of de inhoud die u publiceert, overeenkomt met de waarden van uw organisatie.Content moderation: Use textual and visual content moderation models to keep your users safe from inappropriate content and validate that the content you publish matches your organization's values. U kunt bepaalde Video's automatisch blok keren of uw gebruikers waarschuwen over de inhoud.You can automatically block certain videos or alert your users about the content.
  • Aanbevelingen: video Insights kan worden gebruikt om de gebruikers betrokkenheid te verbeteren door de relevante video te markeren voor gebruikers.Recommendations: Video insights can be used to improve user engagement by highlighting the relevant video moments to users. Als u elke video met aanvullende meta gegevens codeert, kunt u gebruikers aanbevelen de meest relevante Video's te plaatsen en de onderdelen van de video te markeren die overeenkomen met hun behoeften.By tagging each video with additional metadata, you can recommend to users the most relevant videos and highlight the parts of the video that will match their needs.

FunctiesFeatures

In de volgende lijst ziet u de inzichten die u uit uw Video's kunt ophalen met Video Indexer video-en audio modellen:The following list shows the insights you can retrieve from your videos using Video Indexer video and audio models:

Video inzichtenVideo insights

  • Gezichtsdetectie: detecteert en groepeert gezichten die worden weergegeven in de video.Face detection: Detects and groups faces appearing in the video.
  • Beroemdheden-id: video indexer identificeert automatisch meer dan 1.000.000 beroemdheden, zoals wereld leiders, actoren, Actresses, atleten, onderzoekers, zakelijke en technologische leiders over de hele wereld.Celebrity identification: Video Indexer automatically identifies over 1 million celebrities—like world leaders, actors, actresses, athletes, researchers, business, and tech leaders across the globe. De gegevens over deze beroemdheden kunnen ook worden gevonden op verschillende websites (IMDB, Wikipedia, enzovoort).The data about these celebrities can also be found on various websites (IMDB, Wikipedia, and so on).
  • Gezichtsidentificatie op basis van account: Video Indexer traint een model voor een specifiek account.Account-based face identification: Video Indexer trains a model for a specific account. Vervolgens worden de gezichten herkend in de video op basis van het getrainde model.It then recognizes faces in the video based on the trained model. Zie een persoons model aanpassen van de video indexer website en een persoonlijk model aanpassen met de video indexer-APIvoor meer informatie.For more information, see Customize a Person model from the Video Indexer website and Customize a Person model with the Video Indexer API.
  • Miniatuur extractie voor gezichten ("beste gezicht"): identificeert automatisch het beste vastgelegde gezicht in elke groep gezichten (op basis van kwaliteit, grootte en frontale positie) en extraheert dit als een afbeeldings element.Thumbnail extraction for faces ("best face"): Automatically identifies the best captured face in each group of faces (based on quality, size, and frontal position) and extracts it as an image asset.
  • Visuele tekst herkenning (OCR): extraheert tekst die visueel wordt weer gegeven in de video.Visual text recognition (OCR): Extracts text that's visually displayed in the video.
  • Visueel inhoudstoezicht: detecteert inhoud voor volwassenen en/of ongepaste visuele elementen.Visual content moderation: Detects adult and/or racy visuals.
  • Identificatie van labels: identificeert visuele objecten en acties die worden weergegeven.Labels identification: Identifies visual objects and actions displayed.
  • Scène segmentering: Hiermee wordt bepaald wanneer een scène in video wordt gewijzigd op basis van visuele hints. In een scène wordt één gebeurtenis weer gegeven en deze is samengesteld op basis van een reeks opeenvolgende opnamen, die semantisch verwant zijn.Scene segmentation: Determines when a scene changes in video based on visual cues. A scene depicts a single event and it's composed by a series of consecutive shots, which are semantically related.
  • Opname detectie: bepaalt wanneer een foto in video wordt gewijzigd op basis van visuele hints. Een foto is een reeks frames uit dezelfde camera voor animatie.Shot detection: Determines when a shot changes in video based on visual cues. A shot is a series of frames taken from the same motion-picture camera. Zie scènes, afbeeldingen en keyframesvoor meer informatie.For more information, see Scenes, shots, and keyframes.
  • Detectie van zwarte frames: identificeert zwarte frames in de video.Black frame detection: Identifies black frames presented in the video.
  • Extractie van sleutelframes: detecteert stabiele sleutelframes in een video.Keyframe extraction: Detects stable keyframes in a video.
  • Rollend tegoed: identificeert het begin en het einde van de roulerende tegoeden aan het einde van TV-Program ma's en films.Rolling credits: Identifies the beginning and end of the rolling credits in the end of TV shows and movies.
  • Detectie van animatie tekens (preview): detectie, groepering en herkenning van tekens in inhoud met animatie via integratie met Cognitive Services aangepast gezichts vermogen.Animated characters detection (preview): Detection, grouping, and recognition of characters in animated content via integration with Cognitive Services custom vision. Zie voor meer informatie tekst detectie met animatie.For more information, see Animated character detection.
  • Redactionele afbeeldings type detectie: Tags maken op basis van het type (zoals grote opname, gemiddelde opname, close-up, uiterst dicht op, twee Foto's, meerdere mensen, buiten en binnen, enzovoort).Editorial shot type detection: Tagging shots based on their type (like wide shot, medium shot, close up, extreme close up, two shot, multiple people, outdoor and indoor, and so on). Zie redactionele shot type Detection(Engelstalig) voor meer informatie.For more information, see Editorial shot type detection.

Audio inzichtenAudio insights

  • Audio-transcriptie: converteert spraak naar tekst in 12 talen en maakt extensies mogelijk.Audio transcription: Converts speech to text in 12 languages and allows extensions. De volgende talen worden ondersteund: Engels, Spaans, Frans, Duits, Italiaans, Chinees (Mandarijn), Japans, Arabisch, Russisch, Portugees, Hindi en Koreaans.Supported languages include English, Spanish, French, German, Italian, Mandarin Chinese, Japanese, Arabic, Russian, Portuguese, Hindi, and Korean.
  • Automatische taaldetectie: identificeert automatisch de meest gesproken taal.Automatic language detection: Automatically identifies the dominant spoken language. De volgende talen worden ondersteund: Engels, Spaans, Frans, Duits, Italiaans, Chinees (Mandarijn), Japans, Arabisch, Russisch en Portugees.Supported languages include English, Spanish, French, German, Italian, Mandarin Chinese, Japanese, Russian, and Portuguese. Als de taal niet met vertrouwen kan worden geïdentificeerd, neemt Video Indexer aan dat de gesproken taal Engels is.If the language can't be identified with confidence, Video Indexer assumes the spoken language is English. Zie Taalidentificatiemodel voor meer informatie.For more information, see Language identification model.
  • Multi-Language Speech Identification and transcriptie: identificeert automatisch de gesp roken taal in verschillende segmenten van audio.Multi-language speech identification and transcription: Automatically identifies the spoken language in different segments from audio. Elke segment van het mediabestand wordt verzonden voor een transcriptie en deze transcripties worden vervolgens gecombineerd in één uniforme transcriptie.It sends each segment of the media file to be transcribed and then combines the transcription back to one unified transcription. Zie Inhoud in meerdere talen automatisch identificeren en transcriberen voor meer informatie.For more information, see Automatically identify and transcribe multi-language content.
  • Ondertiteling: hiermee maakt u ondertiteling in drie indelingen: VTT, TTML, SRT.Closed captioning: Creates closed captioning in three formats: VTT, TTML, SRT.
  • Twee kanaal verwerking: automatisch detecteert afzonderlijke transcripten en samen voegingen op één tijd lijn.Two channel processing: Auto detects separate transcript and merges to single timeline.
  • Ruis reductie: Hiermee wist u de audio of ruis opnamen van telefonie (op basis van Skype-filters).Noise reduction: Clears up telephony audio or noisy recordings (based on Skype filters).
  • Transcript aanpassing (cri's): traint aangepaste spraak naar tekst modellen om branchespecifieke transcripten te maken.Transcript customization (CRIS): Trains custom speech to text models to create industry-specific transcripts. Zie een taal model aanpassen van de video indexer website en een taal model aanpassen met de video indexer-api'svoor meer informatie.For more information, see Customize a Language model from the Video Indexer website and Customize a Language model with the Video Indexer APIs.
  • Opsomming van de luid sprekers: kaarten en begrijpen welke sprekers Spaak zijn die woorden en wanneer.Speaker enumeration: Maps and understands which speaker spoke which words and when. Zestien luid sprekers kunnen worden gedetecteerd in één audio bestand.Sixteen speakers can be detected in a single audio-file.
  • Sprekers statistieken: biedt statistieken voor de spraak verhoudingen van de luid sprekers.Speaker statistics: Provides statistics for speakers' speech ratios.
  • Tekstueel inhoudsbeheer: detecteert expliciete tekst in het audiotranscript.Textual content moderation: Detects explicit text in the audio transcript.
  • Audio-effecten (open bare preview): detecteert de volgende audio-effecten in de niet-spraak segmenten van de inhoud: Gunshot, glas Brokers, alarm, Siren, explosie, honden schors, alinea, laughter, massa reacties (cheering, Clapping en booing) en stilte.Audio effects (public preview): Detects the following audio effects in the non-speech segments of the content: Gunshot, Glass shatter, Alarm, Siren, Explosion, Dog Bark, Screaming, Laughter, Crowd reactions (cheering, clapping, and booing) and Silence. Opmerking: de volledige set gebeurtenissen is alleen beschikbaar wanneer u ' geavanceerde audio-analyse ' kiest in de upload voorinstelling, anders wordt alleen ' stilte ' en ' massa reactie ' beschikbaar.Note: the full set of events is available only when choosing ‘Advanced Audio Analysis’ in upload preset, otherwise only ‘Silence’ and ‘Crowd reaction’ will be available.
  • Detectie van Emotion: identificeert emoties op basis van de spraak (wat wordt gezegd) en de gesp roken Toon (hoe dit wordt genoemd).Emotion detection: Identifies emotions based on speech (what's being said) and voice tonality (how it's being said). De EMOTION kan Joy, verdriet, boosheid of vrezen zijn.The emotion could be joy, sadness, anger, or fear.
  • Vertaling: maakt vertalingen van het audiotranscript in 54 verschillende talen.Translation: Creates translations of the audio transcript to 54 different languages.

Audio-en video inzichten (multi kanalen)Audio and video insights (multi-channels)

Bij het indexeren door één kanaal zijn gedeeltelijke resultaten voor deze modellen beschikbaar.When indexing by one channel, partial result for those models will be available.

  • Extractie van tref woorden: extraheert tref woorden uit spraak en visuele tekst.Keywords extraction: Extracts keywords from speech and visual text.
  • Extractie van benoemde entiteiten: pakt merken, locaties en mensen uit vanuit spraak en visuele tekst via natuurlijke taal verwerking (NLP).Named entities extraction: Extracts brands, locations, and people from speech and visual text via natural language processing (NLP).
  • Onderwerpdeductie: maakt een deductie van de belangrijkste onderwerpen uit de transcripten.Topic inference: Makes inference of main topics from transcripts. De IPTC-taxonomie op 2de niveau is inbegrepen.The 2nd-level IPTC taxonomy is included.
  • Artefacten: extraheert een grote verscheidenheid aan 'extra gedetailleerde' artefacten voor elk van de modellen.Artifacts: Extracts rich set of "next level of details" artifacts for each of the models.
  • Gevoelsanalyse: identificeert positieve, negatieve en neutrale gevoelens uit visuele tekst en gesproken woorden.Sentiment analysis: Identifies positive, negative, and neutral sentiments from speech and visual text.

Hoe kan ik aan de slag met Video Indexer?How can I get started with Video Indexer?

U kunt op drie manieren toegang krijgen tot Video Indexer mogelijkheden:You can access Video Indexer capabilities in three ways:

  • Video Indexer portal: een eenvoudig te gebruiken oplossing waarmee u het product kunt evalueren, het account kunt beheren en modellen aanpassen.Video Indexer portal: An easy to use solution that lets you evaluate the product, manage the account, and customize models.

    Zie aan de slag met de video indexer-websitevoor meer informatie over de portal.For more information about the portal, see Get started with the Video Indexer website.

  • API-integratie: alle mogelijkheden van Video Indexer zijn beschikbaar via een REST API, waarmee u de oplossing kunt integreren in uw apps en infra structuur.API integration: All of Video Indexer's capabilities are available through a REST API, which lets you integrate the solution into your apps and infrastructure.

    Zie Video Indexer rest API gebruikenom aan de slag te gaan als ontwikkelaar.To get started as a developer, see Use Video Indexer REST API.

  • Inge sloten widget: Hiermee kunt u de Video Indexer Insights-, speler-en editor-ervaring in uw app insluiten.Embeddable widget: Lets you embed the Video Indexer insights, player, and editor experiences into your app.

    Zie visuele objecten insluiten in uw toepassingvoor meer informatie.For more information, see Embed visual widgets in your application.

Als u de website gebruikt, worden de inzichten toegevoegd als meta gegevens en worden ze weer gegeven in de portal.If you're using the website, the insights are added as metadata and are visible in the portal. Als u Api's gebruikt, zijn de inzichten beschikbaar als JSON-bestand.If you're using APIs, the insights are available as a JSON file.

Ondersteunde browsersSupported browsers

De volgende lijst bevat de ondersteunde browsers die u kunt gebruiken voor de Video Indexer website en voor uw apps die de widgets insluiten.The following list shows the supported browsers that you can use for the Video Indexer website and for your apps that embed the widgets. In de lijst wordt ook de mini maal ondersteunde browser versie weer gegeven:The list also shows the minimum supported browser version:

  • Rand, versie: 16Edge, version: 16
  • Firefox, versie: 54Firefox, version: 54
  • Chrome, versie: 58Chrome, version: 58
  • Safari, versie: 11Safari, version: 11
  • Opera, versie: 44Opera, version: 44
  • Opera Mobile, versie: 59Opera Mobile, version: 59
  • Android-browser, versie: 81Android Browser, version: 81
  • Samsung-browser, versie: 7Samsung Browser, version: 7
  • Chrome voor Android, versie: 87Chrome for Android, version: 87
  • Firefox voor Android, versie: 83Firefox for Android, version: 83

Volgende stappenNext steps

U kunt aan de slag met Video Indexer.You're ready to get started with Video Indexer. Raadpleeg voor meer informatie de volgende artikelen:For more information, see the following articles: