Video- en audiobestanden analyseren met Azure Media Services

Azure Media Services v3 kunt u inzichten extraheren uit uw video- en audiobestanden met Azure Video Analyzer for Media (voorheen Video Indexer). In dit artikel worden de Media Services v3 Analyzer-voorinstellingen beschreven die worden gebruikt om deze inzichten te extraheren. Als u meer gedetailleerde inzichten wilt, gebruikt u Video Analyzer voor media rechtstreeks. Bekijk het vergelijkingsdocument om te begrijpen wanneer u Video Analyzer voor Media gebruikt Media Services de standaardinstellingen van de analyzer.

Er zijn twee modi voor de audioanalyse vooraf ingesteld, basic en standard. Bekijk de beschrijving van de verschillen in de onderstaande tabel.

Als u uw inhoud wilt analyseren met behulp van Media Services v3-voorinstellingen, maakt u een transformatie en verstuurt u een taak die gebruikmaakt van een van de volgende voorinstellingen: VideoAnalyzerPreset of AudioAnalyzerPreset. Zie Video's analyseren met Azure Media Services voor een zelfstudie over het gebruik van VideoAnalyzerPreset.

Compliance, privacy en beveiliging

Als belangrijke herinnering moet u voldoen aan alle toepasselijke wetten in uw gebruik van Video Analyzer for Media en mag u Video Analyzer voor Media of een andere Azure-service niet gebruiken op een manier die de rechten van anderen schendt of die mogelijk schadelijk is voor anderen. Voordat u video's, inclusief biometrische gegevens, uploadt naar de Video Analyzer for Media-service voor verwerking en opslag, moet u alle juiste rechten hebben, inclusief alle juiste toestemmingen van de persoon(en) in de video. Voor meer informatie over naleving, privacy en beveiliging in Video Analyzer for Media, de Azure Cognitive Services Terms. Als u meer wilt weten over de privacyverplichtingen die Microsoft hanteert ten aanzien van uw gegevens, kunt u de Privacyverklaring van Microsoft, de Voorwaarden voor Online Diensten ('OST') en het Addendum met betrekking tot gegevensverwerking ('DPA') raadplegen. Aanvullende informatie over privacy, waaronder informatie over de bewaarplicht voor gegevens en over de verwijdering/vernietiging ervan, is beschikbaar in de Voorwaarden voor Online Diensten (OST) en hier. Door Video Analyzer voor Media te gebruiken, gaat u ermee akkoord dat u bent gebonden aan de Cognitive Services voorwaarden, de OST, DPA en de privacyverklaring.

Ingebouwde voorinstellingen

Media Services ondersteunt momenteel de volgende ingebouwde standaardinstellingen voor analyzer:

Standaardmodus AudioAnalyzerPreset

Met de voorinstelling kunt u meerdere audio-inzichten extraheren uit een audio- of videobestand.

De uitvoer bevat een JSON-bestand (met alle inzichten) en een VTT-bestand voor de audiotranscriptie. Deze voorinstelling accepteert een eigenschap die de taal van het invoerbestand in de vorm van een BCP47-tekenreeks specificeert. De audio-inzichten omvatten:

• Audiotranscriptie: een transcriptie van de gesproken woorden met tijdstempels. Er worden meerdere talen ondersteund.
• Sprekerindexering: Een toewijzing van de sprekers en de bijbehorende gesproken woorden.
• Spraaksentimentanalyse: de uitvoer van sentimentanalyse die wordt uitgevoerd op de audiotranscriptie.
• Trefwoorden: trefwoorden die worden geëxtraheerd uit de audiotranscriptie.

Basismodus AudioAnalyzerPreset

Met de voorinstelling kunt u meerdere audio-inzichten extraheren uit een audio- of videobestand.

De uitvoer bevat een JSON-bestand en een VTT-bestand voor de audiotranscriptie. Deze voorinstelling accepteert een eigenschap die de taal van het invoerbestand in de vorm van een BCP47-tekenreeks specificeert. De uitvoer omvat:

• Audiotranscriptie: een transcriptie van de gesproken woorden met tijdstempels. Er worden meerdere talen ondersteund, maar automatische taaldetectie en sprekerdirisatie zijn niet inbegrepen.
• Trefwoorden: trefwoorden die worden geëxtraheerd uit de audiotranscriptie.

VideoAnalyzerPreset

Met de voorinstelling kunt u meerdere audio- en video-inzichten extraheren uit een videobestand. De uitvoer bevat een JSON-bestand (met alle inzichten), een VTT-bestand voor het transcript van de video en een verzameling miniaturen. Deze voorinstelling accepteert ook een BCP47-tekenreeks (die de taal van de video vertegenwoordigt) als een eigenschap. De video-inzichten bevatten alle hierboven genoemde audio-inzichten en de volgende aanvullende items:

• Gezichtstracking: de tijd waarin gezichten aanwezig zijn in de video. Elk gezicht heeft een gezichts-id en een bijbehorende verzameling miniaturen.
• Visuele tekst: de tekst die wordt gedetecteerd via optische tekenherkenning. De tekst wordt voorzien van een tijdstempel en wordt ook gebruikt om trefwoorden te extraheren (naast het audiotranscript).
• Keyframes: een verzameling sleutelframes die uit de video zijn geëxtraheerd.
• Toezicht op visuele inhoud: het gedeelte van de video's dat wordt gemarkeerd als volwassen of racy van aard.
• Aantekening: een resultaat van het aantekeningen van de video's op basis van een vooraf gedefinieerd objectmodel

insights.json-elementen

De uitvoer bevat een JSON-bestand (insights.json) met alle inzichten in de video of audio. De JSON kan de volgende elementen bevatten:

Afschrift

Voorbeeld:

"transcript": [
{
    "id": 0,
    "text": "Hi I'm Doug from office.",
    "language": "en-US",
    "instances": [
    {
        "start": "00:00:00.5100000",
        "end": "00:00:02.7200000"
    }
    ]
},
{
    "id": 1,
    "text": "I have a guest. It's Michelle.",
    "language": "en-US",
    "instances": [
    {
        "start": "00:00:02.7200000",
        "end": "00:00:03.9600000"
    }
    ]
}
] 

Ocr

"ocr": [
    {
      "id": 0,
      "text": "LIVE FROM NEW YORK",
      "confidence": 0.91,
      "language": "en-US",
      "instances": [
        {
          "start": "00:00:26",
          "end": "00:00:52"
        }
      ]
    },
    {
      "id": 1,
      "text": "NOTICIAS EN VIVO",
      "confidence": 0.9,
      "language": "es-ES",
      "instances": [
        {
          "start": "00:00:26",
          "end": "00:00:28"
        },
        {
          "start": "00:00:32",
          "end": "00:00:38"
        }
      ]
    }
  ],

Gezichten

"faces": [{
    "id": 2002,
    "name": "Xam 007",
    "confidence": 0.93844,
    "description": null,
    "thumbnailId": "00000000-aee4-4be2-a4d5-d01817c07955",
    "knownPersonId": "8340004b-5cf5-4611-9cc4-3b13cca10634",
    "referenceId": null,
    "title": null,
    "imageUrl": null,
    "instances": [{
        "thumbnailsIds": ["00000000-9f68-4bb2-ab27-3b4d9f2d998e",
        "cef03f24-b0c7-4145-94d4-a84f81bb588c"],
        "adjustedStart": "00:00:07.2400000",
        "adjustedEnd": "00:00:45.6780000",
        "start": "00:00:07.2400000",
        "end": "00:00:45.6780000"
    },
    {
        "thumbnailsIds": ["00000000-51e5-4260-91a5-890fa05c68b0"],
        "adjustedStart": "00:10:23.9570000",
        "adjustedEnd": "00:10:39.2390000",
        "start": "00:10:23.9570000",
        "end": "00:10:39.2390000"
    }]
}]

Shots

"Shots": [
    {
      "id": 0,
      "keyFrames": [
        {
          "id": 0,
          "instances": [
            {
                "thumbnailId": "00000000-0000-0000-0000-000000000000",
              "start": "00: 00: 00.1670000",
              "end": "00: 00: 00.2000000"
            }
          ]
        }
      ],
      "instances": [
        {
            "thumbnailId": "00000000-0000-0000-0000-000000000000",  
          "start": "00: 00: 00.2000000",
          "end": "00: 00: 05.0330000"
        }
      ]
    },
    {
      "id": 1,
      "keyFrames": [
        {
          "id": 1,
          "instances": [
            {
                "thumbnailId": "00000000-0000-0000-0000-000000000000",      
              "start": "00: 00: 05.2670000",
              "end": "00: 00: 05.3000000"
            }
          ]
        }
      ],
      "instances": [
        {
          "thumbnailId": "00000000-0000-0000-0000-000000000000",
          "start": "00: 00: 05.2670000",
          "end": "00: 00: 10.3000000"
        }
      ]
    }
  ]

statistieken

Gevoelens

Sentimenten worden geaggregeerd door het veld sentimentType (positief/neutraal/negatief). Bijvoorbeeld 0-0.1, 0.1-0.2.

"sentiments": [
{
    "id": 0,
    "averageScore": 0.87,
    "sentimentType": "Positive",
    "instances": [
    {
        "start": "00:00:23",
        "end": "00:00:41"
    }
    ]
}, {
    "id": 1,
    "averageScore": 0.11,
    "sentimentType": "Positive",
    "instances": [
    {
        "start": "00:00:13",
        "end": "00:00:21"
    }
    ]
}
]

labels

"labels": [
    {
      "id": 0,
      "name": "person",
      "language": "en-US",
      "instances": [
        {
          "confidence": 1.0,
          "start": "00: 00: 00.0000000",
          "end": "00: 00: 25.6000000"
        },
        {
          "confidence": 1.0,
          "start": "00: 01: 33.8670000",
          "end": "00: 01: 39.2000000"
        }
      ]
    },
    {
      "name": "indoor",
      "language": "en-US",
      "id": 1,
      "instances": [
        {
          "confidence": 1.0,
          "start": "00: 00: 06.4000000",
          "end": "00: 00: 07.4670000"
        },
        {
          "confidence": 1.0,
          "start": "00: 00: 09.6000000",
          "end": "00: 00: 10.6670000"
        },
        {
          "confidence": 1.0,
          "start": "00: 00: 11.7330000",
          "end": "00: 00: 20.2670000"
        },
        {
          "confidence": 1.0,
          "start": "00: 00: 21.3330000",
          "end": "00: 00: 25.6000000"
        }
      ]
    }
  ] 

trefwoorden

"keywords": [
{
    "id": 0,
    "text": "office",
    "confidence": 1.6666666666666667,
    "language": "en-US",
    "instances": [
    {
        "start": "00:00:00.5100000",
        "end": "00:00:02.7200000"
    },
    {
        "start": "00:00:03.9600000",
        "end": "00:00:12.2700000"
    }
    ]
},
{
    "id": 1,
    "text": "icons",
    "confidence": 1.4,
    "language": "en-US",
    "instances": [
    {
        "start": "00:00:03.9600000",
        "end": "00:00:12.2700000"
    },
    {
        "start": "00:00:13.9900000",
        "end": "00:00:15.6100000"
    }
    ]
}
] 

visualContentModeration

Het blok visualContentModeration bevat tijdsbereiken die Video Analyzer voor Media mogelijk inhoud voor volwassenen bevat. Als visualContentModeration leeg is, is er geen inhoud voor volwassenen geïdentificeerd.

Video's die inhoud voor volwassenen of racy bevatten, zijn mogelijk alleen beschikbaar voor persoonlijke weergave. Gebruikers kunnen een aanvraag indienen voor een menselijke beoordeling van de inhoud. In dat geval bevat het kenmerk IsAdult het resultaat van de menselijke beoordeling.

"VisualContentModeration": [
{
    "id": 0,
    "adultScore": 0.00069,
    "racyScore": 0.91129,
    "instances": [
    {
        "start": "00:00:25.4840000",
        "end": "00:00:25.5260000"
    }
    ]
},
{
    "id": 1,
    "adultScore": 0.99231,
    "racyScore": 0.99912,
    "instances": [
    {
        "start": "00:00:35.5360000",
        "end": "00:00:35.5780000"
    }
    ]
}
] 

Volgende stappen

Zelfstudie: Video's analyseren met Azure Media Services