关键字提取

项目
03/25/2024

重要

由于Azure 媒体服务停用公告，Azure AI 视频索引器会宣布 Azure AI 视频索引器功能调整。请参阅与 Azure 媒体服务（AMS）停用相关的更改，了解 Azure AI 视频索引器帐户的含义。请参阅 AMS 停用准备：VI 更新和迁移指南。

关键字提取是一项 Azure AI 视频索引器 AI 功能，可自动检测媒体文件中讨论的不同关键字 (keyword)的见解。关键字提取可以提取单种语言和多语言媒体文件中的见解。提取的关键字 (keyword)及其类别总数列在“见解”选项卡中，其中单击关键字，然后单击“播放上一页”或“播放下一步”跳转到媒体文件中的关键字 (keyword)。

先决条件

查看透明度说明概述

一般原则

本文讨论关键字以及负责任地使用此技术的关键注意事项。在决定如何使用和实现 AI 支持的功能时，需要考虑许多事项：

此功能在我的方案中是否表现良好？在将关键字提取部署到方案中之前，请测试它如何使用实际数据执行，并确保它可以提供所需的准确性。
我们是否具备识别并应对错误的能力？ AI 提供支持的产品和功能不会准确 100%，因此请考虑如何识别和响应可能发生的任何错误。

查看见解

处理网站时，见解将显示在“见解”选项卡中。还可以在 JSON 文件中的分类列表中生成它们，其中包含关键字的 ID、文本以及每个关键字 (keyword)的特定开始和结束时间和置信度分数。

若要在 JSON 文件中显示实例，请执行以下操作：

单击“下载”，然后单击“见解”（JSON）。

复制文本并将其粘贴到联机 JSON 查看器中。

"keywords": [
  {
    "id": 1,
    "text": "office insider",
    "confidence": 1,
    "language": "en-US",
    "instances": [
      {
        "adjustedStart": "0:00:00",
        "adjustedEnd": "0:00:05.75",
        "start": "0:00:00",
        "end": "0:00:05.75"
      },
      {
        "adjustedStart": "0:01:21.82",
        "adjustedEnd": "0:01:24.7",
        "start": "0:01:21.82",
        "end": "0:01:24.7"
      },
      {
        "adjustedStart": "0:01:31.32",
        "adjustedEnd": "0:01:32.76",
        "start": "0:01:31.32",
        "end": "0:01:32.76"
      },
      {
        "adjustedStart": "0:01:35.8",
        "adjustedEnd": "0:01:37.84",
        "start": "0:01:35.8",
        "end": "0:01:37.84"
      }
    ]
  },
  {
    "id": 2,
    "text": "insider tip",
    "confidence": 0.9975,
    "language": "en-US",
    "instances": [
      {
        "adjustedStart": "0:01:14.91",
        "adjustedEnd": "0:01:19.51",
        "start": "0:01:14.91",
        "end": "0:01:19.51"
      }
    ]
  },

若要通过 API 下载 JSON 文件，请使用 Azure AI 视频索引器开发人员门户。

注意

关键字提取与语言无关。

关键字组件

在关键字过程中，处理媒体文件中的音频和图像，如下所示：

组件	定义
源语言	用户上传源文件进行索引。
听录 API	音频文件将发送到 Azure AI 服务，并返回翻译后的转录输出。如果指定了某个语言，则会处理该语言。
视频的 OCR	媒体文件中的图像使用 Azure AI 视觉读取 API 处理，以提取文本、其位置和其他见解。
关键字提取	提取算法处理转录的音频。然后，结果与 OCR 过程中视频中检测到的见解相结合。关键字 (keyword)及其出现在媒体中的位置，然后检测和识别。
可信度	每个关键字 (keyword)的估计置信度计算为 0 到 1 的范围。置信度分数表示结果准确性的确定性。例如，82% 的确定性将表示为 0.82 分数。

示例用例：

个性化关键字 (keyword)以匹配客户兴趣，例如有关英国发布有关英国电影或节日的促销的网站。
深入了解有关特定关键字 (keyword)的见解，以创建有关公司、角色或技术的功能故事，例如通讯社。

选择用例时的注意事项和限制

下面是在使用关键字 (keyword)提取时要记住的一些注意事项：

上传文件时，始终使用高质量的视频内容。建议的最大帧大小为 HD，帧速率为 30 FPS。框架应包含不超过 10 人。将帧从视频输出到 AI 模型时，仅每秒发送大约 2 或 3 帧。处理 10 个和更多帧可能会延迟 AI 结果。
上传文件时，始终使用高质量的音频和视频内容。执行分析至少需要 1 分钟的自发对话语音。音频效果仅在非语音段中检测到。 非语音节的最短持续时间为 2 秒。不支持语音命令和唱歌。

当负责任且小心翼翼地使用关键字时，对于许多行业来说都是一个有价值的工具。为了尊重他人的隐私和安全，并遵守当地和全球法规，建议执行以下操作：

始终尊重个人的隐私权利，只出于合法和合理的目的引入媒体。  
不要故意披露不适当的媒体，显示年幼儿童或名人的家庭成员或其他内容可能有害或对个人的个人自由构成威胁。  
致力于在分析媒体的设计和部署中尊重和促进人权。  
使用第三方材料时，在分发派生自它们的内容之前，请注意任何现有的版权或权限。 
使用来自未知来源的媒体时，请始终寻求法律建议。 
始终获得适当的法律和专业建议，以确保上传的媒体受到保护，并有足够的控制来保留内容的完整性，并防止未经授权的访问。    
提供反馈通道，使用户和个人能够报告服务问题。  
请注意有关处理、分析和共享包含人员的媒体的任何适用的法律或法规。 
使人处于循环中。不要将任何解决方案用作人工监督和决策的替代方法。  
全面检查和查看用于了解其功能和限制的任何 AI 模型的潜力。

Share via