Azure AI 视频索引器常见问题解答

本文解答有关 Azure AI 视频索引器的常见问题。

一般问题

什么是 Azure AI 视频索引器?

Azure AI 视频索引器是 Azure AI 服务的一部分,可用于使用 Azure AI 视频索引器视频和音频模型从视频中提取见解。 有关详细信息,请参阅概述

我可以使用 Azure AI 视频索引器执行哪些操作?

Azure AI 视频索引器可以对媒体文件执行的一些操作包括:

  • 识别和提取语音,并识别发言人。
  • 识别和提取视频中屏幕上的文本。
  • 检测视频文件中的对象。
  • 从音轨和视频中屏幕上的文本识别品牌(例如:Microsoft)。
  • 从名人数据库和用户定义的人脸数据库中检测和识别人脸。
  • 提取音频和视频内容中讨论的但不一定提及的主题。
  • 基于音轨创建隐藏式字幕或副标题。

有关详细信息和更多 Azure AI 视频索引器功能,请参阅 概述

如何实现 Azure AI 视频索引器入门?

Azure AI 视频索引器包含一个试用产品/服务,在使用 Azure AI 视频索引器 网站或 Azure AI 视频索引器 API 时提供 2,400 分钟的免费索引分钟(请参阅 开发人员门户)。

若要大规模为视频和音频苍蝇编制索引,可将 Azure AI 视频索引器连接到付费的 Microsoft Azure 订阅。 可在定价页上找到定价详细信息。

可在入门中找到更多详细信息。

是否需要编码技能才能使用 Azure AI 视频索引器?

可以使用基于 Web 的 Azure AI 视频索引器界面来评估、配置和管理帐户,而无需 编码。 准备好开发更复杂的应用程序时,可以使用 Azure AI 视频索引器 API 将 Azure AI 视频索引器集成到自己的应用程序、网站或自定义工作流中,使用无服务器技术(如 Azure 逻辑应用 或 Azure Functions)。

Azure AI 视频索引器的受限访问功能是什么以及如何注册?

Azure AI 视频索引器的人脸识别和名人识别功能是需要注册的受限访问功能。

可以在本文中找到注册表单和有关受限访问的详细信息。

另请参阅以下内容:公告博客文章面部识别的投资和保障博客文章

是否需要机器学习技能才能使用 Azure AI 视频索引器?

否,Azure AI 视频索引器提供将多个机器学习模型集成到一个管道中。 通过 Azure AI 视频索引器为视频或音频文件编制索引会检索在一个共享时间线上提取的完整见解集,而无需对客户而言所需的算法有任何机器学习技能或知识。

Azure AI 视频索引器支持哪些媒体格式?

Azure AI 视频索引器支持最常见的媒体格式。 请参阅 Azure AI 视频索引器支持矩阵和服务限制

如何实现将媒体文件上传到 Azure AI 视频索引器以及哪些限制?

在 Azure AI 视频索引器基于 Web 的门户中,可以使用文件上传对话框或指向直接托管源文件的 URL 上传媒体文件。 使用 iFrame 或嵌入代码托管媒体内容的任何 URL 不起作用(参阅示例)。

有关详细信息,请参阅操作方法指南

可以在项目中拼结和呈现多少个文件?

在 Azure AI 视频索引器中,可以创建一个项目,并添加多个文件来缝合并呈现为新文件。 源文件的数量在网站中设置为 10,在 API 中设置为 100。

Azure AI 视频索引器从媒体中提取见解需要多长时间?

使用 Azure AI 视频索引器 API 和基于 Azure AI 视频索引器 Web 的界面为视频或音频文件编制索引所需的时间取决于多个参数,例如文件长度和质量、文件中发现的见解数等。 我们建议使用自己的内容运行多个测试文件,并根据平均数获取更好的想法。

是否可以创建自定义工作流以使用 Azure AI 视频索引器自动执行流程?

是的,可以将 Azure AI 视频索引器集成到无服务器技术(如逻辑应用、Flow 和 Azure Functions) 中。 可在此处找到有关 Azure AI 视频索引器的逻辑应用连接器的更多详细信息。 可以在 Azure AI 视频索引器示例存储库中查看合作伙伴完成的一些自动化项目。

Azure AI 视频索引器在哪些 Azure 区域中可用?

可以在区域页上查看 Azure AI 视频索引器可用的 Azure 区域

是否可以针对特定用例自定义 Azure AI 视频索引器模型?

是的。 在 Azure AI 视频索引器中,可以自定义一些可用模型,以更好地满足需求。

例如,我们的“人员”模型支持对现成的一百万张人脸进行名人识别,但你可以对它进行训练,使它识别不在该数据库中的其他人脸。

有关详细信息,请参阅关于自定义人员品牌语言模型的文章。

我能编辑自己库中的视频吗?

是的。 按库界面上的“编辑视频”按钮或播放机界面上的“在编辑器中打开”按钮,可转到“项目”选项卡 。你可以创建一个新项目,并添加更多自己库中的视频以一起编辑它们,完成后即可呈现并下载视频。

如果想要获取有关新视频的见解,请使用 Azure AI 视频索引器对其进行索引,并在库中显示其见解。

能否为多个音频流或通道编制索引?

如果有多个音频流,Azure AI 视频索引器将采用它遇到的第一个音频流,并且只会处理此流。 在任何音频流中,Azure AI 视频索引器进程采用不同的通道(如果存在),并将它们一起处理为单声道。 对于流/通道操作,你可以先对文件使用 ffmpeg 命令,再对它编制索引。

在 Azure AI 视频索引器网站上的帐户列表中找不到新的 ARM 帐户。

有关如何切换到正确域的详细说明,请参阅在租户之间切换

已启用 Arc 问题的 Azure AI 视频索引器

什么是已启用 Azure AI 视频索引器 Arc 的扩展?

在已启用 Arc 的 Kubernetes 容器中运行的应用程序,可在 Azure 外部部署,以从媒体文件中提取和使用音频见解。 将来的版本也会提供视频见解。

什么是 Azure Arc?

Azure Arc 是一个扩展 Azure 平台的桥梁,可帮助构建应用程序和服务,并灵活地在数据中心、边缘和多云环境中运行。 使用一致的开发、操作和安全模型开发云原生应用程序。

参与预览版需要什么?

若要参与预览版,需要一个有效的 Azure 订阅、与 Azure 的连接、能够运行扩展的环境(请参阅快速入门中的要求以及加入预览版的权限)。 可以在此处提交加入预览版的请求。

如何开始使用 Arc 启用 Azure AI 视频索引器?

可以使用 Azure Arc Jumpstart 遵循 快速入门 并体验已启用 Azure Arc 的 Kubernetes 自动化方案。

为什么下载这么大?

在安装扩展期间,机器学习容器将下载到边缘计算。 其中一些容器的大小可能为几千兆字节,下载时间将取决于网络条件。 在某些情况下,下载可能需要超过 15 分钟。

是否需要将存储配置为 Kubernetes 群集?

Arc 启用的视频索引器需要配置有 readwritemany存储类。 如果在安装过程中已将存储类设置为群集的默认值,则将使用它。 否则,如果需要配置不同的存储,可以在扩展安装过程中将其作为属性传递。

是否需要为视频索引器扩展配置前端终结点?

是的。 视频索引器扩展的 API 通过前端扩展提供。 可以限制对 IP 地址或 FQDN 的访问。 此外,由于所有通信都是通过安全流量协议完成的,因此建议使用有效的 CA 证书,并设置安全层(如 NSG 或防火墙),以限制对此终结点的访问。

如何对 Arc 安装启用的 Azure AI 视频索引器进行故障排除?

隐私问题

Azure AI 视频索引器如何加密网络流量?

客户端应用程序与 Azure AI 视频索引器帐户之间的通信使用传输层安全性(TLS)进行加密。 TLS 是一种标准的加密协议,可确保通过 Internet 进行通信的客户端与服务之间的隐私和数据完整性。 有关 TLS 的详细信息,请参阅传输层安全性。 视频索引器强制实施最低 TLS v1.2。 客户无法控制密码套件,我们将选择客户端和服务器之间的第一个匹配项,从强到弱。

Azure AI 视频索引器是否为视频和音频文件编制索引?

是的,除非使用 Azure AI 视频索引器网站或 API 从 Azure AI 视频索引器中删除文件,否则视频和音频文件将存储。 对于试用版,索引的视频和音频文件存储在美国东部这一 Azure 区域。 否则,视频和音频文件将存储在 Azure 订阅的存储帐户中。

Azure AI 视频索引器在何处存储客户数据?

默认情况下,数据副本 (replica)到在其中部署 Azure AI 视频索引器实例的配对区域。 对于有数据驻留要求的区域,你的数据始终会保存在同一区域内。 有关更多相关信息,请查看本部分中的其他隐私问题

是否可以删除存储在 Azure AI 视频索引器网站中的文件?

可以,始终可以删除视频和音频文件以及 Azure AI 视频索引器从中提取的任何元数据和见解。 从 Azure AI 视频索引器中删除文件后,该文件及其元数据和见解将从 Azure AI 视频索引器中永久删除。 但是,如果你在 Azure 存储中实施了自己的备份解决方案,则该文件将保留在 Azure 存储中。

是否可以控制用户对 Azure AI 视频索引器帐户的访问权限?

是的,只有帐户管理员可以邀请和取消邀请某人加入其帐户,以及分配编辑特权和只读访问权限。

谁有权访问已由 Azure AI 视频索引器编制索引和/或存储的视频和音频文件以及提取的元数据和见解?

获得该视频或音频内容及其见解的链接的任何人都可以访问将隐私设置设为公开的视频或音频内容。 只有受邀加入视频或音频内容帐户的用户才能访问将隐私设置设为私密的视频或音频内容。 内容的隐私设置也适用于 Azure AI 视频索引器提取的元数据和见解。 可以在上传视频或音频文件时指定隐私设置。 也可以在编制索引后更改隐私设置。

Microsoft 对 Azure AI 视频索引器编制索引和/或存储的视频或音频文件以及提取的元数据和见解具有哪些访问权限?

根据 Azure Online Services 条款(OST),你完全拥有自己的内容,Microsoft 将仅访问 Azure AI 视频索引器根据 OST 和 Microsoft 隐私声明从内容中提取的元数据和见解。

我在 Azure AI 视频索引器帐户中生成的自定义模型是否可供其他帐户使用?

不可以,在你的帐户中创建的自定义模型不可用于任何其他帐户。 Azure AI 视频索引器目前允许你在帐户中生成自定义 品牌语言人员 模型。 这些模型仅可用于在其中创建这些模型的帐户。

由视频索引器编入索引的内容是否保留在我使用视频索引器的 Azure 区域内?

是的,除非在 Azure 订阅中手动配置使用多个 Azure 区域,否则系统会将内容及其见解保留在 Azure 区域(新加坡和巴西南部区域除外)。

由于 BCDR 原因,区域中的客户数据会复制到配对区域

Azure AI 视频索引器的隐私策略是什么?

Microsoft 隐私声明涵盖 Azure AI 视频索引器。 隐私声明解释了 Microsoft 处理的个人数据、Microsoft 的处理方式,以及 Microsoft 出于哪些目的处理个人数据。 若要详细了解隐私保护,请访问 Microsoft 信任中心

Azure AI 视频索引器有哪些认证?

Azure AI 视频索引器目前具有 SOC 认证。 若要查看 Azure AI 视频索引器的认证,请参阅 Microsoft 信任中心

专用视频和公用视频有何区别?

将视频上传到 Azure AI 视频索引器时,可以从两个隐私设置中进行选择:专用和公用。 公用视频可供任何人访问,包括匿名用户和身份不明的用户。 专用视频则只供帐户成员访问。

我尝试将视频作为公用视频上传,它却被标记为不当或有冒犯性的内容,这是什么意思?

将视频上传到 Azure AI 视频索引器时,自动内容分析由算法和模型完成,以确保不会公开显示不适当的内容。 如果视频确实可能含有不当的内容,则无法将其设置为公用视频。 不过,帐户成员仍然可以将其作为专用视频来访问(查看视频,下载见解和提取的非自然信号,以及执行其他账户成员可执行的操作)。

警告

出于生产目的,不建议直接使用工件文件夹中的数据。 工件是索引过程的中间输出。 它们本质上是分析视频的各种 AI 引擎的原始输出;工件架构可能会随时间而更改。 建议使用获取视频索引 API,如 API 生成的见解和工件中所述。

为了将视频设置为供公共访问,可以执行以下操作之一:

  • 构建自己的接口层(例如应用或网站),并使用它与 Azure AI 视频索引器服务交互。 这样,视频在我们的网站中依然是专用的,而你的用户可以通过你的界面与之交互。 例如,你仍可以获得见解或允许在你自己的界面中观看视频。

  • 请求对内容进行人工评审,这将导致删除限制(假定内容并未有不当之处)。

    如果用户直接使用 Azure AI 视频索引器网站作为界面层,以及公共(未经身份验证)查看,则可以探索此选项。

API 问题

Azure AI 视频索引器提供哪些 API?

Azure AI 视频索引器的 API 允许索引、提取元数据、资产管理、翻译、嵌入、自定义模型等。 若要查找有关使用 Azure AI 视频索引器 API 的更多详细信息,请参阅 Azure AI 视频索引器开发人员门户

Azure AI 视频索引器提供哪些客户端 SDK?

目前不提供客户端 SDK。 Azure AI 视频索引器团队正在研究 SDK,并计划尽快交付这些 SDK。

如何实现 Azure AI 视频索引器的 API 入门?

什么是 API 访问令牌,为何需要使用它?

Azure AI 视频索引器 API 包含授权 API 和操作 API。 授权 API 包含提供访问令牌的调用。 对操作 API 的每个调用应该与匹配调用授权范围的访问令牌相关联。

出于安全目的,需要使用 Azure AI 视频索引器 API 访问令牌。 这可确保任何调用都来自你或拥有帐户访问权限的用户。

帐户访问令牌、用户访问令牌和视频访问令牌之间的区别是什么?

  • 帐户级别 – 使用帐户级访问令牌可在帐户级别或视频级别执行操作。 例如,上传视频、列出所有视频、获取视频见解。
  • 用户级别 - 使用用户级访问令牌可在用户级别执行操作。 例如,获取关联的帐户。
  • 视频级别 – 使用视频级访问令牌可对特定的视频执行操作。 例如,获取视频见解、下载隐藏式字幕、获取小组件,等等。

我需要多久获取一次新的访问令牌? 访问令牌何时过期?

访问令牌每隔一小时会过期,因此需要每隔一小时生成一次新的访问令牌。

Azure AI 视频索引器开发人员门户的登录选项有哪些?

请参阅有关登录信息的发行说明。

使用标识提供者注册电子邮件帐户后,不能将此电子邮件帐户用于其他标识提供者。

与索引的视频关联的 JSON 资产(如见解、脚本等)存储在哪里?

它们由 Azure AI 视频索引器服务存储,可以使用“获取视频索引”和“获取视频项目下载 URL API”提取

为视频编制索引后,调用 API 是否需额外付费?

Azure AI 视频索引器没有额外的费用用于调用 API。

计费问题

Azure AI 视频索引器的成本是多少?

Azure AI 视频索引器根据索引的内容输入持续时间使用简单的即用即付定价模型。 可能对编码、流式处理、存储、网络使用情况和编码预留单位收取额外费用。 有关详细信息,请参阅定价页。

何时使用 Azure AI 视频索引器?

发送要编制索引的视频时,用户将定义索引是视频分析、音频分析还是二者皆有。 这会确定将向哪一个 SKU 收费。 如果在处理过程中出现关键级错误,系统会将错误代码作为响应返回。 在这种情况下,不计费。 关键错误可能是由代码中的 bug 或服务拥有的内部依赖项中的严重故障造成的。 系统并不将错误的身份验证或见解提取等错误视为关键错误,对它们返回一个响应。 对于任何返回了有效(非错误代码)响应的情况,都将计费。

Azure AI 视频索引器是否提供试用帐户?

是的,Azure AI 视频索引器提供了一个试用帐户,该帐户在使用 Azure AI 视频索引器网站或 Azure AI 视频索引器 API 时提供 2,400 分钟的免费索引分钟(请参阅 开发人员门户)。

如何选择退出特定 AI 模型的结果

如何从公共 AI 模型中选择退出特定结果?

向“视频索引器客户支持” visupport@microsoft.com发送请求的详细说明。 包括:你引用的 AI 模型、想要选择退出的结果、我们应该选择退出结果的原因,以及你为何要询问这一点的说明。

需要多长时间?

处理请求可能需要几周时间。