Azure AI 视频索引器发行说明

重新访问此页面以查看最新更新。

为了随时了解最新的 Azure AI 视频索引器开发，本文提供有关以下内容的信息：

• 最新版本
• 已知问题
• Bug 修复
• 已弃用的功能

2024 年 3 月

武器物体检测

Azure AI 视频索引器现在检测到武器。 武器类包括手枪和步枪。 有关“特定类说明”对象检测文档中武器类的限制。

2024 年 2 月

无 AMS 帐户和迁移指南

• 所有新的 VI 帐户视频打包、流式处理和编码都由 VI 执行，你将无法再创建基于 AMS 的 VI 帐户。 请参阅新帐户创建指南。
• VI 编码/打包按 1% 的统一费率计费，免费流式处理。
• 可以将 VI 帐户从基于 AMS 的帐户更新为新的无 AMS 帐户类型。
• 可以选择让 AMS VI 资产由 VI 重新处理和迁移，以便继续访问视频和见解。 迁移将于 3 月下旬开始。
• 视频索引器 Web 应用和小组件使用高性能的新媒体播放器，不再使用 Azure 媒体播放器。

以下文档指导你完成帐户和资产迁移过程：

• 请参阅 AMS 停用准备：VI 迁移和更新指南。
• 请参阅更新 Azure AI 视频索引器帐户并迁移资产。
• 请参阅新的 API 版本。

TLS1.3 支持

我们支持 TLS 1.3（传输层安全性 （TLS） 协议的最新版本，该协议对数据进行加密，以提供两个终结点之间的安全通信通道。

部署在瑞典中部和美国西部的 Azure AI 视频索引器

现在可以在瑞典中部和美国西部 3 区域创建 Azure AI 视频索引器付费帐户。

2024 年 1 月

新的 LLM 提示内容

现在可以将视频见解连接到大型语言模型（LLM），以执行摘要和问答等任务。 API 将视频见解转换为“提示就绪”文本格式，以用于 LLM。 有关详细信息，请参阅 带有 LLM 提示的 Azure AI 视频索引器。

2023 年12 月

新建预设选项 - 基本视频

视频索引器添加了新的索引预设选项“基本视频”。 在云中编制索引或使用视频索引器 Azure Arc 扩展的边缘时，可以使用它。 它是一个低成本索引选项，其中包含许多有用的 AI 见解，包括 OCR、对象检测和视觉标签。 基本视频可用于与基本音频（基本音频和视频）或单独（仅限基本视频）一起生成见解。 若要了解有关索引选项的详细信息，请参阅 索引配置指南。

获取帧 API

现在，可以通过发出 FramesSasUrls 请求，从所选视频部分的索引视频中提取帧。 有关详细信息，请参阅 FrameSelection。

自带模型（预览版）

• 添加了对自定义见解的 UI 支持。
• 添加了对自定义见解的搜索支持。

有关详细信息，请参阅 “自带 AI 模型”。

在 Azure AI 视频索引器网站和 API 上按对象搜索

现在，可以使用搜索功能在 Azure AI 视频索引器网站或使用搜索请求搜索具有特定对象（例如汽车、摩托车等）的视频。

2023 年 11 月

视频索引器在 11 月发布了以下事项：

已启用 Arc 的 Azure AI 视频索引器（预览版）

可以通过将视频索引器托管在本地 Kubernetes 群集中，为混合方案使用视频索引器。 有关详细信息，请参阅 已启用 Arc 的 Azure AI 视频索引器概述。 还可以按照 本教程试用扩展。

自带模型（预览版）

可以使用自己的自定义 AI 模型并将数据与视频索引器模型集成。 有关详细信息，请参阅 “自带 AI 模型”。

每个视频的自定义标记和自由文本（预览）

可以将自定义标记和自由文本作为视频元数据添加到视频索引器帐户中的任何视频。 这样，便可以使用与你和业务相关的任何信息对视频进行分类和批注。 例如，可以添加标记，例如“产品演示”、“客户证词”或“内部培训”或自由文本，例如“此视频演示如何使用我们的新功能 X”或“此视频是在 Y 年会上录制的”。 视频编制索引后，可将其添加到视频下方的区域。

基于自定义标记和自由文本进行搜索（预览版）

可以根据视频的自定义标记和自由文本搜索视频。 这使你能够更轻松地快速查找与条件匹配的视频。 可以基于所有支持语言的自定义标记和自由文本进行搜索，并且可以将它们与其他搜索筛选器（例如关键字 (keyword)、人脸、标签、情感等）组合在一起。还可以使用高级搜索语法来执行更复杂的查询。 例如，可以搜索标记为“产品演示”和自由文本“功能 X”的视频。

我们为自定义人员模型添加了许多改进，可改善整体体验和准确性。 人员模型是封闭式 AI 模型，可用于训练自己的模型以识别视频中的特定人员。 新增功能包括：

有关人员模型质量的指示（预览版）

你可以获取有关自定义人员模型的质量（差、公平、良好）的指示。 质量取决于用于标记图像的图像数量以及用于标记人员的图像越多，正确识别人员的概率越高。 例如，识别具有 24 个标记图像的人员的概率高于识别具有 2 个标记图像的人员的概率。 可以在自定义的人员模型页中查看用于标记每个人的图像数。

选择默认自定义人员模型（预览版）

现在可以在 VI 帐户用户级别选择自定义的人员模型作为默认值，因此无需为每个视频上传选择模型名称。 这将节省上传需要由自定义人员模型分析的视频的时间和精力。

视频中未知人员分组（预览版）

你可以在视频中看到按其外观相似性分组的未知人员。 这将帮助你更轻松地快速标记未知人员，并提高自定义人员模型的准确性。 可以在自定义页面中 > 查看未知人员的分组选择 人员 ，然后导航到 未知人员 选项卡。例如，这可以帮助你标记当地名人或当地政治家。

具有已识别人员姓名的最大置信度分数的搜索结果（预览版）

可以搜索已识别人员的姓名，并在视频中显示该人员时获取最大置信度分数。 这有助于确定要浏览的最相关的视频。 例如，可以搜索“John Smith”并获取自定义人员模型识别 John Smith 的视频，以及每个视频的置信度分数。

避免重复索引上传

有时，你无意中多次提交相同的索引作业。 为了避免这种情况，添加了 preventDuplicates新的可选查询参数。 设置为 “ true设置为”时，如果文件已编制索引，服务将拒绝上传文件并返回冲突。

上传 URL MD5 重复检查依赖于服务器响应 Content-md5 标头（如果存在 RFC 1864：Content-MD5 标头字段），因为它通常由存储提供程序使用。

如果要重复上传同一视频，可以将参数设置为 false。

2023 年 10 月

新见解 - 对象检测

视频索引器向标准和高级视频预设添加了新的见解、对象检测。 它可用于识别和跟踪视频中显示的各种对象。 若要了解详细信息，请参阅 Azure AI 视频索引器对象检测概述。

2023 年 9 月

与 AMS 停用相关的更改

由于2024年6月30日退休Azure 媒体服务（AMS），视频索引器宣布了一些相关的退休。 其中包括 2024 年 6 月 30 日停用视频索引器经典帐户、API 更改，并且不再支持自适应比特率。 有关完整详细信息，请参阅与 Azure 媒体服务（AMS）停用相关的更改。

2023 年 7 月

使用 Azure AI 视频索引器 API 对人脸进行修订

现在可以使用 Azure AI 视频索引器 API 来编辑人脸。 有关详细信息，请参阅 使用 Azure AI 视频索引器 API 修订人脸。

API 请求限制增加

视频索引器已将 API 请求限制从每分钟 60 个请求增加到 120 个。

2023 年 6 月

常见问题解答 - 遵循Azure 媒体服务停用公告

有关详细信息，请参阅 AMS 弃用常见问题解答。

2023 年 5 月

API 更新

我们引入了可能需要更改现有查询逻辑的行为更改。 更改位于 “列表 ”和 “搜索 API”中，查找下表中当前和新行为之间的详细更改。 可能需要更新代码以利用 新 API。

API	当前	新	更新
列出视频	• 根据“IsBase”布尔参数列出所有视频/项目。 如果未定义“IsBase”，请列出这两者。 • 返回所有状态的视频（正在进行/Proccessed/Failed）。	• 列出视频 API 将仅返回所有状态中的视频（带有分页）。 • 列出项目 API 仅返回项目（分页）。	• 列出视频 API 分为两个新的 API 列表视频 和 列表项目 • “IsBase”参数不再具有意义。
搜索视频	• 根据“IsBase”布尔参数搜索所有视频/项目。 如果未定义“IsBase”，请搜索两者。 • 在所有状态下搜索视频（正在进行/Proccessed/Failed）。	仅搜索已处理的视频。	• 搜索视频 API 将仅搜索视频，而不搜索项目。 • “IsBase”参数不再具有意义。 • 搜索视频 API 将仅搜索已处理的视频（而不是 Failed/InProgress 视频）。

支持 HTTP/2

添加了对数据平面 API 的 HTTP/2 的支持。 HTTP/2 通过 HTTP/1.1 提供多项优势，这些优势继续支持向后兼容性。 HTTP/2 的主要优势之一是提高性能、提高可靠性和降低 HTTP/1.1 的系统资源要求。 通过此更改，我们现在支持视频索引器 门户 和数据平面 API 的 HTTP/2。 建议更新代码以利用此更改。

主题见解改进

我们现在支持所有五个级别的 IPTC 本体。

2023 年 4 月

资源运行状况支持

Azure AI 视频索引器现已与 Azure 资源运行状况集成，使你能够查看每个 Azure AI 视频索引器资源的运行状况和可用性。 Azure 资源运行状况还有助于诊断和解决问题，并且可以设置警报，以在资源受到影响时收到通知。 有关详细信息，请参阅 Azure 资源运行状况概述。

动画字符识别模型已停用

动画 字符识别 模型已于 2023 年 3 月 1 日停用。 对于任何相关问题，请通过 Azure 门户创建支持票证。

排除敏感 AI 模型

遵循 Microsoft 负责任的 AI 议程，Azure AI 视频索引器现在允许在为媒体文件编制索引时排除特定的 AI 模型。 敏感 AI 模型列表包括：人脸检测、观察的人、情感、标签识别。

此功能目前通过 API 提供，并且可在除高级预设之外的所有预设中使用。

观察到的人跟踪改进

有关详细信息，请参阅 选择用例时的注意事项和限制。

2023 年 3 月

支持防火墙后面的存储

最好锁定存储帐户并禁用公共访问，以增强或遵守企业安全策略。 视频索引器现在可以使用托管标识的 Azure 受信任服务 异常访问非公共可访问存储帐户。 你可以阅读有关如何在操作说明中设置它的详细信息。

新的自定义语音和发音训练

Azure AI 视频索引器添加了新的自定义语音模型体验。 该体验包括能够使用自定义发音数据集来提高识别错误发音字词、短语或名称的能力。 自定义模型可用于提高具有行业特定术语的内容听录质量。 若要了解详细信息，请参阅 自定义语音模型概述。

观察人员质量改进

观察到的人现在支持坐着的人。 这除了对站立或行走的人的现有支持之外。 这种改进使观察到的人模型更通用，适合更广泛的用例。 我们还将模型重新识别和分组算法提高了 50%。 现在，该模型可以更准确地跟踪和分组多个相机视图的人员。

观察到的人员索引持续时间优化

我们优化了观察到的人模型的内存使用情况，在使用高级视频分析预设时，索引持续时间减少了 60%。 现在可以更高效地处理视频片段，更快地获得结果。

2023 年 2 月

定价

2023 年 1 月 1 日，我们引入了高级预设的高级音频和视频 SKU。 这样做是为了报告每个预设、基本、标准和高级的使用情况，以及 Azure 计费帐单上其自己的不同计量。 也可在 Azure 成本分析报表上查看。

从 2 月 1 日起，我们很高兴在基本音频分析、音频分析和视频分析 SKU 上宣布 40% 的降价。 我们考虑了客户和市场趋势的反馈，做出有利于他们的更改。 通过降低价格并引入新的高级 SKU，我们为客户提供竞争性定价和更多选项来平衡成本和功能。 此外，随着我们继续改进和添加更多 AI 功能，客户在执行新的或重新编制索引操作时，将能够利用这些成本节省。

此更改将自动实施，并且已拥有 Azure 折扣的客户除了新的定价外，还会继续接收这些更改。

充电	基本音频分析	标准音频分析	高级音频分析	标准视频分析	高级视频分析
每输入分钟数	$0.0126	$0.024	$0.04	$0.09	$0.15

网络服务标记

视频索引器支持使用网络安全标记来允许来自视频索引器 IP 的网络流量进入网络。 从 1 月 22 日起，我们将网络安全服务标记重命名 AzureVideoAnalyzerForMedia 为 VideoIndexer。 此更改需要更新部署脚本和/或现有配置。 有关详细信息，请参阅我们的 网络安全文档 。

2023 年 1 月

通知体验

Azure AI 视频索引器网站现在有一个通知面板，你可以随时了解重要产品更新，例如影响服务的事件、新版本等。

文本徽标检测

通过文本徽标检测 ，可以自定义要在视频中检测到的文本徽标。 有关详细信息，请参阅检测文本徽标。

切换目录

现在，可以使用 Azure AI 视频索引器网站切换 Entra ID 目录并跨租户管理 Azure AI 视频索引器帐户。

语言支持

• 现在支持新的语言：爱尔兰语、保加利亚语、加泰罗尼亚语、希腊语、爱沙尼亚语、克罗地亚语、拉脱维亚语、罗马尼亚语、斯洛伐克语、斯洛文尼亚语、泰卢固语、马拉雅拉姆语、卡纳达语、冰岛语、亚美尼亚语、古吉拉特语、马来语和泰米尔语。
• 使用 API 获取所有支持的语言：获取支持的语言。

有关详细信息，请参阅支持的语言。

人脸分组

显著减少了 UI 和 insights.json 中的低质量人脸检测次数。 通过改进的分组算法增强了质量和可用性。

2022 年 11 月

现在可以从 Azure AI 视频索引器网站编辑演讲者的姓名

现在，可以使用 Azure AI 视频索引器网站添加新扬声器、重命名已识别的说话人并修改分配给特定脚本行的扬声器。 有关如何从 时间线 窗格中编辑演讲者的详细信息，请参阅 使用 Azure AI 视频索引器网站编辑演讲者。

Azure AI 视频索引器 上传视频索引 API 提供了相同的功能。

2022 年 10 月

新的内置角色：视频索引器受限观看者

受限访问 视频索引器受限查看器 角色适用于 Azure AI 视频索引器网站 用户。 该角色允许的操作与 Azure AI 视频索引器网站 体验相关。

有关详细信息，请参阅使用视频索引器受限观看者角色管理访问权限。

静态图像检测见解（预览版）

在使用高级索引选项为视频编制索引时，会自动识别以下静态图像检测（影片后期制作）见解：

• 使用元数据提取进行 Clapperboard 检测。
• 数字模式检测，包括色条。
• 无文本静态图像检测，包括场景匹配。

有关详细信息，请参阅静态图像检测。

STT、翻译和搜索支持新的源语言

现在支持乌克兰和越南语的 STT（语音转文本）、翻译和搜索的源语言。 这意味着 Azure AI 视频索引器网站、小组件和 API 也支持这些语言的听录、翻译和搜索功能。

有关详细信息，请参阅支持的语言。

通过 API 在听录中编辑说话人的姓名

现在，可以使用 Azure AI 视频索引器 API 编辑听录中演讲者的名称。

带置信度分数的字词级别时间注释

现在支持带置信度分数的字词级别时间注释。

注释是添加到现有文本的任何类型的附加信息，可以是音频文件的听录，也可以是原始文本文件。

有关详细信息，请参阅检查单词级听录行信息。

启用索引日志的 Azure Monitor 集成

使用下述新日志集，你可以更好地监视索引管道。

Azure AI 视频索引器现在支持用于索引事件的诊断设置。 现在可以通过诊断设置将日志监视上传和重新编制媒体文件的索引导出到 Azure Log Analytics、存储、事件中心或第三方解决方案。

通过 Azure AI 视频索引器 API 扩展了 LID 和 MLID 中支持的语言

使用 Azure AI 视频索引器 API 扩展 LID（语言标识）和 MLID（多语言标识）支持的语言。

现在通过 API 支持以下语言：阿拉伯语（阿拉伯联合酋长国）、阿拉伯文现代标准、阿拉伯文埃及、阿拉伯文（伊拉克）、阿拉伯文（约旦）、阿拉伯文（科威特）、阿拉伯文（阿曼）、阿拉伯语（卡塔尔）、阿拉伯文（沙特阿拉伯）、阿拉伯文叙利亚文、捷克语、丹麦语、德语、澳大利亚英语、英国英语、美国英语、西班牙语、西班牙语（墨西哥）、芬兰语。法语（加拿大）、法语、希伯来语、印地语、意大利语、日语、韩语、挪威语、荷兰语、波兰语、葡萄牙语、葡萄牙语（葡萄牙）、俄语、瑞典语、泰国语、土耳其语、乌克兰语、越南语、简体中文、繁体中文。

若要指定在自动检测时由 LID 或 MLID 标识的语言列表，请调用上传视频 API 并将 customLanguages 参数设置为包含上面支持的语言中的语言（最多可包含 10 种语言）。 请注意，customLanguages 中指定的语言是在语言级别进行比较的，因此每种语言应该只包括一个区域设置。

有关详细信息，请参阅支持的语言。

使用 API 在人物模型中配置置信度级别

使用补丁人员模型 API 为人员模型中的人脸识别配置置信度级别。

在隐藏式字幕中查看说话人

现在可以在 Azure AI 视频索引器媒体播放器的关闭描述文字中查看扬声器。 有关详细信息，请参阅 Azure AI 视频索引器网站中的“查看已关闭描述文字”。

使用参数控制人脸和人员边界框

新的 URL 参数 boundingBoxes 可控制在嵌入播放器时设置边界框的开/关选项。 有关详细信息，请参阅嵌入小组件。

从帐户设置中控制自动播放

通过用户设置来控制在使用 Web 应用打开媒体文件时是否自动播放媒体文件。 导航到 Azure AI 视频索引器网站 - > 齿轮图标 （右上角） -> 用户设置 -> 自动播放媒体文件。

从播放器视图中复制视频 ID

在 Azure AI 视频索引器网站中选择视频时，复制视频 ID 可用

本机 Azure 颜色中的新深色主题

在 Azure AI 视频索引器网站中选择所需的主题。 选择齿轮图标（右上角）->“用户设置”。

搜索或筛选帐户列表

可以使用帐户名称或区域搜索或筛选帐户列表。 选择 Azure AI 视频索引器网站的右上角的用户帐户。

2022 年 9 月

基于 ARM 的帐户正式发布

使用基于 Azure 资源管理（ARM）的 付费（无限制） 帐户，可以使用：

• Azure 基于角色的访问控制 (RBAC)。
• 托管标识可以更好地保护Azure 媒体服务与 Azure AI 视频索引器帐户、网络服务标记与 Azure Monitor 的本机集成之间的通信，以监视帐户（审核和索引日志）。
• 使用 ARM 模板、bicep 或 terraform 缩放和自动执行部署。
• 为基于 ARM 的帐户创建逻辑应用连接器。

若要创建基于 ARM 的帐户，请参阅创建帐户。

2022 年 8 月

更新主题推理模型

Azure AI 视频索引器主题推理模型已更新，现在我们提取了 650 多万个主题（例如，涵盖 Covid 病毒等主题）。 若要受益于最近的模型更新，需要重新编制视频文件索引。

主题推理模型现已在 Azure 政府上可用

现在可以在弗吉尼亚州和亚利桑那地区的 Azure 政府 上利用 Azure AI 视频索引器付费帐户中的主题推理模型。 在此版本中，我们完成了 Azure 全球与 Azure 政府之间的 AI 奇偶校验。 若要受益于模型更新，需要重新编制视频文件索引。

Azure AI 视频索引器网站中的会话长度现在为 30 天

Azure AI 视频索引器网站会话长度延长至 30 天。 可以保留会话，而无需每隔 1 小时重新登录一次。

2022 年 7 月

特色服装见解（预览版）

通过使用特色服装见解，可以更有针对性地投放广告。

该见解提供以下信息：视频中个人所穿戴的关键物品以及服装出现的时间戳。 这允许高质量的视频内上下文广告，其中相关服装广告与视频中查看的特定时间匹配。

若要查看受观察人员的特色服装，必须使用 Azure AI 视频索引器高级视频设置为视频编制索引。 有关如何对特色服装图像设置优先级以及如何查看此见解的详细信息，请参阅特色服装。

2022 年 6 月

Azure 门户中“创建视频索引器”边栏选项卡的改进

Azure AI 视频索引器现在支持使用系统分配的托管标识或系统分配的托管标识为同一资源创建新资源。

你还可以使用 Azure 门户中的“标识”选项卡更改主要托管标识。

名人识别和人脸识别功能的首限访问

作为 Microsoft 对负责任的 AI 的承诺的一部分，我们正在设计和发布 Azure AI 视频索引器 - 识别和名人识别功能。 这些功能旨在保护个人和社会的权利，并培养透明的人机交互。 因此，Azure AI 视频索引器的访问权限和使用有限- 识别和名人识别功能。

识别和名人识别功能需要注册，并且仅适用于 Microsoft 托管客户和合作伙伴。 希望使用此功能的客户需要申请并提交登记表。 有关详细信息，请阅读 Azure AI 视频索引器有限访问权限。

另请参阅以下资源：公告博客文章和面部识别的投资和保障。

2022 年 5 月

脚本中的换行符

改进了换行逻辑，以便更好地将脚本拆分为句子。 现在可通过 Azure AI 视频索引器网站使用新的编辑功能，例如添加新行并编辑行的时间戳。 有关详细信息，请参阅插入或删除脚本行。

Azure Monitor 集成

Azure AI 视频索引器现在支持审核事件的诊断设置。 现在可以通过诊断设置将审核事件的日志导出到 Azure Log Analytics、存储、事件中心或第三方解决方案。

有了这些新增功能，就可以更轻松地分析数据、监视资源操作，并自动创建流来处理事件。 有关详细信息，请参阅 Monitor Azure AI 视频索引器。

视频见解改进

对象字符读取器 (OCR) 改进了 60%。 人脸检测改进了 20%。 在各种视频中，标签准确性改进了 30%。 这些改进在所有区域中立即可用，不需要客户进行任何更改。

服务标记

Azure AI 视频索引器现在是网络服务标记的一部分。 视频索引器通常需要访问其他 Azure 资源（例如存储）。 如果使用网络安全组保护发往资源的入站流量，则现在可以选择视频索引器作为内置服务标记的一部分。 这将简化安全管理，因为我们使用公共 IP 填充服务标记。

名人识别切换

现在，只能在经典帐户的帐户级别启用或禁用名人识别模型。 若要打开或关闭模型，请转到“模型自定义”以打开/关闭模型。 禁用模型后，视频索引器见解不会包括名人模型的输出，也不会运行名人模型管道。

Azure AI 视频索引器存储库名称

截至 5 月 1 日，已重命名新的 Azure AI 视频索引器存储库小组件。 请改用 https://www.npmjs.com/package/@azure/video-indexer-widgets。

2022 年 4 月

已将 Azure 视频分析器媒体 版重命名为 Azure AI 视频索引器

截至目前，用于媒体的 Azure 视频分析器产品名称是 Azure AI 视频索引器 以及所有与产品相关的资产（Web 门户、营销材料）。 这是对 API 和链接没有影响的向后兼容更改。 Azure AI 视频索引器的新徽标：

2022 年 3 月

隐藏式字幕文件现在支持包括演讲者的属性

使用 Azure AI 视频索引器，可以根据你选择下载的封闭描述文字文件包含说话人的特征。 要包括演讲者的属性，请选择“下载 -> 隐藏式字幕 -> 选择隐藏式字幕可下载文件格式 (SRT、VTT、TTML、TXT 或 CSV) 并选中“包括演讲者”复选框。

小组件产品/服务的改进

进行了以下改进：

• Azure AI 视频索引器小组件支持小组件参数中的 1 个以上的区域设置。
• 见解小组件支持初始搜索参数和多个排序选项。
• 见解小组件还在删除人脸之前包含一个确认步骤，以避免错误。
• 小组件自定义现在支持宽度作为字符串（例如 100%、100vw）。

2022 年 2 月

基于政府云中的 ARM 的 Azure AI 视频索引器帐户管理的公共预览版

Azure AI 视频索引器网站现在支持基于 ARM 的公共预览版进行帐户管理（请参阅 2021 年 11 月发行说明）。

利用开放源代码创建基于 ARM 的帐户

添加了新的代码示例，包括用于为解决方案开发人员使用 Azure AI 视频索引器创建、读取、更新和删除 （CRUD） ARM API 的 HTTP 调用。

2022 年 1 月

改进了音频效果检测

音频效果检测能力得到了改进，在以下类别中具有更好的检测率：

• 人群反应（欢呼、鼓掌和嘘声），
• 枪声或爆炸，
• 笑声

有关详细信息，请参阅音频效果检测。

网站上对 STT、翻译和搜索的源语言支持

Azure AI 视频索引器在 Azure AI 视频索引器网站上引入了对 STT（语音转文本）、翻译和搜索（he-IL）、葡萄牙语（pt-PT）和波斯语（fa-IR）的源语言支持。 这意味着 Azure AI 视频索引器网站和小组件也支持这些语言的听录、翻译和搜索功能。

2021 年 12 月

项目功能现已正式发布

项目功能现已正式发布，可供生产之用。 与“预览版到正式发布”过渡没有定价影响。 请参阅向项目添加视频剪辑。

API 级别支持 STT、翻译和搜索支持新的源语言

Azure AI 视频索引器在 API 级别引入了对 STT（语音转文本）、翻译和搜索（he-IL）、葡萄牙语（pt-PT）和波斯语（fa-IR）的源语言支持。

匹配人员检测能力

使用 Azure AI 视频索引器高级视频设置为视频编制索引时，可以查看新的匹配人员检测功能。 如果在你的媒体文件中观察到有多个人，现在可以通过媒体播放器查看与每个人匹配的特定人员。

2021 年 11 月

基于 ARM 的 Azure AI 视频索引器帐户管理的公共预览版

Azure AI 视频索引器引入了基于 Azure 资源管理器（ARM）的帐户管理的公共预览版。 可以利用基于 ARM 的 Azure AI 视频索引器 API 从Azure 门户创建、编辑和删除帐户。

注意

政府云包括对 Azure AI 视频索引器 API 和 Azure 门户 中基于 CRUD ARM 的帐户的支持。

Azure AI 视频索引器 网站目前不支持。

有关详细信息，请转到 创建 Azure AI 视频索引器帐户。

人的衣服检测

使用 Azure AI 视频索引器高级视频设置为视频编制索引时，可以查看新人员的服装检测功能。 如果你的媒体文件中检测到有人，你现在可以查看他们通过媒体播放器穿的服装类型。

人脸边界框（预览版）

你现在可以在为媒体文件编制索引期间开启检测人脸的边界框。 通过选择“标准”、“基本”或“高级”索引预设来索引文件时，可以使用人脸边界框功能。

可以通过播放器启用边界框。

2021 年 10 月

使用 Azure AI 视频索引器包在应用中嵌入小组件

使用新的 Azure AI 视频索引器 （AVAM） @azure/video-analyzer-for-media-widgets npm 包将小组件添加到 insights 应用，并根据需求对其进行自定义。

使用新的 AVAM 包，可以轻松地在小组件和应用之间进行嵌入和通信，而不用添加 iframe 元素来嵌入见解小组件。 在应用中嵌入和自定义 Azure AI 视频索引器小组件中了解详细信息。 

2021 年 8 月

为视频或音频文件重新编制索引

现在可以选择在索引过程中重新编制视频或音频文件索引失败的索引。

改进辅助功能支持

修复了与 CSS、主题设置和辅助功能相关的 bug：

• 高对比度
• 门户中的帐户设置和见解视图。

2021 年 7 月

对媒体保留单位进行自动缩放

从 2021 年 8 月 1 日起，Azure AI 视频索引器通过 Azure 媒体服务 启用媒体预留单位（MRU）自动缩放，因此无需通过 Azure AI 视频索引器管理它们。 这可实现价格优化，例如在许多情况下根据业务需求降低价格，因为它会自动缩放。

2021 年 6 月

在六个新区域中部署的 Azure AI 视频索引器

现在可以在法国中部、美国中部、巴西南部、美国中西部、韩国中部和日本西部区域创建 Azure AI 视频索引器付费帐户。

2021 年 5 月

语音转文本 (STT)、翻译和搜索支持新的源语言

Azure AI 视频索引器现在支持 STT、翻译、 并搜索中文（粤语）（'zh-HK'）、荷兰（荷兰）（'Nl-NL'）、捷克（'Cs-CZ'）、波兰语（'Pl-PL'）、瑞典语（瑞典）（'Sv-标准版'） 挪威语（'nb-NO'）、芬兰语（'fi-FI'）、加拿大法语（'fr-CA'）、泰国语（'th-TH'）、阿拉伯语：（阿拉伯联合酋长国）（'ar-AE'、'ar-EG'）、（伊拉克） -IQ'、（约旦）（ar-JO'）、（科威特）（“ar-KW'）、（黎巴嫩）（黎巴嫩）（ar-LB'）、（阿曼）（ar-OM'）、（卡塔尔）（”ar-QA“）、（巴勒斯坦权力机构）（”ar-PS“） （叙利亚）（'ar-SY'）和土耳其（'tr-TR'）。

这些语言在 API 和 Azure AI 视频索引器网站中都可用。 从“视频源语言”下的组合框中选择语言。

Azure AI 视频索引器的新主题

提供了新主题：“Azure”以及“浅色”和“深色”主题。 若要选择主题，请在网站的右上角的齿轮图标上选择，在“用户设置”下查找主题。

可以利用的新开源代码

GitHub 存储库提供三个新的 Git-Hub 项目：

• 可帮助你利用新添加的小组件自定义的代码。
• 有助于将自定义搜索添加到视频库的解决方案。
• 有助于将重复数据消除添加到视频库的解决方案。

用于在播放器上切换边界框（用于观测到的人员）的新选项

当你通过高级视频设置为视频编制索引时，可以查看我们新的观测到的人员功能。 如果在媒体文件中检测到人员，可以通过媒体播放器对检测到的人员启用边界框。

2021 年 4 月

视频索引器服务已重命名为 Azure AI 视频索引器。

改进了门户中的上传体验

Azure AI 视频索引器在网站中具有新的上传体验。 若要上传媒体文件，请从“媒体文件”选项卡按“上传”按钮 。

gov-cloud 中提供了新的开发人员门户

Azure AI 视频索引器 API 开发人员门户现在也可用于美国政府版 Azure。

观察到的人跟踪（预览版）

Azure AI 视频索引器现在检测视频中观察到的人员，并在显示人员时提供信息，例如人员在视频帧中的位置以及确切的时间戳（开始、结束）。 API 返回每个检测到的人员实例的边界框坐标（以像素为单位），包括其置信度。

例如，如果视频包含人，则检测操作会在视频帧中列出该人员的外貌及其坐标。 可以使用此功能来确定人员在视频中的路径。 还可以确定视频中是否有多个相同人员的实例。

通过选择“高级”选项->“高级视频”或“高级视频 + 音频预设”（在“视频 + 音频索引”下）为文件编制索引时，可以使用新添加的观察人员跟踪功能。 标准和基本索引预设不包括此新的高级模型。

选择在 Azure AI 视频索引器网站上查看视频见解时，观察到的人员跟踪将显示在页面上，其中包含所有检测到的人缩略图。 可以选择一个人员的缩略图，并查看该人员在视频播放器中的显示位置。

此功能也可以在 Azure AI 视频索引器生成的 JSON 文件中使用。 有关详细信息，请参阅跟踪视频中观测到的人员。

使用音频效果检测（预览版）检测到声学事件

现在可以在隐藏式字幕文件中查看检测到的声学事件。 可以从 Azure AI 视频索引器网站下载该文件，并可用作 GetArtifact API 中的项目。

音频效果检测（预览版）组件检测各种声学事件，并将它们分类到不同的声学类别（例如枪声、尖叫和人群反应等）。 有关详细信息，请参阅音频效果检测。

2021 年 3 月

音频分析

音频分析现在以不同价位在其他新音频功能捆绑包中提供。 新的基本音频分析预设提供一种低成本选项，可以仅提取语音脚本、翻译以及设置输出隐藏式字幕和字幕的格式。 基本音频预设将在帐单上生成两个单独的计量，其中包括用于脚本的行以及用于隐藏式字幕和字幕格式设置的单独行。 有关定价的详细信息，请参阅媒体服务定价页。

通过选择“高级选项”->“基本音频”预设（在“视频 + 音频索引”下拉框下），可在编制文件索引或重新编制文件索引时使用新添加的捆绑包。

新的开发人员门户

Azure AI 视频索引器具有新的 开发人员门户。 试用新的 Azure AI 视频索引器 API，并在一个位置查找所有相关资源：GitHub 存储库、Stack overflow、Azure AI 视频索引器技术社区以及相关博客文章、Azure AI 视频索引器常见问题解答、用户语音提供反馈和建议功能，以及小组件代码示例的“CodePen”链接。

见解小组件的高级自定义功能

SDK 现可在自己的服务中嵌入 Azure AI 视频索引器的见解小组件，并自定义其样式和数据。 SDK 支持标准的 Azure AI 视频索引器见解小组件和完全可自定义的见解小组件。 Azure AI 视频索引器 GitHub 存储库中提供了代码示例。 借助此高级自定义功能，解决方案开发人员可以应用自定义样式并引入客户自己的 AI 数据，并在见解小组件中显示这些数据（使用或不使用 Azure AI 视频索引器见解）。

部署在美国中北部、美国西部和加拿大中部的 Azure AI 视频索引器

现在可以在美国中北部、美国西部和加拿大中部区域创建 Azure AI 视频索引器付费帐户。

语音转文本 (STT)、翻译和搜索支持新的源语言

Azure AI 视频索引器现在支持丹麦语（'da-DK'）、挪威语（'nb-NO'）、瑞典语（'sv-标准版'）、芬兰语（'fi-FI'）、加拿大法语（'fr-CA'）、泰国语（'th-TH'）、阿拉伯语（'ar-BH'）、 “ar-EG”、“ar-IQ”、“ar-JO”、“ar-KW”、“ar-LB”、“ar-OM”、“ar-QA”、“ar-S”和“ar-SY”）和土耳其（'tr-TR'）。 这些语言在 API 和 Azure AI 视频索引器网站中均可用。

Azure AI 视频索引器网站中的主题搜索

现在可以使用 Azure AI 视频索引器网站页面顶部的搜索功能来搜索具有特定主题的视频。

2021 年 2 月

多个帐户所有者

帐户所有者角色已添加到 Azure AI 视频索引器。 可以添加、更改和删除用户；更改其角色。 有关如何共享帐户的详细信息，请参阅邀请用户。

音频事件检测（公共预览版）

注意

仅在试用帐户中提供此功能。

Azure AI 视频索引器现在在内容的非语音段中检测到以下音频效果：枪声、玻璃粉碎、警报、警笛、爆炸、狗树皮、尖叫、笑声、人群反应（欢呼、鼓掌和嘘声）和沉默。

通过选择“高级选项”->“高级音频”预设（在“视频 + 音频索引”下），可在编制文件索引时使用新添加的音频效果功能。 标准索引将仅包括沉默和人群反应。

现在，将之前音频效果模型中包含的拍手事件类型作为人群反应事件类型的一部分提取。

选择在 Azure AI 视频索引器网站上查看视频见解时，音频效果会显示在页面上。

命名实体增强功能

人员和位置提取列表总体上得到扩展和更新。

此外，该模型现在包括背景中不出名的人和位置，如视频中的“Sam”或“Home”。

2021 年 1 月

Azure AI 视频索引器部署在美国政府云上

现在可以在弗吉尼亚州和亚利桑那地区的美国政府云上创建 Azure AI 视频索引器付费帐户。 Azure AI 视频索引器试用版产品/服务在提及区域中不可用。 有关详细信息，请转到 Azure AI 视频索引器文档。

部署在印度中部区域的 Azure AI 视频索引器

现在可以在印度中部区域创建 Azure AI 视频索引器付费帐户。

Azure AI 视频索引器网站体验的新深色模式

Azure AI 视频索引器网站体验现在以深色模式提供。 若要启用深色模式，请打开设置面板，然后启用“深色模式”选项。

2020 年 12 月

部署在瑞士西部和瑞士北部的 Azure AI 视频索引器

现在可以在瑞士西部和瑞士北部区域创建 Azure AI 视频索引器付费帐户。

2020 年 10 月

计划的 Azure AI 视频索引器网站身份验证更改

从 2021 年 3 月 1 日起，你将无法使用 Facebook 或 LinkedIn 注册并登录到 Azure AI 视频索引器网站开发人员门户 。

你将能够使用以下提供程序之一注册和登录：Entra ID、Microsoft 和 Google。

注意

连接到 LinkedIn 和 Facebook 的 Azure AI 视频索引器帐户在 2021 年 3 月 1 日之后无法访问。

应 邀请 Entra ID、Microsoft 或 Google 将自己的电子邮件发送到 Azure AI 视频索引器帐户，以便你仍然可以访问。 可以添加受支持提供商的其他所有者，如邀请中所述。
或者，可以创建付费帐户并迁移数据。

2020 年 8 月

Azure AI 视频索引器网站的移动设计

Azure AI 视频索引器网站体验现在支持移动设备。 用户体验可以快速适应你的移动屏幕尺寸（不包括自定义 UI）。

辅助功能改进和 bug 修复

作为 WCAG（Web 内容辅助功能指南）的一部分，Azure AI 视频索引器网站体验与 C 级一致，作为 Microsoft 辅助功能标准的一部分。 解决了与键盘导航、编程访问和屏幕阅读器相关的多个 bug 并进行了与此相关的多项改进。

2020 年 7 月

用于多语言识别的正式发布版

多语言识别已从预览版变为正式发布版，并可投入生产性使用。

与“预览版到正式发布”过渡没有定价影响。

Azure AI 视频索引器网站改进

视频库中的调整

添加了新的搜索栏，可提供具有附加筛选功能的深度见解搜索。 搜索结果也得到增强。

新的列表视图可以对具有多个文件的视频存档进行排序和管理。

便于选择和配置的新面板

添加了便于进行选择和用户配置的侧面板，从而实现简单快速的帐户创建和共享以及设置配置。

侧面板还用于用户首选项和帮助。

2020 年 6 月

按主题搜索

现在，可以使用搜索 API 搜索具有特定主题的视频（仅限 API）。

主题作为 textScope（可选参数）的一部分添加。 有关详细信息，请参阅 API。

标签增强功能

标签标记器已升级，现在包括更多可以识别的视觉标签。

2020 年 5 月

在美国东部部署的 Azure AI 视频索引器

现在可以在美国东部区域创建 Azure AI 视频索引器付费帐户。

Azure AI 视频索引器 URL

Azure AI 视频索引器区域终结点全部统一，仅从 www 开始。 不需要任何操作项。

从现在起，你可以访问 www.videoindexer.ai 它是用于嵌入小组件还是登录到 Azure AI 视频索引器 网站。

同时，wus.videoindexer.ai 将重定向到 www。 在应用中嵌入 Azure AI 视频索引器小组件中提供了详细信息。

2020 年 4 月

新的小组件参数功能

见解小组件包括新参数 language 和 control。

播放机小组件具有新的 locale 参数。 locale 和 language 参数控制播放机的语言。

有关详细信息，请参阅小组件类型部分。

新播放机外观

推出了具有更新设计的新播放机外观。

为即将推出的更改做好准备

• 目前，以下 API 返回 account 对象：

  • Create-Paid-Account
  • Get-Account
  • Get-Accounts-Authorization
  • Get-Accounts-With-Token

  Account 对象具有指向 Url Azure AI 视频索引器网站位置的字段。 对于付费帐户，Url 字段目前指向内部 URL，而不是公共网站。 在接下来的几周内，我们将对其进行更改，并返回 所有帐户的 Azure AI 视频索引器网站 URL（试用和付费）。

  不要使用内部 URL，应使用 Azure AI 视频索引器公共 API。

• 如果要在应用程序中嵌入 Azure AI 视频索引器 URL，并且 URL 不指向 Azure AI 视频索引器网站或 Azure AI 视频索引器 API 终结点（而不是区域终结点），https://api.videoindexer.aihttps://wus2.videoindexer.ai请重新生成 URL。

  为此，可执行以下任一操作：

  • 将 URL 替换为指向 Azure AI 视频索引器小组件 API 的 URL（例如 见解小组件）

  • 使用 Azure AI 视频索引器网站生成新的嵌入式 URL：

    按 Play 访问视频的页面 -> 选择 </> 嵌入 按钮 -> 将 URL 复制到应用程序中：

  区域 URL 不受支持，将在未来几周内被阻止。

2020 年 1 月

针对其他语言的自定义语言支持

Azure AI 视频索引器现在支持用于和en-AU（仅 API）的自定义语言模型。ar-SYen-UK

删除帐户操作时间范围更新

现在，删除帐户操作会在 90 天内（而不是 48 小时内）删除帐户。

新的 Azure AI 视频索引器 GitHub 存储库

现在提供了一个新的 Azure AI 视频索引器 GitHub，其中包含不同的项目、入门指南和代码示例： https://github.com/Azure-Samples/media-services-video-indexer

Swagger 更新

Azure AI 视频索引器将统 一身份验证 和 操作 集成到单个 Azure AI 视频索引器 OpenAPI 规范（swagger）中。 开发人员可以在 Azure AI 视频索引器开发人员门户中找到 API。

2019 年 12 月

使用新 API 更新脚本

使用 Update-Video-Index API 更新脚本中的特定部分。

修复 Azure AI 视频索引器网站的帐户配置

现在，可以更新媒体服务连接配置，以自助解决以下问题：

• 不正确的 Azure 媒体服务资源
• 密码更改
• 媒体服务资源在订阅之间移动

若要修复帐户配置，请在 Azure AI 视频索引器网站中导航到“设置>帐户”选项卡（作为所有者）。

配置自定义视觉帐户

使用 Azure AI 视频索引器网站在付费帐户上配置自定义视觉帐户（以前，API 仅支持此帐户）。 为此，请登录到 Azure AI 视频索引器网站，选择“模型自定义 ><模型>> 配置”。

场景、镜头和关键帧现在位于一个见解窗格中

场景、镜头和关键帧现已合并为一个见解，以方便使用和导航。 选择所需的场景后，可以看到它包含的镜头和关键帧。

关于长视频名称的通知

当视频名称超过 80 个字符时，Azure AI 视频索引器在上传时显示描述性错误。

“流式处理终结点已禁用”通知

禁用流式处理终结点后，Azure AI 视频索引器将在播放器页上显示描述性错误。

错误处理改进

状态代码 409 现在将从重新索引视频和更新视频索引 API 返回，以防视频被主动编制索引，以防止意外重写当前重新索引更改。

2019 年 11 月

• 韩语自定义语言模型支持

  Azure AI 视频索引器现在支持 API 和门户中的韩国语（ko-KR）自定义语言模型。

• 语音转文本 (STT) 支持新语言

  Azure AI 视频索引器 API 现在支持阿拉伯语 Levantine（ar-SY）、英国英语区域语言（en-GB）和英语澳大利亚区域语言（en-AU）中的 STT。

  对于视频上传，我们将 zh-HANS 替换为 zh-CN，两者均受支持，但建议使用 zh-CN 且其更加准确。

2019 年 10 月

• 在库中搜索动画角色

  现在，为动画角色编制索引时，可以在帐户的视频库中搜索它们。

2019 年 9 月

在 IBC 2019 上宣布多项改进：

• 动画角色识别（公共预览版）

  通过与自定义视觉集成，可以检测、分组并识别动画内容中的角色。

• 多语言识别（公共预览版）

  检测音轨中包含多种语言的片段，并基于它们创建多语言脚本。 初始支持：英语、西班牙语、德语和法语。 有关详细信息，请参阅自动识别和转录多语言内容。

• 人员和位置的命名实体提取

  通过自然语言处理 (NLP) 从语音和视觉文本中提取品牌、位置和人员。

• 编辑镜头类型分类

  使用编辑类型标记镜头，例如特写、中景镜头、双人镜头、室内、室外等。有关详细信息，请参阅编辑镜头类型检测。

• 主题推理增强功能 - 现在涵盖级别 2

  主题推理模型现在支持 IPTC 分类的更深粒度。 在 Azure 媒体服务的全新 AI 支持的创新中阅读完整详细信息。

2019 年 8 月更新

部署在英国南部的 Azure AI 视频索引器

现在可以在英国南部区域创建 Azure AI 视频索引器付费帐户。

新的编辑镜头类型见解可用

视频镜头中添加的新标记可提供编辑“镜头类型”，以使用内容创建工作流中的常用编辑短语对其进行标识，例如：极致特写、特写、广角镜头、中景镜头、双人镜头、室外、室内、左脸和右脸（在 JSON 中可用）。

新人员和位置实体提取可用

Azure AI 视频索引器通过视频的 OCR 和听录中的自然语言处理（NLP）标识命名位置和人员。 Azure AI 视频索引器使用机器学习算法识别特定位置（例如，埃菲尔铁塔）或人员（例如 John Doe）在视频中被调用。

以本机分辨率提取关键帧

Azure AI 视频索引器提取的关键帧在视频的原始分辨率中可用。

用于训练图像中的自定义人脸模型的正式发布版

图像人脸训练从预览模式变为正式发布版（通过 API 和门户提供）。

注意

没有与“预览版到正式发布版”过渡相关的价格影响。

隐藏库切换选项

用户可以选择在门户中隐藏库选项卡（类似于隐藏示例选项卡）。

最大 URL 大小已增加

编制视频索引时支持 4096 个字符（而不是 2048 个）的 URL 查询字符串。

多语言项目支持

现在可以根据以不同语言编制索引的视频创建项目（仅限 API）。

2019 年 7 月

编辑器作为小组件

Azure AI 视频索引器 AI 编辑器现已作为要嵌入到客户应用程序中的小组件提供。

通过门户更新隐藏式字幕文件的自定义语言模型

客户可以在门户的自定义页中提供 VTT、SRT 和 TTML 文件格式作为语言模型的输入。

2019 年 6 月

部署到日本东部的 Azure AI 视频索引器

现在可以在日本东部区域创建 Azure AI 视频索引器付费帐户。

创建和修复帐户 API（预览版）

添加了新的 API，使你可以更新 Azure 媒体服务连接终结点或密钥。

改进上传时的错误处理

如果基础 Azure 媒体服务帐户配置错误，将返回描述性消息。

播放机时间线关键帧预览

现在，可以查看播放机时间线上每个时间的图像预览。

编辑器准选择

现在，可以查看因在编辑器中选择特定见解时间范围而选中的所有见解的预览。

2019 年 5 月

从隐藏式字幕文件更新自定义语言模型

创建自定义语言模型和更新自定义语言模型 API 现在支持使用 VTT、SRT 和 TTML 文件格式作为语言模型的输入。

调用更新视频脚本 API 时，脚本会自动添加。 与视频关联的训练模型也会自动更新。 有关如何自定义和训练语言模型的信息，请参阅 使用 Azure AI 视频索引器自定义语言模型。

新的下载脚本格式 - TXT 和 CSV

除了已支持的描述文字格式（SRT、VTT 和 TTML），Azure AI 视频索引器现在还支持下载 TXT 和 CSV 格式的脚本。