使用 Azure AI 视频索引器自定义语言模型

重要

由于Azure 媒体服务停用公告,Azure AI 视频索引器会宣布 Azure AI 视频索引器功能调整。 请参阅 与 Azure 媒体服务(AMS)停用 相关的更改,了解 Azure AI 视频索引器帐户的含义。 请参阅 AMS 停用准备:VI 更新和迁移指南

Azure AI 视频索引器通过与 Microsoft 自定义语音服务集成支持自动语音识别。 可以通过上传适应文本来自定义语言模型。 此文本来自你希望引擎用来适应的词汇的域。 训练模型后,会识别适应文本中显示的新单词,假设默认发音,语言模型会学习新的可能字词序列。 请参阅受支持语言Azure AI 视频索引器语言支持的列表。

例如, “Kubernetes” (在 Azure Kubernetes 服务的上下文中),是一个高度具体的单词。 由于该词对 Azure AI 视频索引器不熟悉,因此它被识别为“社区”。 你需要对模型进行训练,使它将该单词识别为“Kubernetes”。 在其他情况下,这些单词存在,但语言模型不希望它们出现在特定上下文中。 例如, “容器服务” 不是非特定语言模型将识别为特定单词集的 2 字序列。

可通过两种方法自定义语言模型:

  • 选项 1:编辑 Azure AI 视频索引器生成的脚本。 通过编辑和更正脚本,你将训练语言模型,以在未来提供改进的结果。
  • 选项 2:上传文本文件来训练语言模型。 上传的文件可以包含你希望它们在视频索引器脚本中显示的字词列表,也可以包含句子和段落中自然而然包含的相关字词。 由于使用后一种方法可获得更好的结果,因此建议上传文件包含与内容相关的完整句子或段落。

重要

请勿在上传文件中包含当前未正确转录的字词或句子(例如,“communities”),因为这将抵消预期影响。 仅包含希望它们显示的字词(例如“Kubernetes”)。

自定义语言模型最佳做法

Azure AI 视频索引器根据单词组合的概率学习,以便最好地学习:

  • 提供生活中会这样用的真实句子示例,且数量需足够多。
  • 一行仅提供一个句子,不要提供多句话。 否则系统的学习会将句子间的概率纳入考虑。
  • 可以把一个单词作为一个句子来提升单词对其他人, 但系统从完整的句子中学到最好的。
  • 引入新的字或首字母缩略词时,尽可能提供大量完整句子用例,从而为系统提供尽量多的上下文。
  • 尝试使用数个适应选项,看看它们的效果。
  • 避免多次重复一模一样的句子。 多次重复可能会为其余输入带来偏差。
  • 避免包括不常见的符号(~, # @ % &),因为它们将被取消卡。 它们所在的句子也会随之被弃用。
  • 避免输入过大(例如数十万个句子),因为这样做会削弱提升效果。