解决方案构想
本文是一种解决方案构想。 如果你希望我们在内容中扩充更多信息,例如潜在用例、备用服务、实现注意事项或定价指南,请通过提供 GitHub 反馈来告知我们。
此解决方案中的视觉助手可提供基于图像内容的丰富信息。
体系结构
下载此体系结构的 Visio 文件。
数据流
- 用户通过移动应用或 Web 应用与机器人交互。
- 机器人使用语言理解智能服务 (LUIS)(内置于应用程序中)来标识用户意向和聊天上下文。
- 机器人将视觉语境(如图像)传递到必应视觉搜索 API。
- 机器人从必应实体搜索 API 中检索与图像相关的人员、地点、艺术品、纪念碑和对象的信息。
- 机器人从条形码中检索信息。
- 或者,机器人可使用必应自定义搜索 API 检索仅限于用户域的条形码或查询的详细信息。
- 视觉助手会向用户提供与相关产品、目的地、名人、地点、纪念碑和艺术品有关的信息。
组件
- Azure 应用服务是一个完全托管的基于 HTTP 的服务,用于托管 Web 应用、REST API 和移动后端。
- Azure 机器人服务提供一种智能企业级机器人开发环境,可丰富客户体验。 集成环境还提供了一种数据控制维持方法。
- 必应自定义搜索 API 提供了一种使用必应的强大排名和全局缩放搜索索引创建自定义搜索体验的方法。
- 必应实体搜索 API 提供的搜索功能可识别相关实体,例如知名人士、地点、电影、电视节目、视频游戏、书籍和企业。
- 必应视觉搜索 API 返回与给定图像相关的数据,例如类似图像、用于购买图像中商品的购物来源以及包含该图像的网页。
- 必应 Web 搜索 API 在发出单个 API 调用后给出搜索结果。 结果可编译数十亿个网页、图像、视频和新闻中的相关信息。
- 适用于语言的 Azure 认知服务是 Azure 认知服务的一部分,可提供许多自然语言处理服务。
- 对话语言理解是适用于语言的认知服务的一项功能。 此基于云的 API 服务提供机器学习智能功能,用于构建对话式应用。 可使用 LUIS 来预测对话的含义,并提取相关详细信息。
方案详细信息
此解决方案中的视觉助手可提供基于图像内容的丰富信息。 助手的功能包括阅读名片、解密条形码以及识别知名人士、地点、对象、艺术品和纪念碑。
可能的用例
组织可使用此解决方案提供:
- 约会安排。
- 制造、汽车和运输应用中的订单和交货跟踪。
- 零售条形码购物。
- 财务和零售中的付款处理。
- 零售版中的订阅续订。
- 在教育、媒体和娱乐行业,对知名人士、场所、物品、艺术和纪念碑的鉴定。
后续步骤
如需设计一款能够检测对你而言比较重要的上下文的应用,请参阅快速入门:使用自定义视觉客户端库创建对象检测项目。
如需浏览必应提供的搜索功能,请参阅必应系列搜索 API。
如需将 LUIS 构建到机器人中,请参阅向机器人添加自然语言理解。
如需浏览有关 LUIS 工作原理的 Learn 模块,请参阅使用对话语言理解创建语言模型。
如需了解如何用机器人服务创建,请参阅使用语言服务和 Azure 机器人服务创建机器人。
如需创建包含 QnA Maker 和机器人服务的机器人,请参阅创建对话式 AI 解决方案。
如需加深对 LUIS、机器人服务和必应视觉搜索 API 的理解,请参阅考试 AI-900:Microsoft Azure AI 基础知识。
如需认证认知服务知识,请参阅 Microsoft 认证:Azure AI 助理工程师。
若要详细了解此解决方案中的组件,请参阅以下资源: