Идеи решения
Эта статья является идеей решения. Если вы хотите расширить содержимое с дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам, предоставив отзыв GitHub.
Это решение представляет визуальный помощник, предоставляющий широкие сведения, основанные на содержимом изображения.
Архитектура
Скачайте файл Visio для этой архитектуры.
Поток данных
- Пользователи взаимодействуют с ботом через мобильное приложение или веб-приложение.
- Бот использует Распознавание речи Intelligence Service (LUIS), встроенную в приложение, для идентификации намерения пользователя и контекста беседы.
- Бот передает визуальный контекст, например изображение, в API визуального поиска Bing.
- Бот получает информацию из API поиска сущностей Bing о людях, местах, произведениях искусства, памятниках и объектах, связанных с изображением.
- Бот получает сведения из штрихкодов.
- При необходимости бот получает дополнительные сведения о штрихкодах или запросах, ограниченных доменом пользователя с помощью API пользовательского поиска Bing.
- Визуальный помощник предоставляет пользователю информацию о связанных продуктах, назначениях, знаменитостях, местах, памятниках и произведениях искусства.
Компоненты
- приложение Azure служба — это полностью управляемая служба HTTP для размещения веб-приложений, REST API и мобильных серверных серверных служб.
- Azure Служба Bot предлагает среду для разработки интеллектуальных и корпоративных ботов, которые обогащают взаимодействие с клиентами. Интегрированная среда также предоставляет способ управления данными.
- API пользовательского поиска Bing предоставляет способ создания настраиваемых интерфейсов поиска с помощью мощного ранжирования И глобального индекса поиска Bing.
- API поиска сущностей Bing предлагает возможности поиска, которые определяют соответствующие сущности, такие как известные люди, места, фильмы, телевизионные шоу, видеоигры, книги и предприятия.
- API визуального поиска Bing возвращает данные, связанные с заданным изображением, например похожими изображениями, источниками покупок для приобретения элемента в изображении и веб-страницами, которые включают изображение.
- API Bing для поиска в Интернете предоставляет результаты поиска после выдачи одного вызова API. Результаты компилируют соответствующую информацию из миллиардов веб-страниц, изображений, видео и новостей.
- Azure Cognitive Service для языка является частью Azure Cognitive Services , которая предлагает множество служб обработки естественного языка.
- Распознавание общения — это функция Cognitive Service для языка. Эта облачная служба API предлагает возможности аналитики машинного обучения для создания диалоговых приложений. Вы можете использовать LUIS для прогнозирования смысла беседы и извлечения релевантной, подробной информации.
Подробности сценария
Это решение представляет визуальный помощник, предоставляющий широкие сведения, основанные на содержимом изображения. Возможности помощник включают чтение бизнес-карта, расшифровку штрихкодов и распознавание известных людей, мест, объектов, произведений искусства и памятников.
Потенциальные варианты использования
Организации могут использовать это решение для предоставления:
- Планирование встреч.
- Отслеживание заказов и доставки в производственных, автомобильных и транспортных приложениях.
- Покупки штрихкода в розничной торговле.
- Обработка платежей в сфере финансов и розничной торговли.
- Продление подписки в розничной торговле.
- Идентификация известных людей, мест, объектов, искусства и памятников, в сфере образования, средств массовой информации и развлечений.
Следующие шаги
Сведения о разработке приложения, которое определяет контекст, важный для вас, см. в кратком руководстве. Создание проекта обнаружения объектов с помощью клиентской библиотеки Пользовательское визуальное распознавание.
Сведения о возможностях поиска, которые предоставляет Bing, см . в семействе API-интерфейсов поиска Bing.
Сведения о сборке LUIS в боте см. в статье "Добавление распознавания естественного языка" в бот.
Сведения о том, как работает LUIS, см. в статье "Создание языковой модели с помощью беседы Распознавание речи".
Сведения о сборке с помощью Служба Bot см. в статье "Создание бота с помощью языковой службы и Azure Служба Bot".
Сведения о создании бота, включающего QnA Maker и Служба Bot, см. в статье "Создание решений искусственного интеллекта для общения".
Чтобы укрепить понимание LUIS, Служба Bot и API визуального поиска Bing, ознакомьтесь с экзаменами AI-900: Основы ИИ Microsoft Azure.
Чтобы сертифицировать знания о Cognitive Services, см. статью Microsoft Certified: Azure Инженер по ИИ Associate.
Дополнительные сведения о компонентах этого решения см. в следующих ресурсах: