ビジュアル アシスタント

App Service
ボット サービス
Language Understanding

ソリューションのアイデア

さらなる情報、実装の詳細、価格ガイダンス、コード例を追加してこの記事を拡張することをお望みの場合は、GitHub のフィードバックでご連絡ください。

ビジュアル アシスタントは、名刺の読み取り、バーコードの識別、人気の人物、場所、オブジェクト、アートワーク、モニュメントの認識などの機能を使用して、画像の内容に基づいて豊富な情報を提供します。

アーキテクチャ

アーキテクチャ図 このアーキテクチャの SVG をダウンロードしてください。

データ フロー

  1. ユーザーが、モバイル アプリや Web アプリを使用してボットと対話します。
  2. ボットは、アプリケーションに組み込まれている LUIS を使用して、ユーザーの意図や会話のコンテキストを理解します。
  3. ボットから Bing Visual Search API にビジュアル コンテキスト (つまり画像) が渡されます。
  4. ボットが Bing Entity Search から追加情報を取得して、人物、場所、アートワーク、モニュメント、オブジェクトに関する豊富なコンテキストを入手します。
  5. ボットがバーコードに関する追加情報を取得します。
  6. 必要に応じて、ボットが Bing Custom Search API を使用して、対象のドメインからのみ、バーコード/クエリに関する詳細情報を取得します。
  7. ビジュアル アシスタントが、対象のドメインから類似する製品/目的地を表示したり、有名人/場所/モニュメント/アートワークに関する詳細情報を提供したりします。

コンポーネント

  • Azure App Service: Web アプリ、REST API、モバイル バックエンドをホストするためのフル マネージド HTTP ベース サービス
  • Azure Bot Service: データの制御を維持しながら、お客様のエクスペリエンスを強化するエンタープライズレベルのインテリジェントなボットを開発します
  • Bing Custom Search: Bing の強力な優先度付けとグローバル規模の検索インデックスを使用して、ビジネス ニーズに合ったカスタマイズ検索を構築します
  • Bing Entity Search: 最も関連性の高いものを特定して、既存のコンテンツに対してディープ ナレッジ検索を実行します
  • Bing Visual Search: 画像から視覚的な分析情報を検索します
  • Bing Web Search: インテリジェントな検索機能をアプリに組み込み、1 回の API 呼び出しで何十億もの Web ページ、画像、動画、ニュースをくまなく探すことができます
  • Language Understanding Intelligence Service (LUIS): アプリ、ボット、IoT デバイスに自然言語を構築します

次のステップ