Visuell assistent

App Service
Bot Service
Language Understanding

Lösnings idé

Om du vill se den här artikeln med mer information, implementerings information, prissättnings vägledning eller kod exempel kan du berätta för oss med GitHub feedback!

Visuell assistent ger omfattande information baserat på bildens innehåll med funktioner som att läsa visitkort, identifiera streckkoder och identifiera populära personer, platser, objekt, konstverk och kändisar.

Arkitektur

Arkitekturdiagram – Ladda ned en SVG för den här arkitekturen.

Dataflöde

  1. Användare interagerar med roboten via mobilapp eller webbapp.
  2. Roboten förstår användarens avsikt och konversationskontext med hjälp av LUIS, som är inbyggt i programmet.
  3. Roboten skickar visuell kontext (det vill säga bild) till Visuell sökning i Bing API.
  4. Roboten hämtar ytterligare information Entitetssökning i Bing för omfattande kontext på människor, plats, konstverk, konstverk och objekt.
  5. Roboten hämtar ytterligare information om streckkoder.
  6. Roboten kan också få mer information om streckkoder/frågor exklusivt från din domän via Anpassad Bing-sökning-API:et.
  7. Visual Assistant återger liknande produkter/mål från din domän eller ger mer information om kändisar/platser/restauranger/konstverk.

Komponenter

  • Azure App Service:En fullständigt hanterad HTTP-baserad tjänst som är värd för webbappar, REST API:er och mobila serverdels
  • Azure Bot Service:Utveckla intelligenta robotar i företagsklass som berikar din kundupplevelse samtidigt som du behåller kontrollen över dina data
  • Anpassad Bing-sökning:Skapa anpassad sökning som passar dina affärsbehov med Bings kraftfulla sökindex för rangordning och global skalning
  • Entitetssökning i Bing:Infuse a deep knowledge search into your existing content by identifying the most relevant
  • Visuell sökning i Bing:Hitta visuella insikter från dina bilder
  • Webbsökning i Bing:Använd intelligent sökning i dina appar och utnyttja möjligheten att kombinera flera miljarder webbsidor, bilder, videor och nyheter – allt med ett enda API-anrop
  • Language Understanding Intelligence Service (LUIS):Skapa naturligt språk i appar, robotar och IoT-enheter

Nästa steg