Assistente visivo

Servizio app
Servizio Bot
Language Understanding

Idea della soluzione

Se si desidera vedere questo articolo con altre informazioni, ad esempio potenziali casi d'uso, servizi alternativi, considerazioni sull'implementazione o linee guida sui prezzi, è possibile inviare commenti e suggerimenti GitHub!

L'Assistente visivo fornisce informazioni dettagliate basate sul contenuto dell'immagine con funzionalità come la lettura del biglietto da visita, l'identificazione del codice a barre e il riconoscimento di persone, luoghi, oggetti, illustrazioni e luoghi popolari.

Architettura

Diagramma dell'architettura Scaricare una versione SVG di questa architettura.

Flusso di dati

  1. Gli utenti interagiscono con il bot tramite app per dispositivi mobili o app Web.
  2. Il bot comprende la finalità dell'utente e il contesto di conversazione usando LUIS, integrato nell'applicazione.
  3. Il bot passa il contesto visivo ,ovvero l'immagine, all'API Bing Ricerca visiva personalizzata.
  4. Il bot ottiene informazioni aggiuntive dai Bing Ricerca entità per un contesto ampio su persone, luogo, grafica, casa e oggetti.
  5. Il bot ottiene informazioni aggiuntive per i codici a barre.
  6. Facoltativamente, il bot ottiene altre informazioni su codici a barre/query esclusivamente dal dominio tramite l'API Bing ricerca personalizzata.
  7. L'Assistente visivo esegue il rendering di prodotti/destinazioni simili dal dominio o fornisce altre informazioni su celebrità,luogo/città/grafica.

Componenti

  • Servizio app di Azure:servizio basato su HTTP completamente gestito per l'hosting di app Web, API REST e back-end per dispositivi mobili
  • servizio Azure Bot:sviluppare bot intelligenti di livello aziendale che arricchiscono l'esperienza dei clienti, mantenendo al tempo stesso il controllo dei dati
  • Bing ricerca personalizzata:consente di creare una ricerca personalizzata adatta alle esigenze aziendali con il potente indice di classificazione e di ricerca su scala globale di Bing di Bing
  • Bing Ricerca entità:è possibile creare una ricerca approfondita delle conoscenze nel contenuto esistente identificando i contenuti più rilevanti
  • Bing Ricerca visiva:Trovare informazioni dettagliate visive dalle immagini
  • Bing Ricerca Web:Portare la ricerca intelligente nelle app e sfruttare la possibilità di pettinare miliardi di pagine Web, immagini, video e notizie, il tutto con una singola chiamata API
  • Language Understanding Intelligence Service (LUIS):consente di creare linguaggio naturale in app, bot e dispositivi IoT

Passaggi successivi