Pomysły dotyczące rozwiązań
Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.
To rozwiązanie przedstawia asystenta wizualnego, który udostępnia rozbudowane informacje oparte na zawartości obrazu.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
- Użytkownicy korzystają z bota za pośrednictwem aplikacji mobilnej lub aplikacji internetowej.
- Bot używa usługi Language Understanding Intelligence Service (LUIS), która jest wbudowana w aplikację, do identyfikowania intencji użytkownika i kontekstu konwersacyjnego.
- Bot przekazuje kontekst wizualny, taki jak obraz, do interfejsu API wyszukiwania wizualnego Bing.
- Bot pobiera informacje z interfejsu API wyszukiwania jednostek Bing o osobach, miejscach, dziełach sztuki, pomnikach i obiektach powiązanych z obrazem.
- Bot pobiera informacje z kodów kreskowych.
- Opcjonalnie bot uzyskuje więcej informacji na temat kodów kreskowych lub zapytań ograniczonych do domeny użytkownika przy użyciu interfejsu API wyszukiwania niestandardowego Bing.
- Asystent wizualny przedstawia użytkownikowi informacje o powiązanych produktach, miejscach, miejscach, pomnikach i dziełach sztuki.
Elementy
- aplikacja systemu Azure Service to w pełni zarządzana usługa oparta na protokole HTTP do hostowania aplikacji internetowych, interfejsów API REST i zapleczy mobilnych.
- Usługa Azure Bot Service oferuje środowisko do tworzenia inteligentnych botów klasy korporacyjnej, które wzbogacają środowiska klienta. Zintegrowane środowisko zapewnia również możliwość utrzymania kontroli nad danymi.
- Interfejs API wyszukiwania niestandardowego Bing umożliwia tworzenie dostosowanych środowisk wyszukiwania za pomocą zaawansowanego rankingu i indeksu wyszukiwania w skali globalnej usługi Bing.
- Interfejs API wyszukiwania jednostek Bing oferuje funkcje wyszukiwania, które identyfikują odpowiednie jednostki, takie jak znane osoby, miejsca, filmy, programy telewizyjne, gry wideo, książki i firmy.
- Interfejs API wyszukiwania wizualnego Bing zwraca dane powiązane z danym obrazem, takie jak podobne obrazy, źródła zakupów do zakupu elementu na obrazie i strony internetowe zawierające obraz.
- Interfejs API wyszukiwania w sieci Web Bing udostępnia wyniki wyszukiwania po wystąpieniu pojedynczego wywołania interfejsu API. Wyniki kompilować odpowiednie informacje z miliardów stron internetowych, obrazów, filmów wideo i wiadomości.
- Usługa Azure Cognitive Service for Language jest częścią usług Azure Cognitive Services , która oferuje wiele usług przetwarzania języka naturalnego.
- Znajomość języka konwersacyjnego to funkcja usługi Cognitive Service for Language. Ta oparta na chmurze usługa interfejsu API oferuje możliwości analizy uczenia maszynowego na potrzeby tworzenia aplikacji konwersacyjnych. Usługa LUIS umożliwia przewidywanie znaczenia konwersacji i wyciąganie odpowiednich, szczegółowych informacji.
Szczegóły scenariusza
To rozwiązanie przedstawia asystenta wizualnego, który udostępnia rozbudowane informacje oparte na zawartości obrazu. Możliwości asystenta obejmują odczytywanie wizytówek, rozszyfrowywanie kodów kreskowych i rozpoznawanie znanych osób, miejsc, obiektów, dzieł sztuki i zabytków.
Potencjalne przypadki użycia
Organizacje mogą korzystać z tego rozwiązania w celu zapewnienia:
- Planowanie terminów.
- Śledzenie zamówień i dostaw w aplikacjach produkcyjnych, motoryzacyjnych i transportowych.
- Zakupy kodów kreskowych w sprzedaży detalicznej.
- Przetwarzanie płatności w finansach i sprzedaży detalicznej.
- Odnowienia subskrypcji w sprzedaży detalicznej.
- Identyfikacja znanych ludzi, miejsc, przedmiotów, sztuki i zabytków, w branży edukacyjnej, mediów i rozrywki.
Następne kroki
Aby zaprojektować aplikację, która wykrywa kontekst, który ma znaczenie, zobacz Szybki start: tworzenie projektu wykrywania obiektów przy użyciu biblioteki klienta usługi Custom Vision.
Aby zapoznać się z funkcjami wyszukiwania oferowanymi przez usługę Bing, zobacz Rodzina interfejsów API wyszukiwania Bing.
Aby skompilować usługę LUIS w bota, zobacz Dodawanie interpretacji języka naturalnego do bota.
Aby zapoznać się z modułem Dowiedz się, jak działa usługa LUIS, zobacz Create a language model with Conversational Language Understanding (Tworzenie modelu językowego przy użyciu usługi Conversational Language Understanding).
Aby dowiedzieć się, jak kompilować za pomocą usługi Bot Service, zobacz Tworzenie bota przy użyciu usługi językowej i usługi Azure Bot Service.
Aby utworzyć bota, który zawiera usługę QnA Maker i Bot Service, zobacz Tworzenie rozwiązań konwersacyjnej sztucznej inteligencji.
Aby lepiej zrozumieć usługi LUIS, bot service i interfejs API wyszukiwania wizualnego Bing, zobacz Egzamin AI-900: Podstawy sztucznej inteligencji platformy Microsoft Azure.
Aby certyfikować swoją wiedzę na temat usług Cognitive Services, zobacz Microsoft Certified: Azure inżynierowie AI Associate.
Aby dowiedzieć się więcej o składnikach w tym rozwiązaniu, zobacz następujące zasoby:
- Omówienie usługi App Service
- Dokumentacja usługi Azure Bot Service
- Co to jest wyszukiwanie niestandardowe Bing?
- Co to jest interfejs API wyszukiwania jednostek Bing?
- Co to jest interfejs API wyszukiwania wizualnego Bing?
- Co to jest interfejs API wyszukiwania w Internecie Bing?
- Co to jest usługa Language Understanding (LUIS)?