Virtueller Assistent – ÜbersichtVirtual Assistant Overview

ÜbersichtOverview

Kunden und Partner haben Bedarf an einem Konversationsassistenten, der auf ihre Marke zugeschnitten, auf ihre Benutzer ausgerichtet und für diverse Canvas und Geräte verfügbar ist.Customers and partners have a significant need to deliver a conversational assistant tailored to their brand, personalized to their users, and made available across a broad range of canvases and devices.

Mit der Open Source-Lösung für virtuelle Assistenten wird der Open Source-Ansatz von Microsoft für das Bot Framework SDK fortgeführt. Sie verfügen hiermit über eine Reihe von grundlegenden Funktionen und die vollständige Kontrolle über die Endbenutzererfahrung.Continuing Microsoft's open-sourced approach towards the Bot Framework SDK, the open-source Virtual Assistant solution provides you with a set of core foundational capabilities and full control over the end user experience.

Diese Vorlage umfasst die vorherige Unternehmensvorlage und vereint alle bewährten Methoden und unterstützenden Komponenten, die beim Entwickeln von Konversationsumgebungen ermittelt wurden. Darüber hinaus wird die Erstellung eines neuen Botprojekts erheblich vereinfacht, z. B. aufgrund der folgenden Vorteile: einfache Konversationsabsichten, Dispatch-Integration, QnA Maker, Application Insights und automatisierte Bereitstellung.This template incorporates the previous Enterprise Template and brings together all of the best practices and supporting components identified through building conversational experiences and greatly simplifies the creation of a new bot project including: basic conversational intents, Dispatch integration, QnA Maker, Application Insights and an automated deployment.

Wir sind davon überzeugt, dass unsere Kunden ihre Kundenbeziehungen und -erkenntnisse besitzen und über Erweiterungsmöglichkeiten dafür verfügen sollten.We strongly believe our customers should own and enrich their customer relationships and insights. Deswegen können unsere Kunden und Partner die Benutzeroberfläche für alle virtuellen Assistenten vollständig steuern, indem sie den Open-Source-Code auf GitHub verwenden.Therefore, any Virtual Assistant provides complete control of the user experience to our customers and partners through open-sourcing the code on GitHub. Name, Stil und Typ können individuell an die Organisation angepasst werden.The name, voice and personality can be changed to suit the organization’s needs. Mit unserer Lösung für virtuelle Assistenten wird die Erstellung Ihres eigenen Assistenten vereinfacht. Sie können in wenigen Minuten starten und die Lösung dann erweitern, indem Sie unsere End-to-End-Tools für die Entwicklung nutzen.Our Virtual Assistant solution simplifies creation of your own assistant enabling you to get started in minutes and then extended using our end to end development tooling.

Der Funktionsumfang des virtuellen Assistenten ist breit gefächert und bietet Endbenutzern eine große Auswahl an Funktionen.The scope of Virtual Assistant functionality is broad, typically offering end users a range of capabilities. Um die Produktivität von Entwicklern zu steigern und ein aktives Ökosystem aus wiederverwendbaren Konversationserfahrungen zu schaffen, stellen wir Entwicklern Beispiele für Konversationsfähigkeiten zur Verfügung, die wiederverwendet werden können.To increase developer productivity and to enable a vibrant ecosystem of reusable conversational experiences, we are providing developers initial examples of reusable conversational skills. Diese Fähigkeiten können in eine Konversationsanwendung integriert werden, um bestimmte Konversationen aufzulockern – etwa die Suche nach einem Point of Interest oder die Interaktion mit Kalendern, Aufgaben, E-Mails und Ähnlichem.These Skills can be added into a conversational application to lighten up a specific conversation experience, such as finding a point of interest, interacting with calendar, tasks, email and many other scenarios. Die Fähigkeiten sind vollständig anpassbar und umfassen Sprachmodelle für mehrere Sprachen, Dialoge und Code.Skills are fully customizable and consist of language models for multiple languages, dialogs and code.

Virtueller Assistent – Diagramm

Erste SchritteGetting Started

Lesen Sie die Dokumentation zum Virtuellen Assistenten und zu den Fähigkeiten, um ausführlichere Informationen zu erhalten.Explore the Virtual Assistant and Skills documentation for more detailed information.

LieferumfangWhat's in the box

Die Vorlage für den Virtuellen Assistenten beinhaltet eine Reihe von Best Practices, die wir im Rahmen der Erstellung von Konversationsumgebungen ermittelt haben, und automatisiert die Integration von Komponenten, die unserer Erfahrung nach für Bot Framework-Entwickler besonders hilfreich sind.The Virtual Assistant Template brings together a number of best practices we've identified through the building of conversational experiences and automates integration of components that we've found to be highly beneficial to Bot Framework developers. Dieser Abschnitt enthält einige Hintergrundinformationen zu zentralen Entscheidungen, um die Gründe für die Funktionsweise der Vorlage zu erläutern.This section covers some background to key decisions to help explain why the template works the way it does.

Die Vorlage für den virtuellen Assistenten enthält jetzt die Funktionen der vorherigen Unternehmensvorlage wie etwa einfache Konversationsabsichten in mehreren Sprachen, Dispatching, QnA und Konversationserkenntnisse.The Virtual Assistant template now incorporates the previous Enterprise Template capabilities including base conversational intents in multiple languages, Dispatching, QnA, and conversational insights. Aktuell werden folgende Assistentenfunktionen bereitgestellt. Weitere sind bereits geplant. Wir arbeiten bei der Roadmap eng mit Kunden und Partnern zusammen.The following Assistant related capabilities are provided at this time; further capabilities are planned and we'll be working closely with customers and partners to help inform the roadmap.

FeatureFeature BESCHREIBUNGDescription
OnboardingOnboarding Ein Beispiel für einen Onboarding-Ablauf, mit dem Ihr Assistent den Benutzer begrüßen und erste Informationen sammeln kann.An example OnBoarding flow enabling your Assistant to greet the user and collect initial information.
EreignisarchitekturEventing Architecture Mit Ereignissen im Kontext des virtuellen Assistenten kann die Clientanwendung, die den Assistenten hostet (in einem Webbrowser oder auf einem Gerät wie etwa einem Fahrzeug oder Lautsprecher), Informationen zu Benutzer- oder Geräteereignissen austauschen, während außerdem Ereignisse zur Ausführung von Gerätevorgängen empfangen werden.Events in the context of the Virtual Assistant enable the client application hosting the assistant (in a web-browser or on a device such as a car or speaker) to exchange information about the user or device events while also receiving events to perform device operations.
Verknüpfte KontenLinked Accounts In einem Szenario mit Sprachsteuerung ist es für einen Benutzer nicht praktisch, seinen Benutzernamen und das Kennwort einzugeben, um Systeme über Sprachbefehle zu unterstützen.In a speech-led scenario it's not practical for a user to enter their username and password for supporting systems through voice commands. Aus diesem Grund kann sich der Benutzer über eine separate Begleitoberfläche anmelden und für einen virtuellen Assistenten die Berechtigung zum Abrufen von Token zur späteren Verwendung erteilen.Therefore, a separate companion experience provides an opportunity for the user to signin and provide permission for an Virtual Assistant to retrieve tokens for later use.
Aktivierung von FähigkeitenSkill Enablement Es gibt heutzutage viele allgemeine Funktionen, die von Entwicklern selbst erstellt werden müssen.A broad set of common capabilities exist today, which require each developer to build themselves. Unsere Lösung für virtuelle Assistenten enthält eine neue Funktion für Fähigkeiten, mit der neue Funktionen per Konfiguration in einen virtuellen Assistenten eingefügt werden können. Außerdem ist ein Authentifizierungsmechanismus vorhanden, mit dem für Fähigkeiten Token für nachgeschaltete Aktivitäten angefordert werden können.Our Virtual Assistant solution includes a new Skill capability enabling new capabilities to be plugged into an Virtual Assistant through configuration only and provide an authentication mechanism for Skills to request tokens for down-stream activities.
Fähigkeit „Point of Interest“Point of Interest Skill Bei der in der Vorschauphase befindlichen Fähigkeit „Point of Interest“ (PoI) wird ein umfassendes Sprachmodell zum Finden von Points of Interest und zum Anfordern einer Wegbeschreibung bereitgestellt.The preview Point of Interest (PoI) skill provides a comprehensive language model for finding points of interest and requesting directions. Die Fähigkeit ermöglicht derzeit die Integration in Azure Maps.The skill currently provides integration into Azure Maps.
Fähigkeit „Kalender“Calendar Skill Bei der in der Vorschauphase befindlichen Fähigkeit „Kalender“ wird ein umfassendes Sprachmodell für allgemeine kalenderbezogene Aktivitäten bereitgestellt. Die Fähigkeit ist derzeit in Microsoft Graph (Office 365/Outlook.com) integriert. Die Unterstützung von Google-APIs folgt in Kürze.The preview Calendar Skill provides a comprehensive language model for common calendar related activities, The skill is currently integrated into Microsoft Graph (Office 365/Outlook.com) with support for Google APIs to follow soon.
Fähigkeit „E-Mail“Email Skill Bei der in der Vorschauphase befindlichen Fähigkeit „E-Mail“ wird ein umfassendes Sprachmodell für allgemeine E-Mail-bezogene Aktivitäten bereitgestellt. Die Fähigkeit ist derzeit in Microsoft Graph (Office 365/Outlook.com) integriert, und die Unterstützung für Google-APIs folgt in Kürze.The preview Email Skill provides a comprehensive language model for common email related activities, The skill is currently integrated into Microsoft Graph (Office 365/Outlook.com) with support for Google APIs to follow soon.
Fähigkeit „Aufgaben“To Do Skill Bei der in der Vorschauphase befindlichen Fähigkeit „Aufgaben“ wird ein umfassendes Sprachmodell für allgemeine aufgabenbezogene Aktivitäten bereitgestellt. Die Fähigkeit ist derzeit in OneNote integriert. Die Unterstützung von Microsoft Graph (outlookTask) folgt in Kürze.The preview To Do Skill provides a comprehensive language model for common task related activities, The skill is currently integrated into OneNote with Microsoft Graph (outlookTask) support to follow soon.
GeräteintegrationDevice Integration Unsere Azure Bot Service SDKs (DirectLine) ermöglichen zusammen mit SDKs für adaptive Karten und Sprachsteuerung eine einfache plattformübergreifende Integration in Geräte.Our Azure Bot Service SDKs (DirectLine) along with Adaptive Card and Speech SDKs enable easy cross-platform integration to devices. Zusätzliche Beispiele für die Geräteintegration und Plattformen mit Edge sind geplant.Additional device integration examples and platform including Edge are planned.
TestumgebungenTest Harnesses Zusätzlich zum Bot Framework Emulator wird eine WebChat-basierte Testumgebung bereitgestellt, mit der komplexere Authentifizierungsszenarien getestet werden können.In addition to the Bot Framework Emulator, a WebChat based test harness is provided enabling more complex authentication scenarios to be tested. In einer einfachen konsolenbasierten Testumgebung wird der Ansatz zum Austauschen von Nachrichten veranschaulicht, um die Einfachheit der Geräteintegration zu verdeutlichen.A simple Console based test harness demonstrates the approach to exchange messages to help frame the ease of device integration.
Automatisierte BereitstellungAutomated Deployment Alle für Ihren Assistenten erforderlichen Azure-Ressourcen werden automatisch bereitgestellt: Botregistrierung, Azure App Service, LUIS, QnA Maker, Content Moderator, Cosmos DB, Azure Storage und Application Insights.All the Azure resources required for your Assistant are automatically deployed: Bot registration, Azure App Service, LUIS, QnAMaker, Content Moderator, CosmosDB, Azure Storage, and Application Insights. Darüber hinaus werden LUIS-Modelle für alle Fähigkeiten, QnAMaker und Dispatchmodelle erstellt, trainiert und veröffentlicht, um das sofortige Testen zu ermöglichen.Additionally, LUIS models for all skills, QnAMaker, and Dispatch models are created, trained, and published to enable immediate testing.
Sprachmodell für AutomobilindustrieAutomotive Language Model Ein Sprachmodell für die Automobilindustrie, mit dem Kernbereiche wie Telefonie, Navigation und Steuerung von Fahrzeugfunktionen abgedeckt werden, ist in Kürze verfügbar.An Automotive language model covering core domains such as telephone, navigation and control of in-car features is coming soon.

BeispielszenarienExample Scenarios

Der benutzerdefinierte Assistent ist für viele verschiedene Branchenszenarien geeignet.The Virtual Assistant extends across a broad number of industry scenarios. Im Anschluss finden Sie einige Beispielszenarien zu Referenzzwecken.Some example scenarios are shown below for reference purposes.

  • Automobilindustrie: Persönlicher Assistent mit Sprachsteuerung, der in das Fahrzeug integriert ist und es Endbenutzern ermöglicht, herkömmliche Vorgänge wie Navigation und Radiobedienung in Fahrzeugen durchzuführen, gleichzeitig aber auch für Produktivitätsfunktionen wie etwa das Verschieben von Besprechungen bei Verspätung oder das Hinzufügen von Einträgen zur Aufgabenliste sowie für proaktive Szenarien geeignet ist, in denen das Fahrzeug basierend auf Ereignissen bestimmte Aufgaben vorschlägt (etwa beim Starten des Motors, auf der Fahrt nach Hause oder bei Aktivierung des Tempomats).Automotive Industry: Voice enabled Personal Assistant integrated into the car providing end users the ability to perform traditional car operations (e.g. navigation, radio) along with productivity focused scenarios such as moving meetings when you're running late, adding items to your task list and proactive experiences where the car can suggest tasks to complete based on events such as starting the engine, traveling home or enabling cruise control. Adaptive Karten werden in der Head-Up-Einheit gerendert, und die Sprachintegration erfolgt über Interaktionen per Push-To-Talk oder Aktivierungswort.Adaptive Cards are rendered within the Head Unit and speech integration performed through Push-To-Talk or Wake Word interactions.

  • Hotel- und Gaststättengewerbe: Persönlicher Assistent mit Sprachsteuerung, der in ein Gerät im Hotelzimmer integriert ist und ein breites Spektrum an Szenarien für das Hotelgewerbe unterstützt. Hierzu zählen beispielsweise die Verlängerung des Aufenthalts oder das Anfordern von späterem Check-Out oder Zimmerservice sowie Concierge-Dienste und die Möglichkeit zur Suche nach Restaurants und Sehenswürdigkeiten.Hospitality: Voice enabled Personal Assistant integrated into a hotel room device providing a broad range of hospitality focused scenarios (e.g. extend your stay, request late checkout, room service) including concierge and the ability to find local restaurants and attractions. Eine optionale Verknüpfung mit Ihren Produktivitätskonten ermöglicht eine noch stärkere Personalisierung – etwa vorgeschlagene Weckanrufe, Unwetterwarnungen und das Erlernen von Mustern während Aufenthalten.Optional linking to your productivity accounts open up more personalized experiences such as suggested alarm calls, weather warnings and learning of patterns across stays. Dies ist eine Weiterentwicklung der derzeitigen Personalisierung über den Fernseher, die in Hotelzimmern bereits üblich ist.An evolution of the current TV personalization experienced in room today.

  • Enterprise: Mit Branding versehene Mitarbeiterassistenten mit Sprach- und Textsteuerung, die in Unternehmensgeräte und vorhandene Konversationscanvases (beispielsweise Teams, WebChat, Slack) integriert sind und Mitarbeitern das Verwalten ihrer Kalender, Ermitteln von verfügbaren Besprechungsräumen, Finden von Personen mit bestimmten Fähigkeiten oder Durchführen von personalbezogenen Vorgängen ermöglichen.Enterprise: Voice and Text enabled branded Employee Assistant experiences integrated into enterprise devices and existing conversation canvases (e.g. Teams, WebChat, Slack) enabling employees to manage their calendars, find available meeting rooms, find people with specific skills, or perform HR related operations.

Prinzipien des virtuellen AssistentenVirtual Assistant Principles

Ihre Daten, Ihre Marke und Ihre ErfahrungYour data, your brand and your experience

Alle Aspekte der Oberfläche für Endbenutzer befinden sich in Ihrem Besitz und werden von Ihnen gesteuert.All aspects of the end user experience are owned and controlled by you. Dazu zählen Branding, Name, Stimme, Persönlichkeit, Antworten und Avatar.This includes the branding, name, voice, personality, responses, and avatar. Der Quellcode für den virtuellen Assistenten und die unterstützenden Fähigkeiten wird vollständig bereitgestellt, sodass Sie ihn nach Bedarf anpassen können.The source code to the Virtual Assistant and supporting Skills are provided in full, enabling you to adjust as required.

Ihr virtueller Assistent wird unter Ihrem Azure-Abonnement bereitgestellt.Your Virtual Assistant will be deployed within your Azure subscription. Daher sind alle vom Assistenten generierten Daten (gestellte Fragen, Benutzerverhalten usw.) vollständig in Ihrem Azure-Abonnement enthalten.Therefore, all data generated by your assistant (questions asked, user behaviour, etc.) is entirely contained within your Azure subscription. Weitere Informationen finden Sie unter Azure Cognitive Services sowie im Azure-Abschnitt von Trust Center.See Cognitive Services Azure Trusted Cloud, and more specifically the Azure section of the Trust Center, for additional information.

Einmal schreiben, überall einbettenWrite it once, embed it anywhere

Da für den virtuellen Assistenten die Microsoft Conversational KI-Plattform genutzt wird, kann er über beliebige Bot-Framework-Kanäle bereitgestellt werden.The Virtual Assistant leverages the Microsoft Conversational AI platform and therefore can be surfaced through any Bot Framework channel.

Über den Kanal Direct Line können zudem Umgebungen in Desktop-Apps und mobile Apps eingebettet werden – etwa in Fahrzeuge, Lautsprecher oder Wecker.In addition, you can embed experiences into desktop and mobile apps (like cars, speakers, and alarm clocks) through the Direct Line channel.

Für große Unternehmen geeignete LösungenEnterprise Grade Solutions

Die Lösung mit dem virtuellen Assistenten basiert auf Azure Bot Service, dem Cognitive Service „Language Understanding“, vereinheitlichter Sprache und einem breiten Spektrum von unterstützenden Azure-Komponenten.The Virtual Assistant solution is built on the Azure Bot Service, Language Understanding Cognitive Service, and Unified Speech along with a broad set of supporting Azure components. Dadurch profitieren Sie von der globalen Azure-Infrastruktur – inklusive folgender Zertifizierungen: ISO 27018, HIPPA, PCI-DSS sowie SOC 1, 2 und 3.This means that you benefit from the Azure global infrastructure, including ISO 27018, HIPPA, PCI DSS, and SOC 1, 2, and 3 certification.

Außerdem wird über den Cognitive Service „LUIS“ Language Understanding-Unterstützung bereitgestellt, um eine größere Gruppe von Sprachen zu unterstützen, die hier aufgeführt sind.In addition, Language Understanding support is provided by the LUIS Cognitive Service which supports a broad set of languages listed here. Über den Cognitive Service „Translator“ werden zusätzliche Funktionen für die maschinelle Übersetzung bereitgestellt, um die Reichweite Ihres virtuellen Assistenten noch weiter zu erhöhen.The Translator Cognitive Service provides additional machine translation capabilities to extend the reach of your Virtual Assistant even further.

Integriert und kontextbezogenIntegrated and Context Aware

Ihr virtueller Assistent kann in Ihr Gerät und in Ihr Ökosystem integriert werden, um eine wahrhaft integrierte und intelligente Umgebung zu schaffen.Your Virtual Assistant can be incoroporated into your device and ecosystem, enabling a truly integrated and intelligent experience. Dank dieser Kontextbezogenheit können intelligentere Benutzeroberflächen mit besserer Personalisierung entwickelt werden.Through this contextual awareness more intelligent experiences can be developed and deliver further personalization than otherwise possible.

Integration von Drittanbieterassistenten3rd Party assistant integration

Mit dem virtuellen Assistenten können Sie Ihre eigene einzigartige Umgebung bereitstellen, aber für bestimmte Arten von Fragen auch den von Endbenutzern gewählten digitalen Assistenten einbinden.The Virtual Assistant enables you to deliver your own unique experience but also hand-off to the end-users chosen Digital Assistant for certain types of questions.

Flexible IntegrationFlexible integration

Die Architektur unseres virtuellen Assistenten ist flexibel und kann in vorhandene Investitionen integriert werden, die Sie ggf. bereits für gerätebasierte Funktionen zur Verarbeitung von Sprache bzw. natürlicher Sprache getätigt haben und die sich mit Ihren vorhandenen Back-End-Systemen und APIs kombinieren lassen.Our Virtual Assistant architecture is flexible and can be integrated with existing investments you may have made into device-based speech or natural language processing capabilities that integrate with your existing back-end systems and APIs.

Adaptive KartenAdaptive Cards

Adaptive Karten ermöglichen Ihrem virtuellen Assistenten neben Antworten auf Textbasis auch das Zurückgeben von Elementen der Benutzeroberfläche (User Experience, UX) wie etwa Karten, Bilder und Schaltflächen.Adaptive Cards provide the ability for your Virtual Assistant to return user experience (UX) elements (e.g. Cards, Images, Buttons) alongside text-based responses. Wenn die Geräte- oder Konversationscanvas über einen Bildschirm verfügt, können diese adaptiven Karten auf einem breiten Spektrum von Geräten und Plattformen gerendert werden und bieten ggf. auch UX-Unterstützung, sofern angemessen.If the device or conversation canvas has a screen these Adaptive Cards can be rendered across a broad range of devices and platforms, providing UX support where appropriate. Beispiele für adaptive Karten finden Sie hier. Informationen zu Renderingoptionen finden Sie hier.Examples of Adaptive Cards can be found here with information on rendering options in the documentation here.

FähigkeitenSkills

Zusätzlich zum Basisassistenten gibt es ein breites Spektrum an gängigen Funktionen, die vom Entwickler selbst erstellt werden müssen.In addition to the base assistant there exists a broad set of common capabilities which require each developer to build themselves. Die Produktivität ist ein gutes Beispiel, bei dem jede Organisation Sprachmodelle (LUIS), Dialoge (Code), Integration (Code) und Sprachgenerierung (Antworten) erstellen muss, um die Verwendung beliebter Kalender-, Aufgaben- oder E-Mail-Funktionen zu ermöglichen.Productivity is a great example where each organization would need to create language models (LUIS), dialogs (code), integration (code) and language generation (responses) to enable popular Calendar, Task or email experiences.

Dies wird dann weiter verkompliziert, weil mehrere Sprachen unterstützt werden müssen, und führt für Organisationen, die ihren eigenen Assistenten erstellen, zu einem hohen Arbeitsaufwand.This is then further complicated by the need to support multiple languages and results in a large amount of work required for any organisation building their own assistant.

Unsere Lösung für den virtuellen Assistenten enthält eine Funktion für Fähigkeiten, die allein mittels Konfiguration in einen benutzerdefinierten Assistenten eingebunden werden können.Our Virtual Assistant solution includes a new Skill capability that enables capabilities to be plugged into a custom-assistant through configuration only.

Alle Aspekte der einzelnen Fähigkeiten (Sprachmodell, Dialoge, Integrationscode und Sprachgenerierung) können von den Entwicklern vollständig angepasst werden, da auf GitHub zusammen mit dem virtuellen Assistenten der gesamte Quellcode bereitgestellt wird.All aspects of each Skill (language model, dialogs, integration code and language generation) are completely customizable by developers as the full source code is provided on GitHub along with the Virtual Assistant.

Erste SchritteGetting Started

Informationen zum Erstellen und Bereitstellen Ihres virtuellen Assistenten finden Sie in den Tutorials.Refer to the tutorials to learn how to create and deploy your Virtual Assistant.