Bots d’appels et de réunions en ligne

Article
04/04/2023

Les bots peuvent interagir avec les appels et réunions Teams à l’aide de la voix, de la vidéo et du partage d’écran en temps réel. Avec Microsoft Graph API pour les appels et les réunions en ligne, les applications Teams peuvent désormais interagir avec les utilisateurs à l’aide de la voix et de la vidéo pour améliorer l’expérience. Ces API vous permettent d’ajouter les nouvelles fonctionnalités suivantes :

Réponse vocale interactive (IVR).
Contrôle d’appel.
Accès aux flux audio et vidéo en temps réel, y compris le partage de bureau et d’application.

Pour utiliser ces API Graph dans une application Teams, vous créez un bot et spécifiez des informations et des autorisations supplémentaires.

En outre, la plateforme multimédia en temps réel permet aux bots d’interagir avec les appels et réunions Teams à l’aide de la voix, de la vidéo et du partage d’écran en temps réel. Un bot qui participe à des appels audio ou vidéo et à des réunions en ligne est un bot Microsoft Teams standard avec quelques fonctionnalités supplémentaires utilisées pour inscrire le bot.

Le manifeste de l’application Teams avec deux autres paramètres supportsCalling et supportsVideoles autorisations Graph pour l’ID d’application Microsoft de votre bot et le consentement de l’administrateur client vous permettent d’inscrire le bot. Lors de l’inscription d’un bot d’appels et de réunions pour Teams, l’URL du webhook est mentionnée, qui est le point de terminaison webhook pour tous les appels entrants à votre bot. Un bot multimédia hébergé par une application nécessite la bibliothèque Microsoft.Graph.Communications.Calls.Media .NET pour accéder aux flux multimédias audio et vidéo, et le bot doit être déployé sur une machine Windows Server ou un système d’exploitation invité Windows Server dans Azure. Les bots sur Teams prennent uniquement en charge un ensemble spécifique de formats multimédias pour le contenu audio et vidéo.

À présent, vous devez comprendre certains concepts fondamentaux, la terminologie et les conventions.

Terminologies

Les concepts de base, la terminologie et les conventions suivants vous guident en utilisant des bots d’appels et de réunions en ligne :

Appels audio ou vidéo
Types d’appel
Signaux
Appels et réunions en ligne
Média en temps réel

Appels audio ou vidéo

Les appels dans Teams peuvent être purement audio ou audio et vidéo. Au lieu d’un appel audio ou vidéo, le terme appel est utilisé.

Types d’appel

Les appels sont d’égal à égal entre une personne et votre bot, ou multipartie entre votre bot et deux personnes ou plus dans un appel de groupe.

Types d’appels

Voici les différents types d’appels et autorisations requis pour l’appel :

Un utilisateur peut lancer un appel pair à pair avec votre bot ou inviter votre bot dans un appel multipartie existant. L’appel multipartite n’est pas encore activé dans l’interface utilisateur de Teams.

Remarque

Les appels lancés par l’utilisateur à un bot ne sont actuellement pas pris en charge sur la plateforme mobile Teams.
Les autorisations de graphique ne sont pas nécessaires pour qu’un utilisateur lance un appel d’égal à égal avec votre bot. Des autorisations supplémentaires sont nécessaires pour que votre bot participe à un appel en plusieurs parties ou pour que votre bot lance un appel pair à pair avec un utilisateur.
Un appel peut commencer comme pair à pair et devenir un appel multipartie. Votre bot peut lancer des appels en plusieurs parties en invitant d’autres personnes, à condition que votre bot dispose des autorisations appropriées. Si votre bot ne dispose pas des autorisations nécessaires pour participer aux appels de groupe et si un participant ajoute un autre participant à l’appel, votre bot est supprimé de l’appel.

Signaux

Il existe deux types de signaux : l’appel entrant et l’appel. Voici les différentes fonctionnalités des signaux :

Pour recevoir un appel entrant, entrez un point de terminaison dans les paramètres de votre bot. Ce point de terminaison reçoit une notification lorsqu’un appel entrant est lancé. Vous pouvez répondre à l’appel, le rejeter ou le rediriger vers une autre personne.
Lorsqu’un bot est dans un appel, il existe des API permettant de désactiver ou de désactiver le son du bot, ainsi que de démarrer ou d’arrêter le partage de contenu vidéo ou de bureau avec d’autres participants.
Le bot peut également accéder à la liste des participants, inviter de nouveaux participants et les désactiver.

Appels et réunions en ligne

Du point de vue d’un utilisateur Teams, il existe deux types de réunions en ligne, non planifiées et planifiées. Du point de vue d’un bot, les deux réunions en ligne sont les mêmes. Pour un bot, une réunion en ligne est un appel multipartie entre un ensemble de participants et inclut des coordonnées de réunion. Les coordonnées de réunion sont les métadonnées de la réunion, notamment botId, chatId associées à la réunion, joinUrl, startTime ou endTime, etc.

Média en temps réel

Lorsqu’un bot participe à un appel ou à une réunion en ligne, il doit gérer les flux audio et vidéo. Lorsque les utilisateurs parlent lors d’un appel, s’affichent sur une webcam ou présentent leurs écrans dans une réunion à un bot, celui-ci est affiché sous forme de flux audio et vidéo. Si un bot souhaite dire quelque chose d’aussi simple que, appuyez sur 0 pour atteindre l’opérateur dans un scénario de réponse vocale interactive (IVR), il nécessite de lire un . Fichier WAV. Collectivement, il s’agit d’un média ou d’un média en temps réel.

Le média en temps réel fait référence à des scénarios dans lesquels le média doit être traité en temps réel, par opposition à la lecture de contenu audio ou vidéo enregistré précédemment. Le traitement des flux multimédias, c’est-à-dire des flux multimédias en temps réel, est complexe. Microsoft a créé la plateforme multimédia en temps réel pour gérer ces scénarios et décharger autant que possible le traitement multimédia en temps réel. Lorsque le bot répond à un appel entrant ou rejoint un appel nouveau ou existant, il doit indiquer à la plateforme multimédia en temps réel comment les médias sont gérés. Si vous créez une application de RVI, vous pouvez décharger le traitement audio coûteux vers Microsoft. Sinon, si votre bot nécessite un accès direct aux flux multimédias, ce scénario est également pris en charge. Il existe deux types de traitement multimédia :

Média hébergé par le service : les bots se concentrent sur la gestion du flux de travail d’application, comme le routage des appels et le déchargement du traitement audio vers la plateforme multimédia en temps réel Microsoft. Avec les médias hébergés par le service, vous disposez de plusieurs options pour implémenter et héberger votre bot. Un bot multimédia hébergé par le service peut être implémenté en tant que service sans état, car il ne traite pas les médias localement. Les bots multimédias hébergés par le service peuvent utiliser les API suivantes :
- PlayPrompt pour lire un clip audio.
- Record pour l’enregistrement de clips audio.
- SubscribeToTone pour s’abonner à des tonalités d’une fréquence multiple à deux tonalités (DTMF).
  
  Par exemple, savoir quand un utilisateur a appuyé sur 0 pour atteindre l’opérateur.
Média hébergé par l’application: pour qu’un bot obtienne un accès direct au média, il a besoin d’une autorisation de Graph spécifique. Une fois que votre bot a l’autorisation, la bibliothèque multimédia en temps réel et le kit de développement logiciel (SDK) d’appel Graph vous aident à créer des médias riches en temps réel et à appeler des bots. Un bot hébergé par l’application doit être hébergé dans un environnement Windows. Pour plus d’informations, consultez bots multimédias hébergés par l’application.

Exemple de code

Exemple de nom	Description	Graph
Communication graphique	Affichez les communications pour interagir avec la plateforme de communication de Microsoft.	View

Étape suivante

Appels et réunions avec les médias en temps réel