Vue d’ensemble de la caméra localisable

HoloLens comprend une caméra universelle montée sur l’avant de l’appareil, qui permet aux applications de voir ce que l’utilisateur voit. Les développeurs ont accès à l’appareil photo et le contrôle de ce dernier, tout comme pour les caméras couleur sur les smartphones, les ordinateurs portables ou les ordinateurs de bureau. la même capture de média universelle Windows et Windows Media Foundation les api qui fonctionnent sur les ordinateurs de bureau et mobiles sur HoloLens. Unity a encapsulé ces API Windows sur les fonctionnalités d’utilisation d’appareil photo abstraites sur HoloLens. Les tâches de fonctionnalités incluent la mise en place de photos et vidéos normales (avec ou sans hologrammes) et la localisation de la caméra dans et la perspective sur la scène.

Informations sur l’appareil photo

HoloLens (première génération)

  • Correction de l’appareil photo/vidéo (PV) avec une balance des blancs automatique, une exposition automatique et un pipeline de traitement d’image complet.

  • LED privée blanche dans le monde qui s’allume chaque fois que l’appareil photo est actif.

  • L’appareil photo prend en charge les modes suivants (tous les modes sont des proportions 16:9) à 30, 24, 20, 15 et 5 i/s :

    Vidéo Préversion Subsist Champ horizontal de l’affichage (H-angle d’affichage) Utilisation suggérée
    1 280 x 720 1 280 x 720 1 280 x 720 45 deg (mode par défaut avec stabilisation vidéo)
    N/A N/A 2048x1152 67 deg Image toujours la plus haute résolution
    1408x792 1408x792 1408x792 48 deg Résolution de suranalyse (remplissage) avant la stabilisation vidéo
    1344x756 1344x756 1344x756 67 deg Mode vidéo grand angle avec suranalyse
    896x504 896x504 896x504 48 deg Mode faible puissance/basse résolution pour les tâches de traitement des images

HoloLens 2

  • Appareil photo/vidéo (PV) autofocus avec balance des blancs automatique, exposition automatique et pipeline de traitement d’image complet.

  • LED privée blanche dans le monde qui s’allume chaque fois que l’appareil photo est actif.

  • HoloLens 2 prend en charge différents profils d’appareil photo. Découvrez comment découvrir et sélectionner les fonctionnalités de l’appareil photo.

  • L’appareil photo prend en charge les profils et résolutions suivants (tous les modes vidéo sont des proportions 16:9) :

    Profil Vidéo Préversion Subsist Fréquences d’images Champ horizontal de l’affichage (H-angle d’affichage) Utilisation suggérée
    Hérité, 0 BalancedVideoAndPhoto, 100 2272x1278 2272x1278 15,30 64,69 Enregistrement vidéo de haute qualité
    Hérité, 0 BalancedVideoAndPhoto, 100 896x504 896x504 15,30 64,69 Aperçu du flux pour la capture de photos de haute qualité
    Hérité, 0 BalancedVideoAndPhoto, 100 3904x2196 64,69 Capture photo de haute qualité
    BalancedVideoAndPhoto, 120 1952x1100 1952x1100 1952x1100 15,30 64,69 Scénarios de longue durée
    BalancedVideoAndPhoto, 120 1504x846 1504x846 15,30 64,69 Scénarios de longue durée
    Visioconférence, 100 1952x1100 1952x1100 1952x1100 15, 30, 60 64,69 Vidéoconférence, scénarios de longue durée
    Visioconférence, 100 1504x846 1504x846 5, 15, 30, 60 64,69 Vidéoconférence, scénarios de longue durée
    Visioconférence, 100 BalancedVideoAndPhoto, 120 1 920 x 1 080 1 920 x 1 080 1 920 x 1 080 15, 30 64,69 Vidéoconférence, scénarios de longue durée
    Visioconférence, 100 BalancedVideoAndPhoto, 120 1 280 x 720 1 280 x 720 1 280 x 720 15, 30 64,69 Vidéoconférence, scénarios de longue durée
    Visioconférence, 100 BalancedVideoAndPhoto, 120 1128x636 15, 30 64,69 Vidéoconférence, scénarios de longue durée
    Visioconférence, 100 BalancedVideoAndPhoto, 120 960 x 540 15, 30 64,69 Vidéoconférence, scénarios de longue durée
    Visioconférence, 100 BalancedVideoAndPhoto, 120 760x428 15, 30 64,69 Vidéoconférence, scénarios de longue durée
    Visioconférence, 100 BalancedVideoAndPhoto, 120 640 x 360 15, 30 64,69 Vidéoconférence, scénarios de longue durée
    Visioconférence, 100 BalancedVideoAndPhoto, 120 500x282 15, 30 64,69 Vidéoconférence, scénarios de longue durée
    Visioconférence, 100 BalancedVideoAndPhoto, 120 424x240 15, 30 64,69 Vidéoconférence, scénarios de longue durée

Notes

Les clients peuvent tirer parti de la capture de la réalité mixte pour prendre des vidéos ou des photos de votre application qui incluent des hologrammes et utiliser la stabilisation vidéo.

Si vous souhaitez que le contenu de la capture de votre utilisateur soit le plus performant possible, vous devez prendre en compte certaines choses. Vous pouvez également activer (et personnaliser) la capture de la réalité mixte à partir de directement dans votre application. En savoir plus sur la capture de la réalité mixte pour les développeurs.

Localisation de l’appareil photo de l’appareil dans le monde

lorsque HoloLens prend des photos et des vidéos, les frames capturés incluent l’emplacement de la caméra dans le monde et le modèle d’objectif de l’appareil photo. Ces informations permettent aux applications d’avoir une bonne raison de la position de la caméra dans le monde réel pour les scénarios de création d’images augmentés. Les développeurs peuvent déployer de manière créative leurs propres scénarios à l’aide de leur traitement d’image préféré ou de leurs bibliothèques de vision d’ordinateur personnalisées.

la « caméra », ailleurs dans HoloLens documentation, peut faire référence à la « caméra de jeu virtuelle » (le frustum rendu de l’application à). Sauf indication contraire, la « caméra » sur cette page fait référence à la caméra couleur RVB réelle.

Erreur de distorsion

sur HoloLens, la vidéo et les flux d’images fixes ne sont pas déformés dans le pipeline de traitement des images du système avant que les frames ne soient mis à la disposition de l’application. Le flux d’aperçu contient les frames déformés d’origine. Étant donné que seules les CameraIntrinsics sont disponibles, les applications doivent supposer que les images d’images représentent une caméra Pinhole parfaite.

sur HoloLens (première génération), la fonction d’information dans le processeur d’images peut toujours provoquer une erreur pouvant atteindre 10 pixels lors de l’utilisation de CameraIntrinsics dans les métadonnées de frame. Dans de nombreux cas d’usage, cette erreur n’a pas d’importance. Toutefois, si, par exemple, vous alignez des hologrammes sur des affiches ou des marqueurs réels, vous remarquez une < décalage de 10 px (environ 11 mm pour les hologrammes placés à deux mètres), cette erreur de distorsion peut en être la cause.

Scénarios d’utilisation d’appareil photo localisables

Afficher une photo ou une vidéo dans le monde où elle a été capturée

Les cadres de l’appareil photo sont fournis avec une transformation « caméra à toute la planète » qui peut être utilisée pour indiquer exactement l’emplacement de l’appareil lorsqu’il a capturé l’image. Par exemple, vous pouvez positionner une petite icône holographique à cet emplacement (CameraToWorld. MultiplyPoint (Vector3. Zero)) et même dessiner une petite flèche dans la direction vers laquelle l’appareil photo était dirigée (CameraToWorld. MultiplyVector (Vector3. Forward)).

Étiquette/modèle/affiche/suivi d’objet

De nombreuses applications de réalité mixte utilisent une image ou un modèle visuel identifiable pour créer un point de suivi dans l’espace. Une application peut restituer des objets par rapport à ce point ou créer un emplacement connu. une utilisation courante de HoloLens consiste à trouver un objet réel qui est balisé avec des apprenants. cela peut se produire, par exemple, sur des tablettes qui ont été configurées pour communiquer avec HoloLens via Wifi.

Vous aurez besoin de quelques éléments pour reconnaître un modèle visuel et placer un objet dans l’espace universel de l’application :

  1. Boîte à outils de reconnaissance de modèle d’image, telle que le code QR, les balises AR, le Finder de visage, les traceurs de cercle, la reconnaissance optique, etc.
  2. Collectez les trames d’image au moment de l’exécution et transmettez-les à la couche de reconnaissance.
  3. Annulez la projection de l’emplacement de leurs images dans le monde ou sur des rayons de la planète.
  4. Positionnez vos modèles virtuels sur ces emplacements mondiaux.

Liens importants de traitement d’images :

Le maintien d’une fréquence d’images d’application interactive est essentiel, en particulier lors du traitement des algorithmes de reconnaissance d’images à long terme. Pour cette raison, nous utilisons généralement le modèle suivant :

  1. Thread principal : gère l’objet Camera.
  2. Thread principal : demande de nouveaux frames (Async).
  3. Thread principal : passe de nouveaux frames au thread de suivi.
  4. Thread de suivi : traite l’image pour collecter des points clés.
  5. Thread principal : déplace le modèle virtuel pour trouver les points clés trouvés.
  6. Thread principal : Répétez à l’étape 2.

Certains systèmes de marqueurs d’images fournissent uniquement un emplacement à un seul pixel qui correspond à un rayon d’emplacements possibles. (D’autres fournissent la transformation complète, auquel cas cette section n’est pas nécessaire.) Pour atteindre un emplacement 3D unique, nous pouvons calculer plusieurs rayons et trouver le résultat final en fonction de leur intersection approximative. Pour obtenir ce résultat, vous devez :

  1. Créer une boucle qui collecte plusieurs images d’appareil photo.
  2. Recherchez les points de fonctionnalités associés et leurs rayons mondiaux.

À partir de deux ou plusieurs emplacements d’étiquette suivis, vous pouvez positionner une scène modélisée pour l’adapter au scénario actuel de l’utilisateur. Si vous ne pouvez pas supposer la gravité, vous aurez besoin de trois emplacements de balises. Dans de nombreux cas, nous utilisons un modèle de couleurs dans lequel les blancs représentent les emplacements de balises suivis en temps réel et les sphères bleues représentent les emplacements de balise modélisés. Cela permet à l’utilisateur de mesurer visuellement la qualité d’alignement. Nous supposons l’installation suivante dans toutes nos applications :

  • Deux ou plusieurs emplacements de balise modélisés.
  • Un « espace d’étalonnage », qui, dans la scène, est le parent des balises.
  • Identificateur de la fonctionnalité de l’appareil photo.
  • Comportement, qui déplace l’espace d’étalonnage pour aligner les balises modélisées avec les balises en temps réel (nous sommes prudents de déplacer l’espace parent, pas les marqueurs modélisés eux-mêmes, car d’autres connexions sont des positions relatives à eux).

Suivre ou identifier des objets/visages à l’aide de voyants ou d’autres bibliothèques de reconnaissance

Exemples :

  • Robots industriels avec del (ou codes QR pour des objets en déplacement plus lents).
  • Identifier et reconnaître des objets dans la salle.
  • Identifiez et reconnaissez les personnes dans la salle, par exemple en plaçant des cartes de contact holographiques sur des visages.

Voir aussi