A locatable kamera áttekintése

  • Cikk

A HoloLens egy olyan világra néző kamerát tartalmaz, amely az eszköz elejére van szerelve, amely lehetővé teszi, hogy az alkalmazások lássák, amit a felhasználó lát. A fejlesztők ugyanúgy hozzáférhetnek a kamerához, mint az okostelefonok, hordozhatók vagy asztali számítógépek színes kameráihoz. Ugyanazok az univerzális Windows-médiarögzítési és Windows Media Foundation API-k, amelyek mobilon és asztali gépen is működnek a HoloLensen. A Unity ezeket a windowsos API-kat a HoloLens absztrakt kamerahasználati funkcióiba csomagolta. A funkciófeladatok közé tartozik a rendszeres fényképek és videók készítése (hologramokkal vagy anélkül), valamint a kamera pozíciójának és a jelenet perspektívájának keresése.

Eszközkamera adatai

HoloLens (első generációs)

  • Rögzített fókuszú fénykép-/videó-(PV-) kamera automatikus fehéregyensúlysal, automatikus expozícióval és teljes képfeldolgozási folyamattal.

  • Fehér Privacy LED néző a világ, amely világít, amikor a kamera aktív.

  • A kamera a következő módokat támogatja (minden mód 16:9 képarányú) 30, 24, 20, 15 és 5 fps esetén:

    Videó Előnézet Még mindig Vízszintes nézetmező (H-FOV) Javasolt használat
    1280x720 1280x720 1280x720 45 deg (alapértelmezett mód videostabilizálással)
    N/A N.A. 2048x1152 67 deg Legnagyobb felbontású állókép
    1408x792 1408x792 1408x792 48 deg Overscan (padding) resolution before video stabilization
    1344x756 1344x756 1344x756 67 deg Nagyméretű FOV videó mód overscan
    896x504 896x504 896x504 48 deg Alacsony teljesítmény / Alacsony felbontású mód képfeldolgozási feladatokhoz

HoloLens 2

  • Automatikus fókuszú fénykép-/videó-(PV-) kamera automatikus fehéregyensúlyral, automatikus expozícióval és teljes képfeldolgozási folyamattal. Az autofókusz rendszer 30 cm-ről végtelenre állíthatja az objektumok távolságát. A HoloLens 2 PV kameralencse effektív gyújtótávolsága 4,87 mm +/- 5%. A gyártási tűrés miatti 5%-os eltérés mellett a fókusztávolság dinamikusan változik az autofókusz rendszer miatt. Az AF-utazás (löket) legfeljebb 0,2 mm.

  • Fehér Privacy LED néző a világ, amely világít, amikor a kamera aktív.

  • HoloLens 2 támogatja a különböző kameraprofilokat. Megtudhatja, hogyan derítheti fel és választhatja ki a kamera képességeit.

  • A kamera a következő profilokat és felbontásokat támogatja (minden videó mód 16:9 képarányú):

    Profil Videó Előnézet Még mindig Képkockasebességek Vízszintes nézetmező (H-FOV) Javasolt használat
    Örökölt, 0 BalancedVideoAndPhoto, 100 2272x1278 2272x1278 15.30 64.69 Kiváló minőségű videófelvétel
    Örökölt, 0 BalancedVideoAndPhoto,100 896x504 896x504 15.30 64.69 Stream előnézete a kiváló minőségű fényképrögzítéshez
    Örökölt, 0 BalancedVideoAndPhoto, 100 3904x2196 64.69 Kiváló minőségű fényképfelvétel
    BalancedVideoAndPhoto, 120 1952x1100 1952x1100 1952x1100 15.30 64.69 Hosszú időtartamú forgatókönyvek
    BalancedVideoAndPhoto, 120 1504x846 1504x846 15.30 64.69 Hosszú időtartamú forgatókönyvek
    VideoConferencing, 100 1952x1100 1952x1100 1952x1100 15, 30,60 64.69 Videokonferencia, hosszú időtartamú forgatókönyvek
    Videokonferencia, 100 1504x846 1504x846 5, 15, 30,60 64.69 Videokonferencia, hosszú időtartamú forgatókönyvek
    Videokonferencia, 100 BalancedVideoAndPhoto, 120 1920x1080 1920x1080 1920x1080 15, 30 64.69 Videokonferencia, hosszú időtartamú forgatókönyvek
    Videokonferencia, 100 BalancedVideoAndPhoto, 120 1280x720 1280x720 1280x720 15, 30 64.69 Videokonferencia, hosszú időtartamú forgatókönyvek
    Videokonferencia, 100 BalancedVideoAndPhoto,120 1128x636 15, 30 64.69 Videokonferencia, hosszú időtartamú forgatókönyvek
    Videokonferencia, 100 BalancedVideoAndPhoto, 120 960x540 15,30 64.69 Videokonferencia, hosszú időtartamú forgatókönyvek
    Videokonferencia, 100 BalancedVideoAndPhoto, 120 760x428 15, 30 64.69 Videokonferencia, hosszú időtartamú forgatókönyvek
    Videokonferencia, 100 BalancedVideoAndPhoto, 120 640x360 15, 30 64.69 Videokonferencia, hosszú időtartamú forgatókönyvek
    Videokonferencia, 100 BalancedVideoAndPhoto, 120 500x282 15, 30 64.69 Videokonferencia, hosszú időtartamú forgatókönyvek
    Videokonferencia, 100 BalancedVideoAndPhoto, 120 424x240 15, 30 64.69 Videokonferencia, hosszú időtartamú forgatókönyvek

Megjegyzés

Az ügyfelek a vegyes valóság rögzítését használva hologramokat tartalmazó videókat vagy fényképeket készíthetnek az alkalmazásról, és videostabilizálást alkalmazhatnak.

Ha azt szeretné, hogy a felhasználói rögzítés tartalma a lehető leghasznosabb legyen, érdemes megfontolnia néhány szempontot. A vegyes valóság rögzítését közvetlenül az alkalmazáson belül is engedélyezheti (és testre szabhatja). További információ a vegyes valóság rögzítéséről fejlesztők számára.

Az eszközkamera helyének keresése a világon

Amikor a HoloLens fényképeket és videókat készít, a rögzített keretek tartalmazzák a kamera helyét a világon és a kamera objektív modelljét. Ezek az információk lehetővé teszik az alkalmazások számára, hogy okokat hozzanak létre a kamera helyzetéről a valós világban a kiterjesztett képalkotó forgatókönyvek esetében. A fejlesztők kreatív módon helyezhetik el saját forgatókönyveiket kedvenc képfeldolgozási vagy egyéni számítógépes látási kódtáraik használatával.

A HoloLens dokumentációjának más részein található "Kamera" kifejezés a "virtuális játék kamerájára" hivatkozhat (arra a frustumra, amelyre az alkalmazás renderel). Ha másként nincs megírva, a "kamera" ezen az oldalon a valós RGB színes kamerára utal.

Torzítási hiba

A HoloLens 2 a rendszer lemezképfeldolgozási folyamatában a kép- és képstreamek nem lesznek rögzítve, mielőtt a képkockák elérhetővé válnak az alkalmazás számára. Az előnézeti stream tartalmazza az eredeti torzított kereteket. Mivel csak a CameraIntrinsics van elérhetővé téve, az alkalmazásoknak azt kell feltételezniük, hogy a képkockák tökéletes tűlyukú kamerát képviselnek.

A HoloLens (első generációs) esetében a képfeldolgozóban a torzítás nélküli függvény akár 10 képpontos hibát is okozhat, ha a CameraIntrinsicset használja a keret metaadataiban. Sok használati esetben ez a hiba nem számít. Ha azonban például a hologramokat valós plakátokhoz vagy jelölőkhöz igazítja, és 10 képpontos eltolódást észlel < (a 2 méter távolságban elhelyezett hologramok esetében körülbelül 11 mm), ez a torzítási hiba lehet az oka.

Locatable Camera Usage Scenarios

Fénykép vagy videó megjelenítése a világon, ahol rögzítették

Az Eszközkamera képkockái a "Kamera a világba" átalakítással jelennek meg, amellyel pontosan meg lehet jeleníteni, hogy hol volt az eszköz, amikor rögzítette a képet. Elhelyezhet például egy kis holografikus ikont ezen a helyen (CameraToWorld.MultiplyPoint(Vector3.zero)), és még egy kis nyilat is rajzolhat a kamera felé (CameraToWorld.MultiplyVector(Vector3.forward)).

Címke / Minta / Plakát / Objektumkövetés

Számos vegyes valósági alkalmazás felismerhető képet vagy vizuális mintát használ egy nyomon követhető térbeli pont létrehozásához. Az alkalmazások az adott ponthoz képest renderelhetik az objektumokat, vagy létrehozhatnak egy ismert helyet. A HoloLens általában egy fiducials címkével ellátott valós objektumot keres. Ez például olyan táblagépeken fordulhat elő, amelyek wi-fi kapcsolaton keresztül kommunikálnak a HoloLensszel.

Szüksége lesz néhány dologra, hogy felismerjen egy vizuális mintát, és helyezzen el egy objektumot az alkalmazás világűrében:

  1. Képminta-felismerő eszközkészlet, például QR-kód, AR-címkék, arckereső, körkövetők, OCR stb.
  2. Gyűjtse össze a képkereteket futásidőben, és adja át őket a felismerési rétegnek.
  3. Bontsa ki a kép helyét vissza a világ pozíciókba, vagy valószínűleg a világ sugarai.
  4. Helyezze el a virtuális modelleket ezeken a helyeken.

Néhány fontos képfeldolgozási hivatkozás:

Az interaktív alkalmazások képkockasebességének megőrzése kritikus fontosságú, különösen hosszú ideig futó képfelismerő algoritmusok esetén. Ezért általában a következő mintát használjuk:

  1. Főszál: a kameraobjektumot kezeli.
  2. Főszál: új kereteket (aszinkron) kér.
  3. Fő szál: adjon át új kereteket a szál nyomon követéséhez.
  4. Nyomkövetési szál: feldolgozza a rendszerképet a kulcspontok gyűjtéséhez.
  5. Fő szál: áthelyezi a virtuális modellt a talált kulcspontoknak megfelelően.
  6. Főszál: ismételje meg a 2. lépésben.

Egyes képjelölő rendszerek csak egy képpontos helyet biztosítanak, ami a lehetséges helyek sugarának felel meg. (Mások biztosítják a teljes átalakítást, ebben az esetben erre a szakaszra nincs szükség.) Egyetlen 3D-s hely eléréséhez több sugarat is kiszámíthatunk, és a végeredményt a hozzávetőleges metszetük alapján találjuk meg. Az eredmény eléréséhez a következőket kell elvégeznie:

  1. Hozzon létre egy hurkot, amely több kameraképet gyűjt.
  2. Keresse meg a kapcsolódó funkciópontokat és azok világsugarait.

Két vagy több nyomon követett címkehely esetén a modellezett jelenetet a felhasználó aktuális forgatókönyvének megfelelően helyezheti el. Ha nem tudja feltételezni a gravitációt, akkor három címkehelyre lesz szüksége. Sok esetben olyan színsémát használunk, amelyben a fehér gömbök valós idejű nyomon követett címkehelyeket, a kék gömbök pedig a modellezett címkehelyeket jelölik. Ez lehetővé teszi, hogy a felhasználó vizuálisan felmérje az igazítás minőségét. Feltételezzük, hogy az összes alkalmazásban a következő beállítás van beállítva:

  • Két vagy több modellezett címkehely.
  • Egy "kalibrációs tér", amely a jelenetben a címkék szülője.
  • Kamerafunkció-azonosító.
  • Viselkedés, amely áthelyezi a kalibrációs teret, hogy a modellezett címkéket a valós idejű címkékhez igazítsa (óvatosan mozgassa a szülőteret, ne magukat a modellezett jelölőket, mert a többi összekapcsolás a hozzájuk viszonyított pozíció).

Címkézett álló vagy mozgó valós objektumok/arcok nyomon követése vagy azonosítása LED-ek vagy más felismerőkódtárak használatával

Példák:

  • Ipari robotok LED-ekkel (vagy QR-kódokkal a lassabb mozgó objektumokhoz).
  • A helyiségben lévő objektumok azonosítása és felismerése.
  • Személyek azonosítása és felismerése a szobában – például holografikus névjegykártyák elhelyezése az arcok fölé.

Lásd még