Přehled lokalizovatelné kamery

  • Článek

HoloLens obsahuje světovou kameru připojenou na přední straně zařízení, která aplikacím umožňuje vidět, co vidí uživatel. Vývojáři mají přístup ke kameře a ovládat ji stejně jako u barevných fotoaparátů na smartphonech, přenosných počítačích nebo stolních počítačích. Stejná univerzální rozhraní API windows media capture a Windows Media Foundation, která fungují na mobilních zařízeních a desktopových počítačích, fungují i na HoloLensu. Unity zabalil tato rozhraní API pro Windows k abstrakci funkcí používání kamery v HoloLensu. Mezi funkce patří pořizování běžných fotek a videí (s hologramy nebo bez nich) a umístění kamery ve scéně a perspektiva na scéně.

Informace o fotoaparátu zařízení

HoloLens (první generace)

  • Oprava fokusu foto/video fotoaparátu (PV) s automatickým vyvážením bílé, automatickou expozicí a kanálem pro úplné zpracování obrazu.

  • Bílá indikátor LED pro ochranu osobních údajů směřující do světa, který se rozsvítí vždy, když je kamera aktivní.

  • Fotoaparát podporuje následující režimy (všechny režimy mají poměr stran 16:9) při 30, 24, 20, 15 a 5 fps:

    Video Preview Stále Vodorovné zorné pole (H-FOV) Navrhované využití
    1280 × 720 1280 × 720 1280 × 720 45 stupňů (výchozí režim se stabilizací videa)
    – N/A 2048x1152 67 stupňů Snímek s nejvyšším rozlišením
    1408x792 1408x792 1408x792 48 stupňů Rozlišení overscan (odsazení) před stabilizací videa
    1344x756 1344x756 1344x756 67 stupňů Velký režim videa FOV s overscan
    896x504 896x504 896x504 48 stupňů Režim nízkého výkonu nebo nízkého rozlišení pro úlohy zpracování obrazu

HoloLens 2

  • Fotoaparát s automatickým zaostřováním fotek a videí (PV) s automatickým vyvážením bílé, automatickou expozicí a kanálem pro úplné zpracování obrazu. Systém automatického zaostřovat dokáže nastavit vzdálenost objektu od 30 cm do nekonečna. Efektivní ohnisková vzdálenost pro objektiv HoloLens 2 fotovoltaické kamery je 4,87 mm +/- 5 %. Kromě 5% odchylky z důvodu výrobní tolerance se ohnisková vzdálenost dynamicky mění díky systému automatického zaostřování. Zdvih af (zdvih) je až 0,2 mm.

  • Bílá indikátor LED pro ochranu osobních údajů směřující do světa, který se rozsvítí vždy, když je kamera aktivní.

  • HoloLens 2 podporuje různé profily fotoaparátů. Zjistěte, jak zjistit a vybrat možnosti kamery.

  • Kamera podporuje následující profily a rozlišení (všechny video režimy mají poměr stran 16:9):

    Profil Video Preview Stále Snímkové frekvence Vodorovné zorné pole (H-FOV) Navrhované využití
    Starší verze, 0 BalancedVideoAndPhoto, 100 2272x1278 2272x1278 15.30 64.69 Záznam videa ve vysoké kvalitě
    Starší verze, 0 BalancedVideoAndPhoto, 100 896x504 896x504 15.30 64.69 Stream náhledu pro vysoce kvalitní pořizování fotek
    Starší verze, 0 BalancedVideoAndPhoto, 100 3904x2196 64.69 Vysoce kvalitní pořizování fotek
    BalancedVideoAndPhoto, 120 1952x1100 1952x1100 1952x1100 15.30 64.69 Scénáře s dlouhou dobou trvání
    BalancedVideoAndPhoto, 120 1504x846 1504x846 15.30 64.69 Scénáře s dlouhou dobou trvání
    VideoKonference, 100 1952x1100 1952x1100 1952x1100 15, 30,60 64.69 Videokonference, scénáře s dlouhou dobou trvání
    Videokonference, 100 1504x846 1504x846 5, 15, 30,60 64.69 Videokonference, scénáře s dlouhou dobou trvání
    Videokonference, 100 BalancedVideoAndPhoto, 120 1920 × 1080 1920 × 1080 1920 × 1080 15, 30 64.69 Videokonference, scénáře s dlouhou dobou trvání
    Videokonference, 100 BalancedVideoAndPhoto, 120 1280 × 720 1280 × 720 1280 × 720 15, 30 64.69 Videokonference, scénáře s dlouhou dobou trvání
    Videokonference, 100 BalancedVideoAndPhoto,120 1128x636 15, 30 64.69 Videokonference, scénáře s dlouhou dobou trvání
    Videokonference, 100 BalancedVideoAndPhoto, 120 960x540 15,30 64.69 Videokonference, scénáře s dlouhou dobou trvání
    Videokonference, 100 BalancedVideoAndPhoto, 120 760x428 15, 30 64.69 Videokonference, scénáře s dlouhou dobou trvání
    Videokonference, 100 BalancedVideoAndPhoto, 120 640x360 15, 30 64.69 Videokonference, scénáře s dlouhou dobou trvání
    Videokonference, 100 BalancedVideoAndPhoto, 120 500x282 15, 30 64.69 Videokonference, scénáře s dlouhou dobou trvání
    Videokonference, 100 BalancedVideoAndPhoto, 120 424x240 15, 30 64.69 Videokonference, scénáře s dlouhou dobou trvání

Poznámka

Zákazníci můžou pomocí zachycení hybridní reality pořizovat videa nebo fotky vaší aplikace, které obsahují hologramy a využívat stabilizaci videa.

Pokud chcete, aby obsah záznamu uživatele vypadal co nejpohodněji, měli byste zvážit několik věcí. Přímo v aplikaci můžete také povolit (a přizpůsobit) zachycení hybridní reality. Další informace najdete v tématu Zachycení hybridní reality pro vývojáře.

Umístění kamery zařízení ve světě

Když HoloLens pořizuje fotky a videa, zachycené snímky zahrnují umístění fotoaparátu na světě a model objektivu fotoaparátu. Tyto informace umožňují aplikacím uvažovat o poloze kamery v reálném světě pro scénáře rozšířeného zpracování obrazu. Vývojáři můžou kreativně vytvářet vlastní scénáře pomocí svých oblíbených knihoven pro zpracování obrázků nebo vlastních knihoven počítačového zpracování obrazu.

"Kamera" jinde v dokumentaci k HoloLensu může odkazovat na "virtuální herní kameru" (frustum, na kterou aplikace vykresluje). Pokud není uvedeno jinak, "kamera" na této stránce odkazuje na skutečnou barevnou kameru RGB.

Chyba zkreslení

Na HoloLens 2 jsou streamy videa a imagí v kanálu pro zpracování obrázků systému beze změny, než budou snímky zpřístupněny aplikaci. Stream náhledu obsahuje původní zkreslené snímky. Vzhledem k tomu, že jsou k dispozici pouze KameryIntrinsics, musí aplikace předpokládat, že snímky obrazu představují dokonalou kameru s pindou.

Na HoloLensu (první generace) může funkce undistortion v obrazovém procesoru při použití funkce CameraIntrinsics v metadatech snímků stále zanechat chybu až 10 pixelů. V mnoha případech použití na této chybě nezáleží. Pokud ale například zarovnáte hologramy na plakáty nebo značky z reálného světa a všimnete si posunu < 10 pixelů (přibližně 11 mm u hologramů umístěných 2 metry), může být příčinou tato chyba zkreslení.

Scénáře použití lokalizovatelné kamery

Zobrazení fotky nebo videa ve světě, kde byla zachycena

Snímky Kamera zařízení se dodávají s transformací "Kamera do světa", kterou můžete použít k zobrazení přesného místa, kde se zařízení nacházelo, když snímek pořídilo. Můžete například umístit malou holografickou ikonu na toto místo (CameraToWorld.MultiplyPoint(Vector3.zero)) a dokonce nakreslit malou šipku ve směru, kterým byla kamera zaměřena (CameraToWorld.MultiplyVector(Vector3.forward)).

Značka / vzor / plakát / sledování objektů

Mnoho aplikací hybridní reality používá rozpoznatelný obrázek nebo vizuální vzor k vytvoření sledovatelného bodu v prostoru. Aplikace může vykreslit objekty relativní k danémmumu bodě nebo vytvořit známé umístění. Typickým využitím holoLensu je nalezení skutečného objektu, který je označený fiducials. K tomu může dojít například na tabletech, které jsou nastavené tak, aby komunikovaly s HoloLensem přes Wi-Fi.

K rozpoznání vizuálního vzoru a umístění objektu do světového prostoru aplikace budete potřebovat několik věcí:

  1. Sada nástrojů pro rozpoznávání vzorů obrázků, jako je kód QR, značky rozšířené reality, vyhledávač tváří, sledování kruhů, OCR atd.
  2. Shromážděte snímky obrázků za běhu a předejte je do vrstvy rozpoznávání.
  3. Zrušte projekci jejich umístění obrázků zpět na světové pozice nebo pravděpodobné světové paprsky.
  4. Umístěte své virtuální modely do těchto světových umístění.

Některé důležité odkazy pro zpracování obrázků:

Udržování interaktivní snímkové frekvence aplikace je velmi důležité, zejména při práci s dlouhotrvajícími algoritmy rozpoznávání obrázků. Z tohoto důvodu běžně používáme následující vzor:

  1. Hlavní vlákno: spravuje objekt kamery.
  2. Hlavní vlákno: vyžaduje nové rámce (asynchronní).
  3. Hlavní vlákno: Předejte nové snímky do sledovacího vlákna.
  4. Sledovací vlákno: zpracovává obrázek ke shromažďování klíčových bodů.
  5. Hlavní vlákno: Přesune virtuální model tak, aby odpovídal nalezené klíčové body.
  6. Hlavní vlákno: Opakujte z kroku 2.

Některé systémy značek obrázků poskytují pouze umístění s jedním pixelem, což odpovídá paprsku možných umístění. (Ostatní poskytují úplnou transformaci, v takovém případě tento oddíl není potřeba.) Abychom se dostali na jedno 3D místo, můžeme vypočítat více paprsků a najít konečný výsledek podle jejich přibližného průsečíku. Abyste získali tento výsledek, budete muset:

  1. Vytvořte smyčku, která shromáždí více obrázků z fotoaparátu.
  2. Najděte přidružené body funkcí a jejich světové paprsky.

Pokud máte dvě nebo více sledovaných umístění značek, můžete modelovanou scénu umístit tak, aby vyhovovala aktuálnímu scénáři uživatele. Pokud nemůžete předpokládat závažnost, budete potřebovat tři umístění značek. V mnoha případech používáme barevné schéma, kde bílé koule představují umístění sledovaných značek v reálném čase a modré koule představují modelovaná umístění značek. To uživateli umožňuje vizuálně změřit kvalitu zarovnání. Ve všech aplikacích předpokládáme následující nastavení:

  • Dvě nebo více umístění modelovaných značek
  • Jeden "kalibrační prostor", který je ve scéně nadřazený značky.
  • Identifikátor funkce kamery.
  • Chování, které přesouvá prostor kalibrace tak, aby se modelované značky zarovnaly se značkami v reálném čase (dbáme na to, abychom přesunuli nadřazený prostor, ne samotné modelované značky, protože jiné spojení je relativní k nim).

Sledování nebo identifikace označených statických nebo pohybujících se reálných objektů nebo tváří pomocí LED diod nebo jiných knihoven rozpoznávání

Příklady:

  • Průmyslové roboty s LED diodami (nebo kódy QR pro pomalejší pohybující se objekty)
  • Identifikujte a rozpoznáte objekty v místnosti.
  • Identifikace a rozpoznávání lidí v místnosti – například umístění holografických karet kontaktů nad tváře.

Viz také