Hloubková kamera Azure Kinect DK

Tato stránka popisuje, jak používat hloubkovou kameru v Azure Kinect DK. Hloubková kamera je druhá z těchto dvou kamer. Jak jsme si probrali v předchozích částech, druhou kamerou je kamera RGB.

Principy fungování

Hloubková kamera Azure Kinect DK implementuje princip Amplitude Modulated Continuous Wave (AMCW) ToF (Time-of-Flight). Kamera na scénu moduluje osvětlení ve spektru blízkého IR (NIR). Potom zaznamenává nepřímé měření doby, po které světlo putuje z fotoaparátu na scénu a zpět.

Tato měření se zpracovávají za účelem vygenerování hloubkové mapy. Mapa hloubky je sada hodnot souřadnic Z pro každý pixel obrázku měřená v jednotkách milimetrů.

Spolu s hloubkovou mapou získáme také tzv. čisté čtení ir. Hodnota pixelů při čtení čistého prostředí IR je úměrná množství světla vráceného ze scény. Image vypadá podobně jako běžná image IR. Následující obrázek ukazuje příklad mapy hloubky (vlevo) a odpovídající obrázek čistého prostředí IR (vpravo).

Klíčové funkce

Technické charakteristiky hloubkové kamery zahrnují:

• 1megapixelový tof zobrazovací čip s pokročilou pixelovou technologií umožňující vyšší frekvence modulace a hloubkovou přesnost.
• Dvě laserové diody NIR umožňující režim blízkého a širokého zorného pole (FoV) hloubky.
• Nejmenší toF pixel na světě s velikostí 3,5 μm × 3,5 μm.
• Automatický výběr získání podle pixelů umožňující velký dynamický rozsah umožňující čisté zachycení blízkých a vzdálených objektů.
• Globální závěrka, která umožňuje lepší výkon na slunci.
• Metoda vícefázového výpočtu hloubky, která umožňuje robustní přesnost i v případě třísek, laseru a zdrojů napájení.
• Nízká systematická a náhodná chyba.

Hloubková kamera přenáší nezpracované modulované IR obrázky do hostitelského počítače. Software hloubkového modulu GPU s akcelerací na počítači převádí nezpracovaný signál na hloubkové mapy. Hloubková kamera podporuje několik režimů. Režimy úzkého zorného pole (FoV) jsou ideální pro scény s menšími rozsahy v rozměrech X a Y, ale většími rozsahy v rozměru Z. Pokud má scéna velké rozsahy X a Y, ale menší rozsahy Z, jsou vhodnější široké režimy FoV .

Hloubková kamera podporuje režimy binningu 2x2 , které rozšiřují rozsah Z ve srovnání s odpovídajícími bez vazby. Binning se provádí za cenu snížení rozlišení obrazu. Všechny režimy mohou běžet rychlostí až 30 snímků za sekundu (fps) s výjimkou režimu 1 megapixel (MP), který běží při maximální snímkové frekvenci 15 snímků za sekundu. Hloubková kamera poskytuje také pasivní režim IR. V tomto režimu nejsou osvětlení na fotoaparátu aktivní a je pozorováno pouze okolní osvětlení.

Výkon kamery

Výkon kamery se měří jako systematické a náhodné chyby.

Systematická chyba

Systematická chyba je definována jako rozdíl mezi naměřenou hloubkou po odstranění šumu a správnou hloubkou (ground truth). Časový průměr vypočítáme pro mnoho snímků statické scény, abychom co nejvíce eliminovali hluk z hloubky. Přesněji řečeno, systematická chyba je definována takto:

Kde d_t označuje hloubku měření v čase t, N je počet snímků použitých při průměrování a d_gt je hloubka základní pravdy.

Systematická specifikace chyby hloubkové kamery vylučuje interferenci s více cestami (MPI). MPI je, když jeden pixel senzoru integruje světlo, které se odráží více než jedním objektem. Funkce MPI je v naší hloubkové kameře částečně zmírněná pomocí vyšších kmitočtů modulace a také hloubkové zneplatnění, kterou představíme později.

Náhodná chyba

Předpokládejme, že pořídíme 100 snímků stejného objektu bez přesunutí fotoaparátu. Hloubka objektu se bude na každém ze 100 obrázků mírně lišit. Tento rozdíl je způsobený šumem záběru. Šum záběru je počet fotonů, které dopadnou na senzor, se v průběhu času mění podle náhodného faktoru. Tuto náhodnou chybu ve statické scéně definujeme jako směrodatnou odchylku hloubky v průběhu času vypočítanou takto:

Kde N označuje počet měření hloubky, d_t představuje měření hloubky v čase t a d označuje střední hodnotu vypočítanou pro všechna měření hloubky d_t.

Neplatnost

V některých situacích nemusí hloubková kamera poskytovat správné hodnoty pro některé pixely. V těchto situacích jsou pixely hloubky neplatné. Neplatné pixely jsou označeny hodnotou hloubky, která se rovná 0. Mezi důvody, proč hloubkový modul nemůže vytvořit správné hodnoty, patří:

• Mimo aktivní IR osvětlení masky
• Nasycený signál IR
• Nízký signál IR
• Filtrovat odlehlé hodnoty
• Interference s více cestami

Maska osvětlení

Pixely se zneplatní, když jsou mimo aktivní masku ir osvětlení. K výpočtu hloubky nedoporučujeme používat signál takových pixelů. Následující obrázek ukazuje příklad zneplatnění pomocí masky osvětlení. Neplatné pixely jsou pixely černé barvy mimo kruh v širokých režimech FoV (vlevo) a šestiúhelník v úzkých režimech FoV (vpravo).

Síla signálu

Pokud pixely obsahují nasycený signál IR, zruší se jejich platnost. Když jsou pixely nasycené, informace o fázi jsou ztraceny. Následující obrázek ukazuje příklad zneplatnění pomocí nasyceného signálu IR. Podívejte se na šipky ukazující na ukázkové pixely v obrázcích hloubky i ir.

K zneplatnění může dojít také v případě, že signál IR není dostatečně silný, aby vygeneroval hloubku. Následující obrázek ukazuje příklad zneplatnění nízkým signálem IR. Podívejte se na šipky ukazující na ukázkové pixely v obrázcích hloubky i ir.

Nejednoznačná hloubka

Pixely mohou být také zneplatněny, pokud obdržely signály z více než jednoho objektu ve scéně. Běžný případ, kdy se tento druh zneplatnění projeví, je v rozích. Díky geometrii scény se IR světlo z kamery odráží od jedné stěny a na druhou. Toto odražené světlo způsobuje nejednoznačnost v měřené hloubce pixelu. Filtry v algoritmu hloubky detekují tyto nejednoznačné signály a zneplatní pixely.

Následující obrázky ukazují příklady zneplatnění pomocí detekce více cest. Můžete také vidět, jak se stejná plocha, která byla zrušena z jednoho zobrazení fotoaparátu (horní řádek), může znovu zobrazit z jiného zobrazení kamery (dolní řádek). Tento obrázek ukazuje, že plochy zneplatněné z jedné perspektivy mohou být viditelné z jiného pohledu.

Dalším běžným případem funkce multipath jsou pixely, které obsahují smíšený signál z popředí a pozadí (například kolem okrajů objektů). Během rychlého pohybu můžete vidět více zneplatněných pixelů kolem okrajů. Další zneplatněné pixely jsou způsobeny intervalem expozice nezpracovaného záznamu hloubky,

Další kroky

Systémy souřadnic