Aparat głębokości usługi Azure urządzenia Kinect DKAzure Kinect DK depth camera

Ta strona zawiera informacje na temat korzystania z aparatu głębokości na platformie Azure urządzenia Kinect DK.This page covers how to use the depth camera in your Azure Kinect DK. Aparat głębokości jest drugim z dwóch kamer.The depth camera is the second of the two cameras. Jak opisano w poprzednich sekcjach, inny aparat jest kamerą RGB.As covered in previous sections, the other camera is the RGB camera.

Zasady operacyjneOperating principles

Aparat głębokości urządzenia Kinect na platformie Azure zawiera implementację zasady czasu trwania (ToF) modulowanej ciągłej fazy amplitudy (AMCW).The Azure Kinect DK depth camera implements the Amplitude Modulated Continuous Wave (AMCW) Time-of-Flight (ToF) principle. Aparat rzutuje modulowane oświetlenie na spektrum w sąsiedztwie podczerwieni (imię Nir) na scenę.The camera casts modulated illumination in the near-IR (NIR) spectrum onto the scene. Następnie rejestruje pośrednie pomiary czasu, przez który lampa jest przenoszona z aparatu do sceny i z powrotem.It then records an indirect measurement of the time it takes the light to travel from the camera to the scene and back.

Pomiary te są przetwarzane w celu wygenerowania mapy głębokości.These measurements are processed to generate a depth map. Mapa głębokości jest zestawem wartości współrzędnych Z i dla każdego piksela obrazu, mierzoną w jednostkach milimetrów.A depth map is a set of Z-coordinate values for every pixel of the image, measured in units of millimeters.

Podobnie jak w przypadku mapy głębokości, uzyskujemy również czysty odczyt w podczerwieni.Along with a depth map, we also obtain a so-called clean IR reading. Wartość pikseli w odczytaniu czystego środowiska IR jest proporcjonalna do liczby sygnalizatorów zwracanych z sceny.The value of pixels in the clean IR reading is proportional to the amount of light returned from the scene. Obraz wygląda podobnie do zwykłego obrazu podczerwieni.The image looks similar to a regular IR image. Na poniższym rysunku przedstawiono przykład mapy głębokości (po lewej) i odpowiedni obraz czystego środowiska IR (po prawej).The figure below shows an example depth map (left) and a corresponding clean IR image (right).

Głębokość i IR obok siebie

Najważniejsze funkcjeKey features

Cechy techniczne aparatu głębokości obejmują:Technical characteristics of the depth camera include:

  • wieloToFowy układ obrazu z technologią Advanced Pixel, który umożliwia wyższe częstotliwości modulacji i precyzję głębokości.1-Megapixel ToF imaging chip with advanced pixel technology enabling higher modulation frequencies and depth precision.
  • Dwie diody laserowe imię Nir umożliwiają wyświetlanie trybów głębokości zbliżonego i szerokiego (FoV).Two NIR Laser diodes enabling near and wide field-of-view (FoV) depth modes.
  • Na świecie najmniejszy ToF piksel o 3,5 μm przez 3,5 μm.The world’s smallest ToF pixel, at 3.5μm by 3.5μm.
  • Automatyczne przechwycenie z dokładnością do pikseli w przypadku dużego zakresu dynamicznego umożliwiającego czyszczenie blisko i daleko obiektów.Automatic per pixel gain selection enabling large dynamic range allowing near and far objects to be captured cleanly.
  • Globalna migawki, która pozwala zwiększyć wydajność w przypadku światła słonecznego.Global shutter that allows for improved performance in sunlight.
  • Wielofazowy Metoda obliczania głębokości, która umożliwia niezawodną dokładność nawet w przypadku obecności mikroukładu, laseru i zasilacza.Multi-phase depth calculation method that enables robust accuracy even in the presence of chip, laser, and power supply variation.
  • Małe błędy systematyczne i losowe.Low systematic and random errors.

Moduł głębokości

Aparat głębokości przesyła nieoczyszczone modulowane obrazy IR do komputera hosta.The depth camera transmits raw modulated IR images to the host PC. Na komputerze procesor GPU przyspieszenie aparatu, który konwertuje nieprzetworzony sygnał na mapy głębokości.On the PC, the GPU accelerated depth engine software converts the raw signal into depth maps.Aparat głębokości obsługuje kilka trybów. The depth camera supports several modes. Wąskie Tryby widoku (FOV) są idealnym rozwiązaniem w przypadku scen z mniejszymi zakresami w wymiarach X i Y, ale większymi zakresami w wymiarze z.The narrow field of view (FoV) modes are ideal for scenes with smaller extents in X- and Y-dimensions, but larger extents in the Z-dimension. Jeśli scena ma duże wartości X i Y, ale mniejsze zakresy Z, są lepiej dopasowane tryby FOV .If the scene has large X- and Y-extents, but smaller Z-ranges, the wide FoV modes are better suited.

Aparat głębokości obsługuje tryby pakowania 2x2 , aby zwiększyć zakres z w porównaniu do odpowiednich trybów unbinned.The depth camera supports 2x2 binning modes to extend the Z-range in comparison to the corresponding unbinned modes. Pakowania odbywa się przy obniżyć rozdzielczości obrazu.Binning is done at the cost of lowering image resolution. Wszystkie tryby można uruchamiać do 30 klatek na sekundę (FPS) z wyjątkiem trybu 1 megapikseli (MP), który jest uruchamiany z maksymalną szybkością klatek równą 15 fps.All modes can be run at up to 30 frames-per-second (fps) with exception of the 1 megapixel (MP) mode that runs at a maximum frame rate of 15 fps. Aparat głębokości udostępnia również tryb pasywnego IR.The depth camera also provides a passive IR mode. W tym trybie, świecki w aparacie nie są aktywne i zaobserwowano tylko oświetlenie otoczenia.In this mode, the illuminators on the camera aren't active and only ambient illumination is observed.

Wydajność aparatu fotograficznegoCamera performance

Wydajność aparatu jest mierzona jako błędy systematyczne i losowe.The camera’s performance is measured as systematic and random errors.

Błąd systematycznySystematic Error

Błąd systematyczny jest definiowany jako różnica między zmierzoną głębokością po usunięciu szumu i poprawną głębokością (z rzeczywistością).Systematic error is defined as the difference between the measured depth after noise removal and the correct (ground truth) depth. Obliczamy średni czasowo dla wielu klatek statycznej sceny w celu wyeliminowania szumu głębokości tak jak to możliwe.We compute the temporal average over many frames of a static scene to eliminate depth noise as much as possible. Dokładniej, systematyczne błędy są zdefiniowane jako:More precisely, the systematic error is defined as:

Błąd systematyczny głębokości

Gdzie *dt * wskazuje głębokość miary w czasie t, N to liczba klatek używanych w przypadku średniej procedury, a wartość *dgt * to podstawa prawdy.Where dt denotes the measure depth at time t, N is the number of frames used in the averaging procedure and dgt is the ground truth depth.

Systematyczna Specyfikacja błędów aparatu głębokości jest wykluczana z pominięciem wielościeżkowego zakłócenia (MPI).The depth camera’s systematic error specification is excluding multi-path interference (MPI). MPI jest, gdy jeden piksel czujnika integruje światło, które jest odzwierciedlone przez więcej niż jeden obiekt.MPI is when one sensor pixel integrates light that's reflected by more than one object. MPI jest częściowo zminimalizowany w naszym aparacie głębokości przy użyciu wyższych częstotliwości modulacji wraz z nieprawidłową głębokością, którą wprowadzimy w przyszłości.MPI is partly mitigated in our depth camera using higher modulation frequencies, along with the depth invalidation, which we'll introduce later.

Błąd losowyRandom error

Załóżmy, że zajmiemy 100 obrazów tego samego obiektu bez przechodzenia do aparatu.Let's assume we take 100 images of the same object without moving the camera. Głębokość obiektu będzie nieco inna w przypadku obrazów 100.The depth of the object will be slightly different in each of the 100 images. Różnica jest spowodowana przez zakłócenia zrzutu.This difference is caused by shot noise. Hałasem zrzutu jest liczba photons, która powoduje, że czujnik zmienia się w miarę upływu czasu.Shot noise is the number of photons hitting the sensor varies by a random factor over time. Definiujemy ten losowy błąd na sceny statycznej jako odchylenie standardowe głębokości w czasie obliczanym jako:We define this random error on a static scene as the standard deviation of depth over time computed as:

Losowy błąd głębokości

Gdzie N wskazuje liczbę pomiarów głębokości, *dt * reprezentuje pomiar głębokości w czasie t i d oznacza wartość średniej obliczoną dla wszystkich pomiarów głębokości dt.Where N denotes the number of depth measurements, dt represents the depth measurement at time t and d denotes the mean value computed over all depth measurements dt.

UnieważnianiaInvalidation

W niektórych sytuacjach aparat głębokości może nie zapewniać prawidłowych wartości dla niektórych pikseli.In certain situations, the depth camera may not provide correct values for some pixels. W tych sytuacjach głębokość pikseli jest unieważniona.In these situations depth pixels are invalidated. Nieprawidłowe piksele są wskazywane przez wartość głębokości równą 0.Invalid pixels are indicated by the depth value equals to 0. Powody aparatu głębokości nie mogą generować prawidłowych wartości:Reasons for the depth engine being unable to produce correct values include:

  • Poza aktywną maską oświetlenia IROutside of active IR illumination mask
  • Nasycenie sygnału IRSaturated IR signal
  • Niski sygnał IRLow IR signal
  • Odstający filtrFilter outlier
  • Zakłócenia wielu ścieżekMulti-path interference

Maska oświetleniaIllumination Mask

Piksele są unieważnione, gdy znajdują się poza aktywną maską oświetlenia IR.Pixels are invalidated when they're outside of the active IR illumination mask. Nie zalecamy użycia sygnału takich pikseli do głębokości obliczeniowej.We don't recommend using the signal of such pixels to compute depth. Na poniższym rysunku przedstawiono przykład unieważnienia według maski oświetlenia.The figure below, shows the example of invalidation by illumination mask. Niezweryfikowane piksele to czarne kolory poza okręgiem w trybie szerokiej FoV (po lewej), a sześciokąt w FoVych trybach wąskich (prawy).The invalidated pixels are the black-color pixels outside the circle in the wide FoV modes (left), and the hexagon in the narrow FoV modes (right).

Unieważnienie poza maską oświetlenia

Siła sygnałuSignal strength

Piksele są unieważnione, gdy zawierają nasycone sygnały IR.Pixels are invalidated when they contain a saturated IR signal. Po nasyceniu pikseli informacje o fazie są tracone.When pixels are saturated, phase information is lost. Na poniższym obrazie przedstawiono przykład unieważnienia przez nasycenie sygnału IR.The image below, shows the example of invalidation by a saturated IR signal. Zobacz strzałki wskazujące na przykładowe piksele w obrazie głębokości i w podczerwieni.See arrows pointed to the example pixels in both the depth and IR images.

Nasycenie unieważnienia

Unieważnienie może również wystąpić, gdy sygnał IR nie jest wystarczająco silny, aby wygenerować głębokość.Invalidation can also occur when the IR signal isn't strong enough to generate depth. Poniższy rysunek pokazuje przykład unieważnienia przez niski sygnał IR.The below figure, shows the example of invalidation by a low IR signal. Zobacz strzałki wskazujące na przykładowe piksele w obrazie głębi i w IR.See the arrows pointed to example pixels in both the depth and IR images.

Niski sygnał unieważnienia

Niejednoznaczna GłębokośćAmbiguous depth

Piksele mogą być również unieważnione, jeśli otrzymają sygnały z więcej niż jednego obiektu w scenie.Pixels can also be invalidated if they received signals from more than one object in the scene. Typowy przypadek, w którym takie sortowanie może być widoczne, znajduje się w rogach.A common case where this sort of invalidation can be seen is in corners. Ze względu na geometrię sceny, sygnalizatora IR z aparatu został przesunięty do jednej ściany i na drugą.Because of the scene geometry, the IR light from the camera reflected off one wall and onto the other. To odbicie światła powoduje niejednoznaczność w zmierzonej głębokości pikseli.This reflected light causes ambiguity in the measured depth of the pixel. Filtry w algorytmie głębokości wykrywają te niejednoznaczne sygnały i unieważnią piksele.Filters in the depth algorithm detect these ambiguous signals and invalidate the pixels.

Poniższe figury pokazują przykłady unieważnienia przez wykrywanie wielu ścieżek.The figures below show examples of invalidation by multi-path detection. Można też zobaczyć, jak obszar powierzchni, który został unieważniony z jednego widoku aparatu (górny wiersz) może pojawić się ponownie w innym widoku aparatu (dolny wiersz).You also can see how the same surface area that was invalidated from one camera view (top row) may appear again from a different camera view (bottom row). Ten obraz pokazuje, że powierzchnie unieważnione z jednej perspektywy mogą być widoczne z innego.This image demonstrates that surfaces invalidated from one perspective may be visible from another.

Unieważnienie wielościeżkowe — róg

Inny typowy przypadek wielościeżkowy to piksele, które zawierają sygnał mieszany z pierwszego planu i tła (na przykład wokół krawędzi obiektu).Another common case of multipath is pixels that contain the mixed signal from foreground and background (such as around object edges). Podczas szybkiego ruchu może pojawić się więcej niesprawdzonych pikseli wokół krawędzi.During fast motion, you may see more invalidated pixels around the edges. Dodatkowe niezweryfikowane piksele wynikają z interwału ekspozycji z nieprzetworzonej głębokości przechwytywania.The additional invalidated pixels are because of the exposure interval of the raw depth capture,

Unieważnienie krawędzi wielościeżkowej

Następne krokiNext steps

Układy współrzędnychCoordinate systems