Камера глубины Azure Kinect DK
На этой странице описывается, как использовать камеру глубины в Azure Kinect DK. Камера глубины — это вторая из двух камер. Как обсуждалось в предыдущих разделах, другая камера — это камера RGB.
Принципы работы
Камера глубины Azure Kinect DK реализует принцип ToF Амплитудно-модулированной непрерывной волны (AMCW). Камера выполняет модуляцию освещения в ближнем ИК-спектре (NIR) на сцене. Затем она записывает косвенное измерение времени, необходимого свету для преодоления расстояния от камеры на сцену и обратно.
Эти измерения обрабатываются для создания карты глубины. Схема глубины — это набор значений координат Z для каждого пикселя изображения, измеряемого в миллиметрах.
Наряду с картой глубины мы также получаем так называемое чистое ИК-показание. Значение пикселей в чистом ИК-показании пропорционально количеству освещения, возвращенному со сцены. Изображение выглядит так же, как и обычное изображение в формате ИК. На рисунке ниже показан пример карты глубины (слева) и соответствующее чистое ИК-изображение (справа).
Основные возможности
Технические характеристики камеры глубины включают:
- 1-мегапиксельная микросхема обработки изображений ТОФ с расширенными пиксельными технологиями, обеспечивающая более высокую частоту модуляции и точность глубины.
- Два NIR-лазерных диода позволяют использовать около- и широкие режимы глубины представления (FoV).
- Самый маленький пиксель ToF в мире 3,5 μм/3,5 μм.
- Автоматическая выборка с увеличением на пиксель, позволяющая использовать большой динамический диапазон для чистого захвата ближних и дальних объектов.
- Глобальная выдержка, позволяющая повысить производительность при солнечном свете.
- Многофазный метод вычисления глубины, обеспечивающий устойчивую точность даже при вариативности микросхемы, лазера и источника питания.
- Малочисленные систематические и случайные ошибки.
Камера глубины передает необработанные ИК-изображения на узловой компьютер. На компьютере программное обеспечение ядра глубины GPU преобразует необработанный сигнал в карты глубины. Камера глубины поддерживает несколько режимов. Узкие поля режимов представления (FoV) идеально подходят для сцен с меньшими экстентами в измерениях X и Y, но большими экстентами в Z-измерении. Если сцена имеет большие экстенты X и Y, но меньше Z-диапазонов, широкие режимы FoV лучше подходят.
Камера глубины поддерживает режимы группирования 2 x 2 для расширения Z-диапазона в сравнении с соответствующими режимами без группирования. Группирование выполняется за счет снижения разрешения изображения. Все режимы могут выполняться с частотой до 30 кадров (fps) за исключением режима 1 мегапиксель (MP), который работает с максимальной частотой кадров, равной 15 кадрам/с. Камера глубины также обеспечивает пассивный ИК-режим. В этом режиме иллюминаторы на камере неактивны и используется только окружающее освещение.
Производительность камеры
Производительность камеры измеряется как систематические и случайные ошибки.
Систематическая ошибка
Систематическая ошибка определяется как разница между измеряемой глубиной после удаления шума и соответствующей глубиной (наземные данные). Мы вычислим среднее временное значение по многим кадрам статической сцены, чтобы исключить максимально возможное количество помех. Точнее, систематическая ошибка определяется следующим образом.
Где dt обозначает измерение глубины в момент t, N — число кадров, используемых в процедуре усреднения, а dgt — глубина по наземным данным.
Спецификация систематической ошибки камеры глубины исключает помехи с несколькими путями (MPI). MPI — когда один пиксель датчика интегрирует освещение, отраженное более чем одним объектом. MPI частично снижена в нашей камере глубины более высокой частотой модуляции, а также недействительностью глубины, которая будет описана далее.
Случайная ошибка
Предположим, что мы снимаем 100 изображений одного объекта без перемещения камеры. В каждом из 100 изображений глубина объекта будет немного отличаться. Это различие вызвано шумом на снимке. Шум при снимке — это вариации числа фотонов, попадающих на датчик под влиянием случайного коэффициента в зависимости от времени. Мы определяем эту случайную ошибку на статической сцене как стандартное отклонение глубины по времени, вычисленное как:
Где N обозначает число измерений глубины, dt представляет измерение глубины в момент t, а d — среднее значение, вычисленное по всем измерениям глубины dt .
Недействительность
В некоторых случаях камера глубины может не предоставлять правильные значения для некоторых пикселей. В таких случаях пиксели глубины становятся недействительными. Недопустимые пиксели обозначаются значением глубины, равным 0. Ниже перечислены причины, по которым механизму глубины не удается получить правильные значения.
- За пределами активной маски ИК-освещения
- Перегруженный ИК-сигнал
- Низкий ИК-сигнал
- Фильтрация выбросов
- Помехи с несколькими путями
Маска освещения
Пиксели становятся недействительными, если они находятся за пределами активной маски ИК-освещения. Не рекомендуется использовать сигнал таких пикселей для вычисления глубины. На рисунке ниже показан пример недействительности маски освещения. Недействительные пиксели — это черные пиксели за пределами окружности в широких режимах FoV (слева), а также шестиугольник в узких режимах FoV (справа).
Уровень сигнала
Пиксели становятся недействительными, если они содержат насыщенный ИК-сигнал. Когда пиксели насыщены, сведения о фазе теряются. На рисунке ниже показан пример недействительности вследствие перегруженного ИК-сигнала. См. стрелки, указывающие на примеры пикселей в изображениях глубины и ИК.
Недействительность может также возникать, когда ИК-сигнал недостаточно надежен для формирования глубины. На приведенном ниже рисунке показан пример недействительности с низким ИК-сигналом. См. стрелки, указывающие на примеры пикселей в изображениях глубины и ИК.
Неоднозначная глубина
Пиксели также могут быть недействительными, если они получили сигналы от нескольких объектов в сцене. Типичный случай такой недействительности можно наблюдать в углах. Из-за геометрии сцены ИК-освещение от камеры отражается с одной стены на другую. Это отраженное освещение приводит к неоднозначности измеряемой глубины пикселя. Фильтры в алгоритме глубины обнаруживают эти неоднозначные сигналы и делают недействительными пиксели.
На рисунках ниже показаны примеры недействительности при обнаружении нескольких путей. Вы также можете наблюдать, как одна и та же контактная зона, которая стала недействительной из одного представления камеры (верхняя строка), может снова появиться в другом представлении камеры (нижняя строка). На этом рисунке показано, что поверхности, недействительные с одной перспективы, могут быть видимы из другой.
Другим распространенным случаем нескольких путей являются пиксели, которые содержат смешанный сигнал от переднего плана и фона (например, вокруг краев объектов). Во время быстрого перемещения вы можете видеть больше недопустимых пикселей вокруг краев. Дополнительные недействительные пиксели появляются из-за интервала выдержки необработанного захвата глубины.
