rychlý start: vytvoření aplikace pro sledování textu v Azure Kinect
Začínáme se sadou SDK pro sledování textu? Tento rychlý Start vám pomůže začít pracovat se sledováním textu! další příklady najdete v tomto úložišti Azure-Kinect-Sample.
Požadavky
- Nastavení sady Azure Kinect DK
- Nastavení sady Body Tracking SDK
- projděte si informace o tom, jak vytvořit první Azure Kinect rychlé spuštění aplikace.
- Seznamte se s následujícími funkcemi sady senzor SDK:
- Přečtěte si dokumentaci o následujících funkcích sady SDK pro sledování textu:
Hlavičky
Sledování textu používá jednu hlavičku k4abt.h . Zahrnout tuto hlavičku kromě k4a.h . Ujistěte se, že je váš kompilátor zvolený pro sadu SDK senzoru i pro sadu SDK a složky pro sledování textu lib include . Je také potřeba propojit k4a.lib k4abt.lib soubory a. Spuštění aplikace vyžaduje k4a.dll ,, k4abt.dll onnxruntime.dll a dnn_model.onnx v cestě spuštění aplikací.
#include <k4a/k4a.h>
#include <k4abt.h>
Otevřete zařízení a spusťte fotoaparát.
vaše první aplikace pro sledování textu předpokládá jedno zařízení Azure Kinect připojené k počítači.
Sestavení sledování textu v sadě senzor SDK. Pokud chcete použít sledování textu, musíte nejdřív otevřít a nakonfigurovat zařízení. Pomocí funkce k4a_device_open () otevřete zařízení a nakonfigurujte ho pomocí objektu k4a_device_configuration_t . Pro dosažení nejlepších výsledků nastavte režim hloubky na K4A_DEPTH_MODE_NFOV_UNBINNED nebo K4A_DEPTH_MODE_WFOV_2X2BINNED . Sledování textu se nespustí, pokud je režim hloubky nastavený na K4A_DEPTH_MODE_OFF nebo K4A_DEPTH_MODE_PASSIVE_IR .
Další informace o hledání a otevírání zařízení najdete na této stránce.
další informace o režimech Kinect hloubky Azure najdete na těchto stránkách: specifikace hardwaru a k4a_depth_mode_t výčty.
k4a_device_t device = NULL;
k4a_device_open(0, &device);
// Start camera. Make sure depth camera is enabled.
k4a_device_configuration_t deviceConfig = K4A_DEVICE_CONFIG_INIT_DISABLE_ALL;
deviceConfig.depth_mode = K4A_DEPTH_MODE_NFOV_UNBINNED;
deviceConfig.color_resolution = K4A_COLOR_RESOLUTION_OFF;
k4a_device_start_cameras(device, &deviceConfig);
Vytvořit sledovací modul
Prvním krokem při získávání výsledků sledování těla je vytvoření sledovacího sledování textu. Vyžaduje k4a_calibration_t strukturu kalibrace senzorů. K kalibraci senzorů se dá dotázat pomocí funkce k4a_device_get_calibration () .
k4a_calibration_t sensor_calibration;
k4a_device_get_calibration(device, deviceConfig.depth_mode, deviceConfig.color_resolution, &sensor_calibration);
k4abt_tracker_t tracker = NULL;
k4abt_tracker_configuration_t tracker_config = K4ABT_TRACKER_CONFIG_DEFAULT;
k4abt_tracker_create(&sensor_calibration, tracker_config, &tracker);
získat zachycení ze zařízení Azure Kinect
Další informace o načítání dat obrázku najdete na této stránce.
// Capture a depth frame
k4a_capture_t sensor_capture;
k4a_device_get_capture(device, &sensor_capture, TIMEOUT_IN_MS);
Zařadit do fronty zachycené a automaticky otevírané výsledky
modul pro sledování interně udržuje vstupní frontu a výstupní frontu pro asynchronní zpracování služby Azure Kinect DK, které zachycuje efektivněji. Dalším krokem je použití k4abt_tracker_enqueue_capture() funkce k přidání nového zachycení do vstupní fronty. Pomocí k4abt_tracker_pop_result() funkce můžete z výstupní fronty zobrazit výsledek. Hodnota časového limitu závisí na aplikaci a řídí dobu čekání ve frontě.
Vaše první aplikace pro sledování textu používá vzor zpracování v reálném čase. Podrobné vysvětlení dalších vzorů najdete v tématu získání výsledků sledování textu .
k4a_wait_result_t queue_capture_result = k4abt_tracker_enqueue_capture(tracker, sensor_capture, K4A_WAIT_INFINITE);
k4a_capture_release(sensor_capture); // Remember to release the sensor capture once you finish using it
if (queue_capture_result == K4A_WAIT_RESULT_FAILED)
{
printf("Error! Adding capture to tracker process queue failed!\n");
break;
}
k4abt_frame_t body_frame = NULL;
k4a_wait_result_t pop_frame_result = k4abt_tracker_pop_result(tracker, &body_frame, K4A_WAIT_INFINITE);
if (pop_frame_result == K4A_WAIT_RESULT_SUCCEEDED)
{
// Successfully popped the body tracking result. Start your processing
...
k4abt_frame_release(body_frame); // Remember to release the body frame once you finish using it
}
Přístup k datům výsledků sledování textu
Výsledky sledování textu pro každé zachycení snímače jsou uloženy v těle k4abt_frame_t struktury. Každý rámec těla obsahuje tři klíčové komponenty: kolekci struktur těla, mapu 2D těla a vstupní zachycení.
Vaše první aplikace pro sledování textu přistupuje jenom k počtu zjištěných subjektů. Podrobnější vysvětlení dat v těle najdete v tématu věnovaném přístupu k datům v těle rámce .
size_t num_bodies = k4abt_frame_get_num_bodies(body_frame);
printf("%zu bodies are detected!\n", num_bodies);
Vyčištění
Posledním krokem je vypnutí sledování textu a uvolnění objektu sledování těla. Musíte také zařízení zastavit a zavřít.
k4abt_tracker_shutdown(tracker);
k4abt_tracker_destroy(tracker);
k4a_device_stop_cameras(device);
k4a_device_close(device);
Úplný zdroj
#include <stdio.h>
#include <stdlib.h>
#include <k4a/k4a.h>
#include <k4abt.h>
#define VERIFY(result, error) \
if(result != K4A_RESULT_SUCCEEDED) \
{ \
printf("%s \n - (File: %s, Function: %s, Line: %d)\n", error, __FILE__, __FUNCTION__, __LINE__); \
exit(1); \
} \
int main()
{
k4a_device_t device = NULL;
VERIFY(k4a_device_open(0, &device), "Open K4A Device failed!");
// Start camera. Make sure depth camera is enabled.
k4a_device_configuration_t deviceConfig = K4A_DEVICE_CONFIG_INIT_DISABLE_ALL;
deviceConfig.depth_mode = K4A_DEPTH_MODE_NFOV_UNBINNED;
deviceConfig.color_resolution = K4A_COLOR_RESOLUTION_OFF;
VERIFY(k4a_device_start_cameras(device, &deviceConfig), "Start K4A cameras failed!");
k4a_calibration_t sensor_calibration;
VERIFY(k4a_device_get_calibration(device, deviceConfig.depth_mode, deviceConfig.color_resolution, &sensor_calibration),
"Get depth camera calibration failed!");
k4abt_tracker_t tracker = NULL;
k4abt_tracker_configuration_t tracker_config = K4ABT_TRACKER_CONFIG_DEFAULT;
VERIFY(k4abt_tracker_create(&sensor_calibration, tracker_config, &tracker), "Body tracker initialization failed!");
int frame_count = 0;
do
{
k4a_capture_t sensor_capture;
k4a_wait_result_t get_capture_result = k4a_device_get_capture(device, &sensor_capture, K4A_WAIT_INFINITE);
if (get_capture_result == K4A_WAIT_RESULT_SUCCEEDED)
{
frame_count++;
k4a_wait_result_t queue_capture_result = k4abt_tracker_enqueue_capture(tracker, sensor_capture, K4A_WAIT_INFINITE);
k4a_capture_release(sensor_capture); // Remember to release the sensor capture once you finish using it
if (queue_capture_result == K4A_WAIT_RESULT_TIMEOUT)
{
// It should never hit timeout when K4A_WAIT_INFINITE is set.
printf("Error! Add capture to tracker process queue timeout!\n");
break;
}
else if (queue_capture_result == K4A_WAIT_RESULT_FAILED)
{
printf("Error! Add capture to tracker process queue failed!\n");
break;
}
k4abt_frame_t body_frame = NULL;
k4a_wait_result_t pop_frame_result = k4abt_tracker_pop_result(tracker, &body_frame, K4A_WAIT_INFINITE);
if (pop_frame_result == K4A_WAIT_RESULT_SUCCEEDED)
{
// Successfully popped the body tracking result. Start your processing
size_t num_bodies = k4abt_frame_get_num_bodies(body_frame);
printf("%zu bodies are detected!\n", num_bodies);
k4abt_frame_release(body_frame); // Remember to release the body frame once you finish using it
}
else if (pop_frame_result == K4A_WAIT_RESULT_TIMEOUT)
{
// It should never hit timeout when K4A_WAIT_INFINITE is set.
printf("Error! Pop body frame result timeout!\n");
break;
}
else
{
printf("Pop body frame result failed!\n");
break;
}
}
else if (get_capture_result == K4A_WAIT_RESULT_TIMEOUT)
{
// It should never hit time out when K4A_WAIT_INFINITE is set.
printf("Error! Get depth frame time out!\n");
break;
}
else
{
printf("Get depth capture returned error: %d\n", get_capture_result);
break;
}
} while (frame_count < 100);
printf("Finished body tracking processing!\n");
k4abt_tracker_shutdown(tracker);
k4abt_tracker_destroy(tracker);
k4a_device_stop_cameras(device);
k4a_device_close(device);
return 0;
}