Usare Azure Kinect Sensor SDK per registrare il formato di file
Per registrare i dati del sensore, viene usato il formato contenitore Matroska (.mdf), che consente di archiviare più tracce usando un'ampia gamma di codec. Il file di registrazione contiene tracce per l'archiviazione di colori, profondità, immagini IR e IMU.
I dettagli di basso livello del formato contenitore con estensione mdf sono disponibili nel sito Web Matroska.
| Nome traccia | Formato codec |
|---|---|
| COLORE | Mode-Dependent (MJPEG, NV12 o YUY2) |
| DEPTH | b16g (scala grigia a 16 bit, Big-endian) |
| IR | b16g (scala grigia a 16 bit, Big-endian) |
| IMU | Struttura personalizzata, vedere Struttura di esempio IMU seguente. |
Uso di strumenti di terze parti
Gli strumenti, ffmpeg ad esempio o il mkvinfo comando del toolkit JSONToolNix , possono essere usati per visualizzare ed estrarre informazioni dai file di registrazione.
Ad esempio, il comando seguente estrae la traccia di profondità come sequenza di PNG a 16 bit nella stessa cartella:
ffmpeg -i output.mkv -map 0:1 -vsync 0 depth%04d.png
Il parametro estrae l'indice -map 0:1 1, che per la maggior parte delle registrazioni sarà profondità. Se la registrazione non contiene una traccia di colore, -map 0:0 verrà usata.
Il -vsync 0 parametro forza ffmpeg ad estrarre i fotogrammi così come è invece di cercare di corrispondere a una frequenza di fotogrammi pari a 30 fps, 15 fps o 5 fps.
Struttura di esempio IMU
Se i dati IMU vengono estratti dal file senza usare l'API di riproduzione, i dati saranno in formato binario. La struttura dei dati IMU è riportata di seguito. Tutti i campi sono little-endian.
| Campo | Tipo |
|---|---|
| Timestamp Accelerometro (μs) | uint64 |
| Dati Accelerometro (x, y, z) | float[3] |
| Timestamp giroscopio (μs) | uint64 |
| Dati giroscopio (x, y, z) | float[3] |
Identificazione delle tracce
Potrebbe essere necessario identificare la traccia contenente colore, profondità, ir e così via. L'identificazione delle tracce è necessaria quando si utilizzano strumenti di terze parti per leggere un file Matroska. Tenere traccia dei numeri in base alla modalità fotocamera e al set di tracce abilitate. I tag vengono usati per identificare il significato di ogni traccia.
L'elenco dei tag seguenti è associato a un elemento Matroska specifico e può essere usato per cercare la traccia o l'allegato corrispondente.
Questi tag sono visualizzabili con strumenti come ffmpeg e mkvinfo.
L'elenco completo dei tag è elencato nella pagina Record e Playback .
| Nome del tag | Destinazione tag | Valore del tag |
|---|---|---|
| K4A_COLOR_TRACK | Traccia colore | Matroska Track UID |
| K4A_DEPTH_TRACK | Traccia profondità | Matroska Track UID |
| K4A_IR_TRACK | Traccia ir | Matroska Track UID |
| K4A_IMU_TRACK | Traccia IMU | Matroska Track UID |
| K4A_CALIBRATION_FILE | Allegato di calibrazione | Nome file allegato |