Modulo di IA di Azure Percept Vision

Importante

Ritiro di Azure Percept DK:

Aggiornamento 22 febbraio 2023: è ora disponibile un aggiornamento del firmware per i componenti accessori Percept DK Vision e Audio (noto anche come Visione e Audio SOM) e consentirà ai componenti accessori di continuare a funzionare oltre la data di ritiro.

L'anteprima pubblica di Azure Percept si evolverà per supportare nuove piattaforme perimetrali per dispositivi e esperienze per sviluppatori. Nell'ambito di questa evoluzione, Azure Percept DK e Audio Accessorio e i servizi di supporto associati ai servizi di Azure per percept DK verranno ritirati il 30 marzo 2023.

A partire dal 30 marzo 2023, Azure Percept DK e Audio Accessorio non saranno più supportati da tutti i servizi di Azure, tra cui Azure Percept Studio, aggiornamenti del sistema operativo, aggiornamenti dei contenitori, visualizzazione flusso Web e integrazione Visione personalizzata. Microsoft non fornirà più supporto tecnico ai clienti e qualsiasi servizio di supporto associato. Per altre informazioni, visitare il post di blog sull'avviso di ritiro.

Azureeyemodule è il nome del modulo perimetrale responsabile dell'esecuzione del carico di lavoro visione di intelligenza artificiale in Azure Percept DK. Fa parte della suite azure IoT di moduli perimetrali e viene distribuita nella DK di Azure Percept durante l'esperienza di installazione. Questo articolo fornisce una panoramica del modulo e della relativa architettura.

Architettura

Il carico di lavoro Azure Percept in Azure Percept DK è un'applicazione C++ eseguita all'interno del contenitore docker azureeyemodule. Usa OpenCV GAPI per l'elaborazione delle immagini e l'esecuzione del modello. Azureeyemodule viene eseguito nel sistema operativo Mariner come parte della suite di moduli IoT di Azure eseguiti nella DK di Azure Percept.

Il carico di lavoro Azure Percept è destinato a acquisire immagini e messaggi di output. Le immagini di output possono essere contrassegnate con disegni, ad esempio caselle di selezione, maschere di segmentazione, articolazioni, etichette e così via. I messaggi di output sono un flusso JSON di risultati di inferenza che possono essere inseriti e usati dalle attività downstream. I risultati vengono serviti come flusso RTSP disponibile sulla porta 8554 del dispositivo. I risultati vengono inviati anche a un altro modulo in esecuzione nel dispositivo, che serve il flusso RTSP eseguito in un server HTTP, in esecuzione sulla porta 3000. In entrambi i casi, saranno visualizzabili solo nella rete locale.

Attenzione

Non esiste alcuna crittografia o autenticazione rispetto ai feed RTSP. Chiunque nella rete locale può visualizzare esattamente il Azure Percept Vision digitando l'indirizzo corretto in un Web browser o in un lettore multimediale RTSP.

Il carico di lavoro Azure Percept consente diverse funzionalità che gli utenti finali possono sfruttare:

• Soluzione senza codice per casi d'uso comuni di visione artificiale, ad esempio la classificazione degli oggetti e il rilevamento di oggetti comuni.
• Una soluzione avanzata, in cui uno sviluppatore può portare il proprio modello (potenzialmente a catena) sottoposto a training al dispositivo ed eseguirlo, eventualmente passando risultati a un altro modulo IoT della propria creazione in esecuzione nel dispositivo.
• Ciclo di ripetizione del training per acquisire le immagini dal dispositivo periodicamente, ripetere il training del modello nel cloud e quindi eseguire il push del modello appena sottoposto a training al dispositivo. Uso della capacità del dispositivo di aggiornare e scambiare modelli sul volo.

Dettagli del carico di lavoro di intelligenza artificiale

L'applicazione Workload è open source nel repository GitHub di Sviluppo avanzato di Azure Percept ed è costituita da molti moduli C++ di piccole dimensioni, con alcune delle più importanti:

• main.cpp: imposta tutto e quindi esegue il ciclo principale.
• iot: questa cartella contiene moduli che gestiscono messaggi in ingresso e in uscita dall'hub di IoT Edge di Azure e dal metodo di aggiornamento gemello.
• modello: questa cartella contiene moduli per una gerarchia di classi di modelli di visione artificiale.
• kernel: questa cartella contiene moduli per le funzioni wrapper, operazioni e kernel G-API.

Gli sviluppatori possono creare moduli personalizzati o personalizzare l'oggetto azureeyemodule corrente usando questa applicazione del carico di lavoro.

Passaggi successivi

• Dopo aver appreso di più sul carico di lavoro azureeyemodule e Azure Percept, provare a usare il proprio modello o pipeline seguendo una di queste esercitazioni
• In alternativa, provare a trasferire l'apprendimento usando uno dei notebook di Machine Learning pronti