Idee per le soluzioni
Questo articolo è un'idea di soluzione. Per espandere il contenuto con altre informazioni, ad esempio potenziali casi d'uso, servizi alternativi, considerazioni sull'implementazione o indicazioni sui prezzi, inviare commenti e suggerimenti su GitHub.
L'architettura illustrata di seguito usa Visione personalizzata per classificare le immagini scattate da un drone simulato. L'esempio mostra una possibile combinazione di intelligenza artificiale e Internet delle cose (IoT). È possibile usare Visione personalizzata di Azure anche per il rilevamento oggetti.
Architecture
Scaricare un file di Visio di questa architettura.
Workflow
- Usare l'ambiente con rendering 3D di AirSim per scattare immagini con il drone. Usare le immagini come set di dati di training.
- Importare e contrassegnare il set di dati in un progetto di Visione personalizzata. Il servizio cognitivo esegue il training e il test del modello.
- Esportare il modello in formato TensorFlow per poterlo usare in locale.
- Il modello può anche essere distribuito in un contenitore nei dispositivi mobili.
Componenti
Simulatore di droni Microsoft AirSim
Il simulatore di droni Microsoft AirSim è basato su Unreal Engine. Il simulatore è open source, multipiattaforma e sviluppato per aiutare la ricerca di intelligenza artificiale. Nell'architettura viene creato il set di dati con immagini usate per eseguire il training del modello.
Visione personalizzata di Azure
Visione personalizzata di Azure fa parte dei Servizi cognitivi di Azure. Nell'architettura viene creato un modello di classificatore di immagini.
TensorFlow
TensorFlow è una piattaforma open source per l'apprendimento automatico. È uno strumento che consente di sviluppare modelli ML ed effettuarne il training. Quando si esporta un modello in formato TensorFlow, insieme al modello di Visione personalizzata viene fornito anche un file di buffer del protocollo che è possibile usare in locale nello script.
Dettagli dello scenario
Servizi cognitivi di Azure offre diverse possibilità per le soluzioni di intelligenza artificiale. Una di queste è Visione personalizzata di Azure, che consente di compilare, distribuire e migliorare i classificatori di immagini. L'architettura illustrata di seguito usa Visione personalizzata per classificare le immagini scattate da un drone simulato. L'esempio mostra una possibile combinazione di intelligenza artificiale e Internet delle cose (IoT). È possibile usare Visione personalizzata di Azure anche per il rilevamento oggetti.
Potenziale caso d'uso
Questa soluzione è ideale per il salvataggio, la simulazione, la robotica, gli aerei, il settore aerospaziale e l'aviazione.
Il lab Search and Rescue di Microsoft suggerisce un ipotetico caso d'uso di Visione personalizzata. Nel lab, l'utente pilota un drone simulato di Microsoft AirSim in un ambiente con rendering 3D. Il drone simulato viene utilizzato per acquisire immagini sintetiche degli animali nell'ambiente. Dopo aver creato un set di dati con le immagini, tale set di dati viene utilizzato per eseguire il training del modello classificatore di Visione personalizzata. Per eseguire il training del modello, le immagini vengono contrassegnate con i nomi degli animali. Quando si pilota di nuovo il drone, si acquisiscono nuove immagini degli animali e la soluzione identifica il nome dell'animale per ogni nuova immagine.
In un'applicazione pratica del lab, un drone reale sostituisce il drone simulato di Microsoft AirSim. Se un animale domestico si perde, il proprietario fornisce le immagini dell'animale al modello di training di Visione personalizzata. Proprio come nella simulazione, le immagini vengono usate per eseguire il training del modello e riconoscere l'animale perso. Il pilota del drone effettua quindi una ricerca nell'area in cui è probabile che l'animale si sia smarrito. Se il drone rileva degli animali lungo il percorso, la fotocamera ne acquisisce le immagini e determina se l'animale individuato corrisponde all'animale smarrito.
Distribuire lo scenario
Per distribuire l'architettura di riferimento, seguire la procedura descritta nel repository GitHub del lab Search and Rescue.
Contributori
Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.
Autori principali:
- Jose Contreras | Principal Software Engineer
Passaggi successivi
- Altre informazioni su Microsoft AirSim
- Altre informazioni sul servizio cognitivo Visione personalizzata di Azure
- Altre informazioni su Servizi cognitivi di Azure
Risorse correlate
Leggere altri articoli del Centro architetture di Azure: