Guida tecnica del modello di soluzione Cortana Intelligence per la manutenzione predittiva nel settore aerospaziale e in altri campi

Importante

Questo articolo è stato deprecato. Le informazioni sono ancora rilevanti per il problema specifico, ovvero la manutenzione predittiva nel settore aerospaziale, ma l'articolo più recente con informazioni aggiornate è disponibile qui.

Riconoscimenti

Autori di questo articolo sono gli esperti di gestione dati Yan Zhang, Gauher Shaheen e Fidan Boylu Uz e il programmatore Microsoft Dan Grecoe.

Panoramica

I modelli di soluzione sono progettati per accelerare il processo di compilazione di una demo end-to-end basata su Cortana Intelligence Suite. Un modello distribuito esegue il provisioning alla sottoscrizione dei componenti Cortana Intelligence necessari e permette di creare le relazioni tra di essi. Esegue anche il seeding nella pipeline di dati, a cui indirizza dati di esempio generati da un'applicazione di generazione dati, da scaricare e installare nel computer locale dopo aver distribuito il modello di soluzione. I dati generati dall'applicazione attivano la pipeline di dati e avviano la creazione di stime di Machine Learning che possono essere visualizzate nel dashboard di Power BI. Il processo di distribuzione prevede diversi passaggi per l'impostazione delle credenziali della soluzione. Assicurarsi di prendere nota delle credenziali, ad esempio il nome della soluzione, il nome utente e la password forniti durante la distribuzione.

L'obiettivo di questo documento è illustrare l'architettura di riferimento e i vari componenti di cui è stato eseguito il provisioning alla sottoscrizione nell'ambito di questo modello di soluzione. Il documento illustra anche come sostituire i dati di esempio con dati reali per poter visualizzare informazioni dettagliate e stime dai propri dati e illustra poi le parti del modello di soluzione da modificare per personalizzare la soluzione con i propri dati. Alla fine del documento vengono fornite istruzioni sulla compilazione del dashboard di Power BI per questo modello di soluzione.

Suggerimento

È possibile scaricare e stampare una versione in formato PDF di questo documento.

Quadro generale

Architettura di manutenzione predittiva

Quando viene distribuita la soluzione, vengono attivati vari servizi di Azure in Cortana Analytics Suite, ad esempio Hub eventi, Analisi di flusso, HDInsight, Data Factory, Machine Learning e così via. Il diagramma dell'architettura riportato sopra illustra, a livello generale, l'intero processo di costruzione del modello di soluzione per la manutenzione predittiva nel settore aerospaziale. Sarà possibile esaminare i servizi nel portale di Azure facendo clic su di essi nel diagramma del modello di soluzione creato con la distribuzione della soluzione, ad eccezione del servizio HDInsight, di cui viene effettuato il provisioning su richiesta quando le attività della pipeline correlate devono essere eseguite e successivamente eliminate. È possibile scaricare una versione completa del diagramma.

Le sezioni seguenti descrivono i vari componenti.

Origine dati e inserimento

Origine dati sintetica

L'origine dati usata per questo modello viene generata da un'applicazione desktop da scaricare ed eseguire localmente al termine della distribuzione. Le istruzioni per il download e l'installazione di questa applicazione sono disponibili nella barra delle proprietà, selezionando il primo nodo denominato Predictive Maintenance Data Generator nel diagramma del modello di soluzione. Questa applicazione invia al servizio Hub eventi di Azure punti dati, o eventi, che verranno usati nel flusso della soluzione. L'origine dati è costituita o derivata da dati disponibili pubblicamente nel repository dei dati della NASA usando il Turbofan Engine Degradation Simulation Data Set.

L'applicazione di generazione eventi popola l'Hub eventi di Azure solo quando è in esecuzione nel computer.

Hub eventi di Azure

Il servizio Hub eventi di Azure è il destinatario dell'input fornito dall'origine dati sintetica descritta in precedenza.

Preparazione e analisi dei dati

Analisi di flusso di Azure

Il servizio Analisi di flusso di Azure consente di analizzare quasi in tempo reale il flusso di input dal servizio Hub eventi di Azure, pubblicare i risultati in un dashboard di Power BI e archiviare tutti gli eventi in ingresso non elaborati nel servizio Archiviazione di Azure, per l'elaborazione successiva da parte del servizio Azure Data Factory.

Aggregazione personalizzata di HDInsight

Il servizio Azure HDInsight, orchestrato da Data factory di Azure, consente di eseguire script Hive per aggregare eventi non elaborati archiviati usando il servizio Analisi di flusso di Azure.

Azure Machine Learning

Il servizio Azure Machine Learning , orchestrato da Data factory di Azure, consente di eseguire stime sulla vita utile rimanente di un determinato motore di aereo in base agli input ricevuti.

Pubblicazione dei dati

Servizio database SQL di Azure

Il servizio database SQL di Azure, gestito da Azure Data Factory, consente di archiviare le stime ricevute dal servizio Azure Machine Learning che verranno utilizzate nel dashboard di Power BI.

Utilizzo dei dati

Power BI

Il servizio Power BI consente di visualizzare un dashboard contenente le aggregazioni e gli avvisi forniti dal servizio Analisi di flusso di Azure, oltre alle stime sulla vita utile rimanente archiviate nel database SQL di Azure e prodotte con il servizio Azure Machine Learning. Per istruzioni sulla compilazione del dashboard di Power BI per questo modello di soluzione, vedere la sezione sottostante.

Come inserire i propri dati

Questa sezione descrive come inserire i propri dati in Azure e quali aree sarebbe necessario modificare per i dati inseriti in questa architettura.

È poco probabile che i set di dati inseriti possano corrispondere al set di dati usato dal Turbofan Engine Degradation Simulation Data Set per questo modello di soluzione. Per poter adattare questo modello ai propri dati è fondamentale comprendere i dati e i requisiti. Se si tratta della prima esperienza con il servizio Azure Machine Learning, è possibile ottenere un'introduzione eseguendo l'esercitazione Creare il primo esperimento.

Le sezioni seguenti illustrano le sezioni del modello che è necessario modificare quando viene introdotto un nuovo set di dati.

Hub eventi di Azure

Il servizio Hub eventi di Azure è molto generico e accetta la registrazione di dati in formato CSV o JSON. In Hub eventi di Azure non viene eseguita alcuna elaborazione speciale, ma è importante comprendere i dati inseriti.

Questo documento non descrive come inserire i dati, ma è possibile inviare facilmente eventi o dati a un hub eventi di Azure usando l'API di Hub eventi.

Analisi di flusso di Azure

Il servizio Analisi di flusso di Azure viene usato per fornire l'analisi quasi in tempo reale tramite la lettura dai flussi di dati e l'output dei dati in un numero qualsiasi di origini.

Per il modello di soluzione per la manutenzione predittiva nel settore aerospaziale, la query di Analisi di flusso di Azure è costituita da quattro sottoquery che utilizzano eventi provenienti dal servizio Hub eventi di Azure e inviano l'output a quattro posizioni distinte. L'output è costituito da tre set di dati di Power BI e una posizione di archiviazione di Azure.

Per trovare la query di Analisi di flusso di Azure:

  • Accedere al portale di Azure.
  • Individuare i processi di analisi di flusso Icona di analisi di flusso generati quando è stata distribuita la soluzione, ad esempio, maintenancesa02asapbi e maintenancesa02asablob per la soluzione di analisi predittiva
  • Selezionare:

    • INPUT per visualizzare l'input della query.
    • QUERY per visualizzare la query stessa.
    • OUTPUT per visualizzare i vari output.

Per informazioni sulla costruzione di query in Analisi di flusso di Azure, vedere l'articolo di riferimento sulle query di Analisi di flusso in MSDN.

In questa soluzione, le query restituiscono tre set di dati con informazioni di analisi quasi in tempo reale sul flusso di dati in ingresso in un dashboard di Power BI fornito con questo modello di soluzione. Dal momento che la conoscenza del formato dei dati in ingresso è implicita, sarebbe necessario modificare queste query in base al formato dei propri dati.

La query nel secondo processo di analisi di flusso, maintenancesa02asablob, restituisce semplicemente tutti gli eventi di Hub eventi ad Archiviazione di Azure. Non richiede quindi alcuna modifica, indipendentemente dal formato dei dati, dal momento che le informazioni complete sull'evento vengono trasmesse all'archiviazione.

Data factory di Azure

Il servizio Data factory di Azure orchestra lo spostamento e l'elaborazione dei dati. Nel modello di soluzione per la manutenzione predittiva nel settore aerospaziale, la data factory è costituita da tre pipeline che spostano ed elaborano i dati facendo uso di varie tecnologie. Per accedere alla data factory, è possibile aprire il nodo Data factory nella parte inferiore del diagramma del modello di soluzione creato con la distribuzione della soluzione. Si passerà alla data factory nel portale di Azure. È possibile ignorare gli eventuali errori presenti nei set di dati, perché sono dovuti al fatto che la data factory è stata distribuita prima dell'avvio del generatore di dati. Questi errori non impediscono il funzionamento della data factory.

Errori di set di dati di Data Factory

Questa sezione illustra le pipeline e le attività necessarie contenute in Azure Data Factory. Di seguito è riportata la vista diagramma della soluzione.

Data factory di Azure

Due delle pipeline di questa data factory contengono script Hive usati per partizionare e aggregare i dati. Se specificato, gli script verranno inseriti nell'account di archiviazione di Azure creato durante l'installazione, nel percorso: maintenancesascript\script\hive\. Il percorso sarà: maintenancesascript\\script\\hive\\ (o https://[nome della soluzione].blob.core.windows.net/maintenancesascript).

Come le query di Analisi di flusso di Azure, gli script Hive hanno una conoscenza implicita del formato dei dati in ingresso. Sarà quindi necessario modificare queste query in base al formato dati e ai requisiti di progettazione delle funzioni specifici.

AggregateFlightInfoPipeline

Questa pipeline contiene un'unica attività HDInsightHive, che usa un servizio HDInsightLinkedService che esegue uno script Hive per partizionare i dati inseriti in Archiviazione di Azure durante il processo di Analisi di flusso di Azure.

Lo script Hive per questa attività di partizionamento è AggregateFlightInfo.hql.

MLScoringPipeline

Questa pipeline contiene diverse attività il cui risultato finale è costituito dalle stime con punteggio provenienti dall'esperimento di Azure Machine Learning associato a questo modello di soluzione.

Le attività contenute nella pipeline sono:

CopyScoredResultPipeline

Questa pipeline contiene un'unica attività Copy che sposta i risultati dell'esperimento di Azure Machine Learning da MLScoringPipeline al database SQL di Azure di cui è stato effettuato il provisioning durante l'installazione del modello di soluzione.

Azure Machine Learning

L'esperimento di Azure Machine Learning usato per questo modello di soluzione fornisce la vita utile rimanente di un motore di aereo. L'esperimento è specifico per il set di dati utilizzato. Per l'uso con dati propri dovrà quindi essere modificato o sostituito in base alle specifiche dei dati inseriti.

Per informazioni su come è stato creato l'esperimento di Azure Machine Learning, vedere l'articolo relativo alla manutenzione predittiva: passaggio 1 di 3, preparazione dei dati e progettazione delle funzioni.

Monitorare lo stato

Dopo aver avviato il generatore di dati, la pipeline inizia ad attivarsi e i diversi componenti della soluzione cominciano ad avviarsi in base ai comandi inviati da Data factory. Esistono due modi per monitorare la pipeline.

  1. Uno dei processi di Analisi di flusso scrive i dati in ingresso non elaborati nell'archivio BLOB. Se si fa clic sul componente archivio BLOB della soluzione dalla schermata in cui è stata distribuita la soluzione e si fa clic su Apri nel pannello di destra, verrà visualizzato il portale di gestione. Una volta nel portale, fare clic su BLOB. Nel pannello successivo verrà visualizzato un elenco di contenitori. Fare clic su maintenancesadata. Nel pannello successivo verrà visualizzata la cartella rawdata. All'interno della cartella rawdata saranno presenti cartelle con nomi quali hour=17, hour=18 e così via. Se vengono visualizzate queste cartelle, significa che i dati non elaborati sono stati generati nel computer e archiviati nell'archivio BLOB. Verranno visualizzati file con estensione csv che in tali cartelle devono avere dimensioni limitate in MB.
  2. L'ultimo passaggio della pipeline consiste nella scrittura di dati, ad esempio stime da Machine Learning, nel database SQL. Possono essere necessarie al massimo tre ore prima che i dati siano visibili nel database SQL. È possibile monitorare la quantità di dati disponibili nel database SQL nel portale di Azure. Nel pannello a sinistra individuare DATABASE SQL Icona SQL e fare clic su questa voce. Individuare quindi il database pmaintenancedb e fare clic su di esso. Fare clic su GESTISCI nella parte inferiore della pagina successiva.

    Icona Gestisci.

    A questo punto fare clic su Nuova query ed eseguire una query per il numero di righe (ad esempio, selezionare count(*) da PMResult). Man mano che il database cresce, il numero di righe nella tabella dovrebbe aumentare.

Dashboard di Power BI

Panoramica

Questa sezione descrive come configurare il dashboard di Power BI per visualizzare i dati in tempo reale provenienti da Analisi di flusso di Azure (percorso critico), nonché i risultati della stima in batch provenienti da Azure Machine Learning (percorso non critico).

Configurare il dashboard per il percorso non critico

Nella pipeline di dati del percorso non critico, l'obiettivo principale è ottenere la stima della vita utile rimanente di ogni motore di aereo al termine di un volo (ciclo). Il risultato viene aggiornato ogni 3 ore per eseguire la stima su motori di aereo che hanno terminato un volo nelle 3 ore precedenti.

Power BI si connette a un database SQL di Azure come origine dati, in cui sono archiviati i risultati della stima. Si noti che quando si distribuisce la soluzione, viene visualizzata una stima reale nel database entro 3 ore. Il file PBIX fornito con il download del generatore contiene alcuni dati di seeding che permettono di creare il dashboard di Power BI fin da subito. Si noti anche che in questo passaggio il download e l'installazione del software gratuito Power BI Desktopsono un prerequisito.

La procedura seguente illustra come connettere il file con estensione pbix al database SQL riattivato al momento della distribuzione della soluzione che contiene i dati per la visualizzazione, ad esempio i risultati della stima.

  1. Ottenere le credenziali del database.

    Prima di procedere con i passaggi successivi, è necessario ottenere il nome del server di database, il nome del database, il nome utente e la password . I passaggi per ottenerli sono riportati di seguito.

    • Quando la voce Database SQL di Azure nel diagramma del modello di soluzione diventa verde, selezionarla e quindi fare clic su Apri.
    • Verrà aperta una nuova scheda o finestra del browser con la pagina del portale di Azure. Fare clic su Gruppi di risorse nel pannello di sinistra.
    • Selezionare la sottoscrizione usata per la distribuzione della soluzione e quindi NomeSoluzione_GruppoDiRisorse.
    • Nel nuovo pannello a comparsa fare clic sull'icona Icona SQL per accedere al database. Il nome del database si trova accanto a questa icona, ad esempio pmaintenancedb, mentre il nome del server di database è riportato nella proprietà Nome server ed è simile a NomeSoluzione.database.windows.net.
    • Il nome utente e la password del database sono quelli registrati prima durante la distribuzione della soluzione.
  2. Aggiornare l'origine dati del file di report del percorso non critico con Power BI Desktop.

    • Nella cartella del PC in cui è stato scaricato e decompresso il file del generatore, fare doppio clic sul file PowerBI\PredictiveMaintenanceAerospace.pbix. Ignorare gli eventuali messaggi di avviso visualizzati all'apertura del file. All'inizio del file fare clic su Modifica query.

      Modifica query

    • Verranno visualizzate due tabelle, RemainingUsefulLife e PMResult. Selezionare la prima tabella e fare clic su Icona di impostazione query accanto a 'Origine' in 'PASSAGGI APPLICATI' nel pannello 'Impostazioni query' a destra. Ignorare gli eventuali messaggi di avviso visualizzati.
    • Nella finestra popup sostituire Server e Database con i nomi del server e del database usati e quindi fare clic su OK. Per il nome del server, assicurarsi di specificare la porta 1433:NomeSoluzione.database.windows.net, 1433. Lasciare inalterato il campo relativo al database: pmaintenancedb. Ignorare i messaggi di avviso visualizzati sullo schermo.
    • Nella finestra popup successiva sono disponibili due opzioni nel pannello di sinistra, Windows e Database. Fare clic su Database e inserire il proprio nome utente e password, ovvero il nome utente e la password immessi al momento della prima distribuzione della soluzione e della creazione del database SQL di Azure. In Selezionare il livello a cui applicare queste impostazioni selezionare l'opzione relativa al livello di database. Fare clic su Connetti.
    • Fare clic sulla seconda tabella PMResult e quindi su Icona navigazione accanto a 'Origine' in 'PASSAGGI APPLICATI' nel pannello 'Impostazioni query' a destra, aggiornare i nomi del server e del database come descritto nei passaggi precedenti e quindi fare clic su OK.
    • Quando viene di nuovo visualizzata la pagina precedente, chiudere la finestra. Nel messaggio popup visualizzato fare clic su Applica. Infine, fare clic sul pulsante Salva per salvare le modifiche apportate. Il file di Power BI è ora connesso al server. Se le visualizzazioni sono vuote, assicurarsi di annullare le selezioni per visualizzare tutti i dati facendo clic sull'icona della gomma nell'angolo superiore destro della legenda. Usare il pulsante Aggiorna per aggiornare le visualizzazioni con i nuovi dati. Inizialmente le visualizzazioni contengono solo i dati di seeding, perché l'aggiornamento della data factory è pianificato ogni 3 ore. Dopo 3 ore, aggiornando i dati nelle visualizzazioni saranno disponibili le nuove stime.
  3. (Facoltativo) Pubblicare il dashboard per il percorso non critico in Power BI online. Si noti che per questo passaggio è necessario un account Power BI o Office 365.

    • Fare clic su Pubblica . Dopo alcuni secondi viene visualizzato un messaggio di conferma della pubblicazione in Power BI con un segno di spunta verde. Fare clic sul collegamento sotto "Apri PredictiveMaintenanceAerospace.pbix in Power BI". Per istruzioni dettagliate, vedere Pubblicare da Power BI Desktop.
    • Per creare un nuovo dashboard, fare clic sul segno + accanto alla sezione Dashboard nel riquadro di sinistra. Immettere il nome "Predictive Maintenance Demo" per il nuovo dashboard.
    • Dopo aver aperto il report, fare clic su Icona AGGIUNGI per aggiungere tutte le visualizzazioni al dashboard. Per istruzioni dettagliate, vedere Aggiungere un riquadro a un dashboard di Power BI da un report. Passare alla pagina del dashboard, regolare le dimensioni e la posizione delle visualizzazioni e modificarne i titoli. Per istruzioni dettagliate su come modificare i riquadri, vedere Modificare un riquadro: ridimensionare, spostare, rinominare, aggiungere ed eliminare un collegamento ipertestuale. Di seguito è riportato un dashboard di esempio a cui sono state aggiunte alcune visualizzazioni del percorso non critico. A seconda del tempo di esecuzione del generatore di dati, i numeri nelle visualizzazioni possono variare.
      Visualizzazione finale
    • Per pianificare l'aggiornamento dei dati, passare il puntatore del mouse sul set di dati PredictiveMaintenanceAerospace, fare clic su Icona con i punti di sospensione e quindi scegliere Pianifica aggiornamenti.
      Nota: se viene visualizzato un messaggio di avviso, fare clic su Modifica credenziali e verificare che le credenziali del database siano identiche a quelle illustrate nel passaggio 1.
      Pianifica aggiornamenti
    • Espandere la sezione Pianifica aggiornamento . Attivare l'opzione "Mantieni aggiornati i dati".
    • Pianificare l'aggiornamento in base alle esigenze. Per altre informazioni, vedere Aggiornamento dei dati in Power BI.

Configurare il dashboard per il percorso critico

La procedura seguente mostra come visualizzare l'output dei dati in tempo reale da processi di Analisi di flusso generati al momento della distribuzione della soluzione. Per eseguire la procedura è necessario un account di Power BI online . Se non si ha un account, crearne uno.

  1. Aggiungere l'output di Power BI ad Analisi di flusso di Azure.

    • Per impostare l'output del processo di Analisi di flusso di Azure come dashboard di Power BI, seguire le istruzioni in Analisi di flusso e Power BI: un dashboard di analisi in tempo reale per il flusso di dati.
    • Alla query di Analisi di flusso di Azure sono associati tre output: aircraftmonitor, aircraftalert e flightsbyhour. È possibile visualizzare la query facendo clic sulla scheda corrispondente. In corrispondenza di ognuna delle tabelle è necessario aggiungere un output alla query di Analisi di flusso di Azure. Quando si aggiunge il primo output (ad esempio aircraftmonitor), verificare che i valori di Alias di output, Nome del set di dati e Nome tabella corrispondano (aircraftmonitor). Seguire la stessa procedura per aggiungere gli output relativi a aircraftalert e flightsbyhour. Dopo aver aggiunto le tre tabelle di output e aver avviato il processo di Analisi di flusso di Azure, viene visualizzato un messaggio di conferma (ad esempio "Avvio del processo di analisi di flusso maintenancesa02asapbi completato").
  2. Accedere a Power BI online

    • Nella sezione Set di dati del pannello di sinistra in Area di lavoro personale vengono visualizzati i nomi dei set di dati aircraftmonitor, aircraftalert e flightsbyhour, che corrispondono ai dati di streaming inseriti da Analisi di flusso di Azure nel passaggio precedente. Il set di dati flightsbyhour potrebbe non essere visualizzato contemporaneamente agli altri due a causa della natura della query SQL sottostante. Verrà tuttavia visualizzato dopo un'ora.
    • Assicurarsi che il riquadro Visualizzazioni sia aperto e visualizzato sul lato destro dello schermo.
  3. Dopo aver ottenuto il flusso dati in Power BI, è possibile iniziare a visualizzare i dati di streaming. Di seguito è riportato un dashboard di esempio a cui sono state aggiunte alcune visualizzazioni del percorso critico. È possibile creare altri riquadri del dashboard in base a set di dati appropriati. A seconda del tempo di esecuzione del generatore di dati, i numeri nelle visualizzazioni possono variare.

    Visualizzazione dashboard

  4. Di seguito sono elencati alcuni passaggi per creare uno dei riquadri sopra riportati, "Fleet View of Sensor 11 vs. Threshold 48.26":

    • Fare clic sul set di dati aircraftmonitor nella sezione Set di dati del pannello di sinistra.
    • Fare clic sull'icona Grafico a linee .
    • Fare clic su Elaborati nel riquadro Campi in modo che venga visualizzato nell'area "Asse" nel riquadro Visualizzazioni.
    • Fare clic su "s11" e "s11_alert" in modo che entrambi vengano visualizzati in "Valori". Fare clic sulla piccola freccia accanto a s11 e s11_alert e sostituire "Somma" con "Media".
    • Fare clic su SALVA nella parte superiore e denominare il report "aircraftmonitor". Il report "aircraftmonitor" verrà visualizzato nella sezione Report del riquadro Strumento di navigazione a sinistra.
    • Fare clic sull'icona Aggiungi oggetto visivo nell'angolo superiore destro di questo grafico a linee. Potrebbe essere visualizzata una finestra "Aggiungi al dashboard" che permette di scegliere un dashboard. Selezionare "Predictive Maintenance Demo" e quindi fare clic su "Aggiungi".
    • Passare il puntatore del mouse su questo riquadro nel dashboard e fare clic sull'icona "Modifica" nell'angolo superiore destro per modificarne il titolo in "Fleet View of Sensor 11 vs. Threshold 48.26" e il sottotitolo in "Average across fleet over time".

Come eliminare la soluzione

Accertarsi di arrestare il generatore di dati quando non lo si usa in modo attivo, poiché l'esecuzione di questa applicazione può comportare costi elevati. Se non la si usa, è consigliabile eliminarla. Con l'eliminazione di questa soluzione vengono eliminati anche tutti i componenti di cui è stato effettuato il provisioning nella sottoscrizione durante la procedura di distribuzione. Per eliminare la soluzione, fare clic sul nome della soluzione nel riquadro sinistro del modello e su Elimina.

Strumenti di stima dei costi

I due strumenti indicati di seguito permettono di comprendere meglio i costi totali per l'esecuzione del modello di soluzione per la manutenzione predittiva nel settore aerospaziale della propria sottoscrizione: