Guida tecnica per il modello di soluzione di Cortana Intelligence per la previsione della domanda nel settore energeticoTechnical guide to the Cortana Intelligence Solution Template for demand forecast in energy

PanoramicaOverview

I modelli di soluzione sono progettati per accelerare il processo di compilazione di una demo end-to-end basata su Cortana Intelligence Suite.Solution Templates are designed to accelerate the process of building an E2E demo on top of Cortana Intelligence Suite. Un modello distribuito esegue il provisioning della sottoscrizione con il componente Cortana Intelligence necessario e crea le relazioni interne.A deployed template provisions your subscription with necessary Cortana Intelligence component and build the relationships between. Inoltre effettua il seeding della pipeline di dati con dati di esempio generati da un'applicazione di simulazione di dati.It also seeds the data pipeline with sample data getting generated from a data simulation application. Scaricare il simulatore di dati dal collegamento specificato e installarlo nel computer locale. Fare riferimento al file readme.txt per istruzioni sull'uso del simulatore.Download the data simulator from the link provided and install it on your local machine, refer to the readme.txt file for instruction on using the simulator. I dati generati dal simulatore attivano la pipeline di dati e avviano la creazione di una stima di Machine Learning che può essere visualizzata nel dashboard di Power BI.Data generated from the simulator hydrates the data pipeline and start generating machine learning prediction, which can then be visualized on the Power BI dashboard.

Il modello della soluzione è disponibile quiThe solution template can be found here

Il processo di distribuzione prevede diversi passaggi per l'impostazione delle credenziali della soluzione.The deployment process guides you through several steps to set up your solution credentials. Assicurarsi di prendere nota delle credenziali, ad esempio il nome della soluzione, il nome utente e la password forniti durante la distribuzione.Make sure you record these credentials such as solution name, username, and password you provide during the deployment.

L'obiettivo di questo documento è illustrare l'architettura di riferimento e i diversi componenti di cui viene effettuato il provisioning nella sottoscrizione nell'ambito di questo modello di soluzione.The goal of this document is to explain the reference architecture and different components provisioned in your subscription as part of this Solution Template. Il documento illustra anche come sostituire i dati di esempio con dati reali per poter visualizzare informazioni dettagliate o stime dai propri datiThe document also talks about how to replace the sample data, with real data of your own to be able to see insights/predictions from you won data. e illustra poi le parti del modello di soluzione da modificare per personalizzare la soluzione con i propri dati.Additionally, the document talks about the parts of the Solution Template that would need to be modified if you want to customize the solution with your own data. Alla fine del documento vengono fornite istruzioni sulla compilazione del dashboard di Power BI per questo modello di soluzione.Instructions on how to build the Power BI dashboard for this Solution Template are provided at the end.

DettagliDetails

Spiegazione dell'architetturaArchitecture Explained

Quando si distribuisce la soluzione, vengono attivati vari servizi di Azure nell'ambito di Cortana Intelligence Suite (vale a dire, Hub eventi, Analisi di flusso di Azure, HDInsight, Data Factory, Machine Learning, e così via).When the solution is deployed, various Azure services within Cortana Analytics Suite are activated (that is, Event Hub, Stream Analytics, HDInsight, Data Factory, Machine Learning, etc.). Il diagramma dell'architettura riportato illustra, a livello generale, l'intero processo di costruzione del modello di soluzione per la previsione della domanda nel settore energetico.The architecture diagram shows, at a high level, how the Demand Forecasting for Energy Solution Template is constructed from end-to-end. È possibile esaminare i servizi facendo clic su di essi nel diagramma del modello di soluzione creato con la distribuzione della soluzione.You can investigate these services by clicking on them on the solution template diagram created with the deployment of the solution. Le sezioni seguenti descrivono i vari componenti.The following sections describe each piece.

Origine dati e inserimentoData Source and Ingestion

Origine dati sinteticaSynthetic Data Source

L'origine dati usata per questo modello viene generata da un'applicazione desktop da scaricare ed eseguire localmente al termine della distribuzione.For this template, the data source used is generated from a desktop application that you download and run locally after successful deployment. Le istruzioni per il download e l'installazione di questa applicazione sono disponibili nella barra delle proprietà, selezionando il primo nodo denominato Energy Forecasting Data Simulator nel diagramma del modello di soluzione.You find the instructions to download and install this application in the properties bar when you select the first node called Energy Forecasting Data Simulator on the solution template diagram. Questa applicazione invia al servizio Hub eventi di Azure punti dati, o eventi, che verranno usati nel flusso della soluzione.This application feeds the Azure Event Hub service with data points, or events that are used in the rest of the solution flow.

L'applicazione di generazione eventi popola l'Hub eventi di Azure solo quando è in esecuzione nel computer.The event generation application populates the Azure Event Hub only while it's executing on your computer.

Hub eventi di AzureAzure Event Hub

Il servizio Hub eventi di Azure è il destinatario dell'input fornito dall'origine dati sintetica descritta in precedenza.The Azure Event Hub service is the recipient of the input provided by the Synthetic Data Source described.

Preparazione e analisi dei datiData Preparation and Analysis

Azure Stream AnalyticsAzure Stream Analytics

Il servizio Analisi di flusso di Azure consente di analizzare quasi in tempo reale il flusso di input dal servizio Hub eventi di Azure, pubblicare i risultati in un dashboard di Power BI e archiviare tutti gli eventi in ingresso non elaborati nel servizio Archiviazione di Azure, per l'elaborazione successiva da parte del servizio Azure Data Factory.The Azure Stream Analytics service is used to provide near real-time analytics on the input stream from the Azure Event Hub service and publish results onto a Power BI dashboard as well as archiving all raw incoming events to the Azure Storage service for later processing by the Azure Data Factory service.

Aggregazione personalizzata di HDInsightHDInsight Custom Aggregation

Il servizio Azure HDInsight, orchestrato da Data factory di Azure, consente di eseguire script Hive per aggregare eventi non elaborati archiviati usando il servizio Analisi di flusso di Azure.The Azure HDInsight service is used to run Hive scripts (orchestrated by Azure Data Factory) to provide aggregations on the raw events that were archived using the Azure Stream Analytics service.

Azure Machine LearningAzure Machine Learning

Il servizio Azure Machine Learning , orchestrato da Azure Data Factory, consente di eseguire previsioni sul consumo futuro di elettricità di un'area specifica in base agli input ricevuti.The Azure Machine Learning service is used (orchestrated by Azure Data Factory) to make forecast on future power consumption of a particular region given the inputs received.

Pubblicazione dei datiData Publishing

Servizio database SQL di AzureAzure SQL Database Service

Il servizio database SQL di Azure, gestito da Azure Data Factory, consente di archiviare le stime ricevute dal servizio Azure Machine Learning che vengono usate nel dashboard di Power BI.The Azure SQL Database service is used to store (managed by Azure Data Factory) the predictions received by the Azure Machine Learning service that is consumed in the Power BI dashboard.

Uso dei datiData Consumption

Power BIPower BI

Il servizio Power BI consente di visualizzare un dashboard contenente le aggregazioni fornite dal servizio Analisi di flusso di Azure, oltre ai risultati delle previsioni della domanda archiviati nel database SQL di Azure e prodotti usando il servizio Azure Machine Learning.The Power BI service is used to show a dashboard that contains aggregations provided by the Azure Stream Analytics service as well as demand forecast results stored in Azure SQL Database that were produced using the Azure Machine Learning service. Per istruzioni sulla compilazione del dashboard di Power BI per questo modello di soluzione, vedere la sezione sottostante.For Instructions on how to build the Power BI dashboard for this Solution Template, refer to the following section.

Come inserire i propri datiHow to bring in your own data

Questa sezione descrive come inserire i propri dati in Azure e quali aree sarebbe necessario modificare per i dati inseriti in questa architettura.This section describes how to bring your own data to Azure, and what areas would require changes for the data you bring into this architecture.

È poco probabile che i set di dati inseriti possano corrispondere al set di dati usato per questo modello di soluzione.It's unlikely that any dataset you bring would match the dataset used for this solution template. Per poter adattare questo modello ai propri dati è fondamentale comprendere i dati e i requisiti.Understanding your data and the requirements are crucial in how you modify this template to work with your own data. Se si tratta della prima esperienza con il servizio Azure Machine Learning, è possibile ottenere un'introduzione eseguendo l'esercitazione Creare il primo esperimento.If are new to Azure Machine Learning service, you can get an introduction to it by using the example in How to create your first experiment.

Le sezioni seguenti illustrano le sezioni del modello che è necessario modificare quando viene introdotto un nuovo set di dati.The following sections discuss the sections of the template that requires modifications when a new dataset is introduced.

Hub eventi di AzureAzure Event Hub

Il servizio Hub eventi di Azure è generico e accetta la registrazione di dati in formato CSV o JSON.The Azure Event Hub service is generic, such that data can be posted to the hub in either CSV or JSON format. In Hub eventi di Azure non viene eseguita alcuna elaborazione speciale, ma è importante comprendere i dati inseriti.No special processing occurs in the Azure Event Hub, but it is important you understand the data that is fed into it.

Questo documento non descrive come inserire i dati, ma è possibile inviare facilmente eventi o dati a un hub eventi di Azure usando l'API di Hub eventi.This document does not describe how to ingest your data, but one can easily send events or data to an Azure Event Hub, using the Event Hub API.

Analisi di flusso di AzureAzure Stream Analytics

Il servizio Analisi di flusso di Azure viene usato per l'analisi quasi in tempo reale tramite la lettura dai flussi di dati e l'output dei dati in un numero qualsiasi di origini.The Azure Stream Analytics service is used to provide near real-time analytics by reading from data streams and outputting data to any number of sources.

Per il modello di soluzione per la previsione della domanda nel settore energetico, la query di Analisi di flusso di Azure è costituita da due sottoquery che usano come input eventi provenienti dal servizio Hub eventi di Azure e inviano l'output a due posizioni distinte.For the Demand Forecasting for Energy Solution Template, the Azure Stream Analytics query consists of two subqueries, each consuming event from the Azure Event Hub service as inputs and having outputs to two distinct locations. L'output è costituito da un set di dati di Power BI e da una posizione di Archiviazione di Azure.These outputs consist of one Power BI dataset and one Azure Storage location.

Per trovare la query di Analisi di flusso di Azure :The Azure Stream Analytics query can be found by:

  • Accedere al portale di Azure.Logging in to the Azure portal
  • Trovare i processi di Analisi di flusso generati con la distribuzione della soluzione.Locating the stream analytics jobs that were generated when the solution was deployed. Uno è per il push dei dati nell'archiviazione BLOB (ad esempio mytest1streaming432822asablob) e l'altro per il push dei dati in Power BI (ad esempio mytest1streaming432822asapbi).One is for pushing data to blob storage (for example, mytest1streaming432822asablob) and the other one is for pushing data to Power BI (for example, mytest1streaming432822asapbi).
  • Selezionare:Selecting

    • INPUT per visualizzare l'input della query.INPUTS to view the query input
    • QUERY per visualizzare la query stessa.QUERY to view the query itself
    • OUTPUT per visualizzare i vari output.OUTPUTS to view the different outputs

Per informazioni sulla costruzione di query in Analisi di flusso di Azure, vedere l'articolo di riferimento sulle query di Analisi di flusso in MSDN.Information about Azure Stream Analytics query construction can be found in the Stream Analytics Query Reference on MSDN.

All'interno di questo modello di soluzione viene fornito il processo di Analisi di flusso di Azure che restituisce come output un set di dati con informazioni di analisi quasi in tempo reale sul flusso di dati in ingresso in un dashboard di Power BI.In this solution, the Azure Stream Analytics job that outputs dataset with near real-time analytics information about the incoming data stream to a Power BI dashboard is provided as part of this solution template. Dal momento che la conoscenza del formato dei dati in ingresso è implicita, sarebbe necessario modificare queste query in base al formato dei propri dati.Because there's implicit knowledge about the incoming data format, these queries would need to be altered based on your data format.

L'altro processo di Analisi di flusso di Azure restituisce tutti gli eventi di Hub eventi ad Archiviazione di Azure. Non richiede quindi alcuna modifica, indipendentemente dal formato dei dati, dal momento che le informazioni complete sull'evento vengono trasmesse all'archiviazione.The other Azure Stream Analytics job outputs all Event Hub events to Azure Storage and hence requires no alteration regardless of your data format as the full event information is streamed to storage.

Data factory di AzureAzure Data Factory

Il servizio Data factory di Azure orchestra lo spostamento e l'elaborazione dei dati.The Azure Data Factory service orchestrates the movement and processing of data. Nel modello di soluzione per la previsione della domanda di energia, la data factory è costituita da 12 pipeline che spostano ed elaborano i dati facendo uso di varie tecnologie.In the Demand Forecasting for Energy Solution Template the data factory is made up of 12 pipelines that move and process the data using various technologies.

Per accedere alla data factory, è possibile aprire il nodo Data factory nella parte inferiore del diagramma del modello di soluzione creato con la distribuzione della soluzione.You can access your data factory by opening the Data Factory node at the bottom of the solution template diagram created with the deployment of the solution. La data factory viene visualizzata nel portale di Azure.You see the data factory in the Azure portal. È possibile ignorare gli eventuali errori presenti nei set di dati, perché sono dovuti al fatto che la data factory è stata distribuita prima dell'avvio del generatore di dati.If you see errors under your datasets, you can ignore those as they are due to data factory being deployed before the data generator was started. Questi errori non impediscono il funzionamento della data factory.Those errors do not prevent your data factory from functioning.

Questa sezione illustra le pipeline e le attività necessarie contenute in Azure Data Factory.This section discusses the necessary pipelines and activities contained in the Azure Data Factory. Di seguito è riportata la vista diagramma della soluzione.Following picture is the diagram view of the solution:

Cinque delle pipeline di questa data factory contengono script Hive usati per partizionare e aggregare i dati.Five of the pipelines of this factory contain Hive scripts that are used to partition and aggregate the data. Se specificato, gli script vengono inseriti nell'account di archiviazione di Azure creato durante l'installazione.When noted, the scripts are located in the Azure Storage account created during setup. Il percorso sarà: demandforecasting\\script\\hive\\ (o https://[nome della soluzione].blob.core.windows.net/demandforecasting).Their location is: demandforecasting\\script\\hive\\ (or https://[Your solution name].blob.core.windows.net/demandforecasting).

Come le query di Analisi di flusso di Azure, gli script Hive hanno una conoscenza implicita del formato dei dati in ingresso. Sarà quindi necessario modificare queste query in base al formato dati e ai requisiti di progettazione delle funzioni specifici.Similar to the Azure Stream Analytics queries, the Hive scripts have implicit knowledge about the incoming data format, these queries would need to be altered based on your data format and feature engineering requirements.

AggregateDemandDataTo1HrPipelineAggregateDemandDataTo1HrPipeline

Questa pipeline contiene un'unica attività, HDInsightHive, che usa un servizio HDInsightLinkedService. Il servizio esegue uno script Hive per aggregare i dati sulla domanda trasmessi ogni 10 secondi a livello di sottostazione nel livello dell'area oraria e inserirli in Archiviazione di Azure attraverso il processo di Analisi di flusso di Azure.This pipeline contains a single activity - an HDInsightHive activity using a HDInsightLinkedService that runs a Hive script to aggregate streamed in demand data every 10 seconds in substation level to hourly region level and put in Azure Storage through the Azure Stream Analytics job.

Lo script Hive per questa attività di partizionamento è AggregateDemandRegion1Hr.hqlThe Hive script for this partitioning task is AggregateDemandRegion1Hr.hql

LoadHistoryDemandDataPipelineLoadHistoryDemandDataPipeline

Questa pipeline contiene due attività:This pipeline contains two activities:

  • L'attività HDInsightHive, che usa un servizio HDInsightLinkedService che esegue uno script Hive per aggregare i dati storici sulla domanda a livello di sottostazione nel livello dell'area oraria e inserirli in Archiviazione di Azure attraverso il processo di Analisi di flusso di AzureHDInsightHive activity using a HDInsightLinkedService that runs a Hive script to aggregate the hourly history demand data in substation level to hourly region level and put in Azure Storage during the Azure Stream Analytics job
  • Copy , che sposta i dati aggregati dal BLOB di Archiviazione di Azure al database SQL di Azure di cui è stato effettuato il provisioning durante l'installazione del modello di soluzione.Copy activity that moves the aggregated data from Azure Storage blob to the Azure SQL Database that was provisioned as part of the solution template installation.

Lo script Hive per questa attività è AggregateDemandHistoryRegion.hql.The Hive script for this task is AggregateDemandHistoryRegion.hql.

MLScoringRegionXPipelineMLScoringRegionXPipeline

Queste pipeline contengono diverse attività il cui risultato finale è costituito dalle stime con punteggio provenienti dall'esperimento di Azure Machine Learning associato a questo modello di soluzione.These pipelines contain several activities and whose end result is the scored predictions from the Azure Machine Learning experiment associated with this solution template. Sono quasi identiche, ad eccezione del fatto che ognuna gestisce solo un'area specifica. Ciò avviene perché alla pipeline ADF viene passato un RegionID diverso e per ogni area viene eseguito uno script diverso.They are almost identical except each of them only handles the different region, which is being done by different RegionID passed in the ADF pipeline and the hive script for each region.
Le attività contenute nella pipeline sono:The activities contained in this pipeline are:

  • L'attività HDInsightHive, che usa un servizio HDInsightLinkedService con uno script Hive per eseguire le operazioni necessarie di aggregazione e progettazione delle funzioni per l'esperimento di Azure Machine Learning.HDInsightHive activity using a HDInsightLinkedService that runs a Hive script to perform aggregations and feature engineering necessary for the Azure Machine Learning experiment. Gli script Hive per questa attività sono PrepareMLInputRegionX.hql.The Hive scripts for this task are respective PrepareMLInputRegionX.hql.
  • L'attività Copy, che sposta i risultati dall'attività HDInsightHive in un unico BLOB di archiviazione di Azure accessibile dall'attività AzureMLBatchScoring.Copy activity that moves the results from the HDInsightHive activity to a single Azure Storage blob that can be access by the AzureMLBatchScoring activity.
  • AzureMLBatchScoring, che chiama l'esperimento di Azure Machine Learning con cui i risultati vengono inseriti in un unico BLOB di Archiviazione di Azure.AzureMLBatchScoring activity that calls the Azure Machine Learning experiment, which results in the results being put in a single Azure Storage blob.

CopyScoredResultRegionXPipelineCopyScoredResultRegionXPipeline

Questa pipeline contiene un'unica attività, Copy, che sposta i risultati dell'esperimento di Azure Machine Learning dalla rispettiva MLScoringRegionXPipeline al database SQL di Azure di cui è stato eseguito il provisioning durante l'installazione del modello di soluzione.This pipeline contains a single activity - a Copy activity that moves the results of the Azure Machine Learning experiment from the respective MLScoringRegionXPipeline to the Azure SQL Database that was provisioned as part of the solution template installation.

CopyAggDemandPipelineCopyAggDemandPipeline

Questa pipeline contiene un'unica attività, Copy, che sposta i dati aggregati sulla domanda in corso da LoadHistoryDemandDataPipeline al database SQL di Azure di cui è stato eseguito il provisioning durante l'installazione del modello di soluzione.This pipeline contains a single activity - a Copy activity that moves the aggregated ongoing demand data from LoadHistoryDemandDataPipeline to the Azure SQL Database that was provisioned as part of the solution template installation.

CopyRegionDataPipeline, CopySubstationDataPipeline, CopyTopologyDataPipelineCopyRegionDataPipeline, CopySubstationDataPipeline, CopyTopologyDataPipeline

Questa pipeline contiene un'unica attività, Copy, che sposta i dati di riferimento di area/sottostazione/topologia caricati nel BLOB di archiviazione di Azure durante l'installazione del modello di soluzione nel database SQL di Azure di cui è stato eseguito il provisioning durante l'installazione del modello di soluzione.This pipeline contains a single activity - a Copy activity that moves the reference data of Region/Substation/Topologygeo that are uploaded to Azure Storage blob as part of the solution template installation to the Azure SQL Database that was provisioned as part of the solution template installation.

Azure Machine LearningAzure Machine Learning

L'esperimento di Azure Machine Learning usato per questo modello di soluzione mette a disposizione la previsione della domanda dell'area.The Azure Machine Learning experiment used for this solution template provides the prediction of demand of region. L'esperimento è specifico per il set di dati usato. Per l'uso con dati propri deve quindi essere modificato o sostituito in base alle specifiche dei dati inseriti.The experiment is specific to the data set consumed and therefore requires modification or replacement specific to the data that is brought in.

Monitorare lo statoMonitor Progress

Dopo aver avviato il generatore di dati, la pipeline inizia ad attivarsi e i diversi componenti della soluzione cominciano ad avviarsi in base ai comandi inviati da Data factory.Once the Data Generator is launched, the pipeline begins to get hydrated and the different components of your solution start kicking into action following the commands issued by the Data Factory. Esistono due modi per monitorare la pipeline.There are two ways you can monitor the pipeline.

  1. Caricare dati dall'archiviazione BLOB di AzureCheck the data from Azure Blob Storage.

    Uno dei processi di Analisi di flusso scrive i dati in ingresso non elaborati nell'archivio BLOB.One of the Stream Analytics jobs writes the raw incoming data to blob storage. Se si fa clic sul componente Archiviazione BLOB di Azure della soluzione dalla schermata in cui è stata distribuita la soluzione e si fa clic su Apri nel pannello di destra, verrà visualizzato il portale di Azure.If you click on Azure Blob Storage component of your solution from the screen you successfully deployed the solution and then click Open in the right panel, it takes you to the Azure portal. Nel portale fare clic su BLOB.Once there, click on Blobs. Nel pannello successivo viene visualizzato un elenco di contenitori.In the next panel, you see a list of Containers. Fare clic su "energysadata".Click on "energysadata". Nel pannello successivo viene visualizzata la cartella "demandongoing".In the next panel, you see the "demandongoing" folder. All'interno della cartella rawdata sono presenti cartelle con nomi quali date=2016-01-28 e così via. Se vengono visualizzate queste cartelle, significa che i dati non elaborati sono stati generati nel computer e archiviati nell'archivio BLOB.Inside the rawdata folder, you see folders with names such as date=2016-01-28 etc. If you see these folders, it indicates that the raw data is successfully being generated on your computer and stored in blob storage. Verranno visualizzati file che in tali cartelle devono avere dimensioni limitate in MB.You should see files that should have finite sizes in MB in those folders.

  2. Caricare dati dal database SQL di AzureCheck the data from Azure SQL Database.

    L'ultimo passaggio della pipeline consiste nella scrittura di dati, ad esempio stime da Machine Learning, nel database SQL.The last step of the pipeline is to write data (for example, predictions from machine learning) into SQL Database. Possono essere necessarie al massimo due ore prima che i dati siano visibili nel database SQL.You might have to wait a maximum oftwo hours for the data to appear in SQL Database. È possibile monitorare la quantità di dati disponibile nel database SQL usando il portale di Azure.One way to monitor how much data is available in your SQL Database is through Azure portal. Nel pannello di sinistra trovare DATABASE SQL e fare clic su questa voce.On the left panel locate SQL DATABASES and click it. Individuare quindi il database (ad esempio demo123456db) e selezionarlo.Then locate your database (i.e. demo123456db) and click on it. Nella sezione "Connetti al database" della pagina successiva fare clic su "Esegui query Transact-SQL nel database SQL".On the next page under "Connect to your database" section, click "Run Transact-SQL queries against your SQL database".

    Qui è possibile fare clic su Nuova query ed eseguire una query per il numero di righe (ad esempio "select count() from DemandRealHourly)" Man mano che il database cresce, il numero delle righe nella tabella dovrebbe aumentare.Here, you can click on New Query and query for the number of rows (for example, "select count() from DemandRealHourly)" As your database grows, the number of rows in the table should increase.)

  3. Caricare dati dal dashboard di Power BI.Check the data from Power BI dashboard.

    È possibile impostare un dashboard per il percorso critico di Power BI per monitorare i dati non elaborati in ingresso.You can set up Power BI hot path dashboard to monitor the raw incoming data. Seguire le istruzioni nella sezione "Dashboard di Power BI".Please follow the instruction in the "Power BI Dashboard" section.

Dashboard di Power BIPower BI Dashboard

PanoramicaOverview

Questa sezione descrive come configurare il dashboard di Power BI per visualizzare i dati in tempo reale provenienti da Analisi di flusso di Azure (percorso critico), nonché i risultati di previsione provenienti da Azure Machine Learning (percorso non critico).This section describes how to set up Power BI dashboard to visualize your real-time data from Azure stream analytics (hot path), as well as forecast results from Azure machine learning (cold path).

Configurare il dashboard per il percorso criticoSetup Hot Path Dashboard

La procedura seguente mostra come visualizzare l'output dei dati in tempo reale da processi di Analisi di flusso generati al momento della distribuzione della soluzione.The following steps guide you how to visualize real-time data output from Stream Analytics jobs that were generated at the time of solution deployment. Per eseguire la procedura è necessario un account di Power BI online .A Power BI online account is required to perform the following steps. Se non si ha un account, crearne uno.If you don't have an account, you can create one.

  1. Aggiungere l'output di Power BI ad Analisi di flusso di Azure.Add Power BI output in Azure Stream Analytics (ASA).

    • Per impostare l'output del processo di Analisi di flusso di Azure come dashboard di Power BI, seguire le istruzioni in Analisi di flusso e Power BI: un dashboard di analisi in tempo reale per il flusso di dati.You need to follow the instructions in Azure Stream Analytics & Power BI: A real-time analytics dashboard for real-time visibility of streaming data to set up the output of your Azure Stream Analytics job as your Power BI dashboard.
    • Trovare il processo di Analisi di flusso nel portale di Azure.Locate the stream analytics job in your Azure portal. Il nome del processo deve essere nel formato seguente: NomeSoluzione+"streamingjob"+numero casuale+"asapbi", ad esempio demostreamingjob123456asapbi.The name of the job should be: YourSolutionName+"streamingjob"+random number+"asapbi" (i.e. demostreamingjob123456asapbi).
    • Aggiungere un output di PowerBI per il processo ASA.Add a PowerBI output for the ASA job. Impostare il valore di Alias di output su "PBIoutput".Set the Output Alias as ‘PBIoutput’. Impostare il valore di Nome del set di dati e di Nome tabella su "EnergyStreamData".Set your Dataset Name and Table Name as ‘EnergyStreamData’. Dopo aver aggiunto l'output, fare clic su "Avvia" nella parte inferiore della pagina per avviare il processo di Analisi di flusso.Once you have added the output, click "Start" at the bottom of the page to start the Stream Analytics job. Verrà visualizzato un messaggio di conferma simile al seguente: "L'avvio del processo di Analisi di flusso myteststreamingjob12345asablob è stato completato".You should get a confirmation message (for example, "Starting stream analytics job myteststreamingjob12345asablob succeeded").
  2. Accedere a Power BI onlineLog in to Power BI online

    • In Area di lavoro personale, nella sezione Dataset del pannello di sinistra di Power BI, dovrebbe essere visualizzato un nuovo set di dati.On the left panel, Datasets section in My Workspace, you should be able to see a new dataset showing on the left panel of Power BI. Si tratta dei dati di flusso di cui si è eseguito il push da Analisi di flusso di Azure nel passaggio precedente.This is the streaming data you pushed from Azure Stream Analytics in the previous step.
    • Assicurarsi che il riquadro Visualizzazioni sia aperto e visualizzato sul lato destro dello schermo.Make sure the Visualizations pane is open and is shown on the right side of the screen.
  3. Creare il riquadro "Demand by Timestamp":Create the "Demand by Timestamp" tile:

    • Fare clic sul set di dati 'EnergyStreamData' nella sezione Set di dati del pannello di sinistra.Click dataset ‘EnergyStreamData’ on the left panel Datasets section.
    • Fare clic sull'icona "Grafico a linee" .Click "Line Chart" icon .
    • Fare clic su 'EnergyStreamData' nel pannello Campi .Click ‘EnergyStreamData’ in Fields panel.
    • Fare clic su Timestamp e verificare che sia visualizzato in "Asse".Click “Timestamp” and make sure it shows under "Axis". Fare clic su "Carica" e verificare che sia visualizzato in "Valori".Click “Load” and make sure it shows under "Values".
    • Fare clic su SALVA nella parte superiore e assegnare al report il nome "EnergyStreamDataReport".Click SAVE on the top and name the report as “EnergyStreamDataReport”. Il report EnergyStreamDataReport viene visualizzato nella sezione Report del riquadro di spostamento a sinistra.The report named “EnergyStreamDataReport” is shown in Reports section in the Navigator pane on left.
    • Fare clic sull'icona "Aggiungi oggetto visivo" nell'angolo superiore destro di questo grafico a linee. Potrebbe essere visualizzata la finestra "Aggiungi al dashboard" da cui scegliere un dashboard.Click “Pin Visual” icon on top right corner of this line chart, a "Pin to Dashboard" window may show up for you to choose a dashboard. Selezionare EnergyStreamDataReport, quindi fare clic su Aggiungi.Select "EnergyStreamDataReport", then click "Pin".
    • Passare il puntatore del mouse su questo riquadro nel dashboard e fare clic sull'icona "Modifica" nell'angolo superiore destro per modificarne il titolo in "Demand by Timestamp".Hover the mouse over this tile on the dashboard, click "edit" icon on top right corner to change its title as "Demand by Timestamp"
  4. Creare altri riquadri del dashboard in base a set di dati appropriati.Create other dashboard tiles based on appropriate datasets. La visualizzazione finale del dashboard: The final dashboard view:

Configurare il dashboard per il percorso non criticoSetup Cold Path Dashboard

Nella pipeline di dati del percorso non critico l'obiettivo principale consiste nell'ottenere la previsione della domanda di ogni area.In cold path data pipeline, the essential goal is to get the demand forecast of each region. Power BI si connette a un database SQL di Azure come origine dati, in cui sono archiviati i risultati della stima.Power BI connects to an Azure SQL database as its data source, where the prediction results are stored.

Nota

1) Per raccogliere risultati di previsione sufficienti per il dashboard, è necessaria qualche ora.It takes few hours to collect enough forecast results for the dashboard. Si consiglia di iniziare questo processo 2-3 ore dopo l'avvio del generatore di dati.We recommend you start this process 2-3 hours after you lunch the data generator. 2) In questo passaggio, il download e l'installazione del software gratuito Power BI Desktopsono un prerequisito.2) In this step, the prerequisite is to download and install the free software Power BI desktop.

  1. Ottenere le credenziali del database.Get the database credentials.

    Prima di procedere con i passaggi successivi, è necessario ottenere il nome del server di database, il nome del database, il nome utente e la password .You need database server name, database name, user name and password before moving to next steps. I passaggi per ottenerli sono riportati di seguito.Here are the steps to guide you how to find them.

    • Quando la voce "Database SQL di Azure" nel diagramma del modello di soluzione diventa verde, selezionarla e quindi fare clic su "Apri".Once "Azure SQL Database" on your solution template diagram turns green, click it and then click "Open". Si passa al portale di Azure e viene aperta la pagina di informazioni del database.You are guided to Azure portal and your database information page is opened as well.
    • Nella pagina è presente la sezione DatabaseOn the page, you can find a "Database" section. in cui sono elencati i database creati dall'utente.It lists out the database you have created. Il nome del database deve essere formato da "nome della soluzione + numero casuale + "db"", ad esempio "mytest12345db".The name of your database should be "Your Solution Name + Random Number + 'db'" (for example, "mytest12345db").
    • Fare clic sul database. Nella parte superiore del pannello a comparsa visualizzato è possibile trovare il nome del server di database.Click your database, in the new pop out panel, you can find your database server name on the top. Il nome del server database deve essere "Your Solution Name + Random Number + 'database.windows.net,1433'" (ad esempio, "mytest12345.database.windows.net,1433").Your database server name should be "Your Solution Name + Random Number + 'database.windows.net,1433'" (for example, "mytest12345.database.windows.net,1433").
    • Il nome utente e la password del database sono quelli registrati prima durante la distribuzione della soluzione.Your database username and password are the same as the username and password previously recorded during deployment of the solution.
  2. Aggiornare l'origine dati del file percorso non critico di Power BIUpdate the data source of the cold path Power BI file

    • Verificare che sia installata la versione più recente di Power BI Desktop.Make sure you have installed the latest version of Power BI desktop.
    • Nella cartella "DemandForecastingDataGeneratorv1.0" scaricata fare doppio clic sul file "Power BI Template\DemandForecastPowerBI.pbix".In the "DemandForecastingDataGeneratorv1.0" folder you downloaded, double-click the ‘Power BI Template\DemandForecastPowerBI.pbix’ file. Le visualizzazioni iniziali sono basate su dati fittizi.The initial visualizations are based on dummy data. Nota: se viene visualizzato un messaggio di errore, verificare che sia installata la versione più recente di Power BI Desktop.Note: If you see an error message, make sure you have installed the latest version of Power BI Desktop.

      Dopo averlo aperto, fare clic su 'Modifica query'nella parte superiore del file.Once you open it, on the top of the file, click ‘Edit Queries’. Nella finestra popup fare doppio clic su 'Origine' nel pannello di destra.In the pop out window, double-click ‘Source’ on the right panel.

    • Nella finestra popup sostituire "Server" e "Database" con i nomi del server e del database usati e quindi fare clic su "OK".In the pop out window, replace "Server" and "Database" with your own server and database names, and then click "OK". Per il nome del server, assicurarsi di specificare la porta 1433:NomeSoluzione.database.windows.net, 1433.For server name, make sure you specify the port 1433 (YourSolutionName.database.windows.net, 1433). Ignorare i messaggi di avviso visualizzati sullo schermo.Ignore the warning messages that appear on the screen.
    • Nella finestra popup successiva sono disponibili due opzioni nel pannello di sinistra, Windows e Database.In the next pop out window, you'll see two options on the left pane (Windows and Database). Fare clic su "Database" e inserire il proprio "nome utente" e "password", ovvero il nome utente e la password immessi al momento della prima distribuzione della soluzione e della creazione del database SQL di Azure.Click "Database", fill in your "Username" and "Password" (this is the username and password you entered when you first deployed the solution and created an Azure SQL database). In Selezionare il livello a cui applicare queste impostazioni selezionare l'opzione relativa al livello di database.In Select which level to apply these settings to, check database level option. Fare quindi clic su "Connetti".Then click "Connect".
    • Quando viene di nuovo visualizzata la pagina precedente, chiudere la finestra.Once you're guided back to the previous page, close the window. Nel messaggio popup visualizzato fare clic su Applica.A message pops out - click Apply. Infine, fare clic sul pulsante Salva per salvare le modifiche apportate.Lastly, click the Save button to save the changes. Il file di Power BI è ora connesso al server.Your Power BI file has now established connection to the server. Se le visualizzazioni sono vuote, assicurarsi di annullare le selezioni per visualizzare tutti i dati facendo clic sull'icona della gomma nell'angolo superiore destro della legenda.If your visualizations are empty, make sure you clear the selections on the visualizations to visualize all the data by clicking the eraser icon on the upper right corner of the legends. Usare il pulsante Aggiorna per aggiornare le visualizzazioni con i nuovi dati.Use the refresh button to reflect new data on the visualizations. Inizialmente le visualizzazioni contengono solo i dati di seeding, perché l'aggiornamento della data factory è pianificato ogni 3 ore.Initially, you only see the seed data on your visualizations as the data factory is scheduled to refresh every 3 hours. Dopo 3 ore, aggiornando i dati nelle visualizzazioni saranno disponibili le nuove stime.After 3 hours, you see new predictions reflected in your visualizations when you refresh the data.
  3. (Facoltativo) Pubblicare il dashboard per il percorso non critico in Power BI online.(Optional) Publish the cold path dashboard to Power BI online. Si noti che per questo passaggio è necessario un account Power BI o Office 365.Note that this step needs a Power BI account (or Office 365 account).

    • Fare clic su Pubblica .Click "Publish" and few seconds later a window appears displaying "Publishing to Power BI Success!" Dopo alcuni secondi viene visualizzato un messaggio di conferma della pubblicazione in Power BI con un segno di spunta verde.with a green check mark. Fare clic sul collegamento sotto Apri demoprediction.pbix in Power BI.Click the following link "Open demoprediction.pbix in Power BI". Per istruzioni dettagliate, vedere Pubblicare da Power BI Desktop.To find detailed instructions, see Publish from Power BI Desktop.
    • Per creare un nuovo dashboard, fare clic sul segno + accanto alla sezione Dashboard nel riquadro di sinistra.To create a new dashboard: click the + sign next to the Dashboards section on the left pane. Immettere il nome "Demand Forecasting Demo" per questo nuovo dashboard.Enter the name "Demand Forecasting Demo" for this new dashboard.
    • Dopo aver aperto il report, fare clic su per aggiungere tutte le visualizzazioni al dashboard.Once you open the report, click to pin all the visualizations to your dashboard. Per istruzioni dettagliate, vedere Aggiungere un riquadro a un dashboard di Power BI da un report.To find detailed instructions, see Pin a tile to a Power BI dashboard from a report. Passare alla pagina del dashboard, regolare le dimensioni e la posizione delle visualizzazioni e modificarne i titoli.Go to the dashboard page and adjust the size and location of your visualizations and edit their titles. Per istruzioni dettagliate su come modificare i riquadri, vedere Modificare un riquadro: ridimensionare, spostare, rinominare, aggiungere ed eliminare un collegamento ipertestuale.To find detailed instructions on how to edit your tiles, see Edit a tile -- resize, move, rename, pin, delete, add hyperlink. Di seguito è riportato un dashboard di esempio a cui sono state aggiunte alcune visualizzazioni del percorso non critico.Here is an example dashboard with some cold path visualizations pinned to it.

  4. (Facoltativo) Pianificare l'aggiornamento dell'origine dati.(Optional) Schedule refresh of the data source.

    • Per pianificare l'aggiornamento dei dati, passare il puntatore del mouse sul set di dati EnergyBPI-Final, fare clic su e quindi scegliere Pianifica aggiornamenti.To schedule refresh of the data, hover your mouse over the EnergyBPI-Final dataset, click and then choose Schedule Refresh. Nota: se viene visualizzato un messaggio di avviso, fare clic su Modifica credenziali e verificare che le credenziali del database siano identiche a quelle illustrate nel passaggio 1.Note: If you see a warning massage, click Edit Credentials and make sure your database credentials are the same as those described in step 1.

    • Espandere la sezione Pianifica aggiornamento .Expand the Schedule Refresh section. Attivare l'opzione "Mantieni aggiornati i dati".Turn on "keep your data up-to-date".
    • Pianificare l'aggiornamento in base alle esigenze.Schedule the refresh based on your needs. Per altre informazioni, vedere Aggiornamento dei dati in Power BI.To find more information, see Data refresh in Power BI.

Come eliminare la soluzioneHow to delete your solution

Verificare di arrestare il generatore di dati quando non lo si usa in modo attivo, poiché l'esecuzione di questa applicazione può comportare costi elevati.Ensure that you stop the data generator when not actively using the solution as running the data generator incurs higher costs. Se non la si usa, è consigliabile eliminarla.Delete the solution if you are not using it. Con l'eliminazione di questa soluzione vengono eliminati anche tutti i componenti di cui è stato eseguito il provisioning nella sottoscrizione durante la procedura di distribuzione.Deleting your solution deletes all the components provisioned in your subscription when you deployed the solution. Per eliminare la soluzione, fare clic sul nome della soluzione nel riquadro sinistro del modello e su Elimina.To delete the solution click on your solution name in the left panel of the solution template and click on delete.

Strumenti di stima dei costiCost Estimation Tools

I due strumenti indicati di seguito consentono di comprendere meglio i costi totali associati all'esecuzione nella propria sottoscrizione del modello di soluzione per la previsione della domanda nel settore energetico:The following two tools are available to help you better understand the total costs involved in running the Demand Forecasting for Energy Solution Template in your subscription:

RiconoscimentiAcknowledgements

Autori di questo articolo sono il data scientist Yijing Chen e il software engineer Min Qiu di Microsoft.This article is authored by data scientist Yijing Chen and software engineer Qiu Min at Microsoft.