Valutare le prestazioni del modello in Azure Machine Learning Studio (classico)Evaluate model performance in Azure Machine Learning Studio (classic)

SI APPLICA A: Si applica a.Machine Learning Studio (versione classica) Non si applica a.Azure Machine LearningAPPLIES TO: Applies to.Machine Learning Studio (classic) Does not apply to.Azure Machine Learning

Questo articolo illustra le metriche che è possibile usare per monitorare le prestazioni del modello in Azure Machine Learning Studio (classico).In this article, you can learn about the metrics you can use to monitor model performance in Azure Machine Learning Studio (classic). La valutazione delle prestazioni di un modello è una delle fasi principali nel processo di analisi scientifica dei dati.Evaluating the performance of a model is one of the core stages in the data science process. Indica quanto è stato positivo il punteggio (stime) di un set di dati da un modello sottoposto a training.It indicates how successful the scoring (predictions) of a dataset has been by a trained model. Azure Machine Learning Studio (classico) supporta la valutazione del modello tramite due dei moduli principali di Machine Learning:Azure Machine Learning Studio (classic) supports model evaluation through two of its main machine learning modules:

Questi moduli consentono all'utente di osservare le prestazioni del proprio modello in termini di una serie di metriche comunemente usate in Machine Learning e nella statistica.These modules allow you to see how your model performs in terms of a number of metrics that are commonly used in machine learning and statistics.

La valutazione dei modelli deve essere considerata insieme a:Evaluating models should be considered along with:

L'argomento presenta inoltre tre scenari di apprendimento sorvegliato comuni:Three common supervised learning scenarios are presented:

  • Regressioneregression
  • Classificazione binariabinary classification
  • Classificazione multiclassemulticlass classification

Confronto tra la valutazione e la convalida incrociataEvaluation vs. Cross Validation

La valutazione e la convalida incrociata sono due modi standard di misurare le prestazioni del proprio modello.Evaluation and cross validation are standard ways to measure the performance of your model. Entrambi generano metriche di valutazione che l'utente può usare per controllare o mettere a confronto quelle di altri modelli.They both generate evaluation metrics that you can inspect or compare against those of other models.

Il modello di valutazione prevede un set di dati con punteggio come input (oppure due nel caso in cui si desideri confrontare le prestazioni di due modelli diversi).Evaluate Model expects a scored dataset as input (or two in case you would like to compare the performance of two different models). Pertanto, è necessario eseguire il training del modello usando il modulo Train Model ed eseguire stime su alcuni set di dati usando il modulo Score Model prima di poter valutare i risultati.Therefore, you need to train your model using the Train Model module and make predictions on some dataset using the Score Model module before you can evaluate the results. La valutazione è basata sulle probabilità/etichette con punteggio e sulle etichette vere, tutti elementi restituiti dal modulo Score Model.The evaluation is based on the scored labels/probabilities along with the true labels, all of which are output by the Score Model module.

In alternativa, è possibile usare la convalida incrociata per eseguire una serie di operazioni di valutazione, punteggio e training (10 sezioni) in modo automatico su diversi subset di dati di input.Alternatively, you can use cross validation to perform a number of train-score-evaluate operations (10 folds) automatically on different subsets of the input data. I dati di input vengono suddivisi in dieci partizioni, di cui una riservata per la convalida e le rimanenti usate per eseguire il training.The input data is split into 10 parts, where one is reserved for testing, and the other 9 for training. Tale processo si ripete per 10 volte e viene calcolata una media delle metriche di valutazione.This process is repeated 10 times and the evaluation metrics are averaged. Ciò consente di determinare come verrebbero generalizzati nuovi set di dati da un modello.This helps in determining how well a model would generalize to new datasets. Il modulo Cross-Validate Model riceve in input un modello non sottoposto a training e alcuni set di dati con etichetta e restituisce i risultati della valutazione di ognuna delle 10 sezioni, oltre alla media dei risultati.The Cross-Validate Model module takes in an untrained model and some labeled dataset and outputs the evaluation results of each of the 10 folds, in addition to the averaged results.

Nelle sezioni seguenti verranno creati semplici modelli di regressione e classificazione e ne verranno valutate le prestazioni usando i moduli Evaluate Model e Cross-Validate Model.In the following sections, we will build simple regression and classification models and evaluate their performance, using both the Evaluate Model and the Cross-Validate Model modules.

Valutazione di un modello di regressioneEvaluating a Regression Model

Si supponga di voler stimare il prezzo di un'automobile usando funzionalità come dimensioni, potenza, specifiche del motore e così via.Assume we want to predict a car's price using features such as dimensions, horsepower, engine specs, and so on. Si tratta di un tipico problema di regressione, in cui la variabile di destinazione (price) è un valore numerico continuo.This is a typical regression problem, where the target variable (price) is a continuous numeric value. È possibile adattare un modello di regressione lineare che, dati i valori delle funzionalità di una determinata automobile, può prevedere il prezzo di tale automobile.We can fit a linear regression model that, given the feature values of a certain car, can predict the price of that car. Questo modello di regressione può essere usato per calcolare il punteggio dello stesso set di dati su cui si sta effettuando il trainingThis regression model can be used to score the same dataset we trained on. Una volta ottenuto il prezzo stimato per le automobili, è possibile valutare le prestazioni del modello osservando la differenza tra le stime e i prezzi effettivi.Once we have the predicted car prices, we can evaluate the model performance by looking at how much the predictions deviate from the actual prices on average. Per illustrare questo problema, viene usato il set di dati automobile price data (RAW) disponibile nella sezione set di dati salvati in Machine Learning Studio (classico).To illustrate this, we use the Automobile price data (Raw) dataset available in the Saved Datasets section in Machine Learning Studio (classic).

Creazione di un esperimentoCreating the Experiment

Aggiungere i moduli seguenti all'area di lavoro in Azure Machine Learning Studio (versione classica):Add the following modules to your workspace in Azure Machine Learning Studio (classic):

Connettere le porte come indicato nella figura 1 seguente e impostare la colonna delle etichette nel modulo Train Model su price.Connect the ports as shown below in Figure 1 and set the Label column of the Train Model module to price.

Valutazione di un modello di regressione

Figura 1.Figure 1. Valutazione di un modello di regressione.Evaluating a Regression Model.

Controllo dei risultati di valutazioneInspecting the Evaluation Results

Dopo aver eseguito l'esperimento, è possibile fare clic sulla porta di output del modulo Evaluate Model e selezionare Visualize (Visualizza) per visualizzare i risultati della valutazione.After running the experiment, you can click on the output port of the Evaluate Model module and select Visualize to see the evaluation results. Le metriche di valutazione disponibili per i modelli di regressione sono: Mean Absolute Error (Errore assoluto medio), Root Mean Absolute Error (Errore assoluto medio radice), Relative Absolute Error (Errore assoluto relativo), Relative Squared Error (Errore quadratico relativo) e Coefficient of Determination (Coefficiente di determinazione).The evaluation metrics available for regression models are: Mean Absolute Error, Root Mean Absolute Error, Relative Absolute Error, Relative Squared Error, and the Coefficient of Determination.

In questo caso, il termine "errore" rappresenta la differenza tra il valore stimato e il valore reale.The term "error" here represents the difference between the predicted value and the true value. Il valore assoluto o il quadrato di questa differenza viene calcolato in genere per ottenere il margine totale dell'errore in tutte le istanze, poiché la differenza tra il valore stimato e quello reale potrebbe essere negativa in alcuni casi.The absolute value or the square of this difference is usually computed to capture the total magnitude of error across all instances, as the difference between the predicted and true value could be negative in some cases. Le metriche di errore misurano le prestazioni predittive di un modello di regressione in termini di deviazione media delle stime rispetto ai valori reali.The error metrics measure the predictive performance of a regression model in terms of the mean deviation of its predictions from the true values. Più i valori di errore sono bassi, più il modello effettua stime precise.Lower error values mean the model is more accurate in making predictions. Una metrica di errore complessivo pari a 0 indica che il modello corrisponde perfettamente ai dati.An overall error metric of zero means that the model fits the data perfectly.

Il coefficiente di determinazione, altrimenti noto come "valore quadratico R", rappresenta, inoltre, un modo standard di misurazione della percentuale di idoneità del modello rispetto ai dati.The coefficient of determination, which is also known as R squared, is also a standard way of measuring how well the model fits the data. Può essere definito come la percentuale di variazione esplicitata dal modello.It can be interpreted as the proportion of variation explained by the model. Una percentuale più elevata è migliore nel caso in cui 1 indica un'idoneità perfetta.A higher proportion is better in this case, where 1 indicates a perfect fit.

Metriche di valutazione della regressione lineare

Figura 2.Figure 2. Metriche di valutazione della regressione lineare.Linear Regression Evaluation Metrics.

Uso della convalida incrociataUsing Cross Validation

Come indicato in precedenza, è possibile eseguire il training, il punteggio e le valutazioni ripetute automaticamente usando il modulo Cross-Validate Model .As mentioned earlier, you can perform repeated training, scoring, and evaluations automatically using the Cross-Validate Model module. In questo caso occorrono semplicemente un set di dati, un modello non sottoposto a training e un modulo Cross-Validate Model (vedere la figura seguente).All you need in this case is a dataset, an untrained model, and a Cross-Validate Model module (see figure below). È necessario impostare la colonna Label su Price nelle proprietà del modulo Cross-Validate Model .You need to set the label column to price in the Cross-Validate Model module's properties.

Convalida incrociata di un modello di regressione

Figura 3.Figure 3. Esecuzione della convalida incrociata di un modello di regressione.Cross-Validating a Regression Model.

Dopo aver eseguito l'esperimento, è possibile fare clic sulla porta di output destra del modulo Cross-Validate Model per controllare i risultati della valutazione.After running the experiment, you can inspect the evaluation results by clicking on the right output port of the Cross-Validate Model module. In questo modo viene fornita una visualizzazione dettagliata delle metriche di ciascuna iterazione (sezione) e i risultati medi di ciascuna delle metriche (figura 4).This will provide a detailed view of the metrics for each iteration (fold), and the averaged results of each of the metrics (Figure 4).

Risultati della convalida incrociata di un modello di regressione

Figura 4.Figure 4. Risultati della convalida incrociata di un modello di regressione.Cross-Validation Results of a Regression Model.

Valutazione di un modello di classificazione binariaEvaluating a Binary Classification Model

In uno scenario di classificazione binaria la variabile di destinazione ha solo due risultati possibili, ad esempio: {0, 1} o {false, true}, {negative, positive}.In a binary classification scenario, the target variable has only two possible outcomes, for example: {0, 1} or {false, true}, {negative, positive}. Si supponga di disporre di un set di dati di dipendenti adulti con alcune variabili demografiche e di impiego e che venga richiesto di stimare il livello di reddito, una variabile binaria con i valori {"<= 50 K", ">50 K"}.Assume you are given a dataset of adult employees with some demographic and employment variables, and that you are asked to predict the income level, a binary variable with the values {"<=50 K", ">50 K"}. In altri termini, la classe negativa rappresenta il caso in cui il dipendente realizza un valore inferiore o uguale a 50.000 l'anno, mentre la classe positiva rappresenta tutti gli altri dipendenti.In other words, the negative class represents the employees who make less than or equal to 50 K per year, and the positive class represents all other employees. Come nello scenario della regressione, verrà eseguito il training di un modello, verrà calcolato il punteggio di alcuni dati e verranno valutati i risultati.As in the regression scenario, we would train a model, score some data, and evaluate the results. La differenza principale è la scelta delle metriche Azure Machine Learning Studio (classiche) di calcolo e output.The main difference here is the choice of metrics Azure Machine Learning Studio (classic) computes and outputs. Per illustrare lo scenario di stima del livello di reddito, il set di dati per adulti viene usato per creare un esperimento di studio (classico) e valutare le prestazioni di un modello di regressione logistica a due classi, un classificatore binario di uso comune.To illustrate the income level prediction scenario, we will use the Adult dataset to create a Studio (classic) experiment and evaluate the performance of a two-class logistic regression model, a commonly used binary classifier.

Creazione di un esperimentoCreating the Experiment

Aggiungere i moduli seguenti all'area di lavoro in Azure Machine Learning Studio (versione classica):Add the following modules to your workspace in Azure Machine Learning Studio (classic):

Connettere le porte come indicato nella figura 5 seguente e impostare la colonna delle etichette del modulo Train Model su income.Connect the ports as shown below in Figure 5 and set the Label column of the Train Model module to income.

Valutazione di un modello di classificazione binaria

Figura 5.Figure 5. Valutazione di un modello di classificazione binaria.Evaluating a Binary Classification Model.

Controllo dei risultati di valutazioneInspecting the Evaluation Results

Dopo aver eseguito l'esperimento, è possibile fare clic sulla porta di output del modulo Evaluate Model e selezionare Visualize (Visualizza) per visualizzare i risultati della valutazione (Figura 7).After running the experiment, you can click on the output port of the Evaluate Model module and select Visualize to see the evaluation results (Figure 7). Le metriche di valutazione disponibili per i modelli di classificazione binaria sono: Accuracy (Accuratezza), Precision (Precisione), Recall (Richiamo), F1 Score (Punteggio F1) e AUC.The evaluation metrics available for binary classification models are: Accuracy, Precision, Recall, F1 Score, and AUC. Il modulo restituisce anche una matrice di confusione che mostra il numero di veri positivi, falsi negativi, falsi positivi e veri negativi, nonché le curve ROC, Precision/Recall (Precisione/Richiamo) e Lift (Accuratezza).In addition, the module outputs a confusion matrix showing the number of true positives, false negatives, false positives, and true negatives, as well as ROC, Precision/Recall, and Lift curves.

L'accuratezza è semplicemente la percentuale delle istanze classificate correttamente.Accuracy is simply the proportion of correctly classified instances. In genere è la prima metrica che viene osservata quando si valuta un classificatore.It is usually the first metric you look at when evaluating a classifier. Tuttavia, quando i dati di test non sono bilanciati (dove la maggior parte delle istanze appartiene a una delle classi) o si è più interessati alle prestazioni in una delle classi, l'accuratezza non acquisisce effettivamente l'efficacia di un classificatore.However, when the test data is unbalanced (where most of the instances belong to one of the classes), or you are more interested in the performance on either one of the classes, accuracy doesn't really capture the effectiveness of a classifier. Nello scenario di classificazione del livello di reddito, si supponga di eseguire il test di alcuni dati in cui il 99% delle istanze rappresenta le persone che guadagnano una cifra inferiore o uguale a 50.000 l'anno.In the income level classification scenario, assume you are testing on some data where 99% of the instances represent people who earn less than or equal to 50K per year. È possibile ottenere un'accuratezza di 0,99 stimando la classe "<= 50.000" per tutte le istanze.It is possible to achieve a 0.99 accuracy by predicting the class "<=50K" for all instances. In questo caso sembra che il classificatore svolga un buon lavoro in linea generale, ma in realtà non è in grado di classificare correttamente gli individui con un reddito superiore (il restante 1%).The classifier in this case appears to be doing a good job overall, but in reality, it fails to classify any of the high-income individuals (the 1%) correctly.

Per questo motivo è utile calcolare metriche aggiuntive che raccolgano aspetti più specifici della valutazione.For that reason, it is helpful to compute additional metrics that capture more specific aspects of the evaluation. Prima di entrare nei dettagli di tali metriche, è importante comprendere la matrice di confusione della valutazione di una classificazione binaria.Before going into the details of such metrics, it is important to understand the confusion matrix of a binary classification evaluation. Le etichette di classe nel set di training possono assumere solo due valori possibili, che in genere fanno riferimento a positivo o negativo.The class labels in the training set can take on only two possible values, which we usually refer to as positive or negative. Le istanze positive e negative stimate correttamente da un classificatore si definiscono rispettivamente valori veri positivi (VP) e veri negativi (VN).The positive and negative instances that a classifier predicts correctly are called true positives (TP) and true negatives (TN), respectively. Analogamente, le istanze classificate in modo errato si definiscono valori falsi positivi (FP) e falsi negativi (FN).Similarly, the incorrectly classified instances are called false positives (FP) and false negatives (FN). La matrice di confusione è semplicemente una tabella che mostra il numero di istanze che rientrano in ognuna delle quattro categorie.The confusion matrix is simply a table showing the number of instances that fall under each of these four categories. Azure Machine Learning Studio (classico) stabilisce automaticamente quale delle due classi nel set di dati è la classe positiva.Azure Machine Learning Studio (classic) automatically decides which of the two classes in the dataset is the positive class. Se le etichette di classe sono booleane o Integer, alle istanze con etichetta ' true ' o ' 1' viene assegnata la classe positiva.If the class labels are Boolean or integers, then the 'true' or '1' labeled instances are assigned the positive class. Se le etichette sono stringhe, ad esempio con il set di dati del reddito, le etichette vengono ordinate alfabeticamente e il primo livello viene scelto come classe negativa mentre il secondo livello è la classe positiva.If the labels are strings, such as with the income dataset, the labels are sorted alphabetically and the first level is chosen to be the negative class while the second level is the positive class.

Matrice di confusione di classificazione binaria

Figura 6.Figure 6. Matrice di confusione di classificazione binaria.Binary Classification Confusion Matrix.

Tornando al problema della classificazione del reddito, di seguito vengono fornite alcune domande sulla valutazione, utili a comprendere le prestazioni del classificatore usato.Going back to the income classification problem, we would want to ask several evaluation questions that help us understand the performance of the classifier used. Una domanda naturale è:' out of the individuals that the Model ha stimato di ottenere >50 K (TP + FP), quanti sono stati classificati correttamente (TP)?'A natural question is: 'Out of the individuals whom the model predicted to be earning >50 K (TP+FP), how many were classified correctly (TP)?' È possibile rispondere a questa domanda osservando la precisione del modello, che è la percentuale di positivi classificati correttamente: VP/(VP+FP).This question can be answered by looking at the Precision of the model, which is the proportion of positives that are classified correctly: TP/(TP+FP). Un'altra domanda comune è "da tutti i dipendenti con reddito elevato con reddito >50.000 (TP + FN), il numero di classificazioni corrette (TP) per il classificatore.Another common question is "Out of all the high earning employees with income >50k (TP+FN), how many did the classifier classify correctly (TP)". Questo è il richiamo o tasso di veri positivi, VP/(VP+FN), del classificatore.This is actually the Recall, or the true positive rate: TP/(TP+FN) of the classifier. Come si può notare, vi è un chiaro compromesso tra precisione e richiamo.You might notice that there is an obvious trade-off between precision and recall. Ad esempio, in presenza di un set di dati relativamente bilanciato, un classificatore che stima istanze soprattutto positive avrà un richiamo elevato ma una precisione più bassa, poiché molte delle istanze negative verranno classificate in modo errato dando come risultato una serie di falsi positivi.For example, given a relatively balanced dataset, a classifier that predicts mostly positive instances, would have a high recall, but a rather low precision as many of the negative instances would be misclassified resulting in a large number of false positives. Per vedere un tracciato delle variazioni di queste due metriche, è possibile fare clic sulla curva PRECISIONE/RICHIAMO nella pagina di output dei risultati di valutazione (la parte superiore sinistra della figura 7).To see a plot of how these two metrics vary, you can click on the PRECISION/RECALL curve in the evaluation result output page (top-left part of Figure 7).

Risultati della valutazione della classificazione binaria

Figura 7.Figure 7. Risultati della valutazione della classificazione binaria.Binary Classification Evaluation Results.

Un'altra metrica correlata spesso usata è Punteggio F1, che prende in considerazione precisione e richiamo.Another related metric that is often used is the F1 Score, which takes both precision and recall into consideration. Si tratta della media armonica di queste due metriche e viene calcolata come tale: F1 = 2 (precisione x richiamo)/(precisione + richiamo).It is the harmonic mean of these two metrics and is computed as such: F1 = 2 (precision x recall) / (precision + recall). Il Punteggio F1 è un modo efficace per riepilogare la valutazione in un singolo numero, ma è sempre consigliabile esaminare sia la precisione che la richiamata per comprendere meglio il comportamento di un classificatore.The F1 score is a good way to summarize the evaluation in a single number, but it's always a good practice to look at both precision and recall together to better understand how a classifier behaves.

È anche possibile confrontare il tasso di veri positivi e il tasso di falsi positivi nella curva ROC (Receiver Operating Characteristic) e il valore AUC (Area Under the Curve) corrispondente.In addition, one can inspect the true positive rate vs. the false positive rate in the Receiver Operating Characteristic (ROC) curve and the corresponding Area Under the Curve (AUC) value. La curva più vicina è l'angolo superiore sinistro, migliori sono le prestazioni del classificatore, ovvero massimizzando il vero tasso positivo, riducendo al minimo il tasso di falsi positivi.The closer this curve is to the upper left corner, the better the classifier's performance is (that is maximizing the true positive rate while minimizing the false positive rate). Le curve che si trovano vicino alla diagonale del tracciato risultano dai classificatori che tendono a fare delle stime al limite della casualità.Curves that are close to the diagonal of the plot, result from classifiers that tend to make predictions that are close to random guessing.

Uso della convalida incrociataUsing Cross Validation

Come nell'esempio di regressione, è possibile eseguire la convalida incrociata per eseguire ripetutamente il training, il punteggio e la valutazione di subset diversi di dati automaticamente.As in the regression example, we can perform cross validation to repeatedly train, score, and evaluate different subsets of the data automatically. Analogamente, è possibile usare il modulo Cross-Validate Model, un modello di regressione logistica non sottoposto a training, e un set di dati.Similarly, we can use the Cross-Validate Model module, an untrained logistic regression model, and a dataset. La colonna Label deve essere impostata su Income nelle proprietà del modulo Cross-Validate Model .The label column must be set to income in the Cross-Validate Model module's properties. Dopo aver eseguito l'esperimento e selezionato la porta di output destra del modulo Cross-Validate Model, è possibile visualizzare i valori metrici per ogni sezione, oltre alla deviazione media e standard di ognuna di esse.After running the experiment and clicking on the right output port of the Cross-Validate Model module, we can see the binary classification metric values for each fold, in addition to the mean and standard deviation of each.

Convalida incrociata di un modello di classificazione binaria

Figura 8.Figure 8. Convalida incrociata di un modello di classificazione binaria.Cross-Validating a Binary Classification Model.

Risultati della convalida incrociata di un classificatore binario.

Figura 9.Figure 9. Risultati della convalida incrociata di un classificatore binario.Cross-Validation Results of a Binary Classifier.

Valutazione di un modello di classificazione multiclasseEvaluating a Multiclass Classification Model

In questo esperimento verrà usato il popolare set di dati Iris , che contiene le istanze di tre tipi diversi (classi) del Plant Iris.In this experiment, we will use the popular Iris dataset, which contains instances of three different types (classes) of the iris plant. Sono disponibili quattro valori di funzionalità (lunghezza/larghezza SEPA e lunghezza/larghezza petalo) per ogni istanza.There are four feature values (sepal length/width and petal length/width) for each instance. Negli esperimenti precedenti è stato eseguito il training e il testing dei modelli usando gli stessi set di impostazioni.In the previous experiments, we trained and tested the models using the same datasets. Qui viene usato il modulo Split data per creare due subset dei dati, eseguire il training sul primo e assegnare un punteggio e valutare il secondo.Here, we will use the Split Data module to create two subsets of the data, train on the first, and score and evaluate on the second. Il set di dati Iris è disponibile pubblicamente nel repository di Machine Learning UCI e può essere scaricato usando un modulo Import Data.The Iris dataset is publicly available on the UCI Machine Learning Repository, and can be downloaded using an Import Data module.

Creazione di un esperimentoCreating the Experiment

Aggiungere i moduli seguenti all'area di lavoro in Azure Machine Learning Studio (versione classica):Add the following modules to your workspace in Azure Machine Learning Studio (classic):

Connettere le porte come mostrato in basso nella figura 10.Connect the ports as shown below in Figure 10.

Impostare l'indice della colonna delle etichette del modulo Train Model su 5.Set the Label column index of the Train Model module to 5. Il set di dati non dispone di una riga di intestazione ma, com'è noto, le etichette delle classi si trovano nella quinta colonna.The dataset has no header row but we know that the class labels are in the fifth column.

Fare clic sul modulo Import Data (Importazione dati) e impostare la proprietà Data source (Origine dati) su Web URL via HTTP (URL Web tramite HTTP) e URL su http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data.Click on the Import Data module and set the Data source property to Web URL via HTTP, and the URL to http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data.

Impostare la frazione delle istanze da usare per il training nel modulo Split Data, ad esempio 0,7.Set the fraction of instances to be used for training in the Split Data module (0.7 for example).

Valutazione di un classificatore multiclasse

Figura 10.Figure 10. Valutazione di un classificatore multiclasseEvaluating a Multiclass Classifier

Controllo dei risultati di valutazioneInspecting the Evaluation Results

Eseguire l'esperimento e fare clic sulla porta di output di Evaluate Model.Run the experiment and click on the output port of Evaluate Model. In questo caso, i risultati di valutazione sono presentati nel formato di una matrice di confusione.The evaluation results are presented in the form of a confusion matrix, in this case. La matrice Mostra le istanze effettive di vs. stimate per tutte e tre le classi.The matrix shows the actual vs. predicted instances for all three classes.

Risultati della valutazione della classificazione multiclasse

Figura 11.Figure 11. Risultati di valutazione della classificazione a più classi.Multiclass Classification Evaluation Results.

Uso della convalida incrociataUsing Cross Validation

Come indicato in precedenza, è possibile eseguire il training, il punteggio e le valutazioni ripetute automaticamente usando il modulo Cross-Validate Model .As mentioned earlier, you can perform repeated training, scoring, and evaluations automatically using the Cross-Validate Model module. Saranno necessari un set di dati, un modello non sottoposto a training e un modulo Cross-Validate Model (vedere la figura seguente).You would need a dataset, an untrained model, and a Cross-Validate Model module (see figure below). È nuovamente necessario impostare la colonna delle etichette del modulo Cross-Validate Model (in questo caso, indice della colonna 5).Again you need to set the label column of the Cross-Validate Model module (column index 5 in this case). Dopo aver eseguito l'esperimento e selezionato la porta destra di output del modulo Cross-Validate Model, è possibile controllare i valori metrici per ogni sezione, nonché la deviazione media e standard.After running the experiment and clicking the right output port of the Cross-Validate Model, you can inspect the metric values for each fold as well as the mean and standard deviation. Le metriche visualizzate sono simili a quelle illustrate nel caso della classificazione binaria.The metrics displayed here are the similar to the ones discussed in the binary classification case. Tuttavia, nella classificazione multiclasse, il calcolo dei veri positivi/negativi e dei falsi positivi/negativi viene eseguito tenendo conto delle singole classi, in quanto non esiste alcuna classe globale positiva o negativa.However, in multiclass classification, computing the true positives/negatives and false positives/negatives is done by counting on a per-class basis, as there is no overall positive or negative class. Ad esempio, quando si calcola la precisione o il richiamo della classe ' Iris-setosa ', si presuppone che questa sia la classe positiva e tutte le altre come negative.For example, when computing the precision or recall of the 'Iris-setosa' class, it is assumed that this is the positive class and all others as negative.

Convalida incrociata di un modello di classificazione multiclasse

Figura 12.Figure 12. Convalida incrociata di un modello di classificazione a più classi.Cross-Validating a Multiclass Classification Model.

Risultati della convalida incrociata di un modello di classificazione multiclasse

Figura 13.Figure 13. Risultati della convalida incrociata di un modello di classificazione multiclasse.Cross-Validation Results of a Multiclass Classification Model.