Avalie o desempenho do modelo no Azure Machine Learning Studio (clássico)Evaluate model performance in Azure Machine Learning Studio (classic)

APLICA-SE A:  Aplica-se a. Machine Learning Studio (clássico)  Não se aplica a. Aprendizagem de Máquinas Azure APPLIES TO: Applies to.Machine Learning Studio (classic) Does not apply to.Azure Machine Learning

Neste artigo, pode aprender sobre as métricas que pode usar para monitorizar o desempenho do modelo no Azure Machine Learning Studio (clássico).In this article, you can learn about the metrics you can use to monitor model performance in Azure Machine Learning Studio (classic). Avaliar o desempenho de um modelo é uma das fases centrais do processo de ciência de dados.Evaluating the performance of a model is one of the core stages in the data science process. Indica o sucesso da pontuação (previsões) de um conjunto de dados por um modelo treinado.It indicates how successful the scoring (predictions) of a dataset has been by a trained model. O Azure Machine Learning Studio (clássico) suporta a avaliação do modelo através de dois dos seus principais módulos de aprendizagem automática:Azure Machine Learning Studio (classic) supports model evaluation through two of its main machine learning modules:

Estes módulos permitem-lhe ver como o seu modelo funciona em termos de uma série de métricas que são comumente usadas em machine learning e estatísticas.These modules allow you to see how your model performs in terms of a number of metrics that are commonly used in machine learning and statistics.

Os modelos de avaliação devem ser considerados juntamente com:Evaluating models should be considered along with:

São apresentados três cenários comuns de aprendizagem supervisionada:Three common supervised learning scenarios are presented:

  • regressãoregression
  • classificação bináriabinary classification
  • classificação multiclassemulticlass classification

Avaliação vs. Validação CruzadaEvaluation vs. Cross Validation

Avaliação e validação cruzada são formas padrão de medir o desempenho do seu modelo.Evaluation and cross validation are standard ways to measure the performance of your model. Ambos geram métricas de avaliação que pode inspecionar ou comparar com as de outros modelos.They both generate evaluation metrics that you can inspect or compare against those of other models.

O Modelo de Avaliação espera um conjunto de dados pontuado como entrada (ou dois no caso de querer comparar o desempenho de dois modelos diferentes).Evaluate Model expects a scored dataset as input (or two in case you would like to compare the performance of two different models). Por isso, é necessário treinar o seu modelo utilizando o módulo Modelo de Comboio e fazer previsões em alguns conjuntos de dados utilizando o módulo 'Modelo de Pontuação' antes de poder avaliar os resultados.Therefore, you need to train your model using the Train Model module and make predictions on some dataset using the Score Model module before you can evaluate the results. A avaliação baseia-se nas etiquetas/probabilidades pontuadas juntamente com as verdadeiras etiquetas, todas elas saídas pelo módulo 'Score Model'.The evaluation is based on the scored labels/probabilities along with the true labels, all of which are output by the Score Model module.

Em alternativa, pode utilizar a validação cruzada para realizar uma série de operações de avaliação de pontuação de comboio (10 dobras) automaticamente em diferentes subconjuntos dos dados de entrada.Alternatively, you can use cross validation to perform a number of train-score-evaluate operations (10 folds) automatically on different subsets of the input data. Os dados de entrada são divididos em 10 partes, onde uma é reservada para testes, e as outras 9 para treino.The input data is split into 10 parts, where one is reserved for testing, and the other 9 for training. Este processo é repetido 10 vezes e as métricas de avaliação são médias.This process is repeated 10 times and the evaluation metrics are averaged. Isto ajuda a determinar o quão bem um modelo generalizaria para novos conjuntos de dados.This helps in determining how well a model would generalize to new datasets. O módulo Modelo Transversal validar acolhe um modelo não treinado e alguns conjuntos de dados rotulados e produz os resultados de avaliação de cada uma das 10 dobras, além dos resultados médios.The Cross-Validate Model module takes in an untrained model and some labeled dataset and outputs the evaluation results of each of the 10 folds, in addition to the averaged results.

Nas seguintes secções, construiremos modelos simples de regressão e classificação e avaliaremos o seu desempenho, utilizando tanto o Modelo de Avaliação como os módulos Do Modelo De Avaliação Cruzada.In the following sections, we will build simple regression and classification models and evaluate their performance, using both the Evaluate Model and the Cross-Validate Model modules.

Avaliação de um modelo de regressãoEvaluating a Regression Model

Assuma que queremos prever o preço de um carro usando características como dimensões, cavalos, especificações do motor, e assim por diante.Assume we want to predict a car's price using features such as dimensions, horsepower, engine specs, and so on. Este é um problema típico de regressão, onde a variável-alvo (preço) é um valor numérico contínuo.This is a typical regression problem, where the target variable (price) is a continuous numeric value. Podemos encaixar num modelo linear de regressão que, dado os valores de característica de um determinado carro, pode prever o preço desse carro.We can fit a linear regression model that, given the feature values of a certain car, can predict the price of that car. Este modelo de regressão pode ser usado para obter o mesmo conjunto de dados em que treinamos.This regression model can be used to score the same dataset we trained on. Assim que tivermos os preços previstos para o carro, podemos avaliar o desempenho do modelo, analisando o quanto as previsões se desviam dos preços reais, em média.Once we have the predicted car prices, we can evaluate the model performance by looking at how much the predictions deviate from the actual prices on average. Para ilustrar isto, utilizamos o conjunto de dados de preços do Automóvel (Raw) disponível na secção Datasets Saved no Machine Learning Studio (clássico).To illustrate this, we use the Automobile price data (Raw) dataset available in the Saved Datasets section in Machine Learning Studio (classic).

Criação da ExperiênciaCreating the Experiment

Adicione os seguintes módulos ao seu espaço de trabalho no Azure Machine Learning Studio (clássico):Add the following modules to your workspace in Azure Machine Learning Studio (classic):

Ligue as portas como mostrado abaixo na Figura 1 e coloque a coluna Label do módulo Modelo de Comboio ao preço.Connect the ports as shown below in Figure 1 and set the Label column of the Train Model module to price.

Avaliação de um modelo de regressão

Figura 1:Figure 1. Avaliação de um modelo de regressão.Evaluating a Regression Model.

Inspeção dos Resultados da AvaliaçãoInspecting the Evaluation Results

Depois de executar a experiência, pode clicar na porta de saída do módulo Modelo avaliar e selecionar Visualizar para ver os resultados da avaliação.After running the experiment, you can click on the output port of the Evaluate Model module and select Visualize to see the evaluation results. As métricas de avaliação disponíveis para os modelos de regressão são: Erro Absoluto Médio, Erro Absoluto De Raiz, Erro Absoluto Relativo, Erro Relativo A Quadrado, e o Coeficiente de Determinação.The evaluation metrics available for regression models are: Mean Absolute Error, Root Mean Absolute Error, Relative Absolute Error, Relative Squared Error, and the Coefficient of Determination.

O termo "erro" aqui representa a diferença entre o valor previsto e o valor verdadeiro.The term "error" here represents the difference between the predicted value and the true value. O valor absoluto ou o quadrado desta diferença é geralmente calculado para capturar a magnitude total do erro em todos os casos, uma vez que a diferença entre o valor previsto e o verdadeiro valor pode ser negativa em alguns casos.The absolute value or the square of this difference is usually computed to capture the total magnitude of error across all instances, as the difference between the predicted and true value could be negative in some cases. As métricas de erro medem o desempenho preditivo de um modelo de regressão em termos do desvio médio das suas previsões face aos verdadeiros valores.The error metrics measure the predictive performance of a regression model in terms of the mean deviation of its predictions from the true values. Valores de erro mais baixos significam que o modelo é mais preciso para fazer previsões.Lower error values mean the model is more accurate in making predictions. Uma métrica de erro global de zero significa que o modelo se encaixa perfeitamente nos dados.An overall error metric of zero means that the model fits the data perfectly.

O coeficiente de determinação, que também é conhecido como R ao quadrado, é também uma forma padrão de medir o quão bem o modelo se encaixa nos dados.The coefficient of determination, which is also known as R squared, is also a standard way of measuring how well the model fits the data. Pode ser interpretado como a proporção de variação explicada pelo modelo.It can be interpreted as the proportion of variation explained by the model. Uma proporção maior é melhor neste caso, onde 1 indica um ajuste perfeito.A higher proportion is better in this case, where 1 indicates a perfect fit.

Métricas lineares de avaliação da regressão

Figura 2.Figure 2. Métricas lineares de avaliação de regressão.Linear Regression Evaluation Metrics.

Usando validação cruzadaUsing Cross Validation

Como mencionado anteriormente, pode realizar treinos repetidos, pontuação e avaliações automaticamente utilizando o módulo Modelo Validado.As mentioned earlier, you can perform repeated training, scoring, and evaluations automatically using the Cross-Validate Model module. Tudo o que precisa neste caso é de um conjunto de dados, um modelo não treinado e um módulo modelo cross-valide (ver figura abaixo).All you need in this case is a dataset, an untrained model, and a Cross-Validate Model module (see figure below). É necessário definir a coluna da etiqueta ao preço nas propriedades do módulo 'Modelo's Cross-Validate.You need to set the label column to price in the Cross-Validate Model module's properties.

Validação cruzada de um modelo de regressão

Figura 3.Figure 3. Validação cruzada de um modelo de regressão.Cross-Validating a Regression Model.

Após a execução da experiência, pode inspecionar os resultados da avaliação clicando na porta de saída certa do módulo Modelo Validado.After running the experiment, you can inspect the evaluation results by clicking on the right output port of the Cross-Validate Model module. Isto proporcionará uma visão detalhada das métricas para cada iteração (fold), e os resultados médios de cada uma das métricas (Figura 4).This will provide a detailed view of the metrics for each iteration (fold), and the averaged results of each of the metrics (Figure 4).

Resultados da validação cruzada de um modelo de regressão

Figura 4.Figure 4. Resultados de validação cruzada de um modelo de regressão.Cross-Validation Results of a Regression Model.

Avaliação de um modelo de classificação bináriaEvaluating a Binary Classification Model

Num cenário de classificação binária, a variável alvo tem apenas dois resultados possíveis, por exemplo: {0, 1} ou {falso, verdadeiro}, {negativo, positivo}.In a binary classification scenario, the target variable has only two possible outcomes, for example: {0, 1} or {false, true}, {negative, positive}. Assuma que lhe é dado um conjunto de dados de colaboradores adultos com algumas variáveis demográficas e de emprego, e que lhe é pedido que preveja o nível de rendimento, uma variável binária com os valores {"<=50 K", ">50 K"}.Assume you are given a dataset of adult employees with some demographic and employment variables, and that you are asked to predict the income level, a binary variable with the values {"<=50 K", ">50 K"}. Por outras palavras, a classe negativa representa os empregados que ganham menos ou igual a 50 K por ano, e a classe positiva representa todos os outros colaboradores.In other words, the negative class represents the employees who make less than or equal to 50 K per year, and the positive class represents all other employees. Como no cenário de regressão, treinamos um modelo, marcávamos alguns dados e avaliaríamos os resultados.As in the regression scenario, we would train a model, score some data, and evaluate the results. A principal diferença aqui é a escolha das métricas Azure Machine Learning Studio (clássico) computas e saídas.The main difference here is the choice of metrics Azure Machine Learning Studio (classic) computes and outputs. Para ilustrar o cenário de previsão do nível de rendimento, usaremos o conjunto de dados adultos para criar uma experiência studio (clássica) e avaliar o desempenho de um modelo de regressão logística de duas classes, um classificador binário comumente usado.To illustrate the income level prediction scenario, we will use the Adult dataset to create a Studio (classic) experiment and evaluate the performance of a two-class logistic regression model, a commonly used binary classifier.

Criação da ExperiênciaCreating the Experiment

Adicione os seguintes módulos ao seu espaço de trabalho no Azure Machine Learning Studio (clássico):Add the following modules to your workspace in Azure Machine Learning Studio (classic):

Ligue as portas como mostrado abaixo na Figura 5 e coloque a coluna Label do módulo Modelo de Comboio em rendimento.Connect the ports as shown below in Figure 5 and set the Label column of the Train Model module to income.

Avaliação de um modelo de classificação binária

Figura 5.Figure 5. Avaliação de um modelo de classificação binária.Evaluating a Binary Classification Model.

Inspeção dos Resultados da AvaliaçãoInspecting the Evaluation Results

Depois de executar a experiência, pode clicar na porta de saída do módulo Modelo avaliar e selecionar visualizar para ver os resultados da avaliação (Figura 7).After running the experiment, you can click on the output port of the Evaluate Model module and select Visualize to see the evaluation results (Figure 7). As métricas de avaliação disponíveis para os modelos de classificação binária são: Precisão, Precisão, Recuperação, Pontuação F1 e AUC.The evaluation metrics available for binary classification models are: Accuracy, Precision, Recall, F1 Score, and AUC. Além disso, o módulo produz uma matriz de confusão mostrando o número de verdadeiros positivos, falsos negativos, falsos positivos e verdadeiros negativos, bem como roc, Precision/Recall, e Lift curvas.In addition, the module outputs a confusion matrix showing the number of true positives, false negatives, false positives, and true negatives, as well as ROC, Precision/Recall, and Lift curves.

A precisão é simplesmente a proporção de casos corretamente classificados.Accuracy is simply the proportion of correctly classified instances. Normalmente é a primeira métrica que se olha quando se avalia um classificador.It is usually the first metric you look at when evaluating a classifier. No entanto, quando os dados do teste são desequilibrados (onde a maioria dos casos pertencem a uma das classes), ou se está mais interessado no desempenho de qualquer uma das classes, a precisão não captura realmente a eficácia de um classificador.However, when the test data is unbalanced (where most of the instances belong to one of the classes), or you are more interested in the performance on either one of the classes, accuracy doesn't really capture the effectiveness of a classifier. No cenário de classificação do nível de rendimento, assuma que está a testar alguns dados onde 99% dos casos representam pessoas que ganham menos ou igual a 50K por ano.In the income level classification scenario, assume you are testing on some data where 99% of the instances represent people who earn less than or equal to 50K per year. É possível obter uma precisão de 0,99, prevendo a classe "<=50K" para todos os casos.It is possible to achieve a 0.99 accuracy by predicting the class "<=50K" for all instances. O classificador neste caso parece estar a fazer um bom trabalho em geral, mas na realidade, não consegue classificar nenhum dos indivíduos de alto rendimento (o 1%) corretamente.The classifier in this case appears to be doing a good job overall, but in reality, it fails to classify any of the high-income individuals (the 1%) correctly.

Por essa razão, é útil calcular métricas adicionais que captam aspetos mais específicos da avaliação.For that reason, it is helpful to compute additional metrics that capture more specific aspects of the evaluation. Antes de entrar em detalhes de tais métricas, é importante entender a matriz de confusão de uma avaliação de classificação binária.Before going into the details of such metrics, it is important to understand the confusion matrix of a binary classification evaluation. As etiquetas de classe no conjunto de treino podem assumir apenas dois valores possíveis, que geralmente chamamos de positivo ou negativo.The class labels in the training set can take on only two possible values, which we usually refer to as positive or negative. Os casos positivos e negativos que um classificador prevê corretamente são chamados de verdadeiros positivos (TP) e verdadeiros negativos (TN), respectivamente.The positive and negative instances that a classifier predicts correctly are called true positives (TP) and true negatives (TN), respectively. Da mesma forma, os casos incorretamente classificados são chamados falsos positivos (FP) e falsos negativos (FN).Similarly, the incorrectly classified instances are called false positives (FP) and false negatives (FN). A matriz de confusão é simplesmente uma tabela que mostra o número de casos que se enquadram em cada uma destas quatro categorias.The confusion matrix is simply a table showing the number of instances that fall under each of these four categories. O Azure Machine Learning Studio (clássico) decide automaticamente qual das duas classes no conjunto de dados é a classe positiva.Azure Machine Learning Studio (classic) automatically decides which of the two classes in the dataset is the positive class. Se as etiquetas de classe forem Boolean ou inteiros, então as instâncias com rótulo 'verdadeiro' ou '1' são atribuídas à classe positiva.If the class labels are Boolean or integers, then the 'true' or '1' labeled instances are assigned the positive class. Se as etiquetas forem cordas, como com o conjunto de dados de rendimento, as etiquetas são classificadas alfabeticamente e o primeiro nível é escolhido para ser a classe negativa enquanto o segundo nível é a classe positiva.If the labels are strings, such as with the income dataset, the labels are sorted alphabetically and the first level is chosen to be the negative class while the second level is the positive class.

Matriz de confusão de classificação binária

Figura 6.Figure 6. Matriz de confusão de classificação binária.Binary Classification Confusion Matrix.

Voltando ao problema da classificação de rendimentos, gostaríamos de fazer várias perguntas de avaliação que nos ajudam a compreender o desempenho do classificador utilizado.Going back to the income classification problem, we would want to ask several evaluation questions that help us understand the performance of the classifier used. Uma questão natural é a seguinte: "Dos indivíduos a quem o modelo previu estar a ganhar >50 K (TP+FP), quantos foram classificados corretamente (TP)?".A natural question is: 'Out of the individuals whom the model predicted to be earning >50 K (TP+FP), how many were classified correctly (TP)?' Esta questão pode ser respondida olhando para a precisão do modelo, que é a proporção de positivos que são classificados corretamente: TP/(TP+FP).This question can be answered by looking at the Precision of the model, which is the proportion of positives that are classified correctly: TP/(TP+FP). Outra questão comum é "De todos os trabalhadores com rendimentos elevados com rendimentos >50k (TP+FN), quantos classificaram corretamente (TP)".Another common question is "Out of all the high earning employees with income >50k (TP+FN), how many did the classifier classify correctly (TP)". Esta é, na verdade, a Recall, ou a verdadeira taxa positiva: TP/(TP+FN) do classificador.This is actually the Recall, or the true positive rate: TP/(TP+FN) of the classifier. Podem notar que há uma troca óbvia entre precisão e recordação.You might notice that there is an obvious trade-off between precision and recall. Por exemplo, dado um conjunto de dados relativamente equilibrado, um classificador que prevê casos maioritariamente positivos, teria uma elevada recuperação, mas uma precisão bastante baixa, uma vez que muitos dos casos negativos seriam mal classificados, resultando num grande número de falsos positivos.For example, given a relatively balanced dataset, a classifier that predicts mostly positive instances, would have a high recall, but a rather low precision as many of the negative instances would be misclassified resulting in a large number of false positives. Para ver um enredo de como estas duas métricas variam, pode clicar na curva PRECISION/RECALL na página de saída do resultado da avaliação (parte superior esquerda da Figura 7).To see a plot of how these two metrics vary, you can click on the PRECISION/RECALL curve in the evaluation result output page (top-left part of Figure 7).

Resultados da avaliação da classificação binária

Figura 7.Figure 7. Resultados da avaliação da classificação binária.Binary Classification Evaluation Results.

Outra métrica relacionada que é frequentemente usada é a Pontuação F1, que leva em consideração a precisão e a recuperação.Another related metric that is often used is the F1 Score, which takes both precision and recall into consideration. É a média harmónica destas duas métricas e é calculada como tal: F1 = 2 (precisão x recordação) / (precisão + recordação).It is the harmonic mean of these two metrics and is computed as such: F1 = 2 (precision x recall) / (precision + recall). A pontuação de F1 é uma boa forma de resumir a avaliação num único número, mas é sempre uma boa prática olhar para a precisão e recordar em conjunto para entender melhor como um classificado se comporta.The F1 score is a good way to summarize the evaluation in a single number, but it's always a good practice to look at both precision and recall together to better understand how a classifier behaves.

Além disso, pode-se inspecionar a verdadeira taxa positiva vs. a taxa falsa positiva na curva característica de funcionamento do recetor (ROC) e na área correspondente sob o valor da curva (AUC).In addition, one can inspect the true positive rate vs. the false positive rate in the Receiver Operating Characteristic (ROC) curve and the corresponding Area Under the Curve (AUC) value. Quanto mais perto esta curva estiver do canto superior esquerdo, melhor é o desempenho do classificador (que está maximizando a taxa positiva verdadeira, minimizando a taxa falsamente positiva).The closer this curve is to the upper left corner, the better the classifier's performance is (that is maximizing the true positive rate while minimizing the false positive rate). Curvas que estão perto da diagonal do enredo, resultam de classificadores que tendem a fazer previsões que estão perto de adivinhar aleatoriamente.Curves that are close to the diagonal of the plot, result from classifiers that tend to make predictions that are close to random guessing.

Usando validação cruzadaUsing Cross Validation

Como no exemplo de regressão, podemos realizar validação cruzada para treinar, pontuar e avaliar automaticamente diferentes subconjuntos dos dados.As in the regression example, we can perform cross validation to repeatedly train, score, and evaluate different subsets of the data automatically. Da mesma forma, podemos usar o módulo Modelo Cross-Valide, um modelo de regressão logística destreinado e um conjunto de dados.Similarly, we can use the Cross-Validate Model module, an untrained logistic regression model, and a dataset. A coluna de etiquetas deve ser definida como rendimento nas propriedades do módulo Do Modelo De Validação Cruzada.The label column must be set to income in the Cross-Validate Model module's properties. Depois de executar a experiência e clicar na porta de saída certa do módulo Modelo Validado, podemos ver os valores métricos de classificação binária para cada dobra, além do desvio médio e padrão de cada um.After running the experiment and clicking on the right output port of the Cross-Validate Model module, we can see the binary classification metric values for each fold, in addition to the mean and standard deviation of each.

Validação cruzada de um modelo de classificação binária

Figura 8.Figure 8. Validação cruzada de um modelo de classificação binária.Cross-Validating a Binary Classification Model.

Resultados de validação cruzada de um classificador binário

<span data-ttu-id="fe688-241">Figura 9.Figure 9. Resultados de validação cruzada de um classificador binário.Cross-Validation Results of a Binary Classifier.

Avaliação de um modelo de classificação multiclasseEvaluating a Multiclass Classification Model

Nesta experiência, usaremos o popular conjunto de dados [da Íris,](https://archive.ics.uci.edu/ml/datasets/Iris "Íris") que contém instâncias de três tipos diferentes (classes) da planta da íris.In this experiment, we will use the popular Iris dataset, which contains instances of three different types (classes) of the iris plant. Existem quatro valores de característica (comprimento/largura sepal e comprimento/largura de pétalas) para cada instância.There are four feature values (sepal length/width and petal length/width) for each instance. Nas experiências anteriores, treinamos e testámos os modelos usando os mesmos conjuntos de dados.In the previous experiments, we trained and tested the models using the same datasets. Aqui, usaremos o módulo Dados Divididos para criar dois subconjuntos dos dados, treinar no primeiro, e marcar e avaliar no segundo.Here, we will use the Split Data module to create two subsets of the data, train on the first, and score and evaluate on the second. O conjunto de dados da Íris está disponível publicamente no Repositório de Aprendizagem automática da UCI,e pode ser descarregado através de um módulo de Dados de Importação.The Iris dataset is publicly available on the UCI Machine Learning Repository, and can be downloaded using an Import Data module.

Criação da ExperiênciaCreating the Experiment

Adicione os seguintes módulos ao seu espaço de trabalho no Azure Machine Learning Studio (clássico):Add the following modules to your workspace in Azure Machine Learning Studio (classic):

Ligue as portas como mostrado abaixo na Figura 10.Connect the ports as shown below in Figure 10.

Desa um índice de coluna label do módulo Modelo de Comboio para 5.Set the Label column index of the Train Model module to 5. O conjunto de dados não tem cabeçalho, mas sabemos que as etiquetas de classe estão na quinta coluna.The dataset has no header row but we know that the class labels are in the fifth column.

Clique no módulo de Dados de Importação e desa estale a propriedade de fonte de dados para URL web via HTTP, e o URL para http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data .Click on the Import Data module and set the Data source property to Web URL via HTTP, and the URL to http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data.

Desfima a fração de instâncias a utilizar para a formação no módulo de Dados Divididos (0.7, por exemplo).Set the fraction of instances to be used for training in the Split Data module (0.7 for example).

Avaliação de um Classificador Multiclasse

Figura 10.Figure 10. Avaliação de um Classificador MulticlasseEvaluating a Multiclass Classifier

Inspeção dos Resultados da AvaliaçãoInspecting the Evaluation Results

Executar a experiência e clicar na porta de saída do Modelo de Avaliação.Run the experiment and click on the output port of Evaluate Model. Os resultados da avaliação são apresentados sob a forma de uma matriz de confusão, neste caso.The evaluation results are presented in the form of a confusion matrix, in this case. A matriz mostra os casos reais vs. previstos para as três classes.The matrix shows the actual vs. predicted instances for all three classes.

Resultados da avaliação da classificação multiclasse

Figura 11.Figure 11. Resultados da avaliação da classificação multiclasse.Multiclass Classification Evaluation Results.

Usando validação cruzadaUsing Cross Validation

Como mencionado anteriormente, pode realizar treinos repetidos, pontuação e avaliações automaticamente utilizando o módulo Modelo Validado.As mentioned earlier, you can perform repeated training, scoring, and evaluations automatically using the Cross-Validate Model module. Necessitaria de um conjunto de dados, um modelo não treinado e um módulo modelo de validação cruzada (ver figura abaixo).You would need a dataset, an untrained model, and a Cross-Validate Model module (see figure below). Mais uma vez é necessário definir a coluna de etiquetas do módulo Modelo Validado (índice de coluna 5 neste caso).Again you need to set the label column of the Cross-Validate Model module (column index 5 in this case). Depois de executar a experiência e clicar na porta de saída certa do Modelo Transversal Validado,pode verificar os valores métricos de cada dobra, bem como o desvio médio e padrão.After running the experiment and clicking the right output port of the Cross-Validate Model, you can inspect the metric values for each fold as well as the mean and standard deviation. As métricas aqui apresentadas são semelhantes às discutidas no caso da classificação binária.The metrics displayed here are the similar to the ones discussed in the binary classification case. No entanto, na classificação multiclasse, a computação dos verdadeiros positivos/negativos e falsos positivos/negativos é feita contando por classe, uma vez que não existe uma classe global positiva ou negativa.However, in multiclass classification, computing the true positives/negatives and false positives/negatives is done by counting on a per-class basis, as there is no overall positive or negative class. Por exemplo, ao calcular a precisão ou a recordação da classe 'Iris-setosa', presume-se que esta é a classe positiva e todas as outras como negativas.For example, when computing the precision or recall of the 'Iris-setosa' class, it is assumed that this is the positive class and all others as negative.

Validação cruzada de um modelo de classificação multiclasse

Figura 12.Figure 12. Validação cruzada de um modelo de classificação multiclasse.Cross-Validating a Multiclass Classification Model.

Resultados de validação cruzada de um modelo de classificação multiclasse

Figura 13.Figure 13. Resultados de validação cruzada de um modelo de classificação multiclasse.Cross-Validation Results of a Multiclass Classification Model.