Avaliar o desempenho do modelo no Machine Learning Studio (clássico)

Artigo
03/20/2017

APLICA A: Aplica-se a. O Machine Learning Studio (clássico) não se aplica. Aprendizagem de Máquinas Azure

Importante

O suporte para o Estúdio de ML (clássico) terminará a 31 de agosto de 2024. Recomendamos a transição para o Azure Machine Learning até essa data.

A partir de 1 de dezembro de 2021, não poderá criar novos recursos do Estúdio de ML (clássico). Até 31 de agosto de 2024, pode continuar a utilizar os recursos existentes do Estúdio de ML (clássico).

Consulte informações sobre projetos de machine learning em movimento do ML Studio (clássico) para Azure Machine Learning.
Saiba mais sobre a Azure Machine Learning

A documentação do Estúdio de ML (clássico) está a ser descontinuada e poderá não ser atualizada no futuro.

Neste artigo, pode aprender sobre as métricas que pode usar para monitorizar o desempenho do modelo no Machine Learning Studio (clássico). Avaliar o desempenho de um modelo é uma das fases centrais do processo de ciência de dados. Indica o sucesso da pontuação (previsões) de um conjunto de dados por um modelo treinado. O Machine Learning Studio (clássico) suporta a avaliação do modelo através de dois dos seus principais módulos de aprendizagem automática:

Estes módulos permitem-lhe ver como o seu modelo funciona em termos de uma série de métricas que são comumente usadas em machine learning e estatísticas.

Os modelos de avaliação devem ser considerados juntamente com:

São apresentados três cenários comuns de aprendizagem supervisionada:

regressão
classificação binária
classificação multiclasse

Avaliação vs. Validação Cruzada

Avaliação e validação cruzada são formas padrão de medir o desempenho do seu modelo. Ambos geram métricas de avaliação que pode inspecionar ou comparar com as de outros modelos.

O Modelo de Avaliação espera um conjunto de dados pontuado como entrada (ou dois no caso de pretender comparar o desempenho de dois modelos diferentes). Por isso, é necessário treinar o seu modelo utilizando o módulo Modelo de Comboio e fazer previsões em alguns conjuntos de dados utilizando o módulo 'Modelo de Pontuação ' antes de poder avaliar os resultados. A avaliação baseia-se nas etiquetas/probabilidades pontuadas juntamente com as verdadeiras etiquetas, todas elas saídas pelo módulo 'Modelo de Pontuação '.

Em alternativa, pode utilizar a validação cruzada para realizar uma série de operações de avaliação de pontuação de comboio (10 dobras) automaticamente em diferentes subconjuntos dos dados de entrada. Os dados de entrada são divididos em 10 partes, onde uma é reservada para testes, e as outras 9 para treino. Este processo é repetido 10 vezes e as métricas de avaliação são médias. Isto ajuda a determinar o quão bem um modelo generalizaria para novos conjuntos de dados. O módulo Modelo Transversal validar acolhe um modelo não treinado e alguns conjuntos de dados rotulados e produz os resultados de avaliação de cada uma das 10 dobras, além dos resultados médios.

Nas seguintes secções, construiremos modelos simples de regressão e classificação e avaliaremos o seu desempenho, utilizando tanto o Modelo de Avaliação como os módulos Do Modelo De Avaliação Cruzada .

Avaliação de um modelo de regressão

Assuma que queremos prever o preço de um carro usando características como dimensões, cavalos, especificações do motor, e assim por diante. Este é um problema típico de regressão, onde a variável-alvo (preço) é um valor numérico contínuo. Podemos encaixar num modelo linear de regressão que, dado os valores de característica de um determinado carro, pode prever o preço desse carro. Este modelo de regressão pode ser usado para marcar o mesmo conjunto de dados em que treinamos. Assim que tivermos os preços previstos para o carro, podemos avaliar o desempenho do modelo analisando o quanto as previsões se desviam dos preços reais, em média. Para ilustrar isto, utilizamos o conjunto de dados de preços do Automóvel (Raw) disponível na secção Datasets Saved no Machine Learning Studio (clássico).

Criação da Experiência

Adicione os seguintes módulos ao seu espaço de trabalho no Machine Learning Studio (clássico):

Dados sobre os preços do automóvel (Raw)
Regressão Linear
Preparar Modelo
Modelo de Classificação
Avaliar Modelo

Ligue as portas como mostrado abaixo na Figura 1 e coloque a coluna Label do módulo Modelo de Comboio ao preço.

Avaliação de um modelo de regressão

Figura 1: Avaliação de um modelo de regressão.

Inspeção dos Resultados da Avaliação

Depois de executar a experiência, pode clicar na porta de saída do módulo Modelo avaliar e selecionar Visualizar para ver os resultados da avaliação. As métricas de avaliação disponíveis para modelos de regressão são: Erro Absoluto Médio, Erro Absoluto Médio Raiz, Erro Absoluto Relativo, Erro A quadrado relativo e o Coeficiente de Determinação.

O termo "erro" aqui representa a diferença entre o valor previsto e o verdadeiro valor. O valor absoluto ou o quadrado desta diferença é geralmente calculado para capturar a magnitude total do erro em todos os casos, uma vez que a diferença entre o valor previsto e o verdadeiro valor pode ser negativa em alguns casos. As métricas de erro medem o desempenho preditivo de um modelo de regressão em termos do desvio médio das suas previsões face aos verdadeiros valores. Valores de erro mais baixos significam que o modelo é mais preciso para fazer previsões. Uma métrica de erro global de zero significa que o modelo se encaixa perfeitamente nos dados.

O coeficiente de determinação, que também é conhecido como R ao quadrado, é também uma forma padrão de medir o quão bem o modelo se encaixa nos dados. Pode ser interpretado como a proporção de variação explicada pelo modelo. Uma proporção maior é melhor neste caso, onde 1 indica um ajuste perfeito.

Métricas lineares de avaliação da regressão

Figura 2. Métricas lineares de avaliação de regressão.

Usando validação cruzada

Como mencionado anteriormente, pode realizar treinos repetidos, pontuação e avaliações automaticamente utilizando o módulo Modelo Validado. Neste caso, basta um conjunto de dados, um modelo não treinado e um módulo modelo de cross-validate (ver figura abaixo). É necessário definir a coluna da etiqueta ao preço nas propriedades do módulo 'Cross-Validate' .

Validação cruzada de um modelo de regressão

Figura 3. Validação cruzada de um modelo de regressão.

Depois de executar a experiência, pode inspecionar os resultados da avaliação clicando na porta de saída certa do módulo Modelo Validado. Isto proporcionará uma visão detalhada das métricas para cada iteração (fold), e os resultados médios de cada uma das métricas (Figura 4).

Resultados da validação cruzada de um modelo de regressão

Figura 4. Resultados de validação cruzada de um modelo de regressão.

Avaliação de um modelo de classificação binária

Num cenário de classificação binária, a variável alvo tem apenas dois resultados possíveis, por exemplo: {0, 1} ou {falso, verdadeiro}, {negativo, positivo}. Assuma que lhe é dado um conjunto de dados de colaboradores adultos com algumas variáveis demográficas e de emprego, e que lhe é pedido que preveja o nível de rendimento, uma variável binária com os valores {"<=50 K", ">50 K"}. Por outras palavras, a classe negativa representa os empregados que ganham menos ou igual a 50 K por ano, e a classe positiva representa todos os outros colaboradores. Como no cenário de regressão, treinamos um modelo, marcávamos alguns dados e avaliaríamos os resultados. A principal diferença aqui é a escolha de métricas Machine Learning Studio (clássico) computas e saídas. Para ilustrar o cenário de previsão do nível de rendimento, usaremos o conjunto de dados adulto para criar uma experiência studio (clássica) e avaliar o desempenho de um modelo de regressão logística de duas classes, um classificador binário comumente usado.