Machine Learning - Avaliar

  • Artigo

Importante

O suporte para o Estúdio de ML (clássico) terminará a 31 de agosto de 2024. Recomendamos a transição para o Azure Machine Learning até essa data.

A partir de 1 de dezembro de 2021, não poderá criar novos recursos do Estúdio de ML (clássico). Até 31 de agosto de 2024, pode continuar a utilizar os recursos existentes do Estúdio de ML (clássico).

A documentação do Estúdio de ML (clássico) está a ser descontinuada e poderá não ser atualizada no futuro.

Este artigo descreve os módulos em Machine Learning Studio (clássico) que pode usar para avaliar uma aprendizagem automática modelo. A avaliação do modelo é realizada após o treino estar completo, para medir a precisão das previsões e avaliar modelo ajuste.

Nota

Aplica-se a: Machine Learning Studio (clássico) apenas

Módulos semelhantes de arrasto e queda estão disponíveis em Azure Machine Learning designer.

Este artigo também descreve o processo geral em Machine Learning Studio (clássico) para modelo criação, formação, avaliação e pontuação.

Crie e use modelos de machine learning em Machine Learning Studio (clássico)

O fluxo de trabalho típico para machine learning inclui estas fases:

  1. Escolha um algoritmo adequado e desemote as opções iniciais.
  2. Treine o modelo utilizando dados compatíveis.
  3. Crie previsões usando novos dados que se baseiem nos padrões do modelo.
  4. Avaliar o modelo para determinar se as previsões são precisas, a quantidade de erro e se a sobremontagem ocorre.

Machine Learning Studio (clássico) suporta uma estrutura flexível e personalizável para machine learning. Cada tarefa neste processo é realizada por um tipo específico de módulo. O módulo pode ser modificado, adicionado ou removido sem quebrar o resto da sua experiência.

Utilize os módulos desta categoria para avaliar uma modelo existente. A avaliação do modelo normalmente requer algum tipo de conjunto de dados de resultados. Se não tiver um conjunto de dados de avaliação, pode gerar resultados marcando. Também pode utilizar um conjunto de dados de teste, ou algum outro conjunto de dados que contenha "verdade no solo" ou resultados esperados conhecidos.

Mais sobre a avaliação modelo

Em geral, ao avaliar uma modelo, as suas opções dependem do tipo de modelo que está a avaliar e da métrica que pretende utilizar. Estes tópicos listam algumas das métricas mais utilizadas:

Machine Learning Studio (clássico) também fornece uma variedade de visualizações, dependendo do tipo de modelo que está a usar, e quantas aulas o seu modelo está a prever. Para ajudar a encontrar estas visualizações, consulte as métricas de avaliação do Ver.

A interpretação destas estatísticas requer frequentemente uma maior compreensão do algoritmo específico em que o modelo foi treinado. Para uma boa explicação de como avaliar um modelo, e como interpretar os valores que são devolvidos para cada medida, consulte Como avaliar modelo desempenho em Machine Learning.

Lista de módulos

A categoria Machine Learning - Avaliar inclui os seguintes módulos:

  • Modelo de validação cruzada: Valida as estimativas de parâmetros para modelos de classificação ou regressão dividindo os dados.

    Utilize o módulo Modelo Cross-Valide se quiser testar a validade do seu conjunto de treino e do modelo. A validação cruzada separa os dados em dobras e, em seguida, testa vários modelos em combinações de dobras.

  • Modelo de avaliação: Avalia uma classificação ou regressão pontuada modelo utilizando métricas padrão.

    Na maioria dos casos, utilizará o módulo genérico de avaliação do modelo . Isto é especialmente verdade se o seu modelo é baseado em um dos algoritmos de classificação ou regressão suportados.

  • Avaliar Recomendador: Avalia a precisão das previsões modelo recomendador.

    Para modelos de recomendação, utilize o módulo 'Avaliador' de Avaliação .

  • Para modelos de agrupamento, utilize o módulo Desatribuição de Dados a Clusters . Em seguida, utilize as visualizações nesse módulo para ver os resultados da avaliação.
  • Pode criar métricas de avaliação personalizadas. Para criar métricas de avaliação personalizadas, forneça código R no módulo Execut r Script ou Python código no módulo Executar Python Script. Esta opção é útil se quiser usar métricas que foram publicadas como parte de bibliotecas de código aberto, ou se quiser desenhar a sua própria métrica para medir modelo precisão.

Exemplos

Interpretar os resultados da aprendizagem automática modelo avaliação é uma arte. Requer a compreensão dos resultados matemáticos, para além dos dados e dos problemas de negócio. Recomendamos que reveja estes artigos para uma explicação de como interpretar resultados em diferentes cenários:

Notas técnicas

Esta secção contém detalhes de implementação, dicas e respostas a perguntas frequentes.

Ver métricas de avaliação

Saiba onde procurar no estúdio Machine Learning (clássico) para encontrar os gráficos métricos para cada tipo modelo.

Modelos de classificação de duas classes

A visão padrão para modelos de classificação binária inclui um gráfico ROC interativo e uma tabela de valores para as principais métricas.

An interactive ROC chart and a table of values for the principal metrics in binary classification models

Tem duas opções para visualizar modelos de classificação binária:

  • Clique com o botão direito na saída do módulo e, em seguida, selecione Visualize.
  • Clique com o botão direito no módulo, selecione os resultados da avaliação e, em seguida, selecione Visualize.

Também pode utilizar o slider para alterar o valor limiar de probabilidade. O limiar determina se um resultado deve ser aceite como verdadeiro ou não. Então, pode ver como estes valores mudam.

Modelos de classificação multiclasse

A visão métrica padrão para modelos de classificação de várias classes inclui uma matriz de confusão para todas as classes e um conjunto de métricas para o modelo como um todo.

Tem duas opções para visualizar modelos de classificação multi-classes:

  • Clique com o botão direito na saída do módulo e, em seguida, selecione Visualize.
  • Clique com o botão direito no módulo, selecione os resultados da avaliação e, em seguida, selecione Visualize.

Para simplificar, aqui estão os dois resultados, mostrados lado a lado:

Metrics table and Confusion Matrix for multiclass classification models

Modelos de regressão

A visão métrica para modelos de regressão varia consoante o tipo de modelo que criou. A visão das métricas baseia-se nas interfaces de algoritmo subjacentes, e no melhor ajuste para as métricas modelo.

Tem duas opções para visualizar modelos de regressão:

  • Para ver as métricas de precisão numa tabela, clique à direita na saída do módulo Do Modelo de Avaliação e, em seguida, selecione Visualize.
  • Para visualizar um erro de histograma com os valores, clique com o botão direito no módulo, selecione os resultados da Avaliação e, em seguida, selecione Visualize.

Error Histogram and Metrics table for linear regression models

A visão de Histograma de Erro pode ajudá-lo a entender como o erro é distribuído. Está previsto para os seguintes tipos de modelo, e inclui uma tabela de métricas padrão, tais como erro quadrado de raiz média (RMSE).

Os seguintes modelos de regressão geram uma tabela de métricas padrão, juntamente com algumas métricas personalizadas:

Sugestões para trabalhar com os dados

Para extrair os números sem copiar e colar da UI do Machine Learning Studio (clássico), pode utilizar a nova biblioteca PowerShell para Machine Learning. Você pode obter metadados e outras informações para uma experiência completa, ou a partir de módulos individuais.

Para extrair valores de um módulo De Avaliar Modelo , deve adicionar um comentário único ao módulo, para uma identificação mais fácil. Em seguida, utilize o cmdlet Download-AmlExperimentNodeOutput para obter as métricas e os seus valores a partir da visualização no formato JSON.

Para obter mais informações, consulte Crie modelos de machine learning utilizando o PowerShell.

Ver também