Avaliar erros em modelos de machine learning

Um dos maiores desafios com as práticas atuais de depuração de modelos é a utilização de métricas agregadas para classificar modelos num conjunto de dados de referência. A precisão do modelo pode não ser uniforme em subgrupos de dados e podem existir coortes de entrada para as quais o modelo falha com mais frequência. As consequências directas destas falhas são a falta de fiabilidade e segurança, o aparecimento de questões de equidade e uma perda total de confiança na aprendizagem automática.

A análise de erros afasta-se das métricas de precisão agregada. Expõe a distribuição de erros aos programadores de forma transparente e permite-lhes identificar e diagnosticar erros de forma eficiente.

O componente de análise de erros do dashboard de IA Responsável fornece aos profissionais de machine learning uma compreensão mais aprofundada da distribuição de falhas do modelo e ajuda-os a identificar rapidamente coortes erróneas de dados. Este componente identifica as coortes de dados com uma taxa de erro mais elevada em comparação com a taxa de erros de referência global. Contribui para a fase de identificação do fluxo de trabalho do ciclo de vida do modelo através de:

• Uma árvore de decisões que revela coortes com taxas de erro elevadas.
• Um mapa térmico que visualiza como as funcionalidades de entrada afetam a taxa de erros entre coortes.

Podem ocorrer discrepâncias nos erros quando o sistema tem um fraco desempenho para grupos demográficos específicos ou coortes de entrada observadas com pouca frequência nos dados de preparação.

As capacidades deste componente provêm do pacote Análise de Erros , que gera perfis de erro de modelo.

Utilize a análise de erros quando precisar de:

• Obtenha uma compreensão profunda de como as falhas de modelos são distribuídas num conjunto de dados e em várias dimensões de entrada e funcionalidade.
• Divida as métricas de desempenho agregado para detetar automaticamente coortes erróneas para informar os passos de mitigação direcionados.

Árvore de erros

Muitas vezes, os padrões de erro são complexos e envolvem mais de uma ou duas funcionalidades. Os programadores podem ter dificuldade em explorar todas as combinações possíveis de funcionalidades para detetar bolsos de dados ocultos com falhas críticas.

Para aliviar a carga, a visualização da árvore binária particiona automaticamente os dados de referência em subgrupos interpretáveis com taxas de erro inesperadamente elevadas ou baixas. Por outras palavras, a árvore utiliza as funcionalidades de entrada para separar maximamente o erro do modelo do êxito. Para cada nó que define um subgrupo de dados, os utilizadores podem investigar as seguintes informações:

• Taxa de erros: uma parte das instâncias no nó para a qual o modelo está incorreto. É mostrado através da intensidade da cor vermelha.
• Cobertura do erro: uma parte de todos os erros que caem no nó. É apresentado através da taxa de preenchimento do nó.
• Representação de dados: o número de instâncias em cada nó da árvore de erros. É mostrado através da espessura da extremidade de entrada para o nó, juntamente com o número total de instâncias no nó.

Mapa térmico do erro

A vista segmenta os dados com base numa grelha unidimensional ou bidimensional de funcionalidades de entrada. Os utilizadores podem escolher as funcionalidades de entrada de interesse para análise.

O mapa térmico visualiza células com erros elevados ao utilizar uma cor vermelha mais escura para chamar a atenção do utilizador para essas regiões. Esta funcionalidade é especialmente benéfica quando os temas de erro são diferentes entre partições, o que acontece frequentemente na prática. Nesta vista de identificação de erros, a análise é altamente orientada pelos utilizadores e pelos respetivos conhecimentos ou hipóteses das funcionalidades que podem ser mais importantes para compreender as falhas.

Passos seguintes

• Saiba como gerar o dashboard de IA Responsável através da CLI e do SDK ou da IU estúdio do Azure Machine Learning.
• Explore as visualizações de análise de erros suportadas.
• Saiba como gerar uma tabela de indicadores de IA Responsável com base nas informações observadas no dashboard de IA Responsável.