Share via

Monitorizar a equidade e o preconceito dos modelos de classificação

  • Artigo

Importante

Esta funcionalidade está em Pré-visualização Pública.

Com a Monitorização do Databricks Lakehouse, pode monitorizar as predições de um modelo de classificação para ver se o modelo tem um desempenho semelhante nos dados associados a diferentes grupos. Por exemplo, pode investigar se um classificador de predefinição de empréstimo gera a mesma taxa de falsos positivos para candidatos de diferentes demografias.

Trabalhar com métricas de equidade e distorção

Para monitorizar a equidade e o preconceito, crie uma expressão booleana de setor. O grupo definido pela expressão de setor a True avaliar é considerado o grupo protegido (ou seja, o grupo ao qual está a verificar a existência de preconceitos). Por exemplo, se criar slicing_exprs=["age < 25"], o setor identificado por slice_key = "idade < 25" eTrue = slice_value for considerado o grupo protegido e o setor identificado por slice_key = "idade < 25" e slice_value = False for considerado o grupo desprotegido.

O monitor calcula automaticamente as métricas que comparam o desempenho do modelo de classificação entre grupos. As seguintes métricas são comunicadas na tabela de métricas do perfil:

  • predictive_parity, que compara a precisão do modelo entre grupos.
  • predictive_equality, que compara as taxas de falsos positivos entre grupos.
  • equal_opportunity, que mede se uma etiqueta é igualmente bem prevista para ambos os grupos.
  • statistical_parity, que mede a diferença nos resultados previstos entre grupos.

Estas métricas são calculadas apenas se o tipo de análise for InferenceLog e problem_type for classification.

Para obter definições destas métricas, veja as seguintes referências:

Saídas de métricas de equidade e distorção

Veja a referência da API para obter detalhes sobre estas métricas e como vê-las nas tabelas de métricas. Todas as métricas de equidade e distorção partilham o mesmo tipo de dados mostrado abaixo, mostrando pontuações de equidade calculadas em todas as classes previstas de forma "um-vs-all" como pares chave-valor.

Pode criar um alerta nestas métricas. Por exemplo, o proprietário do modelo pode configurar um alerta quando a métrica de equidade exceder algum limiar e, em seguida, encaminhar esse alerta para uma pessoa ou equipa de serviço para investigação.