Atenuar a injustiça com Fairlearn

Concluído

Além de permitir que você analise a disparidade nas taxas de seleção e desempenho preditivo através de características sensíveis, Fairlearn fornece suporte para atenuar a injustiça nos modelos.

Algoritmos de mitigação e restrições de paridade

O suporte de mitigação em Fairlearn baseia-se no uso de algoritmos para criar modelos alternativos que aplicam restrições de paridade para produzir métricas comparáveis entre grupos de características sensíveis. Fairlearn apoia as seguintes técnicas de mitigação.

Técnica Description Suporte do tipo de modelo
Gradiente Exponencial Uma técnica de redução que aplica uma abordagem de minimização de custos para aprender o ótimo trade-off do desempenho preditivo global e da disparidade de equidade Classificação binária e regressão
Pesquisa de grelha Uma versão simplificada do algoritmo de gradiente exponenciado que funciona eficientemente com um pequeno número de constrangimentos Classificação binária e regressão
Otimizador de limiares Uma técnica de pós-processamento que aplica uma restrição a um classificador existente, transformando a previsão conforme apropriado Classificação binária

A escolha da restrição de paridade depende da técnica que está a ser utilizada e dos critérios específicos de equidade que pretende aplicar. Os constrangimentos em Fairlearn incluem:

  • Paridade demográfica: Utilize esta restrição com qualquer um dos algoritmos de mitigação para minimizar a disparidade na taxa de seleção entre grupos de características sensíveis. Por exemplo, num cenário binário de classificação, este constrangimento tenta garantir que um número igual de previsões positivas sejam feitas em cada grupo.
  • Paridade de taxa positiva verdadeira: Use esta restrição com qualquer um dos algoritmos de mitigação para minimizar a disparidade na taxa positiva verdadeiramente positiva entre grupos de características sensíveis. Por exemplo, num cenário binário de classificação, este constrangimento tenta garantir que cada grupo contenha uma relação comparável de previsões positivas verdadeiras.
  • Paridade de taxa falsamente positiva: Use esta restrição com qualquer um dos algoritmos de mitigação para minimizar a disparidade na false_positive_rate entre grupos de características sensíveis. Por exemplo, num cenário de classificação binária, este constrangimento tenta garantir que cada grupo contenha uma relação comparável de previsões falsas positivas.
  • Odds iguais: Utilize esta restrição com qualquer um dos algoritmos de mitigação para minimizar a disparidade na taxa positiva combinada e false_positive_rate entre grupos de características sensíveis. Por exemplo, num cenário binário de classificação, este constrangimento tenta garantir que cada grupo contenha uma relação comparável de previsões verdadeiramente positivas e falsas positivas.
  • Paridade da taxa de erro : Utilize esta restrição com qualquer um dos algoritmos de mitigação baseados na redução (Gradiente Exponenciado e Pesquisa de Grelhas) para garantir que o erro de cada grupo de recurso sensível não se desvia da taxa de erro global em mais de uma quantidade especificada.
  • Perda de grupo limitada: Utilize esta restrição com qualquer um dos algoritmos de mitigação baseados na redução para restringir a perda de cada grupo de recursos sensíveis num modelo de regressão.

Formação e avaliação de modelos atenuados

Uma abordagem comum à mitigação é usar um dos algoritmos e constrangimentos para treinar vários modelos, e depois comparar o seu desempenho, taxa de seleção e métricas de disparidade para encontrar o modelo ideal para as suas necessidades. Muitas vezes, a escolha do modelo envolve uma compensação entre o desempenho preditivo bruto e a equidade - com base na sua definição de equidade para um determinado cenário. De um modo geral, a equidade é medida por uma redução da disparidade da seleção de recursos (por exemplo, garantindo que uma proporção igual de membros de cada grupo de género é aprovada para um empréstimo bancário) ou por uma redução da disparidade da métrica de desempenho (por exemplo, garantindo que um modelo é igualmente preciso na identificação de reembolsadores e incumprimentos em cada faixa etária).

Fairlearn permite-lhe treinar modelos mitigados e visualizá-los usando o painel de instrumentos, assim.

Um dashboard compara as taxas de desempenho e seleção de duas faixas etárias dentro de um conjunto de dados de previsão de empréstimo.

Pode selecionar um modelo individual na dispersão para ver os seus detalhes, permitindo-lhe explorar as opções e selecionar o melhor modelo para os seus requisitos de equidade.

Integração com Azure Machine Learning

Tal como ao analisar um modelo individual, pode registar todos os modelos encontrados durante os seus testes de mitigação e carregar as métricas do dashboard para Azure Machine Learning.