Avaliar os sistemas de IA e tomar decisões baseadas em dados com Azure Machine Learning painel de IA responsável (pré-visualização)

A IA responsável requer engenharia rigorosa. A engenharia rigorosa, no entanto, pode ser tediosa, manual e morosa sem a ferramenta e infraestrutura adequadas. Os cientistas de dados precisam de ferramentas para implementar a IA responsável na prática de forma eficaz e eficiente.

O painel de AI Responsável fornece uma única interface que torna a engenharia de machine learning responsável eficiente e interoperável em todo o ciclo de vida de desenvolvimento e avaliação de modelo maiores. A ferramenta reúne várias ferramentas de IA responsáveis maduras nas áreas da avaliação de estatísticas modelo, exploração de dados, interpretação de machine learning, avaliação de injustiça, análise de erros, inferência causal e análise contrafactual para uma avaliação holística e depuração de modelos e tomada de decisões empresariais informadas. Com um único assistente de comando ou UI simples, o painel aborda os problemas de fragmentação de múltiplas ferramentas e permite-lhe:

  1. Avalie e depure os seus modelos de aprendizagem automática identificando erros modelo, diagnosticando o porquê desses erros e informando os seus passos de mitigação.
  2. Aumentar as suas capacidades de tomada de decisão baseadas em dados, abordando questões como "qual é a alteração mínima que o utilizador final pode aplicar às suas características para obter um resultado diferente do modelo?" e/ou "qual é o efeito causal da redução do consumo de carne vermelha na progressão da diabetes?"
  3. Export Responsible AI metadados dos seus dados e modelos para a partilha offline com as partes interessadas do produto e da conformidade.

Componentes responsáveis do painel de instrumentos de IA

O painel responsável da IA reúne, numa visão abrangente, várias ferramentas novas e pré-existentes, integrando-as com o Azure Machine Learning CLIv2, Python SDKv2 e estúdio. Estas ferramentas incluem:

  1. Explorador de dados para compreender e explorar as suas distribuições e estatísticas do conjunto de dados.
  2. Modelação geral e avaliação da equidade para avaliar o desempenho do seu modelo e avaliar as questões de equidade do grupo do seu modelo (como grupos de pessoas são impactados pelas previsões do seu modelo).
  3. Análise de erro para ver e compreender as distribuições de erros do seu modelo num conjunto de dados através de um mapa de árvores de decisão ou de uma visualização de mapas de calor.
  4. Interpretação do modelo (valores de importância de característica agregada/individual) para o compreender modelo previsões e como são feitas as previsões globais e individuais.
  5. Contrafactual What-If's para observar como as perturbações de funcionalidades afetariam as suas previsões modelo e fornecer-lhe-iam os pontos de dados mais próximos com previsões modelo opostas ou diferentes.
  6. Análise causal para usar dados históricos para visualizar os efeitos causais das características do tratamento no resultado do mundo real.

Juntos, estes componentes permitir-lhe-ão depurar modelos de machine learning, informando ao mesmo tempo as suas decisões orientadas por dados e modelo.

 Diagram of Responsible A I dashboard components for model debugging and responsible decision making.

Depuração de modelo

Avaliar e depurar modelos de aprendizagem automática é fundamental para modelo fiabilidade, interpretação, equidade e conformidade. Ajuda a determinar como e por que os sistemas de IA se comportam como se comportam. Em seguida, pode usar este conhecimento para melhorar modelo desempenho. Conceptualmente, modelo depuragem consiste em três etapas:

  • Identificar, compreender e reconhecer modelo erros, abordando as seguintes questões:
    • Que tipo de erros tem o meu modelo?
    • Em que áreas os erros são mais frequentes?
  • Diagnosticar, para explorar as razões por detrás dos erros identificados, abordando:
    • Quais são as causas destes erros?
    • Onde devo concentrar os meus recursos para melhorar a minha modelo?
  • Atenuar, utilizar os conhecimentos de identificação e diagnóstico de fases anteriores para tomar medidas de mitigação direcionadas e abordar questões como:
    • Como posso melhorar a minha modelo?
    • Que soluções sociais ou técnicas existem para estas questões?

Diagram of model debugging via responsible A I dashboard with the information in the table below.

Abaixo estão os componentes do painel de instrumentos responsável de suporte modelo depurando:

Fase Componente Descrição
Identificar Análise de Erros A componente De Análise de Erros proporciona aos praticantes de machine learning uma compreensão mais profunda da distribuição de falhas modelo e ajuda-o a identificar rapidamente coortes de dados erróneas.

As capacidades deste componente no painel de instrumentos são fundadas por capacidades de Análise de Erro na geração de perfis de erro modelo.
Identificar Análise de Equidade A componente Fairness avalia como diferentes grupos, definidos em termos de atributos sensíveis como sexo, raça, idade, etc., são afetados pelas suas previsões modelo e como as disparidades observadas podem ser atenuadas. Avalia o desempenho do seu modelo explorando a distribuição dos seus valores de previsão e os valores das suas métricas de desempenho modelo em diferentes subgrupos sensíveis. As capacidades deste componente no painel de instrumentos são fundadas pela Fairlearn na geração de avaliações de equidade modelo.
Identificar Visão geral do modelo A componente De Modelo Statistics agrega várias métricas de avaliação modelo, mostrando uma visão de alto nível da distribuição de previsão modelo para uma melhor investigação do seu desempenho. Permite também uma avaliação da equidade do grupo, destacando a repartição do desempenho modelo em diferentes grupos sensíveis.
Diagnóstico Data Explorer O componente Data Explorer ajuda a visualizar conjuntos de dados com base em resultados previstos e reais, grupos de erro e funcionalidades específicas. Isto ajuda a identificar questões de sobre-e-subrepresentação e a ver como os dados são agrupados no conjunto de dados.
Diagnóstico Interpretação do modelo A componente de Interpretação gera explicações compreensíveis pelo homem sobre as previsões de uma aprendizagem automática modelo. Fornece múltiplas opiniões sobre o comportamento de um modelo: explicações globais (por exemplo, que afetam o comportamento geral de uma modelo de atribuição de empréstimos) e explicações locais (por exemplo, por que razão o pedido de empréstimo de um requerente foi aprovado ou rejeitado).

As capacidades deste componente no painel de instrumentos são fundadas pelas capacidades do InterpretML na geração de explicações modelo.
Diagnóstico Análise e What-If contrafactuais A Análise Contrafactual e o componente "e se" consiste em duas funcionalidades para um melhor diagnóstico de erro:
- Gerar um conjunto de exemplos com alterações mínimas num dado ponto de modo a alterar a previsão do modelo (mostrando os pontos de dados mais próximos com modelo precisões opostas).
- Permitir que perturbações interativas e personalizadas para pontos de dados individuais compreendam como o modelo reage às mudanças de recurso.

As capacidades deste componente no dashboard são fundadas pelo pacote DiCE, que fornece esta informação mostrando versões perturbadas com recurso do mesmo ponto de dados, que teriam recebido uma previsão de modelo diferente (por exemplo, Taylor teria recebido a previsão de aprovação do empréstimo se o seu rendimento anual fosse superior em $10.000).

As medidas de mitigação estão disponíveis através de ferramentas autónomas, como Fairlearn (para mitigação da injustiça).

Tomada de decisão responsável

A tomada de decisão é uma das maiores promessas de aprendizagem automática. O painel de AI Responsável ajuda-o a informar as suas decisões comerciais orientadas para a modelo e orientadas para os dados.

  • Insights orientados por dados para compreender melhor os efeitos do tratamento heterogéneo num resultado, utilizando apenas dados históricos. Por exemplo, "como é que um medicamento afeta a pressão sanguínea de um paciente?". Estes insights são fornecidos através do componente "Inferência Causal" do painel de instrumentos.
  • Insights orientados por modelos, para responder a perguntas dos utilizadores finais, tais como "o que posso fazer para obter um resultado diferente da sua IA da próxima vez?" para informar as suas ações. Tais insights são fornecidos aos cientistas de dados através do componente "Análise Contrafactual e E-Se" acima descrito.

Responsible A I dashboard capabilities for responsible business decision making.

A análise exploratória de dados, a análise contrafactual e as capacidades de inferência causal podem ajudá-lo a tomar decisões informadas modelo e orientadas por dados de forma responsável.

Seguem-se os componentes do painel de instrumentos de IA responsável que suporta a tomada de decisão responsável:

  • Data Explorer
    • O componente pode ser reutilizado aqui para entender a distribuição de dados e identificar sobre-e subrepresentação. A exploração de dados é uma parte crítica da tomada de decisão, pois pode concluir-se que não é viável tomar decisões informadas sobre uma coorte que está sub-representada dentro dos dados.
  • Inferência causal
    • A componente de Inferência Causal estima como um resultado real muda na presença de uma intervenção. Ajuda igualmente a construir intervenções promissoras, simulando diferentes respostas de características a diversas intervenções e criando regras para determinar quais as coortes populacionais que beneficiariam de uma determinada intervenção. Coletivamente, estas funcionalidades permitem aplicar novas políticas e afetar a mudança no mundo real.
    • As capacidades deste componente são fundadas pelo pacote EconML , que estima os efeitos do tratamento heterogéneo a partir de dados observacionais através da aprendizagem automática.
  • Análise Contrafactual
    • O componente de Análise Contrafactual descrito acima poderia ser reutilizado aqui para ajudar os cientistas de dados a gerar um conjunto de pontos de dados semelhantes com resultados de previsão opostos (mostrando alterações mínimas aplicadas às características de um ponto de dados que conduzem a previsões modelo opostas). Fornecendo exemplos contrafactuais aos utilizadores finais informam a sua perspetiva, educando-os sobre como podem tomar medidas para obter o resultado desejado do modelo no futuro.
    • As capacidades deste componente são fundadas pelo pacote DiCE .

Por que usar o painel de IA responsável?

Embora a IA Responsável seja sobre engenharia rigorosa, a sua operacionalização é aborrecida, manual e morosa sem a ferramenta e infraestrutura adequadas. Existem instruções mínimas, e poucas estruturas e ferramentas desarticuladas disponíveis para capacitar os cientistas de dados a explorar e avaliar os seus modelos de forma holisticamente.

Embora tenham sido feitos progressos em ferramentas individuais para áreas específicas da IA Responsável, os cientistas de dados precisam frequentemente de usar várias ferramentas deste tipo em conjunto, para avaliar holisticamente os seus modelos e dados. Por exemplo, se um cientista de dados descobre um problema de equidade com uma ferramenta, então eles precisam saltar para uma ferramenta diferente para entender que dados ou fatores modelo estão na raiz do problema antes de tomar quaisquer medidas de mitigação. Este processo altamente desafiante é ainda mais complicado pelas seguintes razões. Primeiro, não há localização central para descobrir e aprender sobre as ferramentas, estendendo o tempo que leva para pesquisar e aprender novas técnicas. Segundo, as diferentes ferramentas não se comunicam umas com as outras. Os cientistas de dados devem fazer a ligação entre os conjuntos de dados, modelos e outros metadados à medida que os transmitem entre as diferentes ferramentas. Em terceiro lugar, as métricas e visualizações não são facilmente comparáveis, e os resultados são difíceis de partilhar.

O painel de AI Responsável é a primeira ferramenta abrangente, reunindo experiências fragmentadas sob um só teto, permitindo-lhe embarcar perfeitamente a bordo de um único quadro personalizável para modelo depuração e tomada de decisão orientada por dados.

Como personalizar o painel de instrumentos de IA Responsável

A força do painel de instrumentos de IA responsável reside na sua personalização. Capacita os utilizadores a conceberem modelo fluxos de trabalho personalizados, de ponta a ponta e de decisão que respondam às suas necessidades específicas. Precisa de inspiração? Aqui estão alguns exemplos de como os componentes toolbox podem ser montados para analisar cenários de diversas formas:

Flow de painel de instrumentos de IA responsável Caso de Utilização
Visão geral do modelo -> Análise de Erros -> Data Explorer Identificar modelo erros e diagnosticá-los, compreendendo a distribuição de dados subjacente
Visão geral do modelo -> Avaliação da Equidade -> Data Explorer Identificar modelo questões de equidade e diagnosticá-las, compreendendo a distribuição de dados subjacente
Visão geral do modelo -> Análise de Erros -> Análise de Contrafactuais e What-If Diagnosticar erros em instâncias individuais com análise contrafactual (alteração mínima para conduzir a uma previsão de modelo diferente)
Visão geral do modelo -> Data Explorer Compreender a causa principal dos erros e das questões de equidade introduzidas através de desequilíbrios de dados ou da falta de representação de uma determinada coorte de dados
Visão geral do modelo -> Interpretação Para diagnosticar modelo erros através da compreensão de como o modelo fez as suas previsões
Data Explorer-> Inferência causal Para distinguir entre correlações e causalidades nos dados ou decidir os melhores tratamentos a aplicar para ver um resultado positivo
Interpretação -> Inferência causal Para saber se os fatores que modelo utilizou para a tomada de decisões tem algum efeito causal no resultado real.
Data Explorer-> Análise e What-If contrafactuais Para responder a perguntas do cliente sobre o que podem fazer da próxima vez para obter um resultado diferente de uma IA.

Quem deve utilizar o painel de IA responsável?

O painel de AI Responsável, e o seu correspondente cartão de pontuação responsável da IA, poderiam ser incorporados pelas seguintes personalidades para criar confiança com sistemas de IA.

  • A aprendizagem automática modelo engenheiros e cientistas de dados que estão interessados em depurar e melhorar os seus modelos de aprendizagem automática pré-implantação. -Machine learning modelo engenheiros e cientistas de dados que estão interessados em partilhar os seus registos de saúde modelo com o gestor de produtos e stakeholders empresariais para criar confiança e receber permissões de implantação.
  • Gestores de produtos e stakeholders de negócios que estão a rever modelos de machine learning pré-implantação.
  • Oficiais de risco que estão a rever modelos de aprendizagem automática para entender questões de equidade e fiabilidade.
  • Fornecedores de solução para utilizadores finais que gostariam de explicar modelo decisões aos utilizadores finais.
  • Partes interessadas empresariais que precisam de rever modelos de machine learning com reguladores e auditores.

Modelos e cenários de aprendizagem automática suportados

Apoiamos modelos de aprendizagem de scikit para geração e explicações contrafactuais. Os modelos scikit-learn devem implementar predict()/predict_proba() métodos ou o modelo deve ser embrulhado numa classe, que implementa métodospredict()/predict_proba().

Atualmente, apoiamos a geração contrafactual e explicações para conjuntos de dados tabulares com tipos de dados numéricos e categóricos. A geração e explicações contrafactuais são suportadas para dados de texto, imagens e dados históricos formados gratuitamente.

Passos seguintes