Gerar insights de IA Responsável na interface do usuário do estúdio

Neste artigo, você cria um scorecard (versão prévia) e um painel de IA Responsável com uma experiência sem código na Interface do usuário do Estúdio do Azure Machine Learning.

Importante

Esse recurso está atualmente em visualização pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não é recomendada para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos.

Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.

Para acessar o assistente de geração de painel e gerar um painel de IA Responsável, faça o seguinte:

1. Registre o modelo no Azure Machine Learning para que você possa acessar a experiência sem código.

2. No painel esquerdo do Estúdio do Azure Machine Learning, selecione a guia Modelos.

3. Selecione o modelo registrado para o qual deseja criar insights de IA Responsável e, em seguida, selecione a guia Detalhes.

4. Selecione Criar Painel de IA Responsável (versão prévia).

   

Para conhecer mais tipos de modelo com suporte e as limitações do painel de IA Responsável, confira cenários e limitações com suporte.

O assistente fornece uma interface para inserção de todos os parâmetros necessários para criar o painel de IA Responsável sem precisar tocar no código. A experiência ocorre inteiramente na interface do usuário Estúdio do Azure Machine Learning. O estúdio apresenta um fluxo guiado e um texto instrutivo para ajudar a contextualizar a variedade de escolhas sobre quais componentes de IA Responsável você gostaria de preencher seu painel.

O assistente está dividido em cinco secções:

1. Conjuntos de dados de treinamento
2. Conjunto de dados de teste
3. Tarefa de modelagem
4. Componentes do Painel
5. Parâmetros do componente
6. Configuração do experimento

Selecionar seus conjuntos de dados

Nas primeiras duas seções, você seleciona os conjuntos de dados de treinamento e teste que você usou quando treinou seu modelo para gerar insights de depuração de modelo. Para componentes como análise de causa, que não exige um modelo, você usa o conjunto de dados de treinamento para treinar o modelo causal para gerar os insights causais.

Observação

Atualmente, há suporte apenas para formatos de conjuntos de dados tabulares na Tabela de ML.

1. Selecione um conjunto de dados para treinamento: na lista de conjuntos de dados registrados no workspace do Azure Machine Learning, selecione o conjunto de dados que você deseja usar para gerar insights de IA Responsável para componentes, como explicações de modelo e análise de erro.

   

2. Selecione um conjunto de dados para teste: na lista de conjuntos de dados registrados, selecione o conjunto de dados que você deseja usar para preencher as visualizações do painel de IA Responsável.

   

3. Se o conjunto de dados de treinamento ou teste que você deseja usar não estiver listado, selecione Criar para carregá-lo.

Selecione sua tarefa de modelagem

Depois de escolher seus conjuntos de dados, selecione o tipo de tarefa de modelagem, conforme mostrado na imagem a seguir:

Selecione os componentes do painel

O painel de IA Responsável oferece dois perfis para conjuntos recomendados de ferramentas que você pode gerar:

• Depuração de modelo: compreenda e depure coortes de dados errôneos em seu modelo de aprendizado de máquina por meio de análise de erro, exemplos de testes de hipóteses contrafatuais e explicabilidade de modelo.

• Intervenções na vida real: compreenda e depure coortes de dados errôneos em seu modelo de aprendizado de máquina usando análise causal.

  Observação

  A classificação multiclasse atualmente não dá suporte ao perfil de análise de intervenções da vida real.

1. Selecione o perfil que você deseja usar.
2. Selecione Avançar.

Configurar parâmetros para componentes do painel

Após selecionar um perfil, aparecerá o painel de configuração Parâmetros de componentes para depuração de modelos para os componentes correspondentes.

Parâmetros de componente para depuração de modelo:

1. Recurso de destino (obrigatório): especifique o recurso que seu modelo foi treinado para prever.

2. Recursos categóricos: indique quais recursos são categóricos para renderizá-los corretamente como valores categóricos na interface do usuário do painel. Este campo é pré-carregado para você com base nos metadados do seu conjunto de dados.

3. Gerar árvore de erro e mapa de calor: ative e desative para gerar um componente de análise de erro para o painel de IA Responsável.

4. Recursos para o mapa de calor de erro: selecione até dois recursos para os quais você deseja pré-gerar um mapa de calor de erro.

5. Configuração avançada: especifique parâmetros adicionais, como aprofundidade máxima da árvore de erros, o número de folhas na árvore de erros e o número mínimo de exemplos em cada nó folha.

6. Gerar exemplos de testes de hipóteses contrafatuais: ativar e desativar para gerar um componente de teste de hipóteses contrafatual para seu painel de IA Responsável.

7. Número de contrafatuais (obrigatório): especifique o número de exemplos contrafatuais que você deseja gerar por ponto de dados. Um mínimo de 10 deve ser gerado para permitir uma visualização em um gráfico de barras dos recursos que foram mais perturbados, em média, para alcançar a previsão desejada.

8. Intervalo de previsões de valor (obrigatório): especifique para cenários de regressão o intervalo em que você deseja que exemplos contrafatuais tenham valores de previsão. Para cenários de classificação binária, o intervalo será automaticamente definido para gerar contrafatuais para a classe oposta de cada ponto de dados. Para cenários de multiclasse, use a lista suspensa para especificar qual classe você deseja que cada ponto de dados seja previsto como.

9. Especificar recursos a serem perturbados: por padrão, todos os recursos serão perturbados. No entanto, se você quiser que apenas recursos específicos sejam perturbados, selecione Quais recursos devem ser perturbados para gerar explicações contrafatuais para exibir um painel com uma lista de recursos a serem selecionados.

   Ao selecionar Especificar recursos a serem perturbados, você pode especificar no qual intervalo você deseja permitir perturbações. Por exemplo: para o recurso YOE (Anos de experiência), especifique que os contrafatuais devem ter valores de recurso variando de apenas de 10 a 21, em vez dos valores padrão de 5 a 21.

   

10. Gerar explicações: ative e desative para gerar um componente de explicação de modelo para o painel de IA Responsável. Nenhuma configuração é necessária, porque um explicador de imitação de caixa opaca padrão será usado para gerar importâncias de recurso.

Alternativamente, se selecionar o perfil Intervenções na vida real, verá a seguinte tela gerar uma análise de causa. Isso ajudará você a entender os efeitos causais dos recursos que deseja "tratar" em um determinado resultado que deseja otimizar.

Os parâmetros de componentes para intervenções na vida real usam análise causal. Faça o seguinte:

1. Recurso de destino (obrigatório): escolha o resultado para o qual você deseja que os efeitos causais sejam calculados.
2. Recursos de tratamento (requerido): escolha um ou mais recursos que você tem interesse em alterar ("tratar") para otimizar o destino.
3. Recursos categóricos: indique quais recursos são categóricos para renderizá-los corretamente como valores categóricos na interface do usuário do painel. Este campo é pré-carregado para você com base nos metadados do seu conjunto de dados.
4. Configurações avançadas: especifique parâmetros adicionais para sua análise causal, como recursos heterogêneos (ou seja, recursos adicionais para entender a segmentação causal em sua análise, além dos recursos de tratamento) e qual modelo causal você deseja usar.

Configurar seu experimento

Por fim, configure seu experimento para iniciar um trabalho de geração do seu painel de IA Responsável.

No painel Trabalho de treinamento ou Configuração do experimento, faça o seguinte:

1. Nomenclatura: forneça ao seu painel um nome exclusivo para que possa diferenciá-lo quando estiver exibindo a lista de painéis de um determinado modelo.
2. Nome do experimento: selecione um experimento existente para executar o trabalho ou crie um novo experimento.
3. Experimento existente: na lista suspensa, selecione um experimento existente.
4. Selecionar o tipo de computação: especifique qual tipo de computação você deseja usar para executar seu trabalho.
5. Selecione computação: na lista suspensa, selecione a computação que você deseja usar. Se não houver recursos de computação existentes, selecione o sinal de mais (+), para criar um novo recurso de computação e atualize a lista.
6. Descrição: adicione uma descrição mais longa do painel de IA Responsável.
7. Marcas: adicione todas as marcas a este painel de IA Responsável.

Após concluir a configuração do experimento, selecione Criar para começar a gerar seu painel de IA Responsável. Você será redirecionado à página do experimento para acompanhar o progresso do trabalho com um link para o painel de IA Responsável resultante da página de trabalho quando ele for concluído.

Para saber como exibir e usar seu painel de IA Responsável, confira Usar o painel de IA Responsável no Estúdio do Azure Machine Learning.

Como gerar um scorecard de IA Responsável (versão prévia)

Depois de criar um painel, você pode usar uma interface do usuário sem código no Estúdio do Azure Machine Learning para personalizar e gerar um scorecard de IA Responsável. Isso permite que você compartilhe insights importantes para a implantação responsável de seu modelo, como imparcialidade e importância do recurso, com stakeholders técnicos e não técnicos. Semelhante à criação de um painel, você pode usar as seguintes etapas para acessar o assistente de geração de scorecard:

• Navegue até a guia Modelos da barra de navegação esquerda no Estúdio do Azure Machine Learning.
• Selecione o modelo registrado para o qual deseja criar um scorecard e selecione a guia A Responsável.
• No painel superior, selecione Criar insights de IA Responsável (versão prévia) e, em seguida, Gerar novo scorecard em PDF.

O assistente permitirá que você personalize o scorecard em PDF sem precisar lidar com o código. A experiência ocorre inteiramente no Estúdio do Azure Machine Learning para ajudar a contextualizar a variedade de escolhas de interface do usuário com um fluxo guiado e texto instrucional para ajudar você a escolher os componentes com os quais gostaria de preencher seu scorecard. O assistente é dividido em sete etapas, com uma oitava etapa (avaliação de imparcialidade) que só aparecerá para modelos com recursos categóricos:

1. Resumo do scorecard em PDF
2. Desempenho do modelo
3. Seleção de ferramenta
4. Análise de dados (chamada anteriormente de data explorer)
5. Análise de causa
6. Interpretabilidade
7. Configuração do experimento
8. Avaliação de imparcialidade (somente se houver recursos categóricos)

Configurando o scorecard

1. Primeiro, insira um título descritivo para o scorecard. Você também pode inserir uma descrição opcional sobre a funcionalidade do modelo, os dados com os quais ele foi treinado e avaliado, o tipo de arquitetura e muito mais.

   

2. A seção Desempenho do modelo permite que você incorpore em suas métricas de avaliação de modelo padrão do setor de scorecard, permitindo que você defina os valores de destino desejados para as métricas selecionadas. Selecione as métricas de desempenho desejadas (até três) e os valores de destino usando as listas suspensas.

   

3. A etapa Seleção de ferramentas permite que você escolha quais componentes subsequentes gostaria de incluir no scorecard. Marque Incluir no scorecard para incluir todos os componentes ou marque/desmarque cada componente individualmente. Selecione o ícone de informações ("i" em um círculo) ao lado dos componentes para saber mais sobre eles.

   

4. A seção Análise de dados (chamada anteriormente de data explorer) habilita a análise de coorte. Aqui, você pode identificar problemas de excesso e falta de representação para explorar como os dados são clusterizados no conjunto de dados e como as previsões de modelo afetam coortes de dados específicas. Use as caixas de seleção na lista suspensa para selecionar seus recursos de interesse abaixo para identificar o desempenho do modelo nas coortes subjacentes.

   

5. A seção Avaliação de imparcialidade pode ajudar a avaliar quais grupos de pessoas podem ser afetados negativamente pelas previsões de um modelo de machine learning. Há dois campos nesta seção.

   • Recursos sensíveis: identifique os atributos sensíveis de sua escolha (por exemplo, idade, gênero) priorizando até 20 subgrupos que gostaria de explorar e comparar.

   • Métrica de imparcialidade: selecione uma métrica de imparcialidade apropriada para sua configuração (por exemplo, diferença de precisão, taxa de erro) e identifique os valores de destino desejados nas métricas de imparcialidade selecionadas. A métrica de imparcialidade selecionada (emparelhada com sua seleção de diferença ou taxa por meio do botão de alternância) capturará a diferença ou a taxa entre os valores extremos entre os subgrupos. (máx. – mín. ou máx./mín.).

   

   Observação

   Atualmente, a avaliação de imparcialidade só está disponível para atributos sensíveis categóricos, como gênero.

6. A seção Análise Causal responde às perguntas "e se" do mundo real sobre como as alterações nos tratamentos afetariam um resultado do mundo real. Se o componente causal for ativado no painel de IA Responsável para o qual você está gerando um scorecard, não será necessária mais nenhuma configuração.

   

7. A seção Interpretabilidade gera descrições compreensíveis por pessoas para previsões feitas pelo modelo de machine learning. Usando explicações de modelo, você pode entender o raciocínio por trás das decisões tomadas pelo modelo. Selecione um número (K) abaixo para ver os K recursos mais importantes que afetam as previsões gerais do modelo. O valor padrão de K é 10.

   

8. Por fim, configure o experimento para iniciar um trabalho para gerar seu scorecard. Essas configurações são iguais às do painel de IA Responsável.

   

9. Por fim, examine suas configurações e selecione Criar para iniciar o trabalho!

   

   Você será redirecionado à página do experimento para rastrear o andamento de seu trabalho após ele ser iniciado. Para saber como exibir e usar o scorecard de IA Responsável, consulte Usar o scorecard de IA Responsável (versão prévia).

Próximas etapas

• Depois de gerar o painel de IA Responsável, veja como acessá-lo e usá-lo no Estúdio do Azure Machine Learning.
• Saiba mais sobre os conceitos e as técnicas por trás do painel de IA Responsável.
• Saiba mais sobre como coletar dados com responsabilidade.
• Saiba mais sobre como usar o painel de IA Responsável e o scorecard para depurar dados e modelos e informar melhor a tomada de decisão nesta postagem no blog da comunidade técnica.
• Veja como o painel de IA Responsável e o scorecard foram usados pelo NHS (Serviço Nacional de Saúde do Reino Unido) em uma história real de cliente.
• Explore os recursos do painel de IA Responsável nesta demonstração interativa da Web do AI Lab.