Resumo e recursos

Concluído

À medida que a IA se torna mais predominante, é fundamental que as organizações tenham processos em vigor para garantir que ela seja usada com responsabilidade. Embora reconheçamos que não temos todas as respostas, esperamos que nossa experiência e perspectiva sejam valiosas para outras pessoas durante o percurso da IA.

Agora que examinou este módulo, você deverá estar apto a:

  • Explicar como a Microsoft fornece responsabilidade pelo uso responsável de IA por meio de uma estrutura de governança.
  • Descrever como os processos de gerenciamento de riscos da Microsoft são usados para identificar, avaliar e atenuar os riscos.
  • Estabelecer princípios de design responsável na própria organização.

Use estes recursos para descobrir mais

Dica

Para abrir um hiperlink, clique com o botão direito do mouse e escolha "Abrir em uma nova janela ou guia". Dessa forma, você pode conferir o recurso e retornar com facilidade ao módulo.

Para saber mais sobre nossa perspectiva em relação ao uso responsável de IA, bem como o impacto da IA em nosso futuro, leia nosso livro O futuro computado.

  • Baixe o PDF de Noções básicas sobre a governança de IA na Microsoft.
  • Baixe o PDF de Governança em ação na Microsoft.
  • Baixe o PDF de Como estabelecer princípios de design responsável na engenharia de IA para compartilhar com outras pessoas.
  • Baixe o PDF de Como estabelecer compromissos externos: AI for Good para compartilhar com outras pessoas.
  • Baixe o PDF de Como colocar princípios em prática: como abordamos o uso responsável de IA na Microsoft.

Abaixo, você encontrará alguns recursos adicionais que a sua organização pode aproveitar ao desenvolver o próprio modelo de governança para o uso responsável de IA.

Recursos para aprimoramento de habilidades

  • O Relatório sobre o Futuro dos Trabalhos do WEF de 2018 aponta que muitas empresas estão voltando os esforços de aquisição de novas habilidades e novo treinamento para as pessoas que já têm habilidades mais avançadas e valor para a empresa.
  • A AI School voltada para desenvolvedores, que disponibiliza vídeos online e outros ativos que ajudam a desenvolver as habilidades de IA profissionais.
  • A Skillful Initiative, uma parceria com a Markle Foundation nos EUA, ajuda as pessoas a encontrar empregadores compatíveis e preencher vagas de emprego de alta demanda.

Programas da Microsoft

A AI for Good inclui quatro programas: AI for Accessibility, AI for Earth, AI for Humanitarian Action e AI for Cultural Heritage, que já dão suporte a mais de 250 projetos em todo o mundo. Saiba mais sobre como se proteger contra novas ameaças de segurança específicas de IA lendo nosso documento Como proteger o futuro da inteligência artificial e o aprendizado de máquina na Microsoft e acompanhe as notícias. Por exemplo, no ano passado, solicitamos publicamente a regulamentação da tecnologia de reconhecimento do rosto e descrevemos nossas recomendações igualmente para os setores público e privado.

Princípios e diretrizes

O percurso de uso responsável da IA pela Microsoft começou quando estabelecemos seis princípios fundamentais para orientar nosso desenvolvimento e uso da IA, descritos em O futuro computado: imparcialidade, confiabilidade e segurança, privacidade e segurança, inclusão, transparência e responsabilidade.

Com esses princípios fundamentais em vigor, começamos a desenvolver diretrizes mais específicas aos cenários. Por exemplo, em maio de 2019, publicamos um artigo chamado Diretrizes para interação entre humanos e a IA, que inclui 18 diretrizes geralmente aplicáveis para ajudar os desenvolvedores a projetar sistemas de IA responsáveis e centrados em humanos. Além desse recurso essencial, publicamos uma série de outras diretrizes e outros princípios, incluindo os abaixo:

Ferramentas de engenharia para uso responsável de IA

Segurança e privacidade

Tipo de recurso Detalhes

Diretrizes

Código open-source
  • A criptografia homomórfica é um tipo especial de técnica de criptografia que permite aos usuários computar em dados criptografados sem descriptografá-los. Os resultados dos cálculos são criptografados e só podem ser revelados pelo proprietário da chave de descriptografia. Para ampliar o uso dessa importante técnica de criptografia, desenvolvemos o Microsoft SEAL e o tornamos open-source.

Tecnologias
  • Ambientes de execução segura, como a computação confidencial do Azure, ajudam os usuários a proteger os dados enquanto eles estão "em uso" em plataformas de nuvem pública (um estado necessário para o processamento eficiente). Os dados são protegidos dentro de um TEE (Ambiente de Execução Confiável), também conhecido como enclave, de modo que o código e os dados ficam protegidos contra exibição e modificação fora do TEE. Isso traz diversos benefícios, incluindo a capacidade de treinar modelos de IA usando fontes de dados de diferentes organizações, sem comprometer a confidencialidade dos dados.
    • A equipe do Azure trabalhou com a Microsoft Research, a Intel, o Windows e o nosso grupo de Ferramentas para Desenvolvedores visando desenvolver nossa solução de computação confidencial, o que permite aos desenvolvedores aproveitar diferentes TEEs sem a necessidade de alterar o código.
    • O projeto SDK do Open Enclave fornece uma superfície de API consistente para o desenvolvimento de aplicativos usando a computação baseada em enclave.
  • A MPC (computação com vários participantes) permite que um conjunto de participantes compartilhe algoritmos e dados criptografados entre si, preservando a privacidade de entrada e garantindo que nenhum participante veja informações sobre outros membros. Por exemplo, com a MPC, é possível criar um sistema que analisa dados de três hospitais diferentes, sem que nenhum deles tenha acesso aos dados de saúde dos outros.
  • A privacidade diferencial é uma tecnologia fundamental para o treinamento de modelos de machine learning que usa dados privados. Um algoritmo de privacidade diferencial usará um ruído aleatório para garantir que a saída do modelo não seja visivelmente alterada quando um indivíduo do conjunto de dados for alterado. Isso impede que os invasores infiram informações particulares de um indivíduo com base na saída do modelo.

Ferramentas

Imparcialidade

Tipo de recurso Detalhes

Diretrizes
  • Leia este artigo da conferência da ACM sobre Imparcialidade, Responsabilidade e Transparência: Imparcialidade e Abstração em Sistemas Sociotécnicos, que descreve as cinco principais "armadilhas" no trabalho justo de ML e como evitá-las.
  • Leia este artigo da Cornell University: Imparcialidade Contrafatual para obter um exemplo de uma estrutura para a modelagem de imparcialidade usando ferramentas de interferência causal e como ela se aplica à previsão justa do sucesso de alunos na faculdade de direito.

Código de software livre
  • A Imparcialidade em Sistemas de ML (Machine Learning) (FairLearn) é uma abordagem criada pela Microsoft Research e codesenvolvida com as equipes de produtos. O FairLearn pode ser usado para avaliar a possível imparcialidade dos sistemas de ML que tomam decisões sobre a alocação de recursos, oportunidades ou informações. A imparcialidade é um desafio fundamentalmente sociotécnico e, portanto, as ferramentas de classificação "imparciais" não são soluções que resolvem todos os problemas e são adequadas apenas em algumas circunstâncias específicas. Um pacote do Python que implementa essa abordagem está disponível no GitHub.
    • Por exemplo, considere um sistema de ML encarregado de escolher candidatos para uma entrevista de emprego. O FairLearn pode transformar um classificador que prevê quem deve ser entrevistado com base em decisões de contratação anteriores em um classificador que prevê quem deve ser entrevistado, respeitando também a paridade demográfica (ou outra definição de imparcialidade).

Ferramentas

Treinamento adicional
  • Para entender os desafios únicos com relação à imparcialidade em ML, assista ao nosso webinar gratuito sobre aprendizado de máquina e imparcialidade. Nesse webinar, você aprenderá a priorizar a detecção e a mitigação de preconceitos no desenvolvimento e na implantação de sistemas de ML.
  • Para saber mais sobre como as organizações devem abordar a avaliação da imparcialidade dos modelos de IA, assista a este discurso inaugural do NIPS feito por Kate Crawford, Pesquisadora Chefe na Microsoft e Cofundadora do AI Now Institute na NYU.

Inclusão

Tipo de recurso Detalhes

Diretrizes
  • Veja o Kit de ferramentas de Design Inclusivo e as práticas de design inclusivo para saber como entender e resolver possíveis obstáculos em um ambiente de produto que possa, involuntariamente, excluir pessoas.
  • O artigo Inclusão de minorias em algoritmos da Microsoft Research é uma abordagem que desenvolvedores de aplicativos ou tomadores de decisões podem usar para desenvolver critérios de seleção que geram resultados diversificados e de alta qualidade em contextos como admissões em faculdades, contratação e pesquisa de imagens.
    Veja, por exemplo, a escolha de critérios de pesquisa de candidatos a um trabalho. Normalmente, há informações limitadas sobre a "real qualidade" de qualquer candidato. A intuição de um empregador pode sugerir a pesquisa por "programador de computador", que resulta em candidatos de alta qualidade, mas pode retornar poucas candidatas. O algoritmo de inclusão de minorias sugere consultas alternativas semelhantes, porém, mais diversificadas em termos de gênero, como "desenvolvedor de software" ou "desenvolvedor para Web".

Confiabilidade e segurança

Tipo de recurso Detalhes

Tecnologias

Ferramentas
  • O Pandora é uma estrutura de depuração projetada pela Microsoft Research para identificar problemas de confiabilidade e desvios em modelos de machine learning. Ele usa técnicas de aprendizado de máquina interpretáveis, como árvores de decisão, para descobrir padrões e identificar possíveis problemas.
  • O Microsoft AirSim é uma valiosa ferramenta open-source para aprimorar ambientes de treinamento simulados.

Transparência

Tipo de recurso Detalhes

Código open-source
  • O InterpretML é um pacote open-source criado pela Microsoft Research para treinamento de modelos interpretáveis e explicação de sistemas de caixa preta. Ele implementa vários modelos inteligíveis, incluindo o EBM (Explainable Boosting Machine), um aprimoramento dos modelos aditivos generalizados que têm alta precisão e inteligibilidade. Ele também dá suporte a vários métodos para gerar explicações de previsões e do comportamento do modelo de caixa preta, incluindo SHAP (SHapley Additive exPlanations) e LIME (Local Interpretable Model-agnostics Explanations).

Tecnologias
  • O Azure Machine Learning conta com uma variedade de ferramentas que dão suporte à transparência do modelo. O recurso Interpretabilidade do Modelo permite que designers e avaliadores de modelo expliquem o motivo pelo qual um modelo faz as previsões apresentadas, o que pode ser usado para depurar o modelo, validar que o seu comportamento corresponde aos objetivos e verificar a presença de desvios.

Responsabilidade

Tipo de recurso Detalhes

Diretrizes
  • Folhas de dados para conjuntos de dados é um artigo que incentiva pessoas que estão montando conjuntos de dados de treinamento a gerar uma folha de dados com as principais informações, como motivação, composição, processo de coleta e usos recomendados. As folhas de dados para conjuntos de dados têm o potencial de aumentar a transparência e a responsabilidade na comunidade do aprendizado de máquina, atenuar os preconceitos indesejados em sistemas de aprendizado de máquina, facilitar uma maior capacidade de reprodução dos resultados do aprendizado de máquina, bem como ajudar pesquisadores e profissionais a selecionar conjuntos de dados mais apropriados para suas tarefas escolhidas.
  • O PAI (Partnership on AI) está liderando uma iniciativa de vários stakeholders chamada ABOUT ML para desenvolver, testar e promulgar as melhores práticas para a documentação do machine learning. Essas melhores práticas podem incluir a documentação de como os sistemas de IA foram projetados e para quais finalidades, a procedência dos dados e o motivo pelo qual esses dados foram escolhidos, como eles foram treinados, testados e corrigidos e para quais finalidades eles não são adequados.

Tecnologias
  • O recurso DevOps do Azure Machine Learning (chamado MLOps) facilita o acompanhamento, a reprodução e o compartilhamento de modelos e seus históricos de versões. Ele oferece gerenciamento centralizado durante todo o processo de desenvolvimento do modelo e ajuda as equipes a monitorar o desempenho do modelo pela coleta da telemetria do aplicativo e do modelo.

Referências

  1. Microsoft, "Software Engineering for Machine Learning: A Case Study" (Engenharia de software para aprendizado de máquina: um estudo de caso). Saleema Amershi, Andrew Begel, Christian Bird, Robert DeLine, Harald Gall, Ece Kamar, Nachiappan Nagappan, Besmira Nushi, Thomas Zimmermann, 2019.

  2. Reuters, "Microsoft turned down facial-recognition sales on human rights concerns" (Microsoft rejeita vendas com reconhecimento do rosto devido a preocupações com direitos humanos). Joseph Menn, 17 de abril de 2019.

  3. Microsoft, "The Future Computed: Artificial Intelligence and its role in society" (O futuro computado: inteligência artificial e a função dela na sociedade). Brad Smith e Harry Shum, 17 de janeiro de 2018.

  4. Microsoft, "Guidelines for Human-AI Interaction" (Diretrizes para interação entre humanos e a IA). Saleema Amershi, Dan Weld, Mihaela Vorvoreanu, Adam Fourney, Besmira Nushi, Penny Collisson, Jina Suh, Shamsi Iqbal, Paul Bennett, Kori Inkpen, Jaime Teevan, Ruth Kikin-Gil e Eric Horvitz, maio de 2019.

  5. Microsoft, "Responsible bots: 10 guidelines for developers of conversational AI" (Bots responsáveis: 10 diretrizes para desenvolvedores de IA de conversa). Novembro de 2018.

  6. Microsoft Azure, "Transparency Note: Azure Cognitive Services Face API" (Nota de transparência: API de Detecção Facial de Serviços Cognitivos do Azure). 6 de maio de 2019.

  7. Microsoft, "Six principles to guide Microsoft's facial recognition work" (Seis princípios para orientar o trabalho de reconhecimento do rosto da Microsoft). Rich Sauer, 17 de dezembro de 2018.

  8. Microsoft, "Facial recognition technology: The need for public regulation and corporate responsibility" (Tecnologia de reconhecimento facial: a necessidade de regulamentação pública e responsabilidade corporativa). Brad Smith, 13 de julho de 2018.

  9. Microsoft, "Project Laplace" (Projeto Laplace).

  10. Microsoft, "Securing the future of AI and machine learning at Microsoft" (Como proteger o futuro da IA e do aprendizado de máquina na Microsoft). Andrew Marshall, 7 de fevereiro de 2019.

  11. Microsoft, "Microsoft SEAL".

  12. National Science Foundation, "A Private Data Sharing Interface" (Uma interface de compartilhamento de dados particulares).

  13. University of Chicago, "Aequitas".

  14. Microsoft, "A Reductions Approach to Fair Classification" (Uma abordagem de reduções para uma classificação justa). Association for Computing Machinery, março de 2018.

  15. NIPS, "Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings" (O homem está para o programador de computador assim como a mulher está para a dona de casa: como eliminar preconceitos na incorporação de palavras). Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama e Adam Kalai, 21 de julho de 2016.

  16. SSRN, "Fairness and Abstraction in Sociotechnical Systems" (Imparcialidade e abstração em sistemas sociotécnicos). Andrew Selbst, Danah Boyd, Sorelle Friedler, Suresh Venkatasubramanian e Janet Vertesi, 23 de agosto de 2018.

  17. Cornell University, "Counterfactual Fairness" (Imparcialidade contrafatual). Matt J. Kusner, Joshua R. Loftus, Chris Russell e Ricardo Silva, 8 de março de 2018.

  18. GitHub, FairLearn

  19. NIPS, "The Trouble with Bias – NIPS 2017 Keynote" (O problema dos preconceitos – Discurso de abertura do NIPS 2017) Kate Crawford, 5 de dezembro de 2017.

  20. Série de webinars da Microsoft Research, "Machine Learning and Fairness" (Aprendizado de máquina e imparcialidade). Jenn Wortman Vaughan e Hanna Wallach. 2018.

  21. Microsoft, "Inclusive Design" (Design Inclusivo).

  22. Microsoft, "Inclusive Microsoft Design Toolkit" (Kit de ferramentas de Design Inclusivo da Microsoft). 2016.

  23. Microsoft, "Algorithmic Greenlining: An Approach to Increase Diversity" (Inclusão de minorias em algoritmos: uma abordagem para aumentar a diversidade). Christian Borgs, Jennifer Chayes, Nika Haghtalab, Adam Tauman Kalai e Ellen Vitercik, janeiro de 2019.

  24. Microsoft Research, "Towards Accountable AI: Hybrid Human-Machine Analyses for Characterizing System Failure" (Rumo ao uso responsável da IA: análises híbridas de humanos/computadores para caracterização de falhas do sistema). Besmira Nushi, Ece Kamar e Eric Horvitz.

  25. GitHub, AirSim

  26. GitHub, InterpretML

  27. Microsoft, "Creating AI glass boxes – Open sourcing a library to enable intelligibility in machine learning" (Como criar testes estruturais de IA – Disponibilizar uma biblioteca como software livre para permitir a inteligibilidade no aprendizado de máquina). 10 de maio de 2019.

  28. Cornell University, "Datasheets for Datasets" (Folhas de dados para conjuntos de dados). Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumeé III e Kate Crawford, 14 de abril de 2019.

  29. Partnership on AI, ABOUT ML (Anotações e benchmarking sobre a compreensão e transparência dos ciclos de vida de machine learning)