Fundações para avaliar danos

A Modelação de Danos é uma prática criada para o ajudar a antecipar danos potenciais, identificar lacunas no produto que podem colocar as pessoas em risco e, em última análise, criar abordagens que abordam proativamente os danos.

Porquê a modelação de danos?

Como criadores de tecnologia, o seu trabalho é global. Criar a IA de forma a que esta seja confiável requer a criação de soluções que reflitam princípios éticos profundamente enraizados em valores importantes e intemporais. No processo de conceção e construção das suas tecnologias, é essencial avaliar não só os resultados ideais, mas também os possíveis resultados negativos.

Tecnologia e direitos humanos

É extremamente importante estar ciente de como a tecnologia digital pode ter impacto nos direitos humanos. Para além de continuarmos a proteger a privacidade e a segurança, temos de abordar os riscos da IA e de outras tecnologias emergentes, como o reconhecimento facial. A história ensina-nos que as violações dos direitos humanos resultam não só do uso nefasto da tecnologia, mas também da falta de consciência daqueles que têm boas intenções. Como parte da dedicação da nossa empresa à proteção dos direitos humanos, a Microsoft forjou uma parceria com importantes intervenientes fora da nossa indústria, incluindo as Nações Unidas (ONU).

Um importante conjunto de princípios das Nações Unidas que a nossa empresa apoia firmemente, que foi ratificado por mais de 250 nações, é a Declaração Universal dos Direitos Humanos (UDHR). A UDHR é um documento de marco. Redigida por um grupo global diversificado de peritos jurídicos e culturais, a Declaração foi proclamada pela Assembleia Geral das Nações Unidas em 1948 como um padrão comum de conquistas para todos os povos e todas as nações. Estabelece, pela primeira vez, que os direitos humanos fundamentais sejam universalmente protegidos. Foi traduzido para mais de 500 línguas. Além disso, a Microsoft é uma das 4700 empresas signatárias do Pacto Global da ONU, uma iniciativa empresarial internacional destinada a promover uma cidadania corporativa responsável.

Download no Microsoft Word

Compreensão humana

Para além de apreciarmos a importância dos direitos humanos, a construção de sistemas de confiança exige que consideremos as perspetivas de muitas pessoas. Perguntar quem são os intervenientes, o que valorizam, como poderiam beneficiar e como poderiam ser prejudicados pela nossa tecnologia, é um passo poderoso que nos permite projetar e construir melhores produtos.

Quem tem impacto na tecnologia?

Quem são os clientes?

• O que valorizam?
• Como devem beneficiar?
• Como é que a tecnologia os pode prejudicar?

Quem são os intervenientes não clientes?

• O que valorizam?
• Como devem beneficiar?
• Como é que a tecnologia os pode prejudicar?

Fazer estas perguntas é uma prática de Design Sensível de Valor e é o início para entender melhor o que é importante para os intervenientes e como afeta a sua relação com o produto.

Tipos de intervenientes

Patrocinadores do projeto

Compõem esta categoria apoiantes, responsáveis pela tomada de decisões e proprietários. Os seus valores estão articulados na estratégia e objetivos do projeto.

Construtores tecnológicos

Designers, desenvolvedores, gerentes de projeto e pessoas que trabalham diretamente no projeto de sistemas compõem esse grupo. Trazem para o sistema os seus próprios padrões éticos e valores específicos da profissão.

Intervenientes diretos e indiretos

Estes intervenientes são significativamente afetados pelo sistema. Aqueles que são impactados incluem usuários finais, funcionários de software, clientes, espectadores, instituições de interface e até mesmo gerações passadas ou futuras. Podem também ser incluídos fatores não humanos, como locais, por exemplo, edifícios históricos ou espaços sagrados.

Populações marginalizadas

Esta categoria é constituída pela população frequentemente considerada minoritária, vulnerável ou estigmatizada. Esta categoria inclui crianças, idosos, membros da comunidade LGBTQ+, minorias étnicas e outras populações que muitas vezes sofrem consequências únicas e desproporcionais.

Avaliação de danos

Uma vez definido o propósito da tecnologia, casos de utilização e intervenientes, realizar um exercício de Modelação de Danos para avaliar formas potenciais de utilização de uma tecnologia que está a construir pode resultar em resultados negativos para as pessoas e para a sociedade.

Download no Microsoft Word

O diagrama acima é um exemplo de uma avaliação de danos. Este modelo é uma abordagem qualitativa que é usada para entender a magnitude potencial do dano.

Pode completar esta atividade de ideação individualmente, mas idealmente é realizada como colaboração entre programadores, cientistas de dados, designers, pesquisador de utilizadores, responsáveis pela tomada de decisões empresariais e outras disciplinas que estão envolvidas na construção da tecnologia.

Sugestões de declarações de descrição de danos:

• Uso pretendido: Se [recurso] foi usado para [caso de uso], então [interessado] poderia experimentar [descrição do dano].
• Uso não intencional: Se [usuário] tentou usar [recurso] para [caso de uso], então [interessado] poderia experimentar [descrição do dano].
• Erro do sistema: Se [feature] não funcionar corretamente quando usado para [caso de uso], então [stakeholder] pode experimentar [descrição do dano].
• Uso indevido: [Ator malicioso] poderia potencialmente utilizar [recurso], para causar [descrição do dano] a [intervenientes].

Utilize as categorias, perguntas e exemplos descritos no Tipos de danos para gerar ideias específicas sobre como os danos podem ocorrer. O artigo enumera categorias de danos, que se baseiam em áreas de impacto negativo comuns. Adapte e adote categorias adicionais que lhe sejam relevantes.

Passos Seguintes

Leia Tipos de danos para uma análise de danos adicional.