你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

评估损害的基础

损害建模是一种实践,旨在帮助你预见潜在的损害,确定可能导致人们面临风险的产品缺口,并最终创建主动解决损害的方法。

为何要进行损害建模?

作为技术构建者,你的工作是全局性的。 要设计出值得信赖的 AI,就需要创造出能够反映深深植根于重要且永恒价值的伦理原则的解决方案。 在设计和构建技术的过程中,不仅要评估理想的结果,还要评估可能出现的负面结果,这至关重要。

技术和人权

意识到数字技术影响人权的方式,这一点一如既往地重要。 除了继续保护隐私和安全,我们还必须应对 AI 和面部识别等其他新兴技术带来的风险。 历史告诉我们,侵犯人权不仅是由于恶意使用技术造成的,同时也是出于善意的人们缺乏人权意识的结果。 在我们公司致力于保护人权的过程中,Microsoft 与我们行业以外的重要利益干系人(包括联合国 (UN))建立了伙伴关系。

我们公司坚定支持的一套重要的联合国原则是《世界人权宣言》(UDHR),它已得到 250 多个国家的批准。 UDHR 是一份里程碑式的文件。 该宣言由来自世界各地的法律和文化专家起草;联合国大会于 1948 年宣布该宣言为所有人民和所有国家成就的共同标准。 宣言中首次规定了应受到普遍保护的基本人权。 并且已被翻译为 500 多种语言。 此外,Microsoft 也是 4,700 家签署联合国全球契约的企业之一,联合国全球契约是一项旨在促进负责任的企业公民意识的国际商业倡议。

Stakeholder process tableMicrosoft Word 中下载

人类理解力

除了认识到人权的重要性之外,建立值得信赖的系统还需要我们考虑许多人的观点。 了解存在哪些利益干系人、他们看重什么、他们如何受益以及技术会对他们造成怎样的影响;要设计和制造更好产品,这一步非常重要。

技术对谁有影响?

谁是客户?

  • 他们看重什么?
  • 他们应该如何受益?
  • 技术会对他们造成怎样的影响?

谁是非客户利益干系人?

  • 他们看重什么?
  • 他们应该如何受益?
  • 技术会对他们造成怎样的影响?

提出这些问题是价值敏感设计中的一项实践,也是更好地理解对利益干系人来说什么是重要的,以及它如何影响他们与产品的关系的开始。

利益干系人的类型

项目发起人

支持者、决策者和所有者构成了这一类别。 他们的价值在项目战略和目标中得到了阐述。

技术构建者

此小组包括设计人员、开发人员、项目经理和直接从事系统设计的人员。 他们将自己的道德标准和特定职业价值引入系统。

直接和间接利益干系人

这些利益干系人受到系统的显著影响。 受影响的人包括最终用户、软件人员、客户端、旁观者、接口机构,甚至包括过去或未来的几代人。 其中可能还包括非人类因素,如地点(例如历史建筑或神圣空间)。

边缘化人群

这一类别由通常被视为少数、弱势或背负污名的群体组成。 此类别包括儿童、老年人、LGBTQ+ 群体成员、少数民族和其他经常经历独特和不相称后果的人群。

评估损害

定义了技术目的、用例和利益干系人后,你就可进行一次危害建模练习,评估使用你正在构建的技术可能会给人们和社会带来负面后果的潜在方式。

Harms modeling overviewMicrosoft Word 中下载

上图是一个损害评估的示例。 此模型是一种用于了解潜在危害程度的定性方法。

你可以单独完成此构思活动;但理想情况下,可在开发人员、数据科学家、设计人员、用户研究员、业务决策者和其他参与构建技术的学科专家之间协作进行此活动。

危害描述语句建议:

  • 预期使用:如果[功能]被用于[用例],[利益干系人]可能会遇到[危害描述]。
  • 非预期使用:如果[用户]试图将[功能]用于[用例],[利益干系人]可能会遇到[危害描述]。
  • 系统错误:如果[功能]在用于[用例]时无法正常工作,则[利益干系人]可能会遇到[危害描述]。
  • 误用:[恶意参与者]可能使用[功能],导致[利益干系人]遇到[危害描述]。

使用损害类型中描述的类别、问题和示例,生成关于损害如何发生的具体想法。 本文列出了基于常见负面影响领域的危害类别。 调整并采用与你相关的其他类别。

后续步骤

阅读损害类型,了解进一步的损害分析。