負責且受信任的 AI
Microsoft 提出六個關鍵準則,這些準則分別負責引導 AI 下列層面:權責、包容性、可靠性和安全性、公平性、透明度,以及隱私權與安全性。 這些原則對於建立負責任且值得信任的 AI 至關重要,因為它會進入主流產品和服務。 它們由兩個觀點引導:道德和可解釋。
符合道德
從道德觀點來看,AI 應該:
- 在判斷提示中是公平且包容性的。
- 負責其決策。
- 不區分或阻礙不同的競爭、身心障礙或背景。
在 2017 年,Microsoft 建立了 AI、道德和效果的諮詢委員會, (Aether) 。 委員會的核心責任是建議負責任 AI 的問題、技術、流程和最佳做法。 若要深入瞭解,請參閱 瞭解 Microsoft 治理模型 - Aether + 負責任 AI 的 Office。
權責
權責是負責任 AI 的基本要素。 設計和部署 AI 系統的人員必須負責其動作和決策,特別是在我們前進到更多自發系統時。
組織應考慮建立一個內部審查單位,針對開發和部署 AI 系統提供監督、深入解析和指引。 本指南可能會因公司與區域而有所不同,而且應該反映組織的 AI 旅程。
包容性
包容性規定 AI 應該考慮所有人類種族和體驗。 包容性設計做法可協助開發人員瞭解並解決可能意外排除人員的潛在障礙。 可能的話,組織應該使用語音轉換文字、文字轉換語音和視覺辨識技術,讓具有聽覺、視覺和其他障礙的人能夠。
可靠性和安全性
若要讓 AI 系統受到信任,它們必須可靠且安全。 系統必須執行,因為它原本是設計,並且能夠安全地回應新的情況。 其固有的復原能力應該能夠抵禦蓄意或非蓄意的操作。
組織應針對作業條件建立嚴格的測試和驗證,以確保系統能安全地回應邊緣案例。 它應該將 A/B 測試和風雲人物/挑戰者方法整合到評估程式中。
AI 系統的效能可能會隨著時間而降低。 組織必須建立強固的監視和模型追蹤程式,以回應並主動測量模型的效能 (,並視需要重新定型以進行現代化) 。
解釋
可解釋性可協助資料科學家、稽核員和商務決策者確保 AI 系統可以合理化其決策,以及其達成結論的方式。 說明性也有助於確保符合公司原則、業界標準和政府法規。
資料科學家應該能夠向專案關係人說明其達到特定精確度層級的方式,以及哪些影響結果。 同樣地,為了符合公司的原則,稽核員需要驗證模型的工具。 商務決策者必須藉由提供透明模型來獲得信任。
可解釋性工具
Microsoft 已開發 InterpretML,這是一個開放原始碼工具組,可協助組織達成模型可解釋性。 它支援玻璃箱和黑箱模型:
透明箱模型因其結構關係,屬於可解釋的。 針對這些模型,可解釋的提升機器 (EBM) 會根據決策樹或線性模型提供演算法的狀態。 EBM 提供無遺失的說明,而且可由領域專家編輯。
黑箱模型因其內部結構複雜 (類神經網路),因此較難解釋。 解譯器,例如本機可解譯的模型無關說明, (LIME) 或 SHapley Additive exPlanations (SHAP) 藉由分析輸入和輸出之間的關聯性來解譯這些模型。
Fairlearn 是一種 Azure Machine Learning 整合和開放原始碼工具組,適用於 SDK 和 AutoML 圖形使用者介面。 它會使用解譯器來瞭解主要影響模型的內容,並使用領域專家來驗證這些影響。
若要深入瞭解可解釋性,請在 Azure Machine Learning 中探索模型可解譯性。
公平性
公平性是所有人類都要了解並套用的核心道德準則。 開發 AI 系統時,此準則更為重要。 金鑰檢查和平衡必須確定系統的決策不會根據性別、種族、性方向或男性,來區分或表達對群組或個人的偏差。
Microsoft 提供的 AI 公平性檢查清單可以為 AI 系統提供指引和解決方案。 這些解決方案大致分為五個階段:構想、原型、組建、啟動及發展。 每個階段都會列出建議的盡責活動,以協助將系統中的不公平性影響降到最低。
Fairlearn 與 Azure Machine Learning 整合在一起,並支援資料科學家和開發人員評估和改善其 AI 系統的公平性。 它提供公平性風險降低演算法,以及視覺化模型公平性的互動式儀表板。 組織應該使用工具組,並在建立模型時密切評估模型的公平性。 此活動應該是資料科學程式不可或缺的一部分。
瞭解如何 降低機器學習模型中的公平性。
透明度
達成透明度可協助小組瞭解:
- 用來定型模型的資料和演算法。
- 套用至資料的轉換邏輯。
- 產生的最終模型。
- 模型的相關聯資產。
這項資訊提供模型建立方式的深入解析,讓小組可以透明的方式重現模型。 Azure Machine Learning 工作區中的快照集可以錄製或重新定型與實驗中的所有定型相關資產和計量,藉此支援透明度。
隱私權和安全性
資料持有者必須保護 AI 系統中的資料。 隱私權和安全性是這個系統不可或缺的一部分。
個人資料必須受到保護,而且存取它不應危害個人隱私權。 Azure 差異隱私權 可藉由亂數據並新增雜訊來隱藏資料科學家的個人資訊,協助保護及保留隱私權。
人類 AI 指導方針
人類 AI 設計指導方針是由 18 個準則組成,這 18 個準則分成四個時期:最初、互動期間、錯誤時,以及經過一段時間。 這些原則可協助組織產生更具包容性且以人為為中心的 AI 系統。
最初
厘清系統可以執行的動作。 如果 AI 系統使用或產生計量,重點在於全部顯示及如何追蹤。
厘清系統如何執行其用途。 協助使用者瞭解 AI 不完全正確。 設定 AI 系統何時可能會發生錯誤的預期。
互動期間
顯示內容相關的資訊。 提供與使用者目前內容和環境相關的視覺資訊,例如附近的旅館。 傳回接近目標目的地和日期的詳細資料。
減輕社交偏差。 請確定語言和行為未引入無意的刻板印象或偏見。 例如,自動完成功能必須包含性別身分識別。
錯誤時
- 支援有效率的關閉。 提供簡單的機制來忽略或關閉不想要的功能或服務。
- 支援有效率的更正。 提供直覺操作方式,讓您可以更輕鬆地編輯、修改或復原。
- 清楚說明系統執行其動作的原因。 最佳化可解釋 AI,以提供 AI 系統判斷提示的深入解析。
經過一段時間
- 記住最近的互動。 保留互動歷程記錄以供日後參考。
- 從使用者行為中學習。 根據使用者的行為將互動個人化。
- 謹慎更新和調整。 限制破壞性變更,並根據使用者設定檔進行更新。
- 鼓勵細微的意見反應。 收集使用者與 AI 系統互動的意見反應。
受信任的 AI 架構
AI 設計師
AI 設計師會建立模型,並負責:
資料漂移和品質檢查。 設計工具會偵測極端值,並執行資料品質檢查來識別遺漏值。 設計工具也會標準化散發、檢查資料,以及產生使用案例和專案報表。
評估系統來源中的資料,找出潛在的偏差。
設計 AI 演算法以將資料偏差降至最低。 這些工作包括探索量化、群組和正規化 (的方式,特別是傳統機器學習模型,例如樹狀結構型模型,) 可以排除少數群組的資料。 類別 AI 設計會藉由將依賴受保護健康資訊 (PHI) 和個人資料的產業類別分組社交、種族和性別類別,來重新強調資料偏差。
最佳化監視和警示,以識別目標洩漏並強化模型開發。
建立報告和深入解析的最佳做法,以更細微地瞭解模型。 設計工具可避免使用特徵或向量重要性、Uniform Manifold Approximation 和 Projection (UMAP) 叢集、Friedman 的 H 統計資料、特徵效果和相關技術等黑箱方法。 識別計量有助於定義複雜和新式資料集中相互關聯之間的預測影響、關聯和相依性。
AI 系統管理員和主管
AI 系統管理員和主管會監督 AI、治理和稽核架構作業和效能計量。 他們也會監督 AI 安全性的實作方式,以及企業的投資報酬率。 其工作包括:
監視追蹤儀表板,以協助模型監視和結合生產模型的模型計量。 儀表板著重于推斷速度/錯誤的精確度、模型降低、資料漂移、偏差和變更。
最好透過 REST API) 實作彈性部署和重新部署 (,讓模型可以實作為開放、無從驗證的架構。 此架構會將模型與商務程式整合,並產生意見反應迴圈的價值。
致力於建置模型控管和存取權,以設定界限並減輕負面業務和營運影響。 角色型存取控制 (RBAC) 標準會決定安全性控制,以保留受限制的生產環境和 IP。
使用 AI 稽核和合規性架構來追蹤模型的開發和變更,以遵守產業特定標準。 可解譯和負責任的 AI 建立基礎為可解釋性量值、精簡特徵、模型視覺效果和產業垂直語言。
AI 商務消費者
AI 商業消費者 (商業專家) 會關閉意見反應迴圈,並為 AI 設計師提供輸入。 預測性決策和潛在偏差的含意 (例如公平性和道德措施、隱私權和合規性,以及商業效率) 有助於評估 AI 系統。 以下是商務取用者的一些考慮:
意見反應迴圈屬於企業生態系統。 顯示模型偏差、錯誤、預測速度和公平性的資料會建立 AI 設計工具、系統管理員和主管之間的信任和平衡。 以人為為中心的評量應該隨著時間逐漸改善 AI。
將來自多維度、複雜資料的 AI 學習降至最低,有助於防止偏差學習。 這項技術稱為小於一次性 (LO 快照式) 學習。
使用可解釋性設計與工具可讓 AI 系統負責潛在的偏差。 模型偏差和公平性問題應該加上旗標並送至警示和異常偵測系統,此系統會從此行為學習並自動解決偏差。
每個預測值都應該依重要性或影響細分為個別特徵或向量。 它應該提供完整的預測說明,這些說明可以匯出至商務報告,以進行稽核和合規性檢閱、客戶透明度和商務整備。
由於增加全球安全性和隱私權風險,在推斷期間解決資料違規的最佳做法需要遵守個別產業垂直法規。 範例包括關於與 PHI 和個人資料不相容的警示,或有關違反國家/地區安全性法律的警示。
後續步驟
探索人類 AI 指導方針,以深入了解負責任的 AI。
意見反應
https://aka.ms/ContentUserFeedback。
即將登場:在 2024 年,我們將逐步淘汰 GitHub 問題作為內容的意見反應機制,並將它取代為新的意見反應系統。 如需詳細資訊,請參閱:提交並檢視相關的意見反應