Zodpovědné a důvěryhodné AIResponsible and trusted AI

Microsoft si vyrozumí šest klíčových principů pro příslušné AI: zodpovědnosti, celkovou dostupnost, spolehlivost a bezpečnost, spravedlivost, transparentnost a zabezpečení.Microsoft outlines six key principles for responsible AI: accountability, inclusiveness, reliability and safety, fairness, transparency, and privacy and security. Tyto zásady jsou nezbytné pro vytvoření zodpovědného a důvěryhodného AI při jeho přechodu na další běžné produkty a služby.These principles are essential to creating responsible and trustworthy AI as it moves into more mainstream products and services. Jsou vedeny dvěma perspektivami: etické a vysvětlující.They are guided by two perspectives: ethical and explainable.

Diagram zodpovědných zásad AI

EtickýEthical

Z etický perspektivy by měl být AI spravedlivý a musí obsahovat jeho kontrolní výrazy, být vhodné pro svá rozhodnutí a nesmí diskriminovat ani bránit různým racesám, postižením nebo pozadím.From an ethical perspective, AI should be fair and inclusive in its assertions, be accountable for its decisions, and not discriminate or hinder different races, disabilities, or backgrounds.

Společnost Microsoft zřídila etický výbor pro AI, etiku a účinky v oblasti technického a výzkumného Aetheruv 2017.Microsoft established an ethical committee for AI, ethics, and effects in engineering and research Aether, in 2017. Hlavním zodpovědností výboru je poradit na odpovědných otázkách, technologiích, procesech a osvědčených postupech.The core responsibility of the committee is to advise on responsible issues, technologies, processes, and best practices. Další informace o Aether najdete v tomto modulu Microsoft Learn.Learn more about Aether at this Microsoft Learn module.

OdpovědnostAccountability

Zodpovědnost je základní pilíř zodpovědného AI.Accountability is an essential pillar of responsible AI. Lidé, kteří navrhují a nasazují systém AI, musí být pro své akce a rozhodnutí, zejména v případě pokroku směrem k obecnější systémům, důležité.The people who design and deploy the AI system need to be accountable for its actions and decisions, especially as we progress toward more autonomous systems. Organizace by měly zvážit vytvoření interního přezkoumání těla, které poskytuje přehledy, přehledy a Rady pro vývoj a nasazování systémů AI.Organizations should consider establishing an internal review body that provides oversight, insights, and guidance about developing and deploying AI systems. I když se tyto doprovodné materiály můžou lišit v závislosti na společnosti a oblasti, měla by odrážet cestu AI organizace.While this guidance might vary depending on the company and region, it should reflect an organization's AI journey.

InkluzivnostInclusiveness

V případě předpisů, které by AI měly vzít v úvahu všechny lidské Races a prostředí, můžou všechny postupy pro navrhování pomáhat vývojářům pochopit a řešit potenciální překážky, které by mohly neúmyslně vyloučit lidi.Inclusiveness mandates that AI should consider all human races and experiences, and inclusive design practices can help developers to understand and address potential barriers that could unintentionally exclude people. Tam, kde je to možné, by se mělo použít technologie převodu řeči na text, převod textu na řeč a vizuální rozpoznávání, aby mohli uživatelé využívat sluchy, vizuál a další postižení.Where possible, speech-to-text, text-to-speech, and visual recognition technology should be used to empower people with hearing, visual, and other impairments.

Spolehlivost a zabezpečeníReliability and safety

Systémy AI musí být spolehlivé a bezpečné, aby byly důvěryhodné.AI systems need to be reliable and safe in order to be trusted. Je důležité, aby systém mohl fungovat, jak byl původně navržený, a aby mohl bezpečně reagovat na nové situace.It's important for a system to perform as it was originally designed and for it to respond safely to new situations. Její podstatná odolnost by měla odolat zamýšlené nebo nezamýšlené manipulaci.Its inherent resilience should resist intended or unintended manipulation. Pro provozní podmínky by se mělo zřídit přísné testování a ověřování, aby systém mohl bezpečně reagovat na hraniční případy, a testování a/B a Champion/dravá metody by měly být integrované do procesu hodnocení.Rigorous testing and validation should be established for operating conditions to ensure that the system responds safely to edge cases, and A/B testing and champion/challenger methods should be integrated into the evaluation process.

Výkon systému AI se může v průběhu času snížit, proto je potřeba navázat robustní monitorování a postup sledování modelu tak, aby se reaktivně a proaktivně měřil výkon modelu a modernizovat ho podle potřeby.An AI system's performance can degrade over time, so a robust monitoring and model tracking process needs to be established to reactively and proactively measure the model's performance and retrain it, as necessary, to modernize it.

Co je vysvětlujícíWhat is explainable

Vysvětlení pomáhá odborníkům přes data, auditorům a obchodním manažerům zajistit, aby systémy AI mohly jejich rozhodnutí rozumně zdůvodnit a jak dosáhnou jejich závěrů.Explainability helps data scientists, auditors, and business decision makers to ensure that AI systems can reasonably justify their decisions and how they reach their conclusions. Tím se taky zajistí dodržování podnikových zásad, oborových standardů a předpisů pro státní správu.This also ensures compliance with company policies, industry standards, and government regulations. Odborník na data by měl být schopný vysvětlit účastníkovi, jak dosáhl určité úrovně přesnosti a co ovlivnilo tento výsledek.A data scientist should be able to explain to the stakeholder how they achieved certain levels of accuracy and what influenced this outcome. Aby bylo možné zajistit dodržování zásad společnosti, auditor potřebuje nástroj, který ověřuje model, a obchodní rozhodnutí musí být schopné poskytnout transparentní model, aby bylo možné získat důvěru.Likewise, in order to comply with the company's policies, an auditor needs a tool that validates the model, and a business decision maker needs to be able to provide a transparent model in order to gain trust.

Nástroje pro vysvětleníExplainability tools

Společnost Microsoft vyvinula InterpretML, open source sadu nástrojů, která pomáhá dosáhnout světlosti modelu a podporuje modely se skleněným rámečkem a černými poli.Microsoft has developed InterpretML, an open-source toolkit that helps to achieve model explainability and supports glass-box and black-box models.

  • Modely skleněných box jsou interpretované z důvodu jejich struktury.Glass-box models are interpretable because of their structure. Pro tyto modely použijte vysvětlující počítač, který je stavem algoritmu založeného na rozhodovacím stromu nebo lineárních modelech, poskytuje bezeztrátová vysvětlení a je upravitelná odborníky na doménu.For these models, use Explainable Boosting Machine, which is the state of the algorithm based on a decision tree or linear models, provides lossless explanations, and is editable by domain experts.

  • Modely černého rámečku se nenáročné na interpretaci z důvodu složitosti interní struktury, sítě neuronové.Black-box models are more challenging to interpret because of a complex internal structure, the neural network. Vysvětlení, jako jsou například VÁPNo nebo interpretace SHapley (SHAP), interpretují tyto modely analýzou vztahu mezi vstupem a výstupem.Explainers like LIME or SHapley Additive exPlanations (SHAP) interpret these models by analyzing the relationship between the input and output.

  • Fairlearn je Azure Machine Learning integrace a open source sada nástrojů pro sadu SDK a grafické uživatelské rozhraní AutoML.Fairlearn is an Azure Machine Learning integration and an open-source toolkit for the SDK and the AutoML graphical user interface. Seznámení s vysvětlením, co hlavně ovlivňuje model a odborníky v doméně k ověřování těchto vlivů.Use explainers to understand what mainly influences the model and domain experts to validate these influences.

Prozkoumejte možnosti Interpretace modelů v Azure Machine Learning , kde najdete další informace o vysvětlení.Explore model interpretability in Azure Machine Learning to learn more about explainability.

NestrannostFairness

Spravedlivá je základní etický princip, který se zaměřuje na pochopení a použití v rámci všech lidí.Fairness is a core ethical principle that all humans aim to understand and apply. Tato zásada je ještě důležitější při vývoji systémů AI.This principle is even more important when AI systems are being developed. Klíčové kontroly a bilance musí zajistit, že rozhodnutí systému nezohledňují ani neprovozují v rámci skupiny nebo jednotlivce žádnou odchylku pohlaví, rasy, sexuální orientaci nebo náboženství.Key checks and balances need to make sure that the system's decisions don't discriminate or run a gender, race, sexual orientation, or religion bias toward a group or individual.

  • Microsoft poskytuje Kontrolní seznam spravedlivosti AI , který nabízí doprovodné materiály a řešení pro systémy AI.Microsoft provides an AI fairness checklist that offers guidance and solutions for AI systems. Tato řešení jsou volně rozdělená do pěti fází: předběžný plán, prototyp, sestavení, spuštění a vývoj.These solutions are loosely categorized into five stages: envision, prototype, build, launch, and evolve. V každé fázi jsou uvedené doporučené aktivity, které vám pomůžou minimalizovat dopad nespravedlivosti v systému.Each stage lists recommended due diligence activities that help to minimize the impact of unfairness in the system.

  • Fairlearn se integruje s Azure Machine Learning a podporuje odborníky přes data a vývojáře, aby zhodnotili a vylepšili rovnost svých systémů AI.Fairlearn integrates with Azure Machine Learning and supports data scientists and developers to assess and improve the fairness of their AI systems. Sada nástrojů poskytuje různé algoritmy zmírnění nerovnosti a interaktivní řídicí panel, který vizualizuje spravedlivé modelu.The toolbox provides various unfairness mitigation algorithms and an interactive dashboard that visualizes the fairness of the model. Používejte sadu nástrojů a pečlivě vyhodnoťte jejich spravedlivost během sestavení; To by mělo být nedílnou součástí procesu pro datové vědy.Use the toolkit and closely assess the fairness of the model while it's being built; this should be an integral part of the data science process.

Naučte se zmírnit spravedlivosti v modelech strojového učení.Learn how to mitigate fairness in machine learning models.

TransparentnostTransparency

Dosažení transparentnosti pomáhá týmu pochopit data a algoritmy používané pro výuku modelu, jakou logiku transformace se použila pro data, výsledný model vygeneroval a přidružené prostředky.Achieving transparency helps the team to understand the data and algorithms used to train the model, what transformation logic was applied to the data, the final model generated, and its associated assets. Tyto informace nabízí přehled o tom, jak byl model vytvořen, což umožňuje transparentním způsobem jeho reprodukování.This information offers insights about how the model was created, which allows it to be reproduced in a transparent way. Snímky v rámci pracovních prostorů v Azure Machine Learning podporují transparentnost tím, že zaznamenávají nebo přeškolují všechny prostředky a metriky související se školeními, které se podílejí na experimentu.Snapshots within Azure Machine Learning workspaces support transparency by recording or retraining all training-related assets and metrics involved in the experiment.

Ochrana osobních údajů a zabezpečeníPrivacy and security

Držitel údajů je vyhrazen k ochraně dat v systému souborů AI a ochrana osobních údajů a zabezpečení je nedílnou součástí tohoto systému.A data holder is obligated to protect the data in an AI system, and privacy and security are an integral part of this system. Osobní údaje musí být zabezpečené a měly by být dostupné způsobem, který neohrožuje soukromí jednotlivce.Personal needs to be secured, and it should be accessed in a way that doesn't compromise an individual's privacy. Rozdílové ochrany osobních údajů v Azure chrání a zachovává soukromí díky náhodnému používání dat a přidávání hluku a k skrývání osobních údajů od vědců přes data.Azure differential privacy protects and preserves privacy by randomizing data and adding noise to conceal personal information from data scientists.

Pokyny pro lidské AIHuman AI guidelines

Pokyny k návrhu pro lidské AI se skládají z osmnácti principů, ke kterým dochází po čtyřech obdobích: zpočátku, během interakce, pokud je to špatné a v čase.Human AI design guidelines consist of 18 principles that occur over four periods: initially, during interaction, when wrong, and over time. Tyto zásady jsou navržené tak, aby vytvořily systém AI a který je orientovaný na člověka.These principles are designed to produce a more inclusive and human-centric AI system.

Initially (Na začátku)Initially

  • Upřesněte, co může systém dělat.Clarify what the system can do. Pokud systém AI používá nebo generuje metriky, je důležité zobrazit je vše a jak jsou sledovány.If the AI system uses or generates metrics, it's important to show them all and how they're tracked.

  • Upřesněte, jak dobře může systém dělat.Clarify how well the system can do what it can do. Pomůže uživatelům pochopit, že AI nebude úplně přesný, a nastavit očekávání, kdy systém AI může chyby dělat.Help users to understand that AI will not be completely accurate, and set expectations for when the AI system might make mistakes.

Během interakceDuring interaction

  • Zobrazit kontextové relevantní informace.Show contextually relevant information. Poskytněte vizuální informace týkající se aktuálního kontextu a prostředí uživatele, jako je například okolní hotely a návratové údaje blízko k cílovému cíli a datu.Provide visual information related to the user's current context and environment, such as nearby hotels and return details close to the target destination and date.

  • Zmírnění sociálních sítíMitigate social biases. Zajistěte, aby jazyk a chování nevedly k nezamýšleným stereotypům nebo posunům.Make sure that the language and behavior don't introduce unintended stereotypes or biases. Například funkce automatického dokončování musí potvrdit obě pohlaví.For example, an autocomplete feature needs to acknowledge both genders.

Při chyběWhen wrong

  • Podpora efektivního odpouštění.Support efficient dismissal. Poskytněte jednoduchý mechanismus pro ignorování nebo zrušení nežádoucích funkcí nebo služeb.Provide an easy mechanism to ignore or dismiss undesirable features/services.
  • Podpora efektivní opravy.Support efficient correction. Poskytněte intuitivní způsob, jak zjednodušit úpravy, upřesnění nebo obnovení.Provide an intuitive way of making it easier to edit, refine, or recover.
  • Vyjasněte si jasné, proč systém měl.Make clear why the system did what it did. Optimalizujte vysvětlující AI a poskytněte přehledy o kontrolních výrazech systému AI.Optimize explainable AI to offer insights about the AI system's assertions.

Over time (V průběhu času)Over time

  • Zapamatujte si nedávné interakce.Remember recent interactions. Uchovat historii interakcí pro budoucí referenci.Retain a history of interactions for future reference.
  • Přečtěte si od chování uživatele.Learn from user behavior. Přizpůsobení interakce na základě chování uživatele.Personalize the interaction based on the user's behavior.
  • Aktualizujte a přizpůsobte obezřetně.Update and adapt cautiously. Omezte rušivé změny a aktualizujte je na základě profilu uživatele.Limit disruptive changes, and update based on the user's profile.
  • Podpora podrobné zpětné vazbyEncourage granular feedback. Shromažďování zpětné vazby uživatele ze svých interakcí se systémem AI.Gather user feedback from their interactions with the AI system.

Důvěryhodné rozhraní AI, zaměřené na osobyA persona-centric, trusted AI framework

Diagram důvěryhodného rozhraní AI, zaměřeného na osoby

Návrhář AIAI designer

Návrhář AI vytvoří model a zodpovídá za:The AI designer builds the model and is responsible for:

  • Kontroly posunu dat a kvality.Data drift and quality checks. Zjišťují se mimo jiné a provádějí kontroly kvality dat k identifikaci chybějících hodnot, standardizaci distribuce, kontroly dat a vytváření sestav pro případy použití a projekt.They detect outliers and perform data quality checks to identify missing values, standardize distribution, scrutinize data, and produce use case and project reports.

  • Vyhodnocení dat ve zdroji systému pro identifikaci potenciálního posunu.Assessing data in the system's source to identify potential bias.

  • Návrh algoritmů AI pro minimalizaci posunů dat, jako je například zjišťování, jak binningu, seskupování a normalizace (zejména v tradičních modelech strojového učení, jako jsou například stromové struktury), mohou eliminovat menšinových skupin z dat.Designing AI algorithms to minimize data biases, such as discovering how binning, grouping, and normalization (especially in traditional machine learning models like tree-based ones) can eliminate minority groups from data. Design kategorií AI znovu prochází posuny dat seskupením tříd sociálních, rasy a žen v oboru, které se spoléhají na chráněné informace o stavu (FÍ) a identifikovatelné osobní údaje (PII).Categorical AI design reiterates data biases by grouping social, racial, and gender classes in industry verticals that rely on protected health information (PHI) and personally identifiable information (PII).

  • Optimalizace monitorování a výstrah pro identifikaci úniku cíle a posílení vývoje modelu.Optimizing monitoring and alerts to identify target leakage and strengthen the model's development.

  • Vytváření osvědčených postupů pro vytváření sestav a přehledů, které nabízí detailní porozumění modelu a zamezení přístupů k černému poli, které používají důležitost funkcí nebo vektoru, UMAP clustering, Friedman H-STATISTICS, efekty funkcí a další.Establishing best practices for reporting and insights that offer a granular understanding of the model and avoiding black-box approaches that use feature or vector importance, UMAP clustering, Friedman's H-statistic, feature effects, and others. Identifikace metriky usnadňují definování prediktivního vlivu, vztahů a závislostí mezi korelacemi v komplexních a moderních datových sadách.Identification metrics help to define predictive influence, relationships, and dependencies between correlations in complex and modern datasets.

Správci a důstojníci AIAI administrators and officers

Správce AI a důstojníki, kteří dohlíží na provozní prostředí a metriky pro audit, řízení a audity, a také to, jak je implementováno zabezpečení AI a podniková návratnost investic.The AI administrator and officers oversee AI, governance, and audit framework operations and performance metrics, plus how AI security is implemented and the business' return on investment.

  • Monitorování sledovacího řídicího panelu, který pomáhá monitorovat model, kombinuje metriky modelu pro produkční modely a zaměřuje se na přesnost, snížení počtu dat, posunování dat, odchylku a změny rychlosti/chyby odvození.Monitoring a tracking dashboard that assists model monitoring, combines model metrics for production models, and focuses on accuracy, model degradation, data drift, deviation, and changes in speed/error of inference.

  • Implementace flexibilního nasazení a opětovného nasazení (nejlépe REST API) umožňuje implementovat modely do nezávislá architektury Open, která integruje model do obchodních procesů a generuje hodnotu pro smyčky zpětné vazby.Implementing flexible deployment and redeployment (preferably, REST API) allows models to be implemented into open, agnostic architecture, which integrates the model with business processes and generates value for feedback loops.

  • Pracujeme na sestavách zásad správného řízení modelů a přístupů a zmírnit negativní obchodní a provozní dopad.Working toward building model governance and access sets boundaries and mitigates negative business and operational impact. Standardy řízení přístupu založené na rolích určují kontroly zabezpečení, které zachovávají omezená produkční prostředí a IP adresu.Role-based access control standards determine security controls, which preserve restricted production environments and the IP.

  • Použití prostředí pro audit a dodržování předpisů pro AI ke sledování vývoje a změny modelů pro zajištění standardů specifických pro obor.Using AI audit and compliance frameworks to track how models develop and change to uphold industry-specific standards. Interpretovaná a odpovědná AI jsou založená na měřeních, stručných funkcích, vizualizacích modelů a jazykovém vertikálním jazyce.Interpretable and responsible AI is founded on explainability measures, concise features, model visualizations, and industry-vertical language.

Obchodní příjemce AIAI business consumer

Obchodní spotřebitelé AI (obchodní odborníci) zavřou smyčku zpětné vazby a poskytnou vstup pro návrháře AI.AI business consumers (business experts) close the feedback loop and provide input for the AI designer. Prediktivní rozhodování a potenciální dopad na posun, jako je spravedlivé a etické míry, ochrana osobních údajů a dodržování předpisů, a efektivita práce v podniku k vyhodnocení systémů AI.Predictive decision-making and potential bias implications like fairness and ethical measures, privacy and compliance, and business efficiency help to evaluate AI systems.

  • Smyčky zpětné vazby patří do ekosystému firmy.Feedback loops belong to a business' ecosystem. Data ukazující bias modelu, chyby, rychlost předpovědi a spravedlivost vytvářejí vztah důvěryhodnosti a rovnováhu mezi návrhářem AI, správcem a důstojníky.Data showing a model's bias, errors, prediction speed, and fairness establish trust and balance between the AI designer, administrator, and officers. Posouzení orientované na člověka by mělo postupně vylepšit AI v průběhu času a minimalizovat učení AI z multidimenzionálních a složitých dat (učení o LO) může pomoci zabránit vyhodnocování.Human-centric assessment should gradually improve AI over time, and minimizing AI learning from multidimensional, complex data (LO-shot learning) can help to prevent biased learning.

  • Použití nástrojů pro návrh a používání interpretace, které jsou v systému souborů AI, je možné použít pro potenciální posuny.Using interpretability design and tools hold AI systems accountable for potential biases. Problémy s posunem a příznakem modelu by měly být označeny a dodány do systému detekce výstrah a anomálií, který se učí z tohoto chování a automaticky řeší posuny.Model bias and fairness issues should be flagged and fed to an alerting and anomaly detection system that learns from this behavior and automatically addresses biases.

  • Každá prediktivní hodnota by měla být rozdělená na jednotlivé funkce nebo vektory podle důležitosti nebo dopadu a poskytovat podrobnější vysvětlení předpovědi, která se dají exportovat do obchodní sestavy pro audit a recenze dodržování předpisů, transparentnost zákazníků a připravenost na podnik.Each predictive value should be broken down into individual features or vectors by importance or impact and deliver thorough prediction explanations that can be exported into a business report for audit and compliance reviews, customer transparency, and business readiness.

  • Z důvodu zvýšení celosvětových rizik zabezpečení a ochrany osobních údajů vyžadují osvědčené postupy pro řešení porušení dat během odvození dodržování předpisů v jednotlivých oborech vertikálně. například výstrahy týkající se nedodržování předpisů s využitím FÍ a PII, porušení vnitrostátních zákonů na zabezpečení a dalších.Due to increasing global security and privacy risks, best practices for resolving data violations during inference require complying with regulations in individual industry verticals; for example, alerts about noncompliance with PHI and PII, violation of national security laws, and more.

Další krokyNext steps

Přečtěte si pokyny pro lidské AI , kde najdete další informace o zodpovědném AI.Explore human AI guidelines to learn more about responsible AI.