Zabezpečení budoucnosti umělé inteligence a Machine Learning společnosti Microsoft
Andrew Marshall, Raul Rojas, Jay Stokes a Donald Brinkman
Zvláštní poděkování markovi Cartwrightovi a Grahamu Calladinemu
Shrnutí pro vedoucí pracovníky
Umělá inteligence (AI) a Machine Learning (ML) už mají velký vliv na to, jak lidé pracují, socializují a žijí svůj život. S tím, jak se zvyšuje spotřeba produktů a služeb, které jsou postavené na AI/ML, je nutné provést speciální akce, které zajistí ochranu nejen vašich zákazníků a jejich dat, ale také k ochraně vašich AI a algoritmů před zneužitím, trollingem a extrakcí. Tento dokument sdílí některé z ponaučení Microsoftu o zabezpečení, která se naučila při navrhování produktů a provozování online služeb, které jsou postavené na AI. I když je obtížné předpovědět, jak se tato oblast rozvine, dospěli jsme k závěru, že se teď dají řešit možné problémy. Kromě toho jsme zjistili, že existují strategické problémy, které musí technologické odvětví před zajištěním dlouhodobé bezpečnosti zákazníků a zabezpečení jejich dat.
Tento dokument není o útocích založených na AI nebo dokonce o tom, že je využívá lidské protivenství. Místo toho se zaměřujeme na problémy, které microsoft a partneři z odvětví budou muset řešit, aby chránili produkty a služby založené na AI před vysoce sofistikovanými, kreativními a škodlivými útoky, ať už provádí jednotliví trollové nebo celé wolfpacky.
Tento dokument se zaměřuje výhradně na technické problémy zabezpečení, které jsou jedinečné pro prostor AI/ML, ale vzhledem k rozsáhlé povaze domény InfoSec se chápe, že problémy a zde probírané poznatky se do míry překrývají s doménami ochrany osobních údajů a etiky. Vzhledem k tomu, že tento dokument zvýrazní výzvy strategického významu pro technologické odvětví, cílovou skupinou tohoto dokumentu je vedoucí postavení v oblasti bezpečnostního inženýrství v celém odvětví.
Naše dřívější zjištění naznačují, že:
Aby se zmírněly typy problémů se zabezpečením, které jsou popsané v tomto dokumentu, jsou nutné kontingenční ML specifické pro AI/AI pro stávající postupy zabezpečení.
Machine Learning modely do značné míry nejsou schopny rozeznat mezi škodlivými vstupy a neškodnými anomálními daty. Významný zdroj školicích dat je odvozený z nelékaných, nemoderovaných veřejných datových sad, které jsou otevřené pro3příspěvky třetích stran. Útočníci nemusí kompromitovat datové sady, pokud k nim mohou přispívat. V průběhu času se škodlivá data s nízkou spolehlivostí stanou důvěryhodnými daty za předpokladu, že struktura a formátování dat zůstanou správné.
Vzhledem k množství vrstev skrytých klasifikátorů/neuronů, které je možné využít v modelu hlubokého učení, je na výstup rozhodovacích procesů ML algoritmů AI/ML kladena příliš velká důvěra bez kritického porozumění tomu, jak byla tato rozhodnutí dosažena. Tato obfuskace vytváří neschopnost "ukázat svou práci" a ztěžuje prokazatelně obhajovat AI/ML zjištění, když je zpochybněna.
AI/ML se stále častěji používá na podporu rozhodovacích procesů s vysokou hodnotou v lékařství a jiných odvětvích, kde nesprávné rozhodnutí může způsobit vážné zranění nebo smrt. Nedostatek forenzních zpráv v oblasti AI/ML brání tomu, aby byly tyto vysoce hodnotné závěry znechucené jak u soudu, tak u soudu veřejného mínění.
Cílem tohoto dokumentu je (1) zvýraznit bezpečnostní inženýrské problémy, které jsou jedinečné pro prostor AI/ML, (2) zvýraznit některé počáteční myšlenky a pozorování nově vznikajících hrozeb a (3) sdílet prvotní myšlenky na potenciální nápravu. Některé z výzev v tomto dokumentu jsou problémy, které odvětví potřebuje v příštích dvou letech před sebou, jiné jsou problémy, které už dnes musíme řešit. Bez hlubšího zkoumání oblastí, na které se tento dokument vztahuje, riskujeme, že se budoucí AI stane černou krabicí pro její prostřednictvím naší neschopnosti důvěřovat rozhodovacím procesům AI nebo jim porozumět (a v případě potřeby je upravit) na matematické úrovni [7]. Z hlediska zabezpečení to efektivně znamená ztrátu kontroly a odklon od hlavních principů Microsoftu v oblasti umělé inteligence [4; 8].
Nové bezpečnostní inženýrské výzvy
Tradiční vektory útoku softwaru jsou stále důležité pro řešení, ale neposkytují dostatečné pokrytí v oblasti AI/ML hrozby. Technické odvětví se musí vyhnout problémům nové generace s řešeními poslední generace vytvořením nových rámců a přijetím nových přístupů, které řeší nedostatky v navrhování a provozu služeb založených na ML AI/ML:
Jak je popsáno níže, základy zabezpečeného vývoje a operací musí při ochraně AI a dat pod její kontrolou zahrnovat koncepty odolnosti a diskrétnosti. Kontingenční kontingenční tabulky specifické pro AI jsou povinné v oblastech Ověřování, Oddělení povinnosti, Ověření vstupu a Omezení odmítnutí služby. Bez investic do těchto oblastí budou služby AI/ML pokračovat v pohoršování boje proti protivným pracovníkům všech úrovní dovedností.
AI musí být schopná rozpoznat předsudky v jiných, aniž by byla zaujatá při vlastních interakcích s lidmi. K tomu je potřeba mít společné a vyvíjející se chápání předsudků, stereotypů, vernakulárních a dalších kulturních konstruktů. Takové porozumění pomůže chránit AI před útoky na sociální inženýrství a manipulaci s datovými sadami. Správně implementované systémy se z takových útoků stanou silnějšími a budou moct sdílet své rozšířené porozumění s jinými AI.
Machine Learning algoritmů musí být schopny rozlišit škodlivě zavedená data z neškodných událostí Black Labuť [1] odmítnutím dat školení s negativním dopadem na výsledky. V opačném případě budou modely výuky vždy náchylné k hraní ze strany útočníků a trollů.
AI musí mít integrované forenzní funkce. Podniky tak budou mít možnost poskytovat zákazníkům transparentnost a odpovědnost za svou AI a zajistit, aby její akce byly nejen ověřitelně správné, ale i právně defenzivní. Tyto funkce fungují také jako časná forma detekce vniknutí AI, která umožňuje inženýrům určit přesný časový bod, kdy se klasifikátor rozhodl, jaká data na něj ovlivnila a jestli jsou nebo nejsou důvěryhodná. Funkce vizualizace dat v této oblasti rychle postupují a předchycují příslib pomoci technikům identifikovat a vyřešit hlavní příčiny těchto složitých problémů [11].
AI musí rozpoznat a chránit citlivé informace, i když je lidé jako takové nerozpoznávají. Bohaté uživatelské prostředí v oblasti AI vyžaduje rozsáhlé množství nezpracovaných dat, na které je potřeba se cvičit, takže je nutné plánovat "pře sdílet" zákazníky.
Každá z těchto oblastí, včetně hrozeb a potenciálních zmírnění rizik, je podrobně popsána níže.
AI vyžaduje nové kontingenční tabulky pro tradiční modely bezpečných a zabezpečených operací: zavedení odolnosti a diskrétnosti
Návrháři AI budou vždy muset zajistit důvěrnost, integritu a dostupnost citlivých dat, aby systém AI byl bez známých chyb zabezpečení, a poskytovat kontroly ochrany, zjišťování a reakce na škodlivé chování vůči systému nebo datům uživatele.
Tradiční způsoby, jak se bránit před škodlivými útoky, neposkytují stejné pokrytí v tomto novém paradigmatu, kde útoky založené na hlasu/videu/obcházení současných filtrů a obrany. Je třeba prozkoumat nové aspekty modelování hrozeb, aby se zabránilo zneužití naší AI. To daleko přesahuje identifikaci tradičního útoku pomocí fuzzingu nebo manipulace se vstupy (tyto útoky mají taky vlastní kontingenční tabulky specifické pro AI). Vyžaduje zahrnutí scénářů jedinečných pro AI/ML prostoru. Mezi tyto funkce patří uživatelské prostředí AI, jako je hlas, video a gesta. Hrozby spojené s těmito prostředími nebyly tradičně modelovány. Například obsah videa je teď přizpůsobený tak, aby vyvolal fyzické efekty. Výzkum navíc ukázal, že příkazy útoku založené na zvukovém přenosu je možné vytvořit [10].
Nepředvídatelnost, tvořivost a zákeřnost zločinců, odhodlaných protivných a trollů vyžaduje, abychom své AI vštípit hodnotám odolnosti a diskrétnosti:
Odolnost: Systém by měl být schopen identifikovat abnormální chování a zabránit manipulaci nebo nátlaku mimo normální hranice přijatelného chování ve vztahu k systému AI a konkrétnímu úkolu. Jedná se o nové typy útoků specifických pro AI/ML prostoru. Systémy by měly být navržené tak, aby odolaly vstupům, které by jinak byly v rozporu s místními zákony, etikou a hodnotami, které vlastní komunita a její tvůrci. To znamená, že umožňuje AI určit, kdy se má interakce "vypnout skript". Toho lze dosáhnout následujícími způsoby:
Zkonstruovat jednotlivé uživatele, kteří se odchylují od norem stanovených různými velkými clustery podobných uživatelů, například uživatelé, kteří se zdají rychle zadat, reagovat moc rychle, nespí nebo aktivují části systému, které ostatní uživatelé ne.
Identifikujte vzory chování, o které je známo, že jsou indikátory útoku škodlivého záměru a zahájení řetězce Network Intrusion Kill Chain.
Rozpoznat kdykoli, když více uživatelů jedná koordinovaně; Například více uživatelů, kteří vydávají stejný nevysvětlitelný, ale záměrně vytvořený dotaz, náhlý nárůst počtu uživatelů nebo náhlý nárůst aktivace určitých částí systému AI.
Útoky tohoto typu by se měly považovat za stejné jako útoky typu Odmítnutí služby, protože AI může vyžadovat opravy chyb a přeškolení, aby se tyto triky znova neuchytly. Zásadní význam má schopnost identifikovat škodlivý záměr v přítomnosti protiopatření, například těch, která se používají k porážce rozhraní API pro analýzu nálad [5].
Diskrétnost: AI by měla být zodpovědným a důvěryhodným opatrovníkem všech informací, ke které má přístup. Jako lidé nepochybně přidělíme určitou úroveň důvěry v naše vztahy AI. V určité chvíli budou tito agenti naším jménem mluvit s jinými agenty nebo jinými lidmi. Musíme být schopni důvěřovat tomu, že systém AI má dostatečný prostor pro uvážení, aby mohl sdílet jenom v omezené podobě to, co o nás potřebuje, aby ostatní agenti mohli provádět úkoly jeho jménem. Kromě toho by k osobním údajům v našem zastoupení nemělo přistupovat globální přístup více agentů. Všechny scénáře přístupu k datům, které se týkají několika AI nebo bot agentů, by měly omezit životnost přístupu v minimálním rozsahu, který je nutný. Uživatelé by taky měli mít možnost zamítat data a odmítnout ověřování agentů z určitých společností nebo národního prostředí, stejně jako webové prohlížeče povolují zařazení na černou listinu webů už dnes. Řešení tohoto problému vyžaduje nové uvažování o ověřování mezi agenty a oprávněních pro přístup k datům, jako jsou investice do cloudového ověřování uživatelů provedené v prvních letech cloud computingu.
AI musí být schopná rozpoznat předsudky v jiných ostatních, aniž by byla zaujatá sama o sobě.
I když by měla být AI spravedlivé a inkluzivní, aniž by byla diskriminační vůči jakékoli konkrétní skupině jednotlivců nebo platným výsledkům, musí mít k dosažení tohoto cíle pochopení předpojatosti. Aniž byste byli vyškoleni k rozpoznání zaujatosti, trollingu nebo sarkasmu, bude AI podkopána těmi, kdo hledají v nejlepším případě laciné směje se, nebo v nejhorším případě poškodí zákazníky.
Dosažení této úrovně informovanosti vyžaduje, aby "dobří lidé vyučují špatné věci AI", protože efektivně vyžaduje komplexní a vyvíjející se porozumění kulturním předsudkům. AI by měla být schopná rozpoznat uživatele, se který měl v minulosti negativní interakce, a postupovat přiměřeně opatrně, podobně jako rodiče učí své děti, aby byly na pozoru před cizími lidmi. Nejlepší způsob, jak k tomu přistupovat, je pečlivé vystavení AI trollům řízeným/moderovaný/omezeným způsobem. Díky tomu se může AI naučit rozdíl mezi neškodným uživatelem "kopání nájezdů" a skutečnou škodlivostí/trollingem. Trollové poskytují cenný datový proud školicích dat pro AI, takže jsou odolnější vůči budoucím útokům.
AI by také měla být schopná rozpoznat předsudky v datových sadách, na které se trénuje. Může to být kulturní nebo regionální, obsahující jazykovou verzi, kterou používá určitá skupina lidí, nebo témata/pohledy specifického zájmu pro jednu skupinu. Stejně jako u škodlivě zavedených školicích dat musí být AI odolná vůči vlivům těchto dat na vlastní odvody a odpočty. V jeho jádru jde o propracovaný problém s ověřováním vstupu, který se podobá kontrole meze. Místo práce s délkami a posuny vyrovnávací paměti jsou kontroly vyrovnávací paměti a meze červeně označená slova z široké oblasti zdrojů. Klíčová je také historie konverzací a kontext, ve kterých se slova používají. Stejně jako se hloubkové postupy ochrany používají k ochraně vrstev nad tradičním rozhraním front-service API webové služby, mělo by být více vrstev ochrany využito v technikách rozpoznávání předsudků a zabránění jejich použití.
Machine Learning Algoritmy musí být schopné rozlišit škodlivě zavedená data z neškodných událostí Black Labuť.
O teoretickém potenciálu manipulace s modelem ML klasifikátorem a jejich extrakci nebo odcizení ze služeb, ve kterých mají útočníci přístup k sadě školicích dat ML informované znalosti o modelu, který se používá,[2,3;6;7]." Překlenovací problém je v tom, že všechny ML klasifikátory může oklamat útočník, který má kontrolu nad daty sady školení. Útočníci ani nepožádá o možnost upravovat stávající data školicích setů, stačí, když do nich budou moct přidávat a jejich vstupy se v průběhu času stanou "důvěryhodnými", a to díky neschopnosti klasifikátoru ML rozlišit škodlivá data z pravých anomózních dat.
Tento problém s dodavateli dat školení nás seznámí s konceptem "Integrita rozhodnutí" – schopnost identifikovat a odmítnout škodlivě zavedená školicí data nebo vstupy uživatelů předtím, než bude mít negativní dopad na chování klasifikátoru. Důvodem je, že důvěryhodná školicí data mají vyšší pravděpodobnost, že vygenerují důvěryhodné výsledky/rozhodnutí. Přestože je stále důležité cvičit nedůvěryhodná data a být odolná vůči nedůvěryhodným datům, měla by se před tím, než se stanou součástí vysoce důvěryhodných školicích dat, analyzovat škodlivou povahu těchto dat. Bez takovýchto opatření by mohla být AI přemršlená, aby přehnala trolling a zamítla službu legitimním uživatelům.
To je zvláště důležité, když nesledované výukové algoritmy školí nehodnocené nebo nedůvěryhodné datové sady. To znamená, že útočníci mohou za předpokladu, že je formát platný a algoritmus je vyškolený, může zavádět data, která tomuto datovému bodu důvěřují stejně jako zbytek školicí sady. Díky dostatečným vytvořeným vstupům od útočníka ztrácí algoritmus školení schopnost rozpoznat šum a anomálie z dat s vysokou spolehlivostí.
Jako příklad této hrozby si představte databázi stopek po celém světě, v každém jazyce. To by bylo velmi náročné, protože se jedná o počet obrázků a jazyků. Škodlivý příspěvek k této datové sadě by se do značné míry nezaznamoval, dokud auto s vlastním řízením už nerozpozná značky stopek. Odolnost dat a zmírnění integrity rozhodování budou muset spolupracovat na identifikaci a odstranění škod způsobených škodlivými daty, aby se zabránilo tomu, aby se stala hlavní součástí výukového modelu.
AI musí mít integrované forenzní a bezpečnostní protokolování, aby bylo možno zajistit transparentnost a odpovědnost.
AI bude nakonec schopná jednat naším jménem jako zástupce profesionálně a pomáhat nám s rozhodováním s vysokým dopadem. Příkladem může být AI, která pomáhá při zpracovávání finančních transakcí. Pokud by byla AI využita a transakce nějakým způsobem manipulované, mohly by se důsledky od jednotlivce po systémové. Ve scénářích s vysokou hodnotou bude AI potřebovat odpovídající forenzní protokolování a protokolování zabezpečení, aby bylo možné zajistit integritu, transparentnost, odpovědnost a v některých případech i důkazy, kde může vzniknout občanskoprávní nebo trestní odpovědnost.
Základní služby AI budou potřebovat zařízení pro auditování/sledování událostí na úrovni algoritmů, kdy vývojáři budou moci zkoumat zaznamenaný stav konkrétních klasifikátorů, což vedlo k nepřesnému rozhodnutí. Tato schopnost je potřebná pro celou odvětví, aby bylo možné prokázat správnost a transparentnost rozhodnutí generovaných pomocí AI, kdykoli je to zpochybňované.
Zařízení pro sledování událostí by mohla začít korelací základních rozhodovacích informací, jako jsou:
Časový rámec, ve kterém došlo k poslední školicí události
Časové razítko poslední položky datové sady, na které se trénuje
Váhy a úrovně spolehlivosti klíčových klasifikátorů, které se používaly k rozhodování s vysokým dopadem
Klasifikátory nebo součásti, které jsou součástí rozhodnutí
Konečné rozhodnutí o vysoké hodnotě, ke kterým algoritmus dospěl
Takové trasování je přemázané pro většinu rozhodování s algoritmem. Schopnost identifikovat datové body a metadata algoritmů vedoucí ke konkrétním výsledkům ale bude mít velký přínos při rozhodování s vysokou hodnotou. Tyto funkce nejen prokazují důvěryhodnost a integritu prostřednictvím schopnosti algoritmu "zobrazit svou práci", ale tato data se taky používaná pro jemné doladění.
Další forenzní schopností potřebnou pro AI/ML je zjišťování neoprávněných zásahů. Stejně jako potřebujeme, aby naše AI poznaly zaujatost a nebyly k ní náchylné, měli bychom mít k dispozici forenzní schopnosti, které našim technikům pomátly při zjišťování takových útoků a jejich reakci na tyto útoky. Takové forenzní funkce budou mít při spárování s technikami vizualizace dat [11] ohromnou hodnotu, což umožní auditování, ladění a ladění algoritmů pro efektivnější výsledky.
AI musí chránit citlivé informace, i když lidé
Bohaté možnosti vyžadují bohatá data. Lidé už se dobrovolně hlásí k obrovskému množství dat, ML se trénují. To se pohybuje od všední fronty streamování videa až po trendy v nákupech kreditních karet nebo historii transakcí, které se používají ke zjišťování podvodů. AI by měla mít pocit zakořeněné diskrétnosti, pokud jde o zpracování uživatelských dat, a vždy jednat tak, aby je chránila, i když se dobrovolně dobrovolně přihlásila přes sdílení veřejnosti.
Vzhledem k tomu, že AI může mít ověřenou skupinu "vrstevníků", se které prosazuje, aby bylo možné provádět složité úkoly, musí také rozpoznat, že je potřeba omezit data, která sdílí s těmito partnery.
Časná pozorování k řešení problémů se zabezpečením AI
I přes počáteční stav tohoto projektu se domníváme, že důkazy, které byly dodchovány, ukazují, že hlubší zkoumání každé z níže uvedených oblastí bude klíčové pro posun našeho odvětví směrem k důvěryhodnější a bezpečnější AI/ML produktů/služeb. Tady jsou naše první pozorování a myšlenky na to, co bychom v tomto prostoru rádi udělali.
AI/ML zaměřené na testování průniku a bezpečnostní revize by mohly být zřízeny tak, aby naše budoucí AI sjednotila naše hodnoty a byla v souladu se zásadami AI v Asilomaru.
- Taková skupina by také mohla vyvíjet nástroje a rámce, které by mohly být v celém odvětví spotřebované na podporu zabezpečení jejich služeb založených na ML AI/ML.
- V průběhu času se tato odbornost bude v rámci technických skupin chytraticky budovat stejně jako s tradičními znalostmi zabezpečení za posledních 10 let.
Mohlo by se rozvíjet školení, které podnikům umožní dosáhnout cílů, jako je například zmírňování AI, a zároveň zmírnit problémy popsané v tomto dokumentu.
- Školení zabezpečení specifické pro AI zajišťuje, aby inženýři byli informováni o rizicích spojených se svou AI a zdroji, které mají k dispozici. Tento materiál je potřeba dodat společně se současným školením o ochraně zákaznických dat.
- Toho je možné dosáhnout bez toho, aby se každý odborník na zpracování dat stal odborníkem na zabezpečení – místo toho se zaměřujeme na vzdělávání vývojářů v oblasti odolnosti a diskrétnosti, jak se používá pro případy použití AI.
- Vývojáři budou muset porozumět bezpečným "stavebním blokům" služeb AI, které se budou opakovaně používat v celém jejich podniku. Bude potřeba zdůraznit návrh s odolností proti chybám se subsystémy, které je možné snadno vypnout (například grafické procesory, analyzátory textu).
ML klasifikátorů a jejich podkladových algoritmů by bylo možné ztuhlou a schopnou detekovat škodlivá data školení, aniž by znečisťoval platná data školení, která se právě používají, nebo výsledky zkosit.
Techniky, jako je Odmítnout při záporných vstupech [6], potřebují k prozkoumání cykly výzkumného pracovníka.
Tato práce zahrnuje matematické ověření, kontrolu pravopisu v kódu a testování proti škodlivým i neomózním datům.
V tomto případě může být užitečná kontrola/moderování lidského místa, zejména tam, kde jsou přítomny statistické anomálie.
Klasifikátory Overseeru by mohly být vytvořené tak, aby lépe chápaly hrozby ve více AI. To výrazně zlepšuje zabezpečení systému, protože útočník už nemůže exfiltrovat žádný konkrétní model.
AI mohou být vzájemně propojené a identifikovat hrozby v systémech ostatních.
Mohla by ML centralizovaná knihovna pro auditování a forenzní řízení, která vytváří standard transparentnosti a důvěryhodnosti AI.
- Funkce dotazů by mohly být také vytvořené pro auditování a přestavbu rozhodnutí AI s vysokým dopadem na firmy.
Vernakular, který používají adversaries napříč různými kulturními skupinami a sociálními médii, může AI průběžně inventarovat a analyzovat, aby bylo možné detekovat trolling, sarkasmus a na ně reagovat.
AI musí být odolné vůči všem druhům jazykových, ať už technických, regionálních, nebo fórem specifických.
Tato část znalostí by mohla být využita také v automatizaci filtrování obsahu,popisků/blokování k řešení problémů se škálovatelností moderátoru.
Tato globální databáze termínů by mohla být hostovaná ve vývojových knihovnách nebo dokonce vystavena prostřednictvím rozhraní API cloudových služeb pro opakované použití různými AI, což zajistí, že nové AI budou těžit z kombinace starších.
Mohlo by se Machine Learning "Fuzzing Framework", které poskytuje technikům možnost vstříhnout různé typy útoků do testovacích školicích sad, které vyhodnocují AI.
- To by se mohlo zaměřit nejen na textovou, ale i na data obrázků, hlasových a gest a také na permutace těchto datových typů.
Závěr
Principy asilomarské AI ilustrují složitost poskytování AI způsobem, který trvale prospěje lidskému člověku. Budoucí AI budou muset komunikovat s jinými AI, aby dodaly bohaté a působivé uživatelské prostředí. To znamená, že Microsoft prostě nestačí, aby se "Z hlediska zabezpečení" dostal do pořádku – svět to musí udělat. Potřebujeme sladění odvětví a spolupráci s větším zviditelněním problémů v tomto dokumentu způsobem, který se podobá našemu celosvětovému náhonu na digitální ženevskou konvenci [9]. Řešením problémů, které jsou tady uvedené, můžeme začít vést naše zákazníky a průmyslové partnery cestou, kde je umělá inteligence skutečně zdůvěřována a zvětšuje inteligenci celé humanity.
Bibliografie
[1] Taleb, Nassim Mikuláš (2007), The Black Swan: The Impact of the Highly Improbable, Random House, ISBN 978-1400063512
[2] Florian Tramèr, Fan Zhang, Ari Juels, Michael K. Reiter, Thomas Ristenpart,Stealing Machine Learning Models via Prediction APIs
[3] Ian GoodFellow, Nicolas Papernot, Sandy Huang, Yan Duan, Pieter Abbeel a Jack Clark:Útok na strojové učení pomocíadversarial examples
[4] Satya Nadella:Partnerství budoucnosti
[5] Claburn, Thomas:Google troll-destroying AI can't cope with překlepy
[6] Marco Barreno, Blaine Nelson, Antony D. Josef, J.D. Tygar:Zabezpečenístrojového učení
[7] Wolchover, Natalie:Tento průkopník uměléinteligence má několik obav
[8] Conn, Ariel:Jak zarovnáváme umělouinteligenci s lidskými hodnotami?
[9] Smith, Brad:Potřeba naléhavých společných akcí, aby se lidé udrželi v bezpečíonline: Poučení z kybernetického útoku z minulého týdne
[10] Nicholas Carlini, Pratyush Mishra, Tavish Vaidya, Yuankai Zhang, Micah Sherr, Clay Shields, David Wagner, Wenchao Zhou:Hidden Voice Commands
[11] Fernanda Viégas, Martin Wattenberg, Daniel Smilkov, James Wexler, Jimbo Wilson, Nikhil Thorat, Charles Nicholson, Google Research:Big Picture