De toekomst van kunstmatige intelligentie en Machine Learning bij Microsoft

Door Andrew Marshall, Raul Rojas, Jay Stokes en Donald Brinkman

Speciale dank aan Mark Cartwright en Graham Calladine

Samenvatting van leidinggevenden

Kunstmatige intelligentie (AI) en Machine Learning (ML) hebben al grote invloed op de manier waarop mensen werken, socialiseren en hun leven leiden. Naarmate het verbruik van producten en services rond AI/ML toeneemt, moeten er gespecialiseerde acties worden ondernomen om niet alleen uw klanten en hun gegevens te beschermen, maar ook om uw AI en algoritmen te beschermen tegen misbruik, trol en extractie. In dit document worden enkele van de door Microsoft geleerde beveiligingslessen gedeeld van het ontwerpen van producten en het bedienen van onlineservices die zijn gebaseerd op AI. Hoewel het moeilijk is om te voorspellen hoe dit gebied zich zal ontwikkelen, hebben we geconcludeerd dat er nu actiebare problemen zijn. Bovendien hebben we ontdekt dat er strategische problemen zijn die de tech-industrie voor moet zijn om de veiligheid van klanten en de beveiliging van hun gegevens op de lange termijn te waarborgen.

Dit document gaat niet over ai-aanvallen of zelfs AI die wordt gebruikt door menselijke tegenstanders. In plaats daarvan richten we ons op problemen die Microsoft en branchepartners moeten oplossen om op AI gebaseerde producten en services te beschermen tegen zeer geavanceerde, creatieve en schadelijke aanvallen, ongeacht of ze worden uitgevoerd door afzonderlijke trol of hele wolfpacks.

Dit document richt zich volledig op beveiligingstechnische problemen die uniek zijn voor de AI/ML-ruimte, maar vanwege het uitgebreide karakter van het InfoSec-domein wordt begrepen dat problemen en bevindingen die hier worden besproken, in zekere mate overlappen met de domeinen privacy en ethiek. Aangezien in dit document de uitdagingen worden belicht die van strategisch belang zijn voor de tech-industrie, is de doelgroep voor dit document het toonaangevende leiderschap op het gebied van beveiligingstechniek in de hele branche.

Onze eerste bevindingen suggereren dat:

• AI/ML-specifieke draaipunten voor bestaande beveiligingspraktijken zijn vereist om de typen beveiligingsproblemen te beperken die in dit document worden besproken.

• Machine Learning modellen zijn grotendeels niet in staat om onderscheid te maken tussen schadelijke invoer en goedaardige afwijkende gegevens. Een belangrijke bron van trainingsgegevens is afgeleid van niet-gecureerde, niet-gemodereerde, openbare gegevenssets die toegankelijk zijn voor bijdragen van^derden. Aanvallers hoeven geen gegevenssets te compromitteerden wanneer ze vrij zijn om hieraan bij te dragen. Na een tijd worden schadelijke gegevens met weinig vertrouwen vertrouwde gegevens, mits de gegevensstructuur/opmaak correct blijft.

• Gezien het grote aantal lagen met verborgen classificaties/neuronen dat kan worden gebruikt in een deep learning-model, wordt te veel vertrouwen geplaatst in de uitvoer van AI/ML besluitvormingsprocessen en -algoritmen zonder dat er een kritiek inzicht is in de manier waarop deze beslissingen zijn genomen. Deze obfuscation creëert een onvermogen om 'uw werk te laten zien' en maakt het moeilijk om AI/ML te verdedigen wanneer deze ter discussie worden gesteld.

• AI/ML wordt steeds vaker gebruikt ter ondersteuning van hoogwaardige besluitvormingsprocessen in de medicijnen en andere bedrijfstakken, waar een verkeerde beslissing kan leiden tot ernstig letsel of overlijden. Een gebrek aan onderzoeksrapportagemogelijkheden in AI/ML voorkomen dat deze hoogwaardige conclusies kunnen worden verdedigd voor zowel de rechtbank als de rechtbank van de openbare mening.

Het doel van dit document is om (1) beveiligingstechnische problemen te markeren die uniek zijn voor de AI/ML-ruimte, (2) enkele eerste gedachten en waarnemingen over nieuwe bedreigingen te boven komen en (3) vroegtijdig gedachten te delen over mogelijke herstel. Enkele van de uitdagingen in dit document zijn problemen die de industrie de komende twee jaar moet oplossen, andere zijn problemen die we vandaag al moeten oplossen. Zonder nader onderzoek naar de gebieden die in dit document worden bestreken, lopen we het risico dat ai in de toekomst een zwarte doos wordt door ons onvermogen om AI-besluitvormingsprocessen op wiskundig niveau te vertrouwen of te begrijpen (en zo nodig te wijzigen). Vanuit een beveiligingsperspectief betekent dit effectief verlies van controle en een afwijking van de richtlijnen van Microsoft op het gebied van kunstmatige intelligentie [4, 8].

Nieuwe beveiligingstechniekuitdagingen

Traditionele software aanvalsvectoren zijn nog steeds essentieel om aan te pakken, maar bieden onvoldoende dekking in het AI/ML bedreigingslandschap. De tech-industrie moet voorkomen dat next-gen problemen worden besijverd met last-gen-oplossingen door nieuwe frameworks te bouwen en nieuwe benaderingen te gebruiken waarmee hiaten in het ontwerp en de werking van op AI/ML gebaseerde services worden opgelost:

1. Zoals hieronder wordt besproken, moeten de basis voor veilige ontwikkeling en bewerkingen de concepten Tolerantie en Discretie bevatten bij het beschermen van AI en de gegevens onder zijn controle. AI-specifieke draaipunten zijn vereist op het gebied van verificatie, scheiding van plicht, invoervalidatie en beperking van servicebeperking. Zonder investeringen in deze gebieden zullen AI/ML services een zware strijd blijven leveren tegen tegenstanders van alle vaardigheidsniveaus.

2. AI moet in staat zijn om vooringenomenheid in anderen te herkennen, zonder beïnvloed te zijn in de eigen interacties met mensen. Hiervoor is een gezamenlijk en zich ontwikkelend begrip van vooringenomenheid, stereotypen, letterlijke en andere culturele constructies vereist. Een dergelijk begrip helpt AI te beschermen tegen aanvallen op het gebied van social engineering en gegevenssets. Een correct geïmplementeerd systeem wordt sterker door dergelijke aanvallen en kan zijn uitgebreide kennis delen met andere API's.

3. Machine Learning algoritmen moeten schadelijk geïntroduceerde gegevens kunnen onderscheiden van goedaardige 'Black Swan'-gebeurtenissen [1] door trainingsgegevens te weigeren met negatieve gevolgen voor de resultaten. Anders zijn leermodellen altijd vatbaar voor gamen door aanvallers en trollen.

4. AI moet ingebouwde technische mogelijkheden hebben. Hierdoor kunnen ondernemingen klanten transparantie en verantwoordelijkheid bieden voor hun AI, zodat de acties niet alleen controleerbaar correct zijn, maar ook juridisch kunnen worden verdedigd. Deze mogelijkheden fungeren ook als een vroege vorm van 'AI intrusion detection', waarmee technici kunnen bepalen op welk moment een beslissing is genomen door een classificatie, welke gegevens van invloed zijn en of die gegevens betrouwbaar waren. De mogelijkheden voor gegevensvisualisatie op dit gebied vorderen snel en tonen belofte om technici te helpen bij het identificeren en oplossen van hoofdoorzaken voor deze complexe problemen [11].

5. AI moet gevoelige informatie herkennen en beschermen, zelfs als mensen deze niet als zodanig herkennen. Uitgebreide gebruikerservaringen in AI vereisen enorme hoeveelheden onbewerkte gegevens om op te trainen, dus 'over-delen' door klanten moet worden gepland.

Elk van deze gebieden, inclusief bedreigingen en mogelijke risico's, wordt hieronder in detail besproken.

Ai vereist nieuwe draaiingen voor traditionele veilige ontwerp-/veilige bedrijfsmodellen: de introductie van Tolerantie en Discretie

AI-ontwerpers moeten altijd zorgen voor de vertrouwelijkheid, integriteit en beschikbaarheid van gevoelige gegevens, dat het AI-systeem vrij is van bekende beveiligingslekken en besturingselementen bieden voor de beveiliging, detectie en reactie op schadelijk gedrag tegen het systeem of de gegevens van de gebruiker.

De traditionele manieren om zich te beschermen tegen kwaadaardige aanvallen bieden niet dezelfde dekking in dit nieuwe paradigma, waar spraak-/video-/afbeeldingsaanvallen huidige filters en verdedigingen kunnen omzeilen. Nieuwe aspecten van bedreigingsmodellen moeten worden verkend om te voorkomen dat nieuwe misbruiken onze AI kunnen misbruiken. Dit gaat veel verder dan het identificeren van traditionele aanvalsoppervlak via fuzzing of inputmanipulatie (deze aanvallen hebben ook hun eigen AI-specifieke draaipunt). Hiervoor zijn scenario's vereist die uniek zijn voor de AI/ML ruimte. De belangrijkste daarvan zijn AI-gebruikerservaringen, zoals spraak, video en gebaren. De bedreigingen die aan deze ervaringen zijn gekoppeld, zijn niet traditioneel gemodelleerd. Video-inhoud wordt nu bijvoorbeeld aangepast om fysieke effecten te veroorzaken. Bovendien heeft onderzoek aangetoond dat audiogebaseerde aanvalsopdrachten kunnen worden gemaakt [10].

De onvoorspelbaarheid, creativiteit en kwaadwilligheid van criminelen, bepaalde tegenstanders en trol vereist dat we onze AIs de waarden Tolerantie en Discretie geven:

Tolerantie: Het systeem moet abnormaal gedrag kunnen identificeren en manipulatie of dwang kunnen voorkomen buiten de normale grenzen van acceptabel gedrag ten opzichte van het AI-systeem en de specifieke taak. Dit zijn nieuwe typen aanvallen die specifiek zijn voor de AI/ML ruimte. Systemen moeten zijn ontworpen om weerstand te bieden tegen invoer die anders strijdig zou zijn met lokale wetten, ethiek en waarden die in het bezit zijn van de community en de makers ervan. Dit betekent dat AI de mogelijkheid biedt om te bepalen wanneer een interactie 'uit script' gaat. Dit kan worden bereikt met de volgende methoden:

1. Identificeer individuele gebruikers die afwijken van de normen die zijn ingesteld door de verschillende grote clusters van vergelijkbare gebruikers, bijvoorbeeld gebruikers die te snel typen, te snel reageren, niet slapen of delen van het systeem activeren die andere gebruikers niet gebruiken.

2. Identificeer patronen van gedrag die bekend staan als indicatoren van aanvallen met kwaadaardige bedoelingen en het begin van de Network Intrusion Kill Chain.

3. Herken op elk moment dat meerdere gebruikers op een gecoördineerde manier handelen. Meerdere gebruikers geven bijvoorbeeld allemaal dezelfde niet-uit te leggen maar opzettelijk gemaakte query uit, plotseling pieken in het aantal gebruikers of plotse pieken in de activering van specifieke onderdelen van een AI-systeem.

Aanvallen van dit type moeten op gelijke voet worden beschouwd met Denial of Service-aanvallen, omdat de AI mogelijk bugfixes en herscholing vereist om niet opnieuw voor dezelfde trucs te vallen. Van essentieel belang is de mogelijkheid om kwaadaardige bedoelingen te identificeren in aanwezigheid van tegenmaatregelen, zoals die worden gebruikt om api's voor sentimentanalyse te verslaan [5].

Discretie:AI moet een verantwoordelijke en betrouwbare bewaarder zijn van alle informatie tot wie het toegang heeft. Als mens zullen we ongetwijfeld een bepaald niveau van vertrouwen in onze AI-relaties toewijzen. Op een gegeven moment zullen deze agenten namens ons met andere agenten of andere mensen praten. We moeten erop kunnen vertrouwen dat een AI-systeem voldoende discretie heeft om alleen in een beperkte vorm te delen wat het nodig heeft om over ons te delen, zodat andere agenten taken namens hen kunnen uitvoeren. Bovendien hebben meerdere agenten die namens ons met persoonlijke gegevens werken, geen globale toegang tot deze gegevens nodig. Alle scenario's voor gegevenstoegang waarbij meerdere API's of botagenten betrokken zijn, moeten de levensduur van de toegang zo lang mogelijk beperken. Gebruikers moeten ook gegevens kunnen weigeren en de verificatie van agenten van specifieke bedrijven of locales kunnen weigeren, net zoals in webbrowsers site blacklisting vandaag is toegestaan. Voor het oplossen van dit probleem is nieuw denken nodig over interagentverificatie en toegangsbevoegdheden voor gegevens, zoals de investeringen in gebruikersverificatie in de cloud die in de beginjaren van cloud computing zijn gedaan.

AI moet in staat zijn om vooringenomenheid in anderen te herkennen zonder dat ze zelf partijdig zijn

Hoewel AI eerlijk en inclusief moet zijn zonder te discrimineren tegen een bepaalde groep individuen of geldige resultaten, moet ai een innate kennis van vooringenomenheid hebben om dit te bereiken. Zonder te worden opgeleid om vooringenomenheid, trol of sarcasme te herkennen, wordt AI gedupeerd door mensen die in het beste geval goedkoop lachen of in het slechtste geval schade toebrengen aan klanten.

Het bereiken van dit niveau van bewustzijn vraagt om 'goede mensen die AI slechte dingen leren', omdat er een uitgebreid en zich ontwikkelend begrip van culturele vooringenomenheid voor nodig is. AI moet in staat zijn om een gebruiker te herkennen met welke gebruiker het in het verleden negatieve interacties heeft gehad en wees voorzichtig, net zoals ouders hun kinderen leren op hun hoede te zijn voor vreemden. De beste manier om dit te benaderen is door de AI zorgvuldig bloot te stellen aan trollen op een gecontroleerde/gemodereerde/beperkte manier. Op deze manier kan AI het verschil leren tussen een goedaardige gebruiker 'kicking the banden' en werkelijke kwaadwillendheid/trol. Trollen bieden een waardevolle stroom trainingsgegevens voor AI, waardoor deze beter bestand is tegen toekomstige aanvallen.

AI moet ook vooringenomenheid kunnen herkennen in gegevenssets waar deze op traint. Dit kan een culturele of regionale waarde zijn, die de letterlijke waarde bevat die door een bepaalde groep personen wordt gebruikt, of onderwerpen/gezichtspunten die specifiek van belang zijn voor één groep. Net als bij kwaadwillende trainingsgegevens moet AI bestand zijn tegen de effecten van deze gegevens op eigen gevolgtrekkingen en aftrekposten. In de kern is dit een geavanceerd invoervalidatieprobleem met overeenkomsten met het controleren van grenzen. In plaats van met bufferlengten en -verschuivingen om te gaan, zijn de buffer- en boundscontroles woorden met rode vlag uit een groot aantal bronnen. De gespreksgeschiedenis en context waarin woorden worden gebruikt, zijn ook belangrijk. Net zoals defensie-in-depth procedures worden gebruikt voor laagbeveiligingen op een traditionele Web Service API-frontend, moeten meerdere lagen van beveiliging worden gebruikt in vertekeningsherkennings- en vermijdingstechnieken.

Machine Learning algoritmen moeten in staat zijn om schadelijk geïntroduceerde gegevens te onderscheiden van goedaardige 'Black Swan'-gebeurtenissen

Er zijn talloze whitepapers gepubliceerd over het potentieel van het ML-model/classificatie geknoei en extractie/diefstal van services waar aanvallers toegang hebben tot zowel de trainingsgegevensset als een goed begrip van het model in gebruik [2, 3, 6, 7]. Het overspannerende probleem hier is dat alle ML kunnen worden misleid door een aanvaller die controle heeft over trainingssetgegevens. Aanvallers hebben niet eens de mogelijkheid nodig om bestaande trainingssetgegevens te wijzigen, ze hoeven er alleen maar aan toe te voegen en hun inputs in de tijd 'vertrouwd' te laten worden door het onvermogen van de ML-classificatie om schadelijke gegevens te onderscheiden van echte afwijkende gegevens.

Dit probleem met de leveringsketen van trainingsgegevens laat ons kennismaken met het concept 'Beslissingsintegriteit', de mogelijkheid om kwaadwillende trainingsgegevens of gebruikersinvoer te identificeren en te weigeren voordat het een negatieve invloed heeft op het gedrag van classificaties. De reden hiervan is dat betrouwbare trainingsgegevens een hogere kans hebben op het genereren van betrouwbare resultaten/beslissingen. Hoewel het nog steeds belangrijk is om te trainen en bestand te zijn tegen niet-vertrouwde gegevens, moet het schadelijke karakter van die gegevens worden geanalyseerd voordat deze deel uitmaken van een groep trainingsgegevens met veel vertrouwen. Zonder dergelijke maatregelen kan AI worden gedreigd over te gaan tot overreacting voor het gebruik van sleeptrol en service weigeren aan legitieme gebruikers.

Dit is met name van belang wanneer niet-gesuperviseerde leeralgoritmen training geven op niet-gecureerde of niet-vertrouwde gegevenssets. Dit betekent dat aanvallers alle gegevens kunnen invoeren die ze willen, mits de indeling geldig is en het algoritme erop is getraind, zodat ze dat gegevenspunt in gelijke mate vertrouwen met de rest van de trainingsset. Met voldoende bewerkte invoer van de aanvaller verliest het trainingsalgoritme de mogelijkheid om ruis en afwijkingen te onderscheiden van gegevens met hoge betrouwbaarheid.

Als voorbeeld van deze bedreiging stelt u zich een database voor met stoptekens over de hele wereld, in elke taal. Dat zou erg lastig zijn om te curaçao vanwege het aantal afbeeldingen en talen dat hierbij betrokken is. Schadelijke bijdragen aan die gegevensset blijven grotendeels onopgemerkt totdat zelfrijdende auto's stoptekens niet meer herkennen. Risico's voor gegevensweerbaarheid en beslissingsintegriteit moeten hier hand in hand werken om de trainingsschade te identificeren en te elimineren die is veroorzaakt door schadelijke gegevens om te voorkomen dat deze een belangrijk onderdeel wordt van het leermodel.

AI moet over ingebouwde gerechtelijke gegevens en beveiligingslogregistratie hebben om transparantie en verantwoordelijkheid te bieden

AI kan op den duur professioneel optreden als agent namens ons en ons helpen bij het nemen van beslissingen met een hoge impact. Een voorbeeld hiervan kan een AI zijn die helpt bij het verwerken van financiële transacties. Als de AI wordt gebruikt en transacties op een bepaalde manier worden gemanipuleerd, kunnen de gevolgen variëren van het individu tot het systeem. In scenario's met hoge waarden heeft AI de juiste gerechtelijke en beveiligingslogregistratie nodig om integriteit, doorzichtigheid, verantwoordelijkheid en in sommige gevallen bewijs te bieden waar burgerlijke of strafrechtelijke aansprakelijkheid kan ontstaan.

Essentiële AI-services hebben controle-/gebeurtenistraceringsinstallaties nodig op algoritmeniveau, zodat ontwikkelaars de geregistreerde status van specifieke classificaties kunnen bekijken, waardoor mogelijk een onjuiste beslissing is genomen. Deze mogelijkheid is industriebreed nodig om de juistheid en doorzichtigheid van door AI gegenereerde beslissingen te bewijzen wanneer deze ter discussie worden gesteld.

Event tracing-faciliteiten kunnen beginnen met de correlatie van basisbeslissingsinformatie, zoals:

1. De periode waarin de laatste trainingsgebeurtenis heeft plaatsgevonden

2. De tijdstempel van de meest recente gegevenssetinvoer waarop is getraind

3. Gewichts- en betrouwbaarheidsniveaus van belangrijke classificaties die worden gebruikt om beslissingen met hoge impact te nemen

4. De classificaties of onderdelen die betrokken zijn bij de beslissing

5. De uiteindelijke beslissing met hoge waarde die door het algoritme is genomen

Dergelijke tracering is overdringing voor het grootste deel van de besluitvorming met behulp van algoritmen. Als u echter de mogelijkheid hebt om de gegevenspunten en algoritmemetagegevens te identificeren die leiden tot specifieke resultaten, is dit van groot belang bij het maken van beslissingen met hoge waarden. Dergelijke mogelijkheden tonen niet alleen betrouwbaarheid en integriteit aan door de mogelijkheid van het algoritme om 'het werk ervan weer te geven', maar deze gegevens kunnen ook worden gebruikt voor het optimaliseren van de gegevens.

Een andere technische functie die nodig is in AI/ML is detectie van fraude. Net zoals we onze API's nodig hebben om vooringenomenheid te herkennen en er niet vatbaar voor te zijn, moeten we over de technische mogelijkheden kunnen komen om onze technici te helpen bij het opsporen en beantwoorden van dergelijke aanvallen. Dergelijke technische mogelijkheden zijn van grote waarde wanneer ze worden gekoppeld aan technieken voor gegevensvisualisatie [11] waarmee algoritmen kunnen worden gecontroleerd, bespord en aangepast voor effectievere resultaten.

AI moet gevoelige informatie beschermen, zelfs als mensen dat niet doen

Voor uitgebreide ervaringen zijn uitgebreide gegevens vereist. Mensen geven al enorme hoeveelheden gegevens op voor ML om mee te trainen. Dit varieert van de dagelijkse inhoud van de videostreamingwachtrij tot trends in creditcardaankopen/transactiegeschiedenissen die worden gebruikt om fraude op te sporen. AI moet een ingebakken gevoel van discretie hebben als het gaat om het verwerken van gebruikersgegevens, altijd om deze te beschermen, zelfs wanneer deze vrijelijk wordt aangeboden door een over-sharing-publiek.

Aangezien een AI een geverifieerde groep 'collega's' kan hebben die wordt gesproken om complexe taken uit te voeren, moet de AI ook de noodzaak erkennen om de gegevens die het deelt met die collega's te beperken.

Vroege observaties over het oplossen van AI-beveiligingsproblemen

Ondanks de huidige stand van zaken van dit project, zijn we van mening dat het tot op heden verzamelde bewijs een dieper onderzoek naar elk van de onderstaande gebieden van essentieel belang is voor het verplaatsen van onze industrie naar betrouwbaardere en veiligere AI/ML-producten/services. Hieronder volgen onze eerste observaties en gedachten over wat we graag in deze ruimte willen zien.

1. Ai/ML-gerichte penetratietests en beveiligingsbeoordelingsinstanties kunnen worden ingesteld om ervoor te zorgen dat onze toekomstige AI onze waarden deelt en wordt uitgelijnd op de Asilomar AI-principes.

   1. Een dergelijke groep kan ook hulpmiddelen en frameworks ontwikkelen die in de hele industrie kunnen worden gebruikt ter ondersteuning van het beveiligen van hun AI/ML-gebaseerde services.
   2. In de loop van de tijd zal deze expertise op een organische manier worden opgebouwd binnen technische groepen, net als met traditionele beveiligingsexpertise in de afgelopen 10 jaar.

2. Er kan training worden ontwikkeld waarmee ondernemingen doelen kunnen bereiken, zoals het demociseren van AI en het verminderen van de uitdagingen die in dit document worden besproken.

   1. Ai-specifieke beveiligingstraining zorgt ervoor dat technici op de hoogte zijn van de risico's van hun AI en de resources die ze ter beschikking hebben. Dit materiaal moet worden geleverd in combinatie met de huidige training voor het beschermen van klantgegevens.
   2. Dit kan worden bereikt zonder dat elke gegevenswetenschapper een beveiligingsexpert moet worden. In plaats daarvan wordt de focus gelegd op het opleiden van ontwikkelaars op Tolerantie en Discretie, zoals toegepast op hun AI-gebruiksgevallen.
   3. Ontwikkelaars moeten de veilige 'bouwstenen' van AI-services begrijpen die in hun hele bedrijf worden hergebruikt. Er moet een nadruk worden gelegd op fout tolerant ontwerp met subsystemen die eenvoudig kunnen worden uitgeschakeld (bijvoorbeeld afbeeldingsprocessors, tekstparsers).

3. ML classifiers en hun onderliggende algoritmen kunnen worden gehard en kunnen schadelijke trainingsgegevens detecteren zonder dat de geldige trainingsgegevens die momenteel worden gebruikt of de resultaten ervan worden aangetast.

   1. Technieken zoals Weigeren op negatieve invoer [6] hebben onderzoekscycli nodig om het te onderzoeken.

   2. Dit werk omvat wiskundige verificatie, proof-of-concept in code en het testen van schadelijke en goedaardige afwijkende gegevens.

   3. Menselijke controle/matiging kan hier gunstig zijn, met name wanneer statistische afwijkingen aanwezig zijn.

   4. 'Overseer classifiers' kan worden gebouwd om een universeler begrip te hebben van bedreigingen in meerdere API's. Hierdoor wordt de beveiliging van het systeem aanzienlijk verbeterd, omdat de aanvaller geen enkel bepaald model meer kan exfiltreren.

   5. API's kunnen aan elkaar worden gekoppeld om bedreigingen in elkaars systemen te identificeren

4. Er kan een gecentraliseerde bibliotheek ML auditing/forensics worden gemaakt die een standaard voor transparantie en betrouwbaarheid van AI stelt.

   1. Querymogelijkheden kunnen ook worden gebouwd voor het controleren en herbouwen van beslissingen over hoge zakelijke impact door AI.

5. Het letterlijke gebruik door tegenstanders in verschillende culturele groepen en sociale media kan continu worden geïnventariseerd en geanalyseerd door AI om te detecteren en te reageren op trottrollen, sarcasme, enzovoort.

   1. AIs moeten veerkrachtig zijn in het gezicht van allerlei soorten lokaal, hetzij technisch, regionaal of forum-specifiek.

   2. Deze kennis kan ook worden gebruikt in het filteren/labelen/blokkeren van inhoud om problemen met de schaalbaarheid van moderatoren aan te pakken.

   3. Deze algemene database met termen kan worden gehost in ontwikkelingsbibliotheken of zelfs worden blootgesteld via API's voor cloudservices voor hergebruik door verschillende API's, zodat nieuwe API's profiteren van de gecombineerde kennis van oudere.

6. Er kan een Machine Learning Fuzzing Framework worden gemaakt, waarmee technici verschillende typen aanvallen kunnen insinjecteren in testtrainingssets die ai kan evalueren.

   1. Dit kan zich richten op niet alleen teksttaal, maar ook op afbeeldings-, spraak- en bewegingsgegevens en permutaties van deze gegevenstypen.

Conclusie

De Asilomar AI-principes illustreren de complexiteit van het leveren van AI op een manier die de mensheid consequent ten goede komt. Toekomstige API's moeten samenwerken met andere API's om uitgebreide, aantrekkelijke gebruikerservaringen te bieden. Dat betekent dat het gewoon niet goed genoeg is voor Microsoft om AI 'rechts te krijgen' vanuit een beveiligingsperspectief: dat moet de wereld doen. We hebben behoefte aan uitlijning van de industrie en samenwerking met een grotere zichtbaarheid van de problemen in dit document op een manier die lijkt op onze wereldwijde push voor een Digital Genève-conventie [9]. Door de problemen aan te pakken die hier worden gepresenteerd, kunnen we onze klanten en branchepartners begeleiden op een pad waar AI echt gedemocratiseerd is en de intelligentie van de hele mensheid vergroot.

Bibliografie

[1] Taleb, Nassim Nicholas (2007), The Black Swan: The Impact of the Highly Improbable, Random House, ISBN 978-1400063512

[2] Florian Tramèr, Fan Zhang, Ari Juels, Michael K. Reiter, Thomas Ristenpart,Stealing Machine Learning Models via Prediction API's

[3] Lan GoodFellow, Nicolas Papernot, Sandy Huang, Yan Duan, Pieter Abbeel en Jack Clark:Machine learning aanvallen met voorbeelden vanhoor en wederhoor

[4] Satya Nadella:Het partnerschap van de toekomst

[5] Claburn, Thomas:Google's trol-vernietigende AI kan niet omgaan met typfouten

[6] Marco Barreno, Blaine Nelson, Anthony D. Joseph, J.D. Tygar:De beveiliging van machine learning

[7] Wolchover, Natalie:This Artificial Intelligence Pioneer has a few Concerns

[8] Conn, Ariel:How Do We Align Artificial Intelligence with Human Values?

[9] Smith, Brad: Denoodzaak van dringende collectieve actie om mensen online veilig te houden: Lessen uit decyberaanvallen van vorige week

[10] Nicholas Carlini, Pratyush Mishra, Tavish Vaidya, Yuankai Zhang, Micah Sherr, Clay Shields, David Wagner, Wenchao Zhou:Hidden Voice Commands

[11] Fernanda Viégas, Martin Wattenberg, Daniel Smilkov, James Wexler, Jimbo Wilson, Nikhil Thorat, Charles Nicholson, Google Research:Big Picture