Zabezpieczanie przyszłości sztucznej inteligencji i uczenia maszynowego w firmie Microsoft
Autorzy: Andrew Marshall, Raul Rojas, Jay Stokes i Donald Brinkman
Specjalne podziękowania dla Marka Cartwrighta i Grahama Calladine’a
Streszczenie
Sztuczna inteligencja (AI) i Edukacja maszynowe (ML) już wywierają duży wpływ na to, jak ludzie pracują, towarzysko i żyją swoim życiem. Użycie produktów i usług utworzonych na bazie sztucznej inteligencji i uczenia maszynowego wciąż wzrasta, dlatego należy podjąć wyspecjalizowane działania w celu ochrony nie tylko klientów i ich danych, ale także technologii AI i algorytmów, przed nadużyciami, trollowaniem i ekstrakcją. Ten dokument zawiera wnioski dotyczące zabezpieczeń wyciągnięte przez firmę Microsoft na podstawie projektowania produktów i obsługi usług online opartych na sztucznej inteligencji. Chociaż trudno przewidzieć, w jaki sposób ten obszar się rozwija, doszliśmy do wniosku, że istnieją kwestie umożliwiające podjęcie działań, aby rozwiązać ten problem. Ponadto zauważyliśmy, że istnieją pewne strategiczne problemy, z którymi branża techniczna musi sobie poradzić zawczasu, aby zapewnić długoterminowe bezpieczeństwo klientów i swoich danych.
Ten dokument nie dotyczy ataków opartych na sztucznej inteligencji, a nawet sztucznej inteligencji, które są używane przez przeciwników ludzkich. Zamiast tego skupiamy się na kwestiach, z którymi firma Microsoft i partnerzy branżowi muszą się zająć w celu ochrony produktów i usług opartych na sztucznej inteligencji przed wysoce zaawansowanymi, kreatywnymi i złośliwymi atakami, niezależnie od tego, czy są przeprowadzane przez poszczególne trolle, czy całe pakiety wilków.
Ten dokument koncentruje się całkowicie na problemach inżynierii zabezpieczeń unikatowych dla przestrzeni sztucznej inteligencji/uczenia maszynowego, ale ze względu na rozległy charakter domeny InfoSec rozumie się, że problemy i ustalenia omówione tutaj nakładają się na pewien stopień z dziedzinami prywatności i etyki. W niniejszym dokumencie omówiono wyzwania, które mają strategiczne znaczenie dla branży technicznej, dlatego jego odbiorcy docelowi to menedżerowie inżynierii zabezpieczeń z całej branży.
Nasze wczesne ustalenia sugerują, że:
W celu ograniczenia problemów z zabezpieczeniami, które zostały omówione w tym dokumencie, wymagane jest wprowadzenie zmian pod kątem sztucznej inteligenci/uczenia maszynowego w istniejących rozwiązaniach z zakresu zabezpieczeń.
Modele uczenia maszynowego nie są w stanie odróżnić złośliwych danych wejściowych od niezłośliwych, nieprawidłowych danych. Istotne źródło danych szkoleniowych pochodzi z nieskonsekcjonowanych, niemoderowanych, publicznych zestawów danych, które są otwarte na 3współtworzenie jednostek pulpitu zdalnego. Osoby atakujące nie muszą naruszać zestawów danych, gdy są one bezpłatne, aby je współtworzyć. W miarę upływu czasu złośliwe dane o niskiej pewności stają się wysoce zaufanymi danymi, jeśli struktura/formatowanie danych pozostanie poprawne.
Biorąc pod uwagę dużą liczbę warstw ukrytych klasyfikatorów/neuronów, które mogą być używane w modelu uczenia głębokiego, zbyt wiele zaufania jest umieszczane w danych wyjściowych procesów i algorytmów podejmowania decyzji sztucznej inteligencji/uczenia maszynowego bez krytycznego zrozumienia sposobu osiągnięcia tych decyzji. To zaciemnienie uniemożliwia „pokazanie swojej pracy” i utrudnia popartą dowodami obronę ustaleń sztucznej inteligencji/uczenia maszynowego, gdy są one kwestionowane.
Sztuczna inteligencja/uczenie maszynowe są coraz częściej wykorzystywane do wspierania procesów podejmowania ważnych decyzji w medycynie i innych branżach, w których zła decyzja może spowodować poważne obrażenia lub śmierć. Brak możliwości raportowania dowodowego w rozwiązaniach sztucznej inteligencji/uczenia maszynowego uniemożliwia obronę tych ważnych wniosków zarówno przed sądem, jak i przed opinią publiczną.
Celem tego dokumentu jest (1) wyróżnienie problemów inżynieryjnych zabezpieczeń, które są unikatowe dla przestrzeni sztucznej inteligencji/uczenia maszynowego, (2) przedstawia niektóre początkowe przemyślenia i obserwacje dotyczące pojawiających się zagrożeń, a (3) dzielą się wczesnymi przemyśleniami na temat potencjalnego korygowania. Niektóre z wyzwań omówionych w tym dokumencie dotyczą problemów, którym branża musi zapobiec w ciągu następnych dwóch lat, a inne dotyczą problemów, z którymi musimy zmierzyć się już teraz. Bez dokładniejszego zbadania obszarów omówionych w tym dokumencie ryzykujemy, że sztuczna inteligencja stanie się czarną skrzynką, nie mając możliwości zaufania lub zrozumienia (i zmodyfikowania w razie potrzeby) procesów podejmowania decyzji dotyczących sztucznej inteligencji na poziomie matematycznym [7]. Z punktu widzenia bezpieczeństwa oznacza to utratę kontroli i odejście od wytycznych firmy Microsoft dotyczących sztucznej inteligencji [3, 7].
Nowe wyzwania inżynierii zabezpieczeń
Tradycyjne wektory ataków oprogramowania nadal mają kluczowe znaczenie dla rozwiązania problemu, ale nie zapewniają wystarczającego pokrycia w środowisku zagrożeń sztucznej inteligencji/uczenia maszynowego. Branża techniczna musi unikać rozwiązywania problemów nowej generacji za pomocą narzędzi starej generacji przez tworzenie nowych struktur i adoptowanie nowych metod, które dotyczą luk w projekcie i działaniu usług opartych na sztucznej inteligencji/uczeniu maszynowym:
Jak piszemy poniżej, podstawy bezpiecznego programowania i działania muszą uwzględniać koncepcje odporności i dyskrecji w zakresie ochrony sztucznej inteligencji i kontrolowanych przez nią danych. W obszarach uwierzytelniania, rozdzielenia obowiązków, weryfikacji danych wejściowych i zapobiegania atakom typu „odmowa usługi” wymagane jest wprowadzenie zmian pod kątem sztucznej inteligencji. Bez inwestycji w te obszary usługi sztucznej inteligencji/uczenia maszynowego nadal walczą z przeciwnikami wszystkich poziomów umiejętności.
Sztuczna inteligencja musi umieć rozpoznawać uprzedzenia u innych bez wprowadzania ich do własnych interakcji z ludźmi. Osiągnięcie tego celu wymaga kolektywnego i rozwojowego zrozumienia uprzedzeń, stereotypów, dialektów językowych i innych konstrukcji kulturowych. Takie zrozumienie pomaga chronić sztuczną inteligencję przed atakami inżynierii społecznej i manipulowania zestawami danych. Prawidłowo zaimplementowany system staje się silniejszy od takich ataków i może dzielić się swoim rozszerzonym zrozumieniem z innymi sztuczną inteligencją.
Algorytmy Edukacja maszynowych muszą być w stanie rozpoznać złośliwie wprowadzone dane z łagodnych zdarzeń "Czarny Łabędź" [1], odrzucając dane treningowe z negatywnym wpływem na wyniki. W przeciwnym razie modele uczenia są zawsze podatne na gry przez osoby atakujące i trolle.
Sztuczna inteligencja musi mieć wbudowane funkcje kryminalistyczne. Dzięki temu przedsiębiorstwa mogą zapewnić klientom przejrzystość i odpowiedzialność za sztuczną inteligencję, zapewniając, że jej działania są nie tylko weryfikowalne, ale także prawnie defensywowalne. Te funkcje są również wczesną formą „wykrywania nieautoryzowanego dostępu do sztucznej inteligencji” i zapewniają inżynierom możliwość ustalenia dokładnego punktu w czasie, w którym klasyfikator podjął decyzję, danych, które na nią wpłynęły, oraz wiarygodności tych danych. Możliwości wizualizacji danych w tym obszarze szybko się rozwijają i pokazują obietnicę, aby pomóc inżynierom zidentyfikować i rozwiązać główne przyczyny tych złożonych problemów [10].
Sztuczna inteligencja musi rozpoznawać i chronić informacje poufne, nawet jeśli ludzie nie uznają ich za takie. Rozbudowane środowiska użytkownika w systemach sztucznej inteligencji wymagają ogromnych ilości danych pierwotnych do trenowania, dlatego należy zaplanować „nadmierne udostępnianie” przez klientów.
Każdy z tych obszarów, w tym zagrożenia i potencjalne środki zaradcze, został omówiony szczegółowo poniżej.
Sztuczna inteligencja wymaga zmian w tradycyjnych modelach bezpiecznego projektowania/bezpiecznych operacji: zastosowania koncepcji odporności i dyskrecji
Projektanci sztucznej inteligencji muszą zapewnić poufność, integralność i dostępność poufnych danych, że system sztucznej inteligencji jest wolny od znanych luk w zabezpieczeniach i zapewnia mechanizmy kontroli ochrony, wykrywania i reagowania na złośliwe zachowanie względem systemu lub danych użytkownika.
Tradycyjne sposoby obrony przed złośliwymi atakami nie zapewniają tego samego zasięgu w tym nowym modelu, w którym ataki oparte na głosie/wideo/obrazach mogą obejść bieżące filtry i zabezpieczenia. Należy zbadać nowe aspekty modelowania zagrożeń, aby zapobiec nowym nadużyciom i wykorzystaniu systemów sztucznej inteligencji. Wykracza to daleko poza identyfikację tradycyjnej powierzchni ataku za pomocą testowania odporności na błędne dane lub manipulacji danymi wejściowymi (te ataki mają własne aspekty specyficzne dla sztucznej inteligencji). Wymaga to włączenia scenariuszy unikatowych dla obszaru sztucznej inteligencji/uczenia maszynowego. Kluczowym elementem są tu środowiska użytkownika sztucznej inteligencji, takie jak głos, wideo i gesty. Zagrożenia związane z tymi środowiskami nie zostały tradycyjnie modelowane. Na przykład zawartość wideo jest teraz dostosowywana do wywoływania efektów fizycznych. Ponadto badania pokazują, że polecenia ataku oparte na dźwiękach mogą być spreparowane [9].
Nieprzewidywalność, kreatywność i złośliwość przestępców, zdeterminowanych przeciwników i trolli wymaga od nas zaszczepienia w naszej sztucznej inteligencji wartości odporności i dyskrecji:
Odporność: System powinien mieć możliwość identyfikowania nietypowych zachowań i zapobiegania manipulacji lub przymusu poza normalnymi granicami akceptowalnego zachowania w odniesieniu do systemu sztucznej inteligencji i określonego zadania. Są to nowe typy ataków specyficzne dla obszaru sztucznej inteligencji/uczenia maszynowego. Systemy powinny być zaprojektowane tak, aby były odporne na dane wejściowe, które w innym przypadku byłyby sprzeczne z lokalnymi przepisami, etyką i wartościami wyznawanymi przez społeczność i jej twórców. Oznacza to wyposażenie sztucznej inteligencji w funkcje umożliwiające określenie, kiedy interakcja zaczyna wychodzić „poza scenariusz”. Można to osiągnąć przy użyciu następujących metod:
Należy wskazać poszczególnych użytkowników, którzy odbiegają od norm ustawionych przez różne duże klastry podobnych użytkowników, na przykład użytkowników, którzy wydają się wpisywać zbyt szybko, reagować zbyt szybko, nie spać ani wyzwalać części systemu innych użytkowników nie.
Identyfikowanie wzorców zachowań, o których wiadomo, że są wskaźnikami złośliwych ataków sondujących, i uruchomienie łańcucha Network Intrusion Kill Chain (Łańcuch likwidowania włamania do sieci).
Rozpoznawaj w dowolnym momencie, gdy wielu użytkowników działa w skoordynowany sposób; na przykład wielu użytkowników wystawiających to samo niewytłumaczalne, ale celowo spreparowane zapytanie, nagłe skoki liczby użytkowników lub nagłe wzrosty aktywacji określonych części systemu sztucznej inteligencji.
Ataki tego typu powinny być brane pod uwagę na równi z atakami typu "odmowa usługi", ponieważ sztuczna inteligencja może wymagać poprawek błędów i ponownego trenowania, aby nie spadać na te same sztuczki ponownie. Krytyczne znaczenie ma możliwość identyfikowania złośliwych intencji w obecności środków zaradczych, takich jak te używane do pokonania interfejsów API analizy tonacji [4].
Dyskrecja: Sztuczna inteligencja powinna być odpowiedzialnym i godnym zaufania opiekunem wszelkich informacji, do których ma dostęp. Jako ludzie bez wątpienia przypisujemy pewien poziom zaufania do relacji sztucznej inteligencji. W pewnym momencie ci agenci będą komunikować się z innymi agentami lub z innymi ludźmi w naszym imieniu. Musimy mieć pewność, że system sztucznej inteligencji jest wystarczająco dyskretny, aby udostępnić jedynie w ograniczonej formie to, co musi o nas udostępnić, aby inni agenci mogli wykonywać zadania w jego imieniu. Ponadto wielu agentów współdziałających z danymi osobowymi w naszym imieniu nie powinno wymagać dostępu globalnego. Wszelkie scenariusze dostępu do danych obejmujące wielu agentów sztucznej inteligencji lub botów powinny ograniczać czas trwania dostępu do wymaganego minimum. Użytkownicy powinni również mieć możliwość odmowy danych i odrzucenia uwierzytelniania agentów z określonych korporacji lub ustawień regionalnych, tak jak przeglądarki internetowe zezwalają na blokowanie witryn dzisiaj. Rozwiązanie tego problemu wymaga nowego podejścia do uwierzytelniania między agentami i uprawnień dostępu do danych, tak jak w przypadku inwestycji w uwierzytelnianie użytkowników w chmurze, które były realizowane we wczesnych latach przetwarzania w chmurze.
Sztuczna inteligencja musi umieć rozpoznawać uprzedzenia u innych, a jednocześnie sama musi być wolna od uprzedzeń
Sztuczna inteligencja powinna być sprawiedliwa i inkluzywna bez dyskryminowania jakiejkolwiek konkretnej grupy osób lub ważnych wyników, jednak aby to osiągnąć, musi mieć wrodzone zrozumienie uprzedzeń. Bez szkolenia w celu rozpoznawania stronniczości, trolli lub sarkazmu sztuczna inteligencja może być oszukana przez tych, którzy szukają taniego śmiechu w najlepszym wypadku, lub spowodować szkodę dla klientów w najgorszym.
Osiągnięcie tego poziomu świadomości wymaga, aby „dobrzy ludzie uczyli sztuczną inteligencję złych rzeczy”, ponieważ wymaga to kompleksowego i rozwojowego zrozumienia uprzedzeń kulturowych. Sztuczna inteligencja powinna być w stanie rozpoznać użytkownika, z jakim miała negatywne interakcje w przeszłości i zachować odpowiednią ostrożność, podobnie jak rodzice uczą swoich dzieci, aby były ostrożne wobec obcych. Najlepszym sposobem na to jest ostrożne wystawianie sztucznej inteligencji na działania trolli w kontrolowany/moderowany/ograniczony sposób. W ten sposób sztuczna inteligencja może poznać różnicę między niegroźnym użytkownikiem „kopiącym opony” a faktyczną złośliwością/trollowaniem. Trolle zapewniają cenny strumień danych treningowych dla sztucznej inteligencji, dzięki czemu staje się ona bardziej odporna na przyszłe ataki.
Sztuczna inteligencja powinna również być w stanie rozpoznawać uprzedzenia w zestawach danych, których używa do trenowania. Mogą one być kulturowe lub regionalne, zawierające język używany przez określoną grupę ludzi lub tematy/punkty widzenia o szczególnym znaczeniu dla jednej grupy. Podobnie jak w przypadku złośliwie wprowadzonych danych szkoleniowych, sztuczna inteligencja musi być odporna na wpływ tych danych na własne wnioskowanie i odliczenia. U podstaw leży tu wyrafinowany mechanizm sprawdzania poprawności danych wejściowych podobny do mechanizmu sprawdzania granic. Zamiast obliczania długości i przesunięć bufora, rolę bufora i sprawdzania granic pełnią wyrazy oznaczone czerwoną flagą z szerokiego zakresu źródeł. Historia konwersacji i kontekst użycia wyrazów także mają kluczowe znaczenie. Podobnie jak w przypadku praktyk dogłębnej ochrony, które zapewniają warstwy ochrony dla tradycyjnego frontonu interfejsu API usługi internetowej, należy zastosować wiele warstw ochrony w technikach rozpoznawania i unikania uprzedzeń.
Algorytmy maszyny Edukacja muszą być w stanie rozpoznać złośliwie wprowadzone dane z łagodnych zdarzeń "Czarny Łabędź"
Liczne oficjalne dokumenty są publikowane na temat teoretycznego potencjału manipulowania modelem uczenia maszynowego/klasyfikatora i wyodrębniania/kradzieży z usług, w których osoby atakujące mają dostęp zarówno do zestawu danych szkoleniowych, jak i świadomego zrozumienia modelu w użyciu [2, 3, 6, 7]. Nadmierny problem polega na tym, że wszystkie klasyfikatory uczenia maszynowego mogą zostać oszukane przez osobę atakującą, która ma kontrolę nad danymi zestawu treningowego. Osoby atakujące nie muszą nawet mieć możliwości modyfikowania istniejących danych zestawu treningowego, wystarczy im możliwość dodania do niego danych wejściowych, które z czasem staną się „zaufane”, ponieważ klasyfikator uczenia maszynowego nie potrafi odróżnić złośliwych danych od prawdziwych nieprawidłowych danych.
Ten problem z łańcuchem dostaw danych treningowych wprowadza koncepcję „integralności decyzji” — zdolności do identyfikowania i odrzucania złośliwie wprowadzonych danych treningowych lub danych wejściowych użytkownika, zanim będą one miały negatywny wpływ na zachowanie klasyfikatora. Uzasadnieniem jest to, że wiarygodne dane szkoleniowe mają większe prawdopodobieństwo generowania wiarygodnych wyników/decyzji. Mimo że nadal kluczowe znaczenie ma trenowanie i odporność na niezaufane dane, złośliwy charakter tych danych należy przeanalizować, zanim staną się częścią treści danych treningowych o wysokim poziomie zaufania. Bez takich środków sztuczna inteligencja może zostać zmuszona do przesadnego reagowania na trollowanie i może odmawiać usługi legalnym użytkownikom.
Jest to szczególnie ważne, gdy nienadzorowane algorytmy uczenia maszynowego są trenowane na nienadzorowanych lub niezaufanych zestawach danych. Oznacza to, że osoby atakujące mogą wprowadzić dowolne dane, pod warunkiem że mają one prawidłowy format, a algorytm będzie na nim trenowany, co w efekcie spowoduje, że ten punkt danych będzie tak samo zaufany, jak reszta zestawu treningowego. Po przyjęciu wystarczającej ilości danych wejściowych spreparowanych przez osobę atakującą algorytm treningowy traci zdolność odróżniania szumu i anomalii od danych o wysokim poziomie zaufania.
Jako przykład tego zagrożenia wyobraź sobie bazę danych znaków Stop na całym świecie, w każdym języku. Nadzór w takim przypadku byłby niezwykle trudny ze względu na liczbę obrazów i języków. Złośliwy wkład w ten zestaw danych pozostałby w dużej mierze niezauważony, dopóki samochody bezzałogowe przestałyby rozpoznawać znaki Stop. Odporność danych i środki zaradcze integralności podejmowania decyzji muszą współpracować w tym miejscu, aby zidentyfikować i wyeliminować szkody szkoleniowe wyrządzone przez złośliwe dane, aby zapobiec zostaniu główną częścią modelu uczenia.
Sztuczna inteligencja musi mieć wbudowane rejestrowanie danych kryminalistycznych i danych zabezpieczeń, aby zapewnić przejrzystość i odpowiedzialność
Sztuczna inteligencja ostatecznie będzie w stanie działać profesjonalnie jako agent w naszym imieniu, pomagając nam w podejmowaniu ważnych decyzji. Przykładem może być sztuczna inteligencja, która pomaga w przetwarzaniu transakcji finansowych. Jeśli sztuczna inteligencja jest wykorzystywana, a transakcje manipulowane w jakiś sposób, konsekwencje mogą wahać się od osoby do systemu. W scenariuszach o wysokiej wartości sztuczna inteligencja wymaga odpowiedniego rejestrowania śledczego i bezpieczeństwa, aby zapewnić integralność, przejrzystość, odpowiedzialność oraz w niektórych przypadkach dowody, w których może powstać odpowiedzialność cywilna lub karna.
Podstawowe usługi sztucznej inteligencji wymagają obiektów inspekcji/śledzenia zdarzeń na poziomie algorytmu, w którym deweloperzy mogą zbadać zarejestrowany stan określonych klasyfikatorów, co mogło doprowadzić do niedokładnej decyzji. Taka możliwość jest wymagana w całej branży, aby można było udowodnić poprawność i przejrzystość decyzji wygenerowanych przez sztuczną inteligencję za każdym razem, gdy będą one kwestionowane.
Funkcje śledzenia zdarzeń mogą rozpocząć od korelacji podstawowych informacji decyzyjnych, takich jak:
Przedział czasu, w którym miało miejsce ostatnie zdarzenie treningowe
Znacznik czasu ostatniego wpisu w zestawie danych, na którym przeprowadzono trenowanie
Wagi i poziomy zaufania kluczowych klasyfikatorów stosowanych przy podejmowaniu ważnych decyzji
Klasyfikatory lub składniki uczestniczące w podejmowaniu decyzji
Ostateczna decyzja o wysokiej wartości wywnioskowana przez algorytm
Takie śledzenie jest nadmierne dla większości podejmowania decyzji wspomaganych algorytmami. Jednak możliwość identyfikowania punktów danych i metadanych algorytmu prowadzących do konkretnych wyników przynosi duże korzyści w podejmowaniu decyzji o wysokiej wartości. Takie możliwości nie tylko pokazują wiarygodność i integralność dzięki możliwości algorytmu "pokazywania jego pracy", ale również te dane mogą być używane do dostrajania.
Inną funkcją śledczą potrzebną w sztucznej inteligencji/uczeniu maszynowym jest wykrywanie manipulacji. Tak jak potrzebujemy, aby sztuczna inteligencja rozpoznawała uprzedzenia i nie była na nią podatna, powinniśmy mieć dostępne funkcje kryminalistyczne, aby pomagały naszym inżynierom w wykrywaniu takich ataków i reagowania na nie. Takie możliwości śledcze mają ogromną wartość w połączeniu z technikami wizualizacji danych [10], umożliwiając inspekcję, debugowanie i dostrajanie algorytmów w celu uzyskania bardziej skutecznych wyników.
Sztuczna inteligencja musi chronić informacje poufne, nawet jeśli ludzie tego nie robią
Rozbudowane środowiska wymagają rozbudowanych danych. Ludzie już udostępnili ogromne ilości danych, na podstawie których można trenować modele uczenia maszynowego. Dotyczy to zarówno zawartości zwykłych kolejek strumieniowego przesyłania wideo, jak i trendów zakupów na kartach kredytowych/historii transakcji wykorzystywanych do wykrywania oszustw. Sztuczna inteligencja powinna mieć zakorzenione poczucie uznania, jeśli chodzi o obsługę danych użytkowników, zawsze działając w celu ich ochrony nawet wtedy, gdy dobrowolnie przez nadmierną wymianę opinii publicznej.
Ponieważ sztuczna inteligencja może mieć uwierzytelnioną grupę „współpracowników”, z którymi komunikuje się w celu wykonania złożonych zadań, musi także uznać potrzebę ograniczenia danych, które udostępnia tym współpracownikom.
Wczesne spostrzeżenia na temat rozwiązywania problemów związanych z zabezpieczeniami sztucznej inteligencji
Pomimo rodzącego się stanu tego projektu uważamy, że dowody zebrane do tej pory pokazują, że dokładniejsze badanie każdego z poniższych obszarów ma kluczowe znaczenie w przeniesieniu naszej branży do bardziej wiarygodnych i bezpiecznych produktów/usług sztucznej inteligencji/uczenia maszynowego. Poniżej przedstawiliśmy nasze wczesne spostrzeżenia i przemyślenia dotyczące tego, co chcielibyśmy zrobić w tym obszarze.
Można ustanowić organy zajmujące się testami penetracyjnymi i przeglądami bezpieczeństwa ukierunkowanymi na sztuczną inteligencję/uczenie maszynowe, aby zapewnić, że przyszła sztuczna inteligencja podziela nasze wartości i jest zgodna z zasadami sztucznej inteligencji ustalonymi na konferencji w Asilomar.
- Taka grupa mogłaby również opracowywać narzędzia i struktury, które mogłyby być używane w całej branży do zabezpieczania usług opartych na sztucznej inteligencji/uczeniu maszynowym.
- Wraz z upływem czasu ta wiedza będzie gromadzona w ramach grup inżynieryjnych w sposób organiczny, tak jak w przypadku fachowej wiedzy z zakresu tradycyjnych zabezpieczeń w ciągu ostatnich 10 lat.
Można opracować szkolenia, które umożliwią przedsiębiorstwom osiągnięcie celów, takich jak demokratyzacja sztucznej inteligencji, przy jednoczesnym korygowaniu problemów omówionych w tym dokumencie.
- Szkolenia w zakresie bezpieczeństwa sztucznej inteligencji zapewniają, że inżynierowie są świadomi zagrożeń dla ich sztucznej inteligencji i zasobów, którymi dysponują. Ten materiał musi zostać dostarczony wraz z bieżącym szkoleniem w zakresie ochrony danych klientów.
- Można to osiągnąć bez wymagania, aby każdy analityk danych stał się specjalistą ds. zabezpieczeń — zamiast tego należy skoncentrować się na edukowaniu deweloperów w zakresie odporności i dyskrecji stosownie do ich przypadków użycia sztucznej inteligencji.
- Deweloperzy będą musieli zrozumieć bezpieczne "bloki konstrukcyjne" usług sztucznej inteligencji, które są ponownie używane w całym przedsiębiorstwie. Konieczne będzie podkreślenie projektu odpornego na uszkodzenia z podsystemami, które można łatwo wyłączyć (na przykład procesory obrazów, analizatory tekstu).
Klasyfikatory uczenia maszynowego i związane z nimi algorytmy mogą zostać wzmocnione i mogą wykrywać złośliwe dane treningowe bez zanieczyszczania obecnie używanych prawidłowych danych treningowych lub wypaczania wyników.
Techniki, takie jak Odrzucanie negatywnych danych wejściowych [5], wymagają cykli badaczy do zbadania.
Ta praca obejmuje weryfikację matematyczną, testowanie koncepcji w kodzie oraz testowanie zarówno pod względem złośliwych, jak i niezłośliwych nietypowych danych.
Sprawdzanie/moderowanie przez ludzi może być tutaj korzystne, szczególnie tam, gdzie występują anomalie statystyczne.
Można skonstruować „klasyfikatory nadzorcze”, aby uzyskać bardziej uniwersalne zrozumienie zagrożeń dla wielu systemów sztucznej inteligencji. Znacznie poprawia to bezpieczeństwo systemu, ponieważ osoba atakująca nie może już ekstrahować jednego określonego modelu.
Systemy sztucznej inteligencji mogłyby być ze sobą połączone, aby wzajemnie identyfikować zagrożenia w swoich systemach
Można zbudować scentralizowaną bibliotekę inspekcji/danych dowodowych uczenia maszynowego, która ustanowi standard przejrzystości i wiarygodności sztucznej inteligencji.
- Można również opracować funkcje zapytania w celu przeprowadzania inspekcji i rekonstrukcji ważnych decyzji biznesowych podejmowanych przez sztuczną inteligencję.
Język używany przez przeciwników z różnych grup kulturowych i mediów społecznościowych mógłby być stale inwentaryzowany i analizowany przez sztuczną inteligencję w celu wykrywania trollowania, sarkazmu itp.
Systemy sztucznej inteligencji muszą być odporne na wszelkiego rodzaju żargon, zarówno techniczny, regionalny, jak i specyficzny dla danego forum.
Ta treść wiedzy może być również używana w automatyzacji filtrowania/etykietowania/blokowania zawartości w celu rozwiązania problemów ze skalowalnością moderatora.
Ta globalna baza danych terminów mogłaby być hostowana w bibliotekach programistycznych lub nawet udostępniona za pośrednictwem interfejsów API usługi w chmurze do ponownego wykorzystania przez inne systemy sztucznej inteligencji, dzięki czemu nowe systemy mogłyby korzystać z połączonej mądrości starszych.
Można by było utworzyć „Strukturę testowania odporności uczenia maszynowego na błędne dane”, która zapewniłaby inżynierom możliwość wstrzykiwania różnego rodzaju ataków do testowych zestawów treningowych ocenianych przez sztuczną inteligencję.
- Może to skupić się nie tylko na wierzchołku tekstu, ale na obrazie, głosie i gestach oraz permutacjach tych typów danych.
Podsumowanie
Zasady sztucznej inteligencji ustalone na konferencji w Asilomar ilustrują złożoność dostarczania sztucznej inteligencji w sposób, który konsekwentnie przynosi korzyści ludzkości. Przyszłe sztuczna inteligencja musi współdziałać z innymi sztuczną inteligencją, aby dostarczać zaawansowane, atrakcyjne środowiska użytkownika. Oznacza to, że po prostu nie jest wystarczająco dobre, aby firma Microsoft "uzyskała prawo do sztucznej inteligencji" z perspektywy zabezpieczeń — świat musi. Potrzebujemy dostosowania przemysłu i współpracy z większą widocznością, które w tym dokumencie wprowadzono w sposób podobny do naszego światowego dążenia do cyfrowej konwencji genewskiej [8]. Zajmując się przedstawionymi tutaj problemami, możemy zacząć prowadzić naszych klientów i partnerów branżowych drogą, na której sztuczna inteligencja jest naprawdę zdemokratyzowana i zwiększa inteligencję całej ludzkości.
Bibliografia
[1] Taleb, Nassim Nicholas (2007), The Black Swan: The Impact of the Highly Improbable, Random House, ISBN 978-1400063512
[2] Teresa Tramèr, Fan Zhang, Ari Juels, Michael K. Reiter, Thomas Ristenpart,Stealing Machine Edukacja Models via Prediction APIs (Kradnie maszyny Edukacja modele za pośrednictwem interfejsów API przewidywania)
[3] Satya Nadella:Partnerstwo przyszłości
[4] Claburn, Thomas:Troll-destroying AI Firmy Google nie może poradzić sobie z literówkami
[5] Marco Barreno, Blaine Nelson, Anthony D. Joseph, J.D. Tygar: Bezpieczeństwo uczenia maszynowego
[6] Wolchover, Natalie: Ten pionier sztucznej inteligencji ma kilka problemów
[7] Conn, Ariel:Jak wyrównać sztuczną inteligencję z wartościami ludzkimi?
[8] Smith, Brad: Potrzeba pilnych działań zbiorowych w celu zapewnienia bezpieczeństwa ludzi w Internecie: Lekcje z zeszłotygodniowego cyberataku
[9] Nicholas Carlini, Pratyush Mishra, Tavish Vaidya, Yuankai Zhang, Micah Sherr, Clay Shields, David Wagner, Wenchao Zhou:Hidden Voice Commands
[10] Fernanda Viégas, Martin Wattenberg, Daniel Smilkov, James Wexler, Jimbo Wilson, Nikhil Thorat, Charles Nicholson, Google Research:Big Picture