AI/ML Pivot'ları Güvenlik Geliştirme Yaşam Döngüsü Hata Çubuğu'na Ayarlama
Andrew Marshall, Jugal Parikh, Dede Kiciman ve Ram Buğrhan Shan Tarafından
Kasım 2019
Bu belge, AI Çalışma Grubu için Microsoft AETHER Mühendislik Uygulamaları'nın teslim edilebilir bir sürümü ve geleneksel güvenlik açıklarını eskitecek SDL hata çubuğunun bir eki olarak kullanılabilir. AI/ML ilgili güvenlik sorunlarının öncesi için başvuru olarak kullanılmaları amaçlanan bir ifadedir. Daha ayrıntılı tehdit çözümlemesi ve risk azaltma bilgileri için tehdit modelleme AI/ML Sistemleri ve Bağımlılıkları'na bakın.
Bu kılavuz, çevresinde düzenlenmiştir ve Machine Learning'te RamBaskar SandoBarak, David O'Brien, Kendra Albert, Salome Viljoen ve Robert Snover tarafından oluşturulan Adversarial Machine LearningTehdit Taksonomisi'ne başvurur. Bu içerik araştırırken, bu içeriğin ML hata modlarında bilerek/kötü amaçlı ve yanlışlıkla yapılan davranışlara yönelik adresleri temel alarak hazır olduğunu unutmayın; bu hata çubuğu eki, tamamen bir güvenlik olayına ve/veya bir düzeltmenin dağıtımına neden olacak bilerek/kötü amaçlı davranışlara odaklanır.
| Tehdit | Önem Derecesi | Açıklama/İş Riskleri/Örnekleri |
|---|---|---|
| Veri Kaynağı | Önemli - Kritik | Eğitim verilerini bozma - Saldırganın son amacı eğitim aşamasında oluşturulan makine modelini bulaşmaktır; böylelikle yeni veri tahminleri test aşamasında değiştirilmiş olur. Hedefli saldırı saldırılarında, saldırgan belirli örnekleri, belirli eylemlerin alınmasına veya atlanırsa diye sınıflandırılmak ister. AV yazılımını kötü amaçlı olarak yanlış sınıflandırılmalarını zorlamak ve istemci sistemlerinde hedefli AV yazılımının kullanımını ortadan kaldırmak için kötü amaçlı yazılım olarak gönderme. Bir şirket, modellerini eğitmek üzere gelecek gelecek verileri için iyi bilinen ve güvenilir bir web sitesini karalar. Veri sağlayıcısının web sitesi daha sonra Ekleme saldırısı yoluyla SQL ihlal edildi. Saldırgan veri kümesine tam olarak sahip olabilir ve eğitilen modelin verilerin elendilene ilişkin bir not yoktur. |
| Model Çalmak | Önemli - Kritik | Temel modeli yasal olarak sorguarak yeniden oluşturma. Yeni modelin işlevi, temel modelle aynıdır. Model yeniden oluşturulsa bile, özellik bilgilerini kurtarmak veya eğitim verileriyle ilgili yorumlar yapmak için ters çevirılabilir. Denklem çözme – API çıktısı aracılığıyla sınıf olasılıklarını döndüren bir model için, bir saldırgan modelde bilinmeyen değişkenleri belirlemek için sorgular hazırlar. Yol Bulma – bir girişi sınıfa alıtırken bir ağaç tarafından alınan "kararları" ayıklamak için API özelliklerini kullanan bir saldırıdır. Aktarlanabilirlik saldırısı - Bir tersli, bir yerel modeli (muhtemelen hedefli modele tahmin sorguları yayınarak) eğitebilir ve bunu kullanarak hedef modele aktaran diğer örneklerden örnekler oluşturabilir. Modeliniz ayıklanır ve bir bunaversarial giriş türüne açık olarak keşfederse, üretim dağıtılmış modelinize yönelik yeni saldırılar modelinizin bir kopyasını ayıklanan saldırgan tarafından tamamen çevrimdışı olarak geliştirılabilir. ML modelinin istenmeyen postayı tanımlama, kötü amaçlı yazılım sınıflandırması ve ağ anormalliği algılama gibi adversarial davranışı algılamaya hizmet ettiği ayarlarda, model ayıklama özelliği kaldırımı saldırılarını kolaylaştıran ayarlar |
| Model Ters Çevirme | Önemli - Kritik | Makine öğrenme modellerinde kullanılan özel özellikler kurtarılabilir. Bu, saldırgana erişim iznine sahip olmadığını özel eğitim verilerini yeniden yapılandırmayı da içerir. Bu, hedefle eşleşen sınıflandırmaya bağlı olarak döndürülen güven düzeyini en üst düzeye çıkaran girdi bularak işler. Örnek: Tahmini veya bilinen adlardan yüz tanıma verisi ve modeli sorgulamaya YÖNELIK API erişimi. |
| Fiziksel Etki Alanı'daki Adversarial Örneği | Kritik | Bu örnekler, kendi kendini çalıştıran araba gibi fiziksel etki alanında kendini gösterir; belirli bir ışık rengi (adversarial girişi) dur işaretinde olan yalniz renk nedeniyle dur işaretine döndürülebilir ve bu da resim tanıma sistemini artık dur işareti olarak görmemektedir. |
| Saldırı ML Tedarik Zinciri | Kritik | Algoritmaları eğitmek için gereken büyük kaynaklara (veri + hesaplama) çok uygun olan geçerli uygulama, büyük şirketler tarafından eğitilen modelleri yeniden kullanmak ve bunları mevcut görevlerde biraz değiştirmektir (örneğin: ResNet, Microsoft'un popüler resim tanıma modelidir). Bu modeller Model Caf (Caffe ev sahipliği yapan popüler resim tanıma modellerinde) olarak bulunmaktadır. Bu saldırıda, Caffe'de barındırılan modeller diğer herkes için iyi bir saldırı olacak. |
| Kötü Amaçlı Yazılım Sağlayıcısından Geri ML Algoritması | Kritik | Temel algoritmadan ödün verme Kötü amaçlı ML bir Hizmet Olarak Sağlayıcı, özel eğitim verilerin kurtarıl olduğu bir geri kurtarma algoritması sunar. Bu, yalnızca modele göre yüzler ve metinler gibi hassas verileri yeniden oluşturabilme özelliğine sahip olan bir saldırgan sağlar. |
| Neural Net Reprogramming | Önemli - Kritik | ML sistemleri, bir saldırgandan gelen özel olarak hazırlanmış bir sorgunun amacına göre, oluşturucunun özgün amacını saptayana kadar bir göreve yeniden programlandırabilirsiniz Bir yüz tanıma API'sini kullanan zayıf erişim denetimleri,3 rd taraflarının kullanıcılara zarar verecek şekilde tasarlanmış uygulamalara (derin sahte oluşturucular gibi) dahil 15. Bu bir kötüye kullanım/hesap kullanımdan çıkarma senaryosudur |
| Adversarial Perturbation | Önemli - Kritik | Perturbation stili saldırılarda, saldırgan üretim dağıtılmış bir modelden istenen yanıtı almak için sorguyu hemen yeniler. Bu, model giriş bütünlüğünün ihlalidir ve sonuç bir erişim ihlali veya EOP olmayabilir; ancak bunun yerine modelin sınıflandırma performansını tehlikeye atmaktadır. Bu durum, AI'nın bunları yasaklayacak şekilde belirli hedef sözcükler kullanılarak, "yasaklanmış" sözcüğüyle eşleşen bir adla yasal kullanıcılara hizmeti etkili bir şekilde reddedecek şekilde bildirim almaktadır. E-postaları istenmeyen posta olarak sınıflandırılmalarını veya kötü amaçlı bir örneğin algılanmalarına neden olarak zorlama. Bunlar, model imtiyaz veya taklit saldırıları olarak da bilinir. Saldırgan, özellikle de yüksek çözünürlüklü senaryolarda doğru sınıflandırmanın güven düzeyini azaltmak için girdiler hazırlanmış olabilir. Bunun yanı sıra, yöneticileri veya yasal uyarılardan ayırt edilemez sahte uyarılar olan izleme sistemlerini bunaltma amaçlı çok sayıda yanlış pozitif sonuç ortaya çıkarabilir. |
| Üyelik Çıkartırma | Orta - Kritik | Bir modeli eğitmek için kullanılan bir grupta tek tek üyelik çıkartır Ex: yaş/cinsiyet/hastane temel alan yordamları tahmini |