Threat Modeling AI/ML Systems and Dependencies

Andrew Marshall, Jugal Parikh, Dede Kiciman ve Ram Buğrhan Shan Tarafından

Raul Rojas ve AETHER Security Engineering Workstream'e Özel Teşekkür

Kasım 2019

Bu belge, AI Çalışma Grubu için AETHER Mühendislik Uygulamaları'nın teslim edilebilir bir belgesidir ve AI ve veri alanıyla ilgili tehdit yoklama ve risk azaltma konusunda yeni kılavuzlar sağlayarak mevcut SDL tehdit modelleme uygulamalarını Machine Learning tamamlar. Aşağıdaki güvenlik tasarımı incelemeleri sırasında başvuru olarak kullanılmalıdır:

1. AI/ML tabanlı hizmetlerle etkileşimde olan veya bağımlılıkları alan ürünler/hizmetler

2. Temelleri AI/ML olan ürünler/hizmetler

Geleneksel güvenlik tehditlerini azaltma, her zaman olduğu kadar önemlidir. Güvenlik Geliştirme Yaşam Döngüsü ile birlikte gelen gereksinimler, bu kılavuzda temel alan bir ürün güvenliği temeli oluşturmak için çok önemlidir. Geleneksel güvenlik tehditlerine yönelik hataların karşılanması, hem yazılımda hem de fiziksel etki alanlarında bu belgede ele geçen AI/ML'a özgü saldırılara olanak vermenin yanı sıra yazılım yığınını daha düşük bir önemsiz hale indirmeye yardımcı olur. Bu alanda yeni net güvenlik tehditlerine giriş için bkz. Microsoft'ta AI'nın Geleceğininve ML güvenliğini sağlama .

Güvenlik mühendislerinin beceri kümeleri ve veri genellikle çakışmaz. Bu kılavuz, güvenlik mühendislerinin veri uzmanlarına dönüşe (veya tersine) gerek kalmadan, her iki disiplinin de bu net yeni tehditlerde/risk azaltmalarda yapılandırılmış konuşmalar yapmak için bir yol sağlar.

Bu belge iki bölüme ayrılır:

1. "Tehdit Modellemede Dikkate Alınacak Önemli Noktalar", tehdit modelleme AI/ML sistemlerinde yeni düşünme yolları ve yeni sorular üzerine odaklanmaktadır. Tehdit modelleme tartışmaları ve risk azaltma önceliklendirmesi için bir çalışma kitabı olması nedeniyle, hem veri hem de güvenlik mühendislerinin bunu gözden geçirmesi gerekir.
2. "AI/ML'a özgü Tehditler ve Risk azaltmaları" microsoft ürünlerini ve hizmetlerini bu tehditlere karşı korumak için hem belirli saldırılar hem de şu anın belirli risk azaltma adımlarıyla ilgili ayrıntılar sunar. Bu bölüm öncelikli olarak tehdit modelleme/güvenlik inceleme işleminin çıktısı olarak belirli tehdit azaltmalarını uygulamaya ihtiyacı olan veri kaynağına yöneliktir.

Bu kılavuz, RamAndkar Sney Sney, David O'Brien, Kendra Albert, Salome Viljoen veAnd Snover'ın"Machine Learning'taHata Modları" başlıklı ve "Hata Modları" adlı tarafından oluşturulan Bir Adversarial Machine Learning Tehdit Taksonomisi etrafında düzenlenmiştir. Bu belgede ayrıntılı olarak güvenlik tehditlerini triyanelama konusunda yol gösterici olay yönetim kılavuzu için, AI/ML SDL Hata Çubuğu'na bakın. Bunların hepsi, tehdit ortamıyla birlikte zamanla gelişecek canlı belgelerdir.

Tehdit Modelleme'de Dikkate Alınacak Önemli Noktalar: Güven Sınırlarını Görüntüleme Yolunu Değiştirme

Veri sağlayıcısının yanı sıra eğittikleri verilerin güvenliğini ya da güvenliğini tehlikeye atabilirsiniz. Anormal ve kötü amaçlı veri girdilerini algılamayı, bunları ayırt etmeyi ve kurtarmayı öğrenin

Özet

Eğitim Verileri depoları ve bunları barındıran sistemler Tehdit Modelleme kapsamınıza kapsamındadır. Günümüzde makine öğreniminde en büyük güvenlik tehditi, bu alanda standart algılamaların ve risk azaltmaların olmamasından dolayı, eğitim verisi kaynağı olarak güvenilmeyen/güvenilmeyen genel veri kümelerine bağımlılık nedeniyle veri kaynağıdır. Verilerinizin kanıtlarını ve çizgilerini izlemek, güvenilirliğini temin etmek ve "çöp gibi atmak, çöpe atmak" eğitim döngüsündan kaçınmak için çok önemlidir.

Güvenlik İncelemesinde Sorular

• Verilerinizle ilgili bir sorun varsa veya verilerinizle oynanmışsa, bunu nasıl bilebilirsiniz?

  -Eğitim verilerinizin kalitesiyle ilgili bir çarpıklık algılamak için hangi telemetriye sahipsiniz?

• Kullanıcı tarafından sağlanan girdilerden eğitim mi alısınız?

  -Bu içerik üzerinde ne tür giriş doğrulama/sanitization yapıyorsunuz?

  -Bu verilerin yapısı, Veri Kümeleri için Veri Sayfalarına benzer mi?

• Çevrimiçi veri depolarına karşı eğitilenler, modeliniz ve veriler arasındaki bağlantının güvenliğini sağlamak için hangi adımları uygulayın?

  -Akışlarını tüketicilerine bildirmenin bir yolu var mı?

  -Bu özelliğine sahipler mi?

• Eğitimini hangi verilerden geliyor?

  -Bu belgeyi kataloglama veya veri girişlerinin ek/güncelleştiriliyor/silinmesini denetleme

• Model çıkış verileriniz hassas olabilir mi?

  -Bu veriler kaynaktan izinle mi alındı?

• Model yalnızca hedefe ulaşmak için çıktı sonuçlarını mı gerekli?

• Modeliniz, ham güven puanlarını veya kaydedilebilir ve çoğaltılabilir başka herhangi bir doğrudan çıktıyı geri veriyor mu?

• Modelini saldırıya veya tersine çevirerek eğitim verilerinizin kurtarılma etkisi nedir?

• Model çıkışlarının güven düzeyleri aniden açılırsa, bunun nasıl/neden olduğunu ve buna neden olan verileri de bulabilir misiniz?

• Modeliniz için iyi 365 girdi tanımladnız mı? Girdilerin bu biçime uygun olduğundan emin olmak için ne yapıyorsunuz ve karşılamazsa ne yapacaksınız?

• Çıktınız yanlışsa ancak hata bildiriliyorsa, bunu nasıl bilsiniz?

• Eğitim algoritmalarınızı matematik düzeyindeki deversarial girişlere karşı karşıt olduğunu biliyor musunuz?

• Eğitim verilerinizin tersini nasıl kurtarabilirsiniz?

  -Adversarial içeriğini yalıtıp karantinaya alıtıp etkilenen modelleri yeniden eğitebilir misiniz?

  -Yeniden eğitim için önceki bir sürümün modelini geri almak/kurtarmak mı?

• Genel içerikte Özel Learning'i mi kullanıyorsunuz?

• Verilerinizin çizgisini düşünmeye başlarsınız; bir sorun bulabilir miydiniz, veri kümesine giriş yolunu izleyebilir misiniz? Yoksa, bu bir sorun mu?

• Eğitim verilerinizin nereden geldiğinden emin olmak ve istatistikler normları tanımarak neye benzer olduğunu anlamak için

  -Eğitim verilerinizin hangi öğeleri dış etkiye açık?

  -Who, eğitiminiz için gereken veri kümelerine katkıda bulunabilirsiniz?

  -Bir rakipe zarar vermek için eğitim verileri kaynaklarınızı nasıl saldırıya neden olursunuz?

Bu Belgede İlgili Tehdit ve Risk Azaltmalar

• Adversarial Perturbation (tüm çeşitlemeler)

• Veri Kaynağı (tüm çeşitlemeler)

Örnek Saldırılar

• E-postaların istenmeyen posta olarak sınıflandırılmalarını zorlama veya kötü amaçlı bir örneğin algılanmamalarına neden oluyor

• Özellikle yüksek çözünürlüklü senaryolarda doğru sınıflandırmanın güven düzeyini azaltan, saldırgan tarafından hazırlanmış girdiler

• Saldırgan, gelecekte kullanılacak doğru sınıflandırma olasılığını azaltmak ve modeli etkili bir şekilde azaltmak için kaynak verilere rastgele gürültüler ekleme

• Seçili veri noktalarının yanlış sınıflandırılması, belirli eylemlerin bir sistem tarafından gerçekleştir veya at alınmasına neden olan eğitim verilerine sahip olma

Modellerinizi veya ürün/hizmetinizi belirleme, müşterinin çevrimiçi olarak veya fiziksel etki alanında zarar vermenize neden olabilir

Özet

Sol yalıtılmış, AI/ML sistemleri fiziksel dünyaya doğru olan saldırılar bulabilir. Kullanıcılara fiziksel olarak fiziksel olarak zarar vermenin veya fiziksel olarak zarar vermenin bir zararı olan her senaryo, ürününüz/hizmetiniz için çok önemli bir risktir. Bu, müşterileriniz hakkında eğitim ve tasarım seçimlerini kullandığı ve bu özel veri noktalarını sızdıran hassas verileri sızdıran tüm hassas verileri de genişletmektedir.

Güvenlik İncelemesinde Sorular

• Adversarial örneklerle eğitme mi yapacaksınız? Fiziksel etki alanındaki model çıktınız üzerinde ne gibi bir etkisi var?

• Ürün/hizmetiniz bu şekilde nasıl görünüyor? Bunu nasıl algılanabilir ve yanıtlanabilir?

• Modelinizin, hizmetinizi yasal kullanıcılara erişimi reddetmeyle ilgili püf noktalarında sonuç olarak geri dönmesi ne olur?

• Modelinizin kopyalanan/çalınmış olması nasıl bir etki sağlar?

• Modeliniz, belirli bir gruptaki tek bir kişinin üyeliğini veya yalnızca eğitim verisinde an yapmak için kullanılabilir mi?

• Bir saldırgan ürününüz için belirli eylemleri gerçekleştire zorlayarak üne zarar verebilir veya PR ters eğik çizgi verebilir mi?

• Türler gibi, biçimlendirilmiş ancak aşırı sapmaları olan verileri nasıl işliyebilirsiniz?

• Modelle etkileşim kurmanın veya modelinizi sorgulamanın her yolu açıklanması için, bu yöntem eğitim verilerini veya model işlevini açıklamaya yönelik bir sorgu olabilir mi?

Bu Belgede İlgili Tehdit ve Risk Azaltmalar

• Üyelik Çıkartırma

• Model Ters Çevirme

• Model Çalmak

Örnek Saldırılar

• En yüksek güven sonucu için modeli tekrar tekrar sorgular ve bu verileri ayıklama

• Çok kapsamlı sorgu/yanıt eşleştirmesi ile modelin kendisini yineleme

• Eğitim kümesine, modeli belirli bir özel veri öğesini ortaya koyan bir şekilde sorgulama

• Kendi kendini kullanan araba, dur işaretlerini/trafik ışıklarını yok saymak için kandırmaya

• tüm kullanıcılar tarafından yönlendirilen konuşma robotları

Veri/model tedarik zincirinde tüm AI/ML kaynaklarını ve ön uç sunu katmanlarını tanımlama

Özet

AI'daki birçok Machine Learning, bir modele sorgu erişimi sağlamak için ortaya çıkar ve API'lere geçerli erişimle başlar. Burada yer alan zengin veri kaynakları ve zengin kullanıcı deneyimleri nedeniyle, kimliği doğrulanmış ancak "uygun olmayan" (burada gri bir alan var) modellerine³rd -party erişimi, Microsoft tarafından sağlanan hizmetin üzerinde sunu katmanı olarak çalışma olanağı nedeniyle risk oluşturur.

Güvenlik İncelemesinde Sorular

• Model veya hizmet API'lerine erişmek için hangi müşterilerin/iş ortaklarının kimliği doğrulanır?

  -Hizmetinizin en üstünde bir sunu katmanı gibi davranır mı?

  -Güvenlik ödünleri durumunda erişimlerini derhal iptal etmek zorunda musunuz?

  -Hizmetinizin veya bağımlılıklarınızı kötü amaçlı kullanımınız durumunda kurtarma stratejiniz nedir?

• 3. taraf bir taraf modelinizi yeniden amaç vermek ve Microsoft'a ya da müşterilerine zarar vermek için modelinizi biraz çevreletir mi?

• Müşteriler size doğrudan eğitim verileri mi sunuyor?

  -Bu verilerin güvenliğini nasıl sağlarsınız?

  -Kötü amaçlı yazılım ve sizin hizmetiniz hedef ise ne olacak?

• Burada hatalı pozitif bir görünüm nasıl görünüyor? Hatalı negatif bir ifadenin etkisi nedir?

• Birden çok modelde Doğru Pozitif ile Yanlış Pozitif oranlarının sapmalarını izleyebilir ve ölçebilir misiniz?

• Model çıktının müşterileriniz için güvenilir olduğunu kanıtlamak için ne tür telemetri gerekir?

• Yalnızca açık kaynak^{yazılımlarının} yanı sıra veri sağlayıcılarının yanı sıra, ML/Eğitim veri tedarik zincirinize 3. taraf bağımlılıkları belirleme

  -Bunları neden kullanıyor ve güvenilir olduğunu nasıl doğrularsınız?

• 3. taraflardan önceden hazır modeller mi kullanıyor veya^3. taraf MLaaS sağlayıcısına eğitim verileri mi gönderiyorum?

• Benzer ürünler/hizmetlere yönelik saldırılar hakkında envanter haberleri. Model türleri arasında çok sayıda AI/ML tehdit aktarımı olduğunu anlamak, bu saldırılar kendi ürünleriniz üzerinde ne gibi bir etki sağlar?

Bu Belgede İlgili Tehdit ve Risk Azaltmalar

• Neural Net Reprogramming

• Fiziksel etki alanındaki Adversarial Örnekleri

• Kötü amaçlı ML Eğitim Verilerini Kurtaran Sağlayıcılar

• ML Zincirine saldırı

• Backdağlı Model

• Güvenliği ML bağımlılıkları ihlal ediyor

Örnek Saldırılar

• Kötü Amaçlı MLaaS sağlayıcısı truvalıları modelinizi belirli bir atlamayla kullanır

• Karşıt müşteri, kullanımınız gereken ortak işletim sistemi bağımlılığında güvenlik açığı bulur, hizmetinizin güvenliğini tehlikeye atacak şekilde hazırlanmış eğitim verilerini karşıya yükler

• Belirsiz iş ortağı yüz tanıma API'lerini kullanır ve Deep Fakes'i üretmek için hizmetinizin üzerinde bir sunu Fakes.

AI/ML Belirli Tehditler ve Risk azaltmaları

#1: Adversarial Perturbation

Açıklama

Perturbation stili saldırılarda, saldırgan üretim dağıtılmış bir modelden[1] istenen yanıtı almak için sorguyu hemen yeniler. Bu, model giriş bütünlüğünün ihlalidir ve sonuç bir erişim ihlali veya EOP olmayabilir; ancak bunun yerine modelin sınıflandırma performansını tehlikeye atmaktadır. Bu durum, AI'nın bunları yasaklayacak şekilde belirli hedef sözcükler kullanılarak ve "yasaklanmış" sözcüğüyle eşleşen bir adla yasal kullanıcılara hizmeti etkili bir şekilde reddedecek şekilde bildirim de edebilir.

[24]

Değişken #1a: Hedefli yanlış sınıflandırılma

Bu durumda, saldırganlar hedef sınıflayıcısının giriş sınıfında yer alan ancak modele göre belirli bir giriş sınıfı olarak sınıflandırılan bir örnek oluştur. Buna örnek, insan gözleri için rastgele gürültü gibi görünebilir, ancak saldırganların, hedef makine öğrenme sistemi hakkında bilgi edinerek rastgele olmayan ancak hedef modelin belirli yönlerinden yararlanmakta olduğu beyaz bir gürültü oluşturma hakkında bilgi edinebilirler. Buna örnek, geçerli bir örnek olmayan bir giriş örneği verir, ancak hedef sistem bunu yasal bir sınıf olarak sınıflandırar.

Örnekler

[6]

Azaltmalar

• Adversarial Eğitimi [19] tarafından Alınan Model Güveni Kullanılarak Adversarial Sağlamlığı Yeniden Zorlama: Yazarlar, bir taban modelinin terse dönüşlü güçlülüklerini güçlendirmek için, güven bilgilerini ve en yakın komşu aramalarını bir araya gelen Yakın Komşu (HCNN) çerçevesi önerebilir. Bu, temel eğitim dağıtımından örnek alınan bir noktanın olduğu bir yerde doğru ve yanlış model tahminlerini ayırt etmeye yardımcı olabilir.

• Attribution odaklı Nedensel Çözümleme [20]: Yazarlar, adversarial perturbations ile makine öğrenme modellerinde oluşturulan tek tek kararların attribution tabanlı açıklaması arasındaki bağlantıyı inceler. Bu rapor, benzer girdilerin attribution alanda güçlü olmadığını, başka bir ifadeyle yüksek attribution değerine sahip birkaç özelliği maskelemenin, ters örneklerde makine öğrenme modelinin kararsızlığı değişmesini ortaya çıkarıyor. Buna karşılık, doğal girişler attribution alanda güçlü olur.

  [20]

Bu yaklaşımlar makine öğrenme modellerini, adversarial saldırılarına daha karşıt hale düşürebilir, çünkü bu iki katmanlı dişli sistemini aldatmak, yalnızca özgün modele saldırıya izin vermekle birlikte, aynı zamanda adversarial örneğinde oluşturulan attributionnın özgün örneklere benzesini sağlamayı gerektirir. Başarılı bir adversarial saldırı için her iki sistemi de aynı anda tehlikeye atılmış olması gerekir.

Geleneksel Paraleller

İlke artık modelinizin denetiminde olduğu için Uzak Ayrıcalık Yükseltmesi

Önem Derecesi

Kritik

Değişken #1b: Kaynak/Hedef yanlış sınıflandırılma

Bu, bir saldırgan tarafından istenen etiketi verilen bir girdiye iade etmek için bir model elde etmek için bir saldırgan tarafından nitelenmiş bir durum. Bu çoğunlukla modeli hatalı pozitif veya yanlış negatif sonuçlar döndürür. Sonuçta, modelin sınıflandırma doğruluğu hafif bir şekilde ele geçmektedir ve bir saldırgan belirli atlamaları olduğu gibi ele alabilmesine olanak sağlar.

Bu saldırı sınıflandırma doğruluğunu önemli ölçüde zararlı etkilese de, bir karşıtlık, artık doğru etiketli olmadığı gibi, özellikle istenen hileli etiketle etiketlenmiş olması için kaynak verileri işlemesi gerektirse de, biraz daha yoğun olarak gerçekleştirilebilir. Bu saldırılar genellikle [3] sınıfı yanlış sınıflandırmaya zorlamak için birden çok adım/girişim içerir. Model, hedefli öğrenme saldırılarını yanlış sınıflandıracak şekilde aktarmaya karşı duyarlıysa, olasılık saldırılarının çevrimdışı yürütülebilir olması nedeniyle trafiğin kap kaplamayacak olması fark edilebilir bir sorun olabilir.

Örnekler

E-postaları istenmeyen posta olarak sınıflandırılmalarını veya kötü amaçlı bir örneğin algılanmalarına neden olarak zorlama. Bunlar, model imtiyaz veya taklit saldırıları olarak da bilinir.

Azaltmalar

Reactive/Detection Detection Actions

• Sınıflandırma sonuçları sağlayan API'ye çağrılar arasında minimum bir zaman eşiğini uygulama. Bu, başarı perturbasyonu bulmak için gereken genel süreyi artırarak çok adımlı saldırı testlerini yavaşlatıyor.

Proaktif/Koruyucu Eylemler

• Adversarial Sağlamlığı Geliştirme için ÖzellikNonoliği [22]: Yazarlar, özellik açıklaması yaparak adversarial sağlamlığı artıran yeni bir ağ mimarisi geliştirir. Özel olarak, ağlar, yerel olmayan means veya diğer filtreler kullanarak özellikleri gözlerine bile ayan engellemeler içerir; tüm ağlar uç- uç eğitimleridir. Adversarial eğitimiyle birlikte kullanılırken, ağları ifade özelliği, hem beyaz kutu hem de siyah kutu saldırı ayarlarında adversarial güçlülüğü önemli ölçüde geliştirmektedir.

• Adversarial Eğitimi ve Düzenlileştirme: Kötü amaçlı girişlere karşı dayanıklılık ve güçlülik oluşturmak için bilinen adversarial örnekleriyle eğitin. Bu, giriş gradyanlarının normlarını kaleme alan ve sınıflandırıcının tahmin işlevini daha düzgün (giriş kenar boşluğu artırma) yapan bir düzenlileştirme biçimi olarak da görülebilir. Buna, düşük güven oranlarına sahip doğru sınıflandırmalar da dahildir.

Tek renkli özellikleri seçerek tek renkli sınıflandırmaya yatırım yapın. Bu, negatif sınıfı doldurma özellikleri [13] sayesinde, karşıtların sınıf değiştiriciden kurtulmasını mümkün olmayacaktır.

• Özellik sıklaştırma [18], adversarial örnekleri algılaarak anlayan bir DNN modeli kullanmak için kullanılabilir. Özgün alanda bulunan birçok farklı özellik vektörlerine karşılık gelen örnekler sayesinde, tek bir örnekle karşıtlık içinde bulunan arama alanı, bir maceranın kullanılabilir süresini azaltır. DNN modelinin tahminini özgün girişte bunun sıkılmış girişle karşılaştırarak, özellik sıkıştırma, adversarial örnekleri algılamaya yardımcı olabilir. Özgün ve sıkılmış örnekler modelden önemli ölçüde farklı çıktılar üretecekse, giriş büyük olasılıkla ters değerdedir. Tahminler arasındaki bu ayrımlığı ölçerek ve bir eşik değeri seçerek, sistem geçerli örnekler için doğru tahminin çıkışını alır ve adversarial girdileri reddeder.

  

  [18]

• Adversarial Örneklerine Karşı Sertifikalı Savunma [22]: Yazarlar belirli bir ağ için ve test girişi için verilen bir sertifika çıktısı olan yarı kesin bir dinlenmeyi temel alan bir yöntem önerebilir, hiçbir saldırı hatayı belirli bir değeri aşmaya zor dayanarak zorlamaz. İkincisi, bu sertifikanın farklı olmasıyla birlikte, yazarlar bunu ağ parametreleriyle birlikte iyileştirerek, tüm saldırılara karşı güçlülüğü teşvik eden uyarlanabilir bir normalleştirici sağlar.

Yanıt Eylemleri

• Özellikle tek bir kullanıcıdan veya küçük bir kullanıcı grubundan gelen sınıflayıcılar arasında yüksek varyanslı sınıflandırma sonuçlarıyla ilgili sorun uyarıları.

Geleneksel Paraleller

Uzaktan Ayrıcalık Yükseltme

Önem Derecesi

Kritik

Değişken #1c: Rastgele yanlış sınıflandırılma

Bu, saldırgan hedef sınıflandırmanın yasal kaynak sınıflandırması dışında bir şey olduğu özel bir çeşitlemedir. Saldırı genellikle, gelecekte doğru sınıflandırmanın kullanılma olasılığını azaltmak için kaynak verilere rastgele gürültü ekleme içerir [3].

Örnekler

Azaltmalar

Değişken 1a ile aynıdır.

Geleneksel Paraleller

Kalıcı olmayan hizmet reddi

Önem Derecesi

Önemli

Değişken #1d: Güven Azaltma

Bir saldırgan, özellikle de yüksek çözünürlüklü senaryolarda doğru sınıflandırmanın güven düzeyini azaltmak için girdiler girebiliyor. Bunun yanı sıra, yöneticileri veya yasal uyarılardan ayırt edilemez sahte uyarılara sahip izleme sistemlerini bunaltma amaçlı çok sayıda yanlış pozitif sonuç ortaya çıkarabilir [3].

Örnekler

Azaltmalar

• Değişken veri kaynağında ele #1a, tek bir kaynaktan uyarı hacmini azaltmak için olay azaltma kullanılabilir.

Geleneksel Paraleller

Kalıcı olmayan hizmet reddi

Önem Derecesi

Önemli

#2a Hedefli VeriYıldız

Açıklama

Saldırganin amacı eğitim aşamasında oluşturulan makine modelini bulaşmak, böylece yeni veri tahminlerinin test aşamasında[1] değiştirilecek olmasıdır. Hedefli saldırı saldırılarında, saldırgan belirli örnekleri, belirli eylemlerin alınmasına veya atlanırsa diye sınıflandırılmak ister.

Örnekler

AV yazılımını kötü amaçlı olarak yanlış sınıflandırılmalarını zorlamak ve istemci sistemlerinde hedefli AV yazılımının kullanımını ortadan kaldırmak için kötü amaçlı yazılım olarak gönderme.

Azaltmalar

• Veri dağılımını gün temelinde bakmak ve değişimleri uyarık için anormal algılayıcıları tanımlayın

  -Günlük olarak eğitim veri çeşitlesini, çarpıklık/sapma için telemetriyi ölçün

• Giriş doğrulama, hem sanitization hem de integrity checking

• Oya, dışarı doğru eğitim örnekleri içerir. Bu tehditle mücadele etmek için iki ana strateji:

  -Data Sanitization/ validation: Eğitim verilerinden örnek örnekleri kaldırın -Saldırı saldırılarına karşı mücadele etmek için Bagging [14]

  -Negatif Etkiyi Reddetme (RONI) savunma [15]

  -Güçlü Learning: Örnek örneklerin varlığında güçlü olan öğrenme algoritmalarını seçme.

  -Böyle bir yaklaşım, yazarların veri sorununa iki adımda çözüm bulunduğu [21] makalesinde açıklanmıştır: 1) gerçek alt boşluğu kurtarmak için yeni bir güçlü matris faktörleştirme yöntemi ile giriş ve 2) adımda kurtarılan temel temele dayalı olarak yalıtılan buna göre (1) yeni güçlü ilke bileşeni gerileme. Bunlar, gerçek alt boşluğu başarıyla kurtarmak ve temel doğruyla karşılaştırıldığında beklenen tahmin kaybına bağlı bir ilişkili olarak sunmak için gerekli ve yeterli koşulları gösterirler.

Geleneksel Paraleller

Truvalı ana bilgisayar ve bu şekilde saldırgan ağ üzerinde kalıcıdır. Eğitim veya yapılandırma verileri tehlikeye atılmış ve model oluşturma için ele/güvenilir.

Önem Derecesi

Kritik

#2b Ayırt Etmek Için Veri Sımsıtır

Açıklama

Amaç, veri kümesine saldırıya neden olan kaliteyi/bütünlüğünü korumaktır. Birçok veri kümesi genel/güvenilmeyen/güvenilmeyen veri kümeleridir; bu nedenle bu tür veri bütünlüğü ihlallerini ilk başta fark etme olanağıyla ilgili ek kaygılar oluşturur. Farkında olmadan tehlikeye atılmış veriler hakkında eğitim bir çöp/çöp gibi bir durumdur. Algılandığında, triya aktarmanın ihlal edilen verilerin kapsamını belirlemesi ve karantina/yeniden kısıtlanmış olması gerekir.

Örnekler

Bir şirket, yağ gelecekleri verileri için iyi bilinen ve güvenilen bir web sitesini ıskartaya çıkararak modellerini eğiter. Veri sağlayıcısının web sitesi daha sonra Ekleme saldırısı yoluyla SQL ihlal edildi. Saldırgan veri kümesine tam olarak sahip olabilir ve eğitilen modelin verilerin elendilene ilişkin bir not yoktur.

Azaltmalar

Değişken 2a ile aynıdır.

Geleneksel Paraleller

Yüksek değerli bir varlık için Kimliği Doğrulanmış Hizmet Engellemesi

Önem Derecesi

Önemli

#3 Model Inversion Saldırıları

Açıklama

Makine öğrenme modellerinde kullanılan özel özellikler kurtarılabilir [1]. Bu, saldırgana erişim iznine sahip olmadığını özel eğitim verilerini yeniden yapılandırmayı da içerir. Biyometrik toplulukta tepe geliri saldırıları olarak da bilinir [16, 17] Bu, hedef [4] sınıflandırmaya bağlı olarak döndürülen güven düzeyini en üst düzeye çıkaran girişin bulunmasıyla işler.

Örnekler

[4]

Azaltmalar

• Hassas verilerden eğitim alan modellere kadar arabirimlerin güçlü erişim denetimine ihtiyacı vardır.

• Model tarafından izin verilen fiyat sınırı sorguları

• Önerilen tüm sorgularda giriş doğrulaması yaparak, modelin giriş doğru tanımına uygun olmadığını reddederek ve yararlı olması için yalnızca gereken minimum miktarda bilgiyi döndürerek kullanıcılar/arayanlar ve gerçek model arasında kapı açın.

Geleneksel Paraleller

Hedefli, KapakLı Bilgilerin Açıklanması

Önem Derecesi

Bu varsayılan olarak standart SDL hata çubuğunda önemli olur, ancak ayıklanan hassas veya kişisel olarak tanınmaya neden olan veriler bu durumu kritik öneme yükseltebilir.

#4 Üyelik Çıkarma Saldırısı

Açıklama

Saldırgan, belirli bir veri kaydının modelin eğitim veri kümesi kapsamında olup olmadığını[1]. Araştırmacı bir hastanın ana yordamını tahmin edeydı (örn. Hastanın geçen süreci) özniteliklere (örneğin yaş, cinsiyet, hastane) [1].

[12]

Azaltmalar

Bu saldırının uygulanabilirliğini gösteren araştırma belgeleri, Gizlilik Gizliliği'nin [4, 9] etkili bir azaltma olacağını belirtmektedir. Bu alan Microsoft'ta ve AETHER Security Mühendislik'te hala araştırma yatırımları konusunda uzmanlık geliştirmenizi öneren bir alandır. Bu araştırma, Farklılık Gizliliği özelliklerini numaralandırmalı ve bunların pratik etkisini azaltma olarak değerlendirmeli, ardından Visual Studio'daki kodu derlemenin geliştirici ve kullanıcılar için saydam olan varsayılan güvenlik korumalarını nasıl verdiğine benzer şekilde bu savunmaların çevrimiçi platformlarımıza saydam şekilde devralındırılma yollarını tasarlar.

Ne kadar önemli olduğu, ne kadar etkili bir risk verdiğine bağlı olarak azaltıcı olabilir. Sörnek bırakıca kullanımı, bu saldırılara sinirsel bir anın daha yüksek olduğu gibi model performansını da artırır [4].

Geleneksel Paraleller

Veri Gizliliği. Bir veri noktasının eğitim kümesine dahil edilmesiyle ilgili yorumlar yapılıyor, ancak eğitim verileri açıklanmıyor

Önem Derecesi

Bu bir gizlilik sorunudur, güvenlik sorunu değildir. Etki alanları çakış, ancak buradaki tüm yanıtlar Güvenlik tarafından değil Gizlilik tarafından yönlendirilemesi nedeniyle tehdit modelleme kılavuzunda ele alınır.

#5 Model Çalmak

Açıklama

Saldırganlar modeli yasal olarak sorgular ve temel modeli yeniden oluştururlar. Yeni modelin işlevi temel model[1] ile aynıdır. Model yeniden oluşturulsa bile, özellik bilgilerini kurtarmak veya eğitim verileriyle ilgili yorumlar yapmak için ters çevirılabilir.

• Denklem çözme – API çıktısı aracılığıyla sınıf olasılıklarını döndüren bir model için, bir saldırgan modelde bilinmeyen değişkenleri belirlemek için sorgular hazırlar.

• Yol Bulma – bir girişi sınıfa alıtırken bir ağaç tarafından alınan "kararları" ayıklamak için API özelliklerini kullanan bir saldırı [7].

• Aktarıma yönelik saldırı - Bir tersli, bir yerel modeli (muhtemelen hedefli modele tahmin sorguları yayınarak) eğitebilir ve bunu kullanarak hedef modele [8] aktaran adversarial örnekler oluşturabilir. Modeliniz ayıklanır ve bir bunaversarial giriş türüne açık olarak keşfederse, üretim dağıtılmış modelinize yönelik yeni saldırılar modelinizin bir kopyasını ayıklanan saldırgan tarafından tamamen çevrimdışı olarak geliştirılabilir.

Örnekler

ML modelinin istenmeyen postayı tanımlama, kötü amaçlı yazılım sınıflandırması ve ağ anormalliği algılama gibi adversarial davranışı algılamaya hizmet ettiği ayarlarda, model ayıklama, kaldırımı saldırılarını kolaylaştıran [7].

Azaltmalar

Proaktif/Koruyucu Eylemler

• Tahmin API'lerinde döndürülen ayrıntıları simge durumuna küçülttük veya simge durumuna küçülttüklerinde, yine de "dürüst" uygulamalar [7] için kullanışlılıklarını koruyabilirsiniz.

• Model girdileriniz için iyi biçimlendirilmiş bir sorgu tanımlayın ve yalnızca bu biçimle eşleşen tamamlanmış, iyi biçimlendirilmiş girişlere yanıt olarak sonuçları verir.

• Yuvarlanmış güven değerleri verir. Çoğu yasal arayanların birden fazla ondalık basamak duyarlığı olmaz.

Geleneksel Paraleller

Kimliği doğrulanmamış, salt okunur olarak sistem verileriyle oynanıyor, çok değerli bilgilerin açıklanması hedefli mi?

Önem Derecesi

Güvenlik duyarlı modellerde önemli, aksi halde Orta

#6 Neural Net Reprogramming

Açıklama

Karşıtlardan özel olarak hazırlanmış bir sorgunun amacına bağlı olarak, Makine öğrenme sistemleri oluşturucunun özgün amacından saptayan bir göreve yeniden programlandırabilirsiniz [1].

Örnekler

Bir yüz tanıma API'sini kullanan zayıf erişim denetimleri,³ rd taraflarını Microsoft müşterilerine zarar verecek şekilde tasarlanmış uygulamalara (derin sahte oluşturucu gibi) dahil etmek üzere sağlar.

Azaltmalar

• Güçlü istemci < - > model arabirimlerine sunucu ortak kimlik doğrulaması ve erişim denetimi

• Kıran hesapların hesabını takedown.

• API'leriniz için hizmet düzeyinde bir sözleşme belirleyin ve bu sözleşmeyi zorunlu kılın. Bir sorun için bildirilen bir sorun için kabul edilebilir bir çözüm zamanı belirleme ve SLA'nın süresi dolduğunda sorunun artık yenidenprote edilmey olduğundan emin olmak.

Geleneksel Paraleller

Bu bir kötüye kullanım senaryosudur. Bu olayda bir güvenlik olayı açma ihtimalin daha düşük bir durumda olan şey, yalnızca soruna neden olan hesabı devre dışı bırakmaktır.

Önem Derecesi

Önemli - Kritik

#7 Fiziksel etki alanındaki (bit- atoms) Adversarial > Örneği

Açıklama

Size örnek olarak, makine öğrenme sistemini yanlış yönlendirmeyi hedef alan kötü amaçlı bir varlık tarafından gönderilen bir giriş/sorgu örnektir [1]

Örnekler

Bu örnekler, kendi kendini çalıştıran araba gibi fiziksel etki alanında kendini gösterir; belirli bir ışık rengi (adversarial girişi) dur işaretinde olan yalniz renk nedeniyle dur işaretine döndürülebilir ve bu da resim tanıma sistemini artık dur işareti olarak görmemektedir.

Geleneksel Paraleller

Ayrıcalık Yükseltme, uzaktan kod yürütme

Azaltmalar

Makine öğrenme katmanında (AI kullanımlı karar vermenin altındaki veri algoritması katmanı) sorunlar risk azaltmadan bu saldırılar kendi kendini & gösterir. Diğer herhangi bir yazılımda (veya* fiziksel sistemde olduğu gibi, hedefin altındaki katman her zaman geleneksel vektörler aracılığıyla saldırıya neden olabilir. Bu nedenle, geleneksel güvenlik uygulamaları, özellikle AI ve geleneksel yazılım arasında kullanılan aralıksız güvenlik açıklarının (veri/algo katmanı) katmanında her zaman olduğundan daha önemlidir.

Önem Derecesi

Kritik

8 Kötü amaçlı ML sağlayıcılar, eğitim verilerini kurtarabilirsiniz

Açıklama

Kötü amaçlı sağlayıcılar, özel eğitim verilerin kurtarılmalarını sağlar. Tek başına modele göre yüzleri ve metinleri yeniden oluşturabilecekler.

Geleneksel Paraleller

Hedefli bilgilerin açıklanması

Azaltmalar

Bu saldırının uygulanabilirliğini gösteren araştırma belgeleri Eş Dönüşüm Şifreleme'nin etkili bir risk azaltma olacağını gösteriyor. Bu, Microsoft ve AETHER Security Mühendislik tarafından çok az yatırım yapılan bir alandır ve bu alanda araştırma yatırımları konusunda uzmanlık geliştirmenizi önermektedir. Bu araştırma, Eş dönüşüm şifreleme onluklar sırala olmalı ve kötü amaçlı hizmet sağlayıcılarının yüzlerinde azaltma ML pratik etkinliğini değerlendirmeli.

Önem Derecesi

Veriler PII ise önemli, değilse Orta

#9 Tedarik Zincirine ML Saldırı

Açıklama

Algoritmaları eğitmek için gereken büyük kaynaklara (veri + hesaplama) çok uygun olan geçerli uygulama, büyük şirketler tarafından eğitilen modelleri yeniden kullanmak ve bunları mevcut görevlerde biraz değiştirmektir (örneğin: ResNet, Microsoft'un popüler resim tanıma modelidir). Bu modeller Model Caf (Caffe ev sahipliği yapan popüler resim tanıma modellerinde) olarak bulunmaktadır. Bu saldırıda, Caffe'de barındırılan modeller diğer herkes için iyi bir saldırı olacak. [1]

Geleneksel Paraleller

• Üçüncü taraf güvenlik dışı bağımlılığın güvenliği tehlikeye at

• Uygulama deposu kötü amaçlı yazılım barındırmayı bilmeden barındırıyor

Azaltmalar

• Mümkün olduğunca modeller ve veriler için üçüncü taraf bağımlılıklarını en aza indirme.

• Bu bağımlılıkları tehdit modelleme sürecinize dahil etmek.

• Güçlü kimlik doğrulaması, 1. /3 rd -party^sistemleriarasında erişim^denetimive şifrelemeden faydalanın.

Önem Derecesi

Kritik

#10 Backdoor Machine Learning

Açıklama

Eğitim süreci, eğitim verileriyle oynatan ve belirli bir virüsü kötü amaçlı olmayan[1] olarak sınıflandırma gibi hedefli yanlış sınıflandırmaları kabul eden Truvalı bir model teslim eden kötü amaçlı üçüncü taraf bir taraf için kaynak dışıdır. Hizmet olarak ML oluşturma senaryolarında bu risktir.

[12]

Geleneksel Paraleller

• Üçüncü taraf güvenlik bağımlılığının güvenliği ödün verme

• Güvenliği ihlal edilmiş Yazılım Güncelleştirmesi mekanizması

• Sertifika Yetkilisinin güvenliği

Azaltmalar

Reactive/Detection Detection Actions

• Bu tehdit bulunduktan sonra hasar zaten yapılır, dolayısıyla modele ve kötü amaçlı sağlayıcı tarafından sağlanan eğitim verilerine güvenilemez.

Proaktif/Koruyucu Eylemler

• Tüm hassas modelleri evde eğitin

• Eğitim verilerini kataloglama veya bu verilerin güçlü güvenlik uygulamalarıyla güvenilen bir üçüncü taraftan geldiğinden emin ol

• Tehdit modeli MLaaS sağlayıcısıyla kendi sistemleriniz arasındaki etkileşim

Yanıt Eylemleri

• Dış bağımlılığın güvenliğinin tehlikeye at olmasıyla aynı

Önem Derecesi

Kritik

ML sisteminin #11 Açık yazılım bağımlılıkları

Açıklama

Bu saldırıda, saldırgan algoritmaları IŞLEMEZ. Bunun yerine, arabellek taşması veya çapraz site betiği[1] gibi yazılım açıklarından faydalanabilir. Güvenlik Geliştirme Yaşam Döngüsü'de ayrıntılı olarak ayrıntılı olarak bulunan geleneksel güvenlik tehditi azaltma uygulamaları, öğrenme katmanına doğrudan saldırıya ML, AI/ML altındaki yazılım katmanlarını tehlikeye atabilirsiniz.

Geleneksel Paraleller

• Güvenliği Tehlikeye Açık Kaynak Yazılım Bağımlılığı

• Web sunucusu güvenlik açığı (XSS, CSRF, API giriş doğrulama hatası)

Azaltmalar

Uygun Güvenlik Geliştirme Yaşam Döngüsü/İşlem Güvenliği Güvencesi en iyi uygulamalarını takip etmek için güvenlik ekibimizle birlikte çalışma.

Önem Derecesi

Değişken; Geleneksel yazılım güvenlik açığının türüne bağlı olarak En Çok Kritik.

Kaynakça

[1] Machine Learning'daki Hata Modları, Ram Burhan Sneyİp, David O'Brien, Kendra Albert, Salome Viljoen veAnd Snover.https://docs.microsoft.com/security/failure-modes-in-machine-learning

[2] AETHER Security Engineering Workstream, Data Provenance/Lineage v-team

[3] Derin Dünya'daki Adversarial Örnekler Learning: Karakterleme ve Ayrık, Wei, ve al,https://arxiv.org/pdf/1807.00051.pdf

[4] ML Sızıntıları: Model ve VeriLerden Bağımsız Üyelik Inference Saldırıları ve Savunması Machine Learning Modelleri, Salem, ve al,https://arxiv.org/pdf/1806.01246v2.pdf

[5] M. Fredrikson, S. Jha ve T. Ristenpart, " Model Inversion Attacks that Exploit Confidence Information andBasic Countermeasures"in proceedings of the 2015 ACM SIGSAC Conference on Computer and Communications Security (CCS).

[6] Machine Learning TB 2017'de Ayrıca Papernot & Patrick McDaniel- Adversarial Örnekleri

[7] Tahmin API'leri Machine Learning,Clean Lauèr, École Polytechnique Fédérale de Lausanne (EPFL) üzerinden model çalmak; Fan Fan, Cornell University; Ari Juels, Cornell Tech; Michael K. Reiter, The University of North Carolina at Chapel Hill; Thomas Ristenpart, Cornell Tech

[8] Aktarılabilir AdversarialÖrneklerinin Alanı , Clean Bruèr , Venezuela Papernot , Ian Goodfellow , Dan Slovh ve Patrick McDaniel

[9] Well-Generalized Learning Modellerinde Üyelik Çıkarlarını Anlama Yunhui Long1 , Vincent Bindschaedler1 , Vincent Karl2 , Diyue Bu2 , Vincentfeng 2 , Haixu Chen2 , Vincent A.Ter1 ve Kai Chen3,4

[10] Simon-Gabriel et al., sinirsel ağların Adversarial güvenlik açığı giriş boyutu arttıkça, ArXiv 2018;

[11] Lyu et al., adversarial örnekleri için birleşik bir gradyan normalleştirme ailesi, ICDM 2015

[12] Wild Patterns: Rise of Adversarial Machine Learning On Yıl - NeCS 2019Ista Biggioa, Fabio Roli

[13] Ankaotik Sınıflandırma Inigo In in in bir al kullanarak tersli güçlü kötü amaçlı yazılım algılaması.

[14] Farista Biggio, Iginoİ, Giorgio Fumera, Giorgio Yercinto ve Fabio Roli. Adversarial Sınıflandırma Görevlerde Saldırılar için Sınıflayıcıları Etiketleme

[15] Hongjiang Li ve Patrick P.K. Zaman'ın Olumsuz Etkiyle Karşıtlık Üzerine Geliştirilmiş Reddet

[16] Adler. Biyometrik şifreleme sistemlerindeki güvenlik açıkları. 5. Int'l Conf. AVBPA, 2005

[17] Galbally, McCool, Fierrez, Math, Ortega-Madrid. Tepe-saldırı saldırılarına yüz doğrulama sistemlerinin güvenlik açığı vardır. Patt. Rec., 2010

[18] Weilin Xu, David Qi, Yan yalçın Qi. Özellik Sıkıyor: Derin Sinir Ağlarında Ters-Dönüş Örneklerini Algılama. 2018 Ağ ve Dağıtılmış Sistem Güvenlik. 18-21 Şubat.

[19] Adversarial Eğitimi tarafından Sahip Olduğu Model Güvenini Kullanarak Adversarial Sağlamlığı Yeniden Zorlama - Xi Wu, Uyeong Jang, Jiefeng Chen, Lingjiao Chen, Somesh Jha

[20] Adversarial Örneklerini Algılamak için Attribution tarafından yönlendiren Nedensel Çözümleme, Attrimit Jha, Brianmit Jha, Steven Fernandes, SumitOn Jha, Somesh Jha,Jan Verma, Brian Jalaian, Ananthram Swami

[21] Eğitim verilerine yönelik güçlü doğrusal regresyon – Chang Liu et al.

[22] Adversarial Sağlamlığını Geliştirmek için ÖzellikNoising Özelliği, Cihang Xie, Yuxin Wu, Laurens van der Maaten, Alan Yuille, Kaiming He

[23] Adversarial Örneklerine Karşı Sertifikalı Savunma - Aditi Bunathan, Jacob Steinsteint, Atti Liang