AI/ML на панели ошибок жизненного цикла разработки системы безопасности

Андрей Кузнецов, Югол Парих, Эмре Кичиман и Рам Маракар Сива Кумар

Ноябрь 2019 г.

Этот документ является частью технических методик Майкрософт AETHER для рабочей группы ИИ и функций в дополнение к существующей панели ошибок SDL, используемой для проверки традиционных уязвимостей безопасности. Он предназначен для использования в качестве ссылки на вопросы безопасности, связанные с ML ИИ и ML. Более подробные сведения об анализе угроз и их снижениях можно найти в теме Моделирование угроз ИИ/ML систем и зависимостей.

В этом руководстве подробно содержатся ссылки на таксономию в связи с угрозами Машинное обучение, созданную РамомОм Маракаром Сивой Кумаром, Дмитрием О'Брайеном, Андреем Иваном, Алексеем Viljoen и Алексеем Зуева в режиме сбоев в Машинное обучение. Обратите внимание, что хотя в исследованиях это содержимое основано на адресах как преднамеренных, вредоносных, так и случайных действий в ML режимах сбоя, это дополнение к этой панели ошибок в основном посвящено преднамеренным/вредоносным действиям, которые могут привести к инциденту безопасности и/или развертыванию исправления.

Угрозу Тяжести Описание, бизнес-риски и примеры
Передачу данных Важно для критического

Поврежденные данные обучения. Целью злоумышленника является изменение модели компьютера, сгенерируемой на этапе обучения, чтобы прогнозы на новых данных были изменены на этапе тестирования.

При атаке, нацеленной на целевую атаки, злоумышленник хочет неправильно классифицировать конкретные примеры, чтобы привести к конкретным действиям или их пропущению.

Отправка программного обеспечения av в качестве вредоносного, чтобы классифицировать его как вредоносное и исключить использование целевого программного обеспечения av в клиентских системах.

Компания обучает свои модели на известном и надежном веб-сайте, чтобы обучить их данным в будущем. Впоследствии веб-сайт поставщика данных был скомпрометирован с помощью SQL с помощью перенаброски. Злоумышленник может погромочить набор данных по необходимости, а обучаемая модель не имеет представления о том, что данные подделыты.

Кража модели Важно для критического

Довеная к модели, относя к ней законные запросы. Функциональность новой модели та же, что и в основной модели. После воссоздания модели ее можно инвертировать для восстановления сведений о функциях или получения выводов на основе учебных данных.

Решение уравнений. Для модели, возвращаемой вероятности класса с помощью вывода API, злоумышленник может создать запросы для определения неизвестных переменных в модели.

Поиск путей — атака, которая использует особенности API для извлечения "решений", принятых деревом при классификации входных данных.

Атаки с переносимостью. Веха может обучить локальную модель (возможно, путем выдачи запросов на прогнозирование целевой модели) и использовать ее для моделирования примеров, которые передаются в целевую модель. Если ваша модель извлечена и обнаружена уязвима для типа ветвей ветвей, злоумышленник, который извлек копию модели, может разработать новые атаки на развернутую в вашей компании модель в автономном режиме.

В параметрах, в которых модель ML позволяет выявлять вехи, например выявлять спам, классификацию вредоносных программ и обнаружение сетевых аномалий, извлечение моделей может упростить атаки при отклонении.

Модельная инверсия Важно для критического

Личные функции, используемые в моделях машинного обучения, можно восстановить. Это включает восстановление личных учебных данных, к которые у злоумышленника нет доступа. Для этого нужно найти входные данные, которые максимально повысить возвращаемую степень доверия в зависимости от классификации, которая соответствует целевому объекту.

Пример: Анализ данных распознавания лиц из угадать или известные имена и доступ к API для запроса модели.

Пример в качестве вехи в физическом домене Критических Эти примеры могут привести к тому, что в физическом домене, например при наехав на автомобиль, при наехав на автозавершитель, из-за определенного цвета света (вводного текста) на знаке остановки, система распознавания изображений больше не будет видеть знак остановки в виде знака остановки.
Цепочка ML поставок Критических

К большим ресурсам (данным и вычислениям), которые необходимы для обучения алгоритмам, в настоящее время используется повторное использование моделей, подготовленных крупными корпорациями, и их немногое изменение для текущих задач (например, ResNet — это популярная модель распознавания изображений от Корпорации Майкрософт).

Эти модели отсвещены в модели (в Кафе размещены популярные модели распознавания изображений).

В результате этой атаки вся хребетящая атака на модели, которые были в Кафе, тем самым повеяла себя хорошо для всех остальных.

Алгоритм backdoored от поставщика вредоносных ML Критических

Компрометация алгоритма

Вредоносный ML как поставщик услуг представляет алгоритм backdoored, в котором восстанавливаются личные учебные данные. Это позволяет злоумышленнику восстанавливать конфиденциальные данные, такие как лица и текстовые сообщения, только по модели.

Перепроцес "Неврическая сеть" Важно для критического

С помощью специально созданного запроса от злоумышленника можно перепрограммировать ML к задаче, которая отклоняется от исходной цели средства.

Элементы управления неактивным доступом на API распознавания лиц, позволяющие третьим сторонам включаться в приложения, предназначенные для навредить пользователям, например в качестве причиняющих им вредов.

Это сценарий нарушения/учетной записи

Ветвление пертурбации Важно для критического

При атаках в стиле пертурбации злоумышленник похищает запрос, чтобы получить желаемый ответ из модели, развернутой в производственной окте. Это нарушение целостности данных модели, которое приводит к атакам в стиле размытия, когда конечный результат не обязательно является нарушением доступа или EOP, а скомпрометирует классификацию модели.

Это может быть манифестано с использованием определенных целевых слов таким образом, что ИИ запретит их, фактически запрещая службу законным пользователям с именами, которые соответствуют запрещенному слову.

Нежелательные нежелательные сообщения электронной почты можно классифицировать как нежелательные, а вредоносные сообщения — незащищенными. Эти атаки также называются атаками с помощью модели или имитации.

Злоумышленник может создать входные данные, чтобы снизить уровень достоверности правильной классификации, особенно в сценариях с высокой степенью опасности. Это также может быть форма большого количества ложных срабатываемых сообщений, которые переполняют администраторов или системы мониторинга с помощью мошеннических оповещений, не относящающихся от законных оповещений.

Вывод о членстве От умеренного до критического

Вывод отдельного участия в группе, используемой для обучения модели

Ex: prediction of procedures of procedures based on age/gender/hospital