Поделиться через

Настройка фильтров содержимого с помощью Службы Azure OpenAI

  • Статья

Примечание.

Все клиенты могут изменять фильтры содержимого и настраивать пороговые значения серьезности (низкий, средний, высокий). Утверждение требуется для частичного или полного отключения фильтров содержимого. Управляемые клиенты могут применяться только для полного элемента управления фильтрацией содержимого с помощью этой формы: Azure OpenAI Limited Access Review: Modified Content Filters. В настоящее время невозможно стать управляемым клиентом.

Система фильтрации содержимого, интегрированная в службу Azure OpenAI, работает вместе с основными моделями, включая модели создания образов DALL-E. В нем используется ансамбль моделей классификации с несколькими классами для обнаружения четырех категорий вредного содержимого (насилия, ненависти, сексуального и самостоятельного вреда) на четырех уровнях серьезности (безопасный, низкий, средний и высокий), а также необязательные двоичные классификаторы для обнаружения риска взлома, существующего текста и кода в общедоступных репозиториях. Конфигурация фильтрации содержимого по умолчанию используется для фильтрации по порогу средней серьезности для всех четырех категорий вреда содержимого для запросов и завершения. Это означает, что содержимое, обнаруженное на уровне серьезности среднего или высокого уровня, фильтруется, а содержимое, обнаруженное на низком или безопасном уровне серьезности, не фильтруется фильтрами содержимого. Дополнительные сведения о категориях контента, уровнях серьезности и поведении системы фильтрации содержимого см. здесь. Обнаружение рисков в тюрьме и защищенные модели текста и кода являются необязательными и отключенными по умолчанию. Функция настройки позволяет всем клиентам включать и отключать модели в виде тюрьмы и защищенных материалов. Модели по умолчанию отключены и могут быть включены для каждого сценария. Некоторые модели должны быть включены для определенных сценариев, чтобы сохранить покрытие в соответствии с обязательством по защите авторских прав клиента.

Фильтры содержимого можно настроить на уровне ресурсов. После создания новой конфигурации ее можно связать с одним или несколькими развертываниями. Дополнительные сведения о моделях развертывания Azure, см. в руководстве по развертыванию ресурсов.

Функция настройки доступна в предварительной версии и позволяет клиентам настраивать параметры отдельно для запросов и завершения, чтобы фильтровать содержимое для каждой категории контента на разных уровнях серьезности, как описано в таблице ниже. Содержимое, обнаруженное на уровне серьезности "безопасный", помечено в заметках, но не подлежит фильтрации и не настраивается.

Фильтрация серьезности Настраиваемая для запросов Настраиваемая для завершения Descriptions
Низкий, средний, высокий Да Да Самая строгая конфигурация фильтрации. Содержимое, обнаруженное на уровнях серьезности, низком, среднем и высоком, фильтруется.
Средний, высокий Да Да Значение по умолчанию. Содержимое, обнаруженное на низком уровне серьезности, не фильтруется, содержимое на среднем и высоком уровне фильтруется.
Высокая Да Да Содержимое, обнаруженное на уровнях серьезности, не фильтруется. Фильтруется только содержимое на высоком уровне серьезности.
Фильтры отсутствуют. Если утверждено* Если утверждено* Содержимое не фильтруется независимо от уровня серьезности. Требуется утверждение*.

* Только утвержденные клиенты имеют полный элемент управления фильтрацией содержимого и могут частично или полностью отключить фильтры содержимого. Управляемые клиенты могут применяться только для полного элемента управления фильтрацией содержимого с помощью этой формы: Azure OpenAI Limited Access Review: Modified Content Filters. В настоящее время невозможно стать управляемым клиентом.

Клиенты отвечают за обеспечение соответствия приложений, интегрирующих Azure OpenAI кодексу поведения.

Категория фильтра Значение по умолчанию Применено к запросу или завершению? Description
Обнаружение рисков в тюрьме Выключено Prompt Можно включить фильтрацию или аннотировать запросы пользователей, которые могут представлять риск для тюрьмы. Дополнительные сведения об использовании заметок см . в разделе "Фильтрация содержимого службы OpenAI Azure"
Защищенный материал — код off Completion Можно включить, чтобы получить пример ссылки и лицензии в заметках для фрагментов кода, соответствующих любым открытым источникам кода. Дополнительные сведения об использовании заметок см. в руководстве по фильтрации содержимого
Защищенный материал — текст off Completion Можно включить идентификацию и блокировать отображение известного текстового содержимого в выходных данных модели (например, текст песни, рецепты и выбранное веб-содержимое).

Настройка фильтров содержимого с помощью Azure OpenAI Studio (предварительная версия)

Ниже показано, как настроить настраиваемую конфигурацию фильтрации содержимого для ресурса.

  1. Перейдите в Azure OpenAI Studio и перейдите на вкладку "Фильтры содержимого" (в левом нижнем углу навигации, как указано в красном поле ниже).

    Снимок экрана: пользовательский интерфейс AI Studio с выделенными фильтрами содержимого

  2. Создайте настраиваемую конфигурацию фильтрации содержимого.

    Снимок экрана: пользовательский интерфейс конфигурации фильтрации содержимого с выбранным элементом создания

    Это приводит к следующему представлению конфигурации, где можно выбрать имя настраиваемой конфигурации фильтрации содержимого.

    Снимок экрана: пользовательский интерфейс конфигурации фильтрации содержимого

  3. Это представление конфигурации фильтрации содержимого по умолчанию, где содержимое фильтруется на средних и высоких уровнях серьезности для всех категорий. Вы можете изменить уровень серьезности фильтрации содержимого для запросов пользователей и завершения модели отдельно (конфигурация запросов находится в левом столбце и конфигурации для завершения находится в правом столбце, как указано в синих полях ниже) для каждой из четырех категорий контента (категории контента перечислены слева на экране, как указано в зеленом поле ниже). Существует три уровня серьезности для каждой категории, которые можно настроить: низкий, средний и высокий. Ползунок можно использовать для задания порогового значения серьезности.

    Снимок экрана: пользовательский интерфейс конфигурации фильтрации содержимого с выделенными запросами пользователей и завершением модели

  4. Если вы определяете, что для приложения или сценария использования требуется более строгий фильтр для некоторых или всех категорий контента, можно настроить параметры отдельно для запросов и завершения, чтобы отфильтровать их на более серьезном уровне, чем параметр по умолчанию. Пример показан на рисунке ниже, где уровень фильтрации для запросов пользователей установлен в строгой конфигурации для ненависти и сексуального характера, при этом содержимое с низким уровнем серьезности фильтруется вместе с содержимым, классифицированным как средний и высокий уровень серьезности (описано в красном поле ниже). В этом примере уровни фильтрации для завершения модели задаются в самой строгой конфигурации для всех категорий содержимого (синяя рамка ниже). С помощью этой измененной конфигурации фильтрации на месте, низкой, средней и высокой серьезности содержимое будет отфильтровываться по категориям ненависти и сексуальной активности в запросах пользователей; Содержимое среднего и высокого уровня серьезности будет отфильтровываться по категориям самоповредения и насилия в запросах пользователей; и низкой, средней и высокой серьезности содержимого будут фильтроваться для всех категорий контента в завершениях модели.

    Снимок экрана: конфигурация фильтрации содержимого с низким, средним, высоким, выделенным.

  5. Если вариант использования был утвержден для измененных фильтров содержимого, как описано выше, вы получаете полный контроль над конфигурациями фильтрации содержимого и можете отключить фильтрацию частично или полностью. На рисунке ниже фильтрация отключается для насилия (зеленое поле ниже), а конфигурации по умолчанию сохраняются для других категорий. Хотя это отключает функцию фильтра для насилия, содержимое по-прежнему будет аннотировано. Чтобы отключить все фильтры и заметки, отключите фильтры и заметки (красное поле ниже).

    Снимок экрана: конфигурация фильтрации содержимого с самостоятельным ущербом и насилием.

    Вы можете создать несколько конфигураций фильтрации содержимого в соответствии с вашими требованиями.

  6. Чтобы включить необязательные модели, можно выбрать любой из проверка boxs в левой части. Если каждая из необязательных моделей включена, можно указать, должна ли модель выполнять анотацию или фильтрацию.

  7. При выборе Annotate выполняется соответствующая модель и возвращаются заметки через ответ API, но он не будет фильтровать содержимое. Помимо заметок, вы также можете фильтровать содержимое, переключив переключатель фильтра вкл.

  8. Вы можете создать несколько конфигураций фильтрации содержимого в соответствии с вашими требованиями.

    Снимок экрана: несколько конфигураций содержимого в портал Azure.

  9. Затем, чтобы сделать настраиваемую конфигурацию фильтрации содержимого операционной, назначьте конфигурацию одному или нескольким развертываниям в ресурсе. Для этого перейдите на вкладку "Развертывания" и выберите "Изменить развертывание " (в верхней части экрана в красном поле ниже).

    Снимок экрана: конфигурация фильтрации содержимого с выделенным параметром

  10. Перейдите к дополнительным параметрам (описанным в синем поле ниже) выберите конфигурацию фильтра содержимого, подходящую для этого развертывания в раскрывающемся списке "Фильтр содержимого" (описано в нижней части диалогового окна в красном поле ниже).

    Снимок экрана: изменение конфигурации развертывания с выбранными расширенными параметрами.

  11. Нажмите кнопку "Сохранить" и закройте, чтобы применить выбранную конфигурацию к развертыванию.

    Снимок экрана: изменение конфигурации развертывания с выбранным фильтром содержимого.

  12. При необходимости можно также изменить и удалить конфигурацию фильтра содержимого. Для этого перейдите на вкладку фильтров содержимого и выберите нужное действие (параметры, описанные в верхней части экрана в красном поле ниже). Вы можете одновременно изменять и удалять только одну конфигурацию фильтрации.

    Снимок экрана: конфигурация фильтра содержимого с выделенным изменением и удалением.

    Примечание.

    Перед удалением конфигурации фильтрации содержимого необходимо отменить назначение из любого развертывания на вкладке "Развертывания".

Рекомендации

Мы рекомендуем сообщить о решениях по настройке фильтрации содержимого с помощью итеративной идентификации (например, красного тестирования, стресс-тестирования и анализа) и процесса измерения, чтобы устранить потенциальные последствия, которые относятся к определенной модели, приложению и сценарию развертывания. После реализации таких мер, как фильтрация содержимого, повторите измерение для проверки эффективности. Рекомендации и рекомендации по ответственному ИИ для Azure OpenAI, на основеMicrosoft Responsible AI Standard можно найти в обзоре ответственного ИИ для Azure OpenAI.

Следующие шаги