InferenceConfig Класс

  • Ссылка

Представляет параметры конфигурации для пользовательской среды, используемой для развертывания.

Конфигурация вывода является входным параметром для действий Model, связанных с развертыванием:

Инициализируйте объект конфигурации.

Наследование
builtins.object
InferenceConfig

Конструктор

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Параметры

entry_script
str
Обязательно

Путь к локальному файлу, содержащему код, выполняемый для образа.

runtime
str
значение по умолчанию: None

Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.

conda_file
str
значение по умолчанию: None

Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.

extra_docker_file_steps
str
значение по умолчанию: None

Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.

source_directory
str
значение по умолчанию: None

Путь к папке, содержащей все файлы для создания образа.

enable_gpu
bool
значение по умолчанию: None

Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Значение по умолчанию — False.

description
str
значение по умолчанию: None

Описание для этого образа.

base_image
str
значение по умолчанию: None

Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.

base_image_registry
ContainerRegistry
значение по умолчанию: None

Реестр образов, содержащий базовый образ.

cuda_version
str
значение по умолчанию: None

Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0. Если задан параметр enable_gpu, по умолчанию используется версия 9.1.

environment
Environment
значение по умолчанию: None

Объект среды, используемый для развертывания. Среду не нужно регистрировать.

Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются entry_script, source_directory и description.

entry_script
str
Обязательно

Путь к локальному файлу, содержащему код, выполняемый для образа.

runtime
str
Обязательно

Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.

conda_file
str
Обязательно

Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.

extra_docker_file_steps
str
Обязательно

Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.

source_directory
str
Обязательно

Путь к папке, содержащей все файлы для создания образа.

enable_gpu
bool
Обязательно

Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Значение по умолчанию — False.

description
str
Обязательно

Описание для этого образа.

base_image
str
Обязательно

Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.

base_image_registry
ContainerRegistry
Обязательно

Реестр образов, содержащий базовый образ.

cuda_version
str
Обязательно

Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0. Если задан параметр enable_gpu, по умолчанию используется версия 9.1.

environment
Environment
Обязательно

Объект среды, используемый для развертывания. Среду не нужно регистрировать.

Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются entry_script, source_directory и description.

Комментарии

В следующем примере показано, как создать объект InferenceConfig и использовать его для развертывания модели.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Переменные

entry_script
str

Путь к локальному файлу, содержащему код, выполняемый для образа.

runtime
str

Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.

conda_file
str

Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.

extra_docker_file_steps
str

Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.

source_directory
str

Путь к папке, содержащей все файлы для создания образа.

enable_gpu
bool

Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes.

azureml.core.model.InferenceConfig.description

Описание для этого образа.

base_image
str

Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.

base_image_registry
ContainerRegistry

Реестр образов, содержащий базовый образ.

cuda_version
str

Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0. Если задан параметр enable_gpu, по умолчанию используется версия 9.1.

azureml.core.model.InferenceConfig.environment

Объект среды, используемый для развертывания. Среду не нужно регистрировать.

Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются entry_script, source_directory и description.

Методы

build_create_payload

Создает полезные данные создания для образа контейнера.
build_profile_payload

Создает полезные данные профилирования для пакета модели.
validate_configuration

Проверка допустимости указанных значений конфигурации.

Генерирует WebserviceException, если проверка завершается неудачно.
validation_script_content

Убедитесь, что синтаксис скрипта оценки допустим с помощью ast.parse.

Генерирует UserErrorException, если проверка завершается неудачно.

build_create_payload

Создает полезные данные создания для образа контейнера.

build_create_payload(workspace, name, model_ids)

Параметры

workspace
Workspace
Обязательно

Объект рабочей области для создания образа.

name
str
Обязательно

Имя изображения.

model_ids
list[str]
Обязательно

Список идентификаторов моделей для упаковки в образ.

Возвращаемое значение

Полезные данные для создания образа контейнера.

Возвращаемый тип

dict

Исключения

WebserviceException

build_profile_payload

Создает полезные данные профилирования для пакета модели.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Параметры

profile_name
str
Обязательно

Имя запуска профилирования.

input_data
str
значение по умолчанию: None

Входные данные для профилирования.

workspace
Workspace
значение по умолчанию: None

Объект рабочей области, в котором необходимо профилировать модель.

models
list[Model]
значение по умолчанию: None

Список объектов модели. Может быть пустым списком.

dataset_id
str
значение по умолчанию: None

Идентификатор, связанный с набором данных, содержащим входные данные для выполнения профилирования.

container_resource_requirements
ContainerResourceRequirements
значение по умолчанию: None

Требования к ресурсам контейнера для самого крупного экземпляра, на котором должна быть развернута модель.

description
str
значение по умолчанию: None

Описание, связываемое с сеансом профилирования.

Возвращаемое значение

Полезные данные профиля модели.

Возвращаемый тип

dict

Исключения

WebserviceException

validate_configuration

Проверка допустимости указанных значений конфигурации.

Генерирует WebserviceException, если проверка завершается неудачно.

validate_configuration()

Исключения

WebserviceException

validation_script_content

Убедитесь, что синтаксис скрипта оценки допустим с помощью ast.parse.

Генерирует UserErrorException, если проверка завершается неудачно.

validation_script_content()

Исключения

UserErrorException