AksEndpoint Класс
Примечание
Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.
Представляет коллекцию версий веб-службы, расположенных за той же конечной точкой, которая выполняется в Службе Azure Kubernetes.
В то время как AksWebservice развертывает единую службу с единой конечной точкой оценки, класс AksEndpoint позволяет развертывать несколько версий веб-службы за одной и той же конечной точкой оценки. Каждая версия веб-службы может быть настроена для обслуживания определенного процента трафика, что позволяет развертывать модели в управляемом виде, например, для тестирования A/B. AksEndpoint позволяет выполнять развертывание из объекта модели, подобного AksWebservice.
Инициализируйте экземпляр Webservice.
Конструктор Веб-службы извлекает облачное представление объекта Webservice, связанного с предоставленной рабочей областью. Он вернет экземпляр дочернего класса, соответствующий конкретному типу извлеченного объекта Webservice.
- Наследование
-
AksEndpoint
Конструктор
AksEndpoint(workspace, name)Параметры
Переменные
- versions
- dict[str, AksWebservice]
Словарь имени версии для объекта версии. Содержит все версии, развернутые в составе этого объекта Endpoint.
Методы
| create_version |
Добавление новой версии в Endpoint с предоставленными свойствами. |
| delete_version |
Удаление версии в Endpoint. |
| deploy_configuration |
Создание объекта конфигурации для развертывания целевого объекта вычислений AKS. |
| serialize |
Преобразует этот объект WebService в сериализованный словарь JSON. |
| update |
Обновление объекте Endpoint с помощью предоставленных свойств. Значения, для которых указано None, останутся в этом объекте Endpoint без изменений. |
| update_version |
Обновление существующей версии в объекте Endpoint с помощью указанных свойств. Значения, для которых указано None, останутся в этой версии без изменений. |
create_version
Добавление новой версии в Endpoint с предоставленными свойствами.
create_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Параметры
- autoscale_enabled
- bool
Включение автомасштабирования для этой версии в объекте Endpoint.
По умолчанию используется значение True, если num_replicas = None.
- autoscale_min_replicas
- int
Минимальное количество используемых контейнеров при автомасштабировании этой версии в объекте Endpoint. Значение по умолчанию — 1.
- autoscale_max_replicas
- int
Максимальное количество используемых контейнеров при автомасштабировании этой версии в объекте Endpoint. Значение по умолчанию — 10.
- autoscale_refresh_seconds
- int
Частота, с которой должны выполняться попытки автомасштабирования этой версии в объекте Endpoint. Значение по умолчанию — 1.
- autoscale_target_utilization
- int
Целевой объем использования (в процентах от 100), который нужно пытаться поддерживать при автомасштабировании этой версии в объекте Endpoint. Значение по умолчанию — 70.
- collect_model_data
- bool
Включение сбора данных модели для этой версии в объекте Endpoint. Значение по умолчанию — False.
- cpu_cores
- float
Количество ядер ЦП, выделяемых для этой версии в объекте Endpoint. Может выражаться десятичным числом. Значение по умолчанию — 0,1.
- memory_gb
- float
Объем памяти (ГБ), выделяемой для этой версии в Endpoint. Может выражаться десятичным числом. Значение по умолчанию — 0,5
- scoring_timeout_ms
- int
Время ожидания принудительной оценки вызовов этой версии в объекте Endpoint. Значение по умолчанию — 60000.
- replica_max_concurrent_requests
- int
Максимальное количество одновременных запросов на реплику, которое будет разрешено для этой версии в объекте Endpoint. По умолчанию равен 1. Не изменяйте этот параметр со значения по умолчанию 1, если это не требует служба технической поддержки Майкрософт или член команды Машинного обучения Azure.
- max_request_wait_time
- int
Максимальный период времени (в миллисекундах), в течение которого запрос будет оставаться в очереди до возврата ошибки 503. По умолчанию: 500.
- num_replicas
- int
Количество контейнеров, выделяемых для этой версии в объекте Endpoint. Значения по умолчанию нет. Если этот параметр не задан, средство автомасштабирования будет включено по умолчанию.
Словарь тегов значений ключа для предоставления этому объекту Endpoint.
Словарь свойств значений ключа для предоставления этому объекту Endpoint. Эти свойства нельзя изменить после развертывания, однако можно добавить новые пары "ключ-значение".
Список объектов Model для упаковки в обновленную службу.
- inference_config
- InferenceConfig
Объект InferenceConfig, используемый для предоставления требуемых свойств развертывания модели.
- gpu_cores
- int
Количество ядер GPU, выделяемых для этой версии в объекте Endpoint. Значение по умолчанию — 0.
- period_seconds
- int
Частота (в секундах) выполнения пробы активности. Значение по умолчанию — 10 секунд. Минимальное значение — 1.
- initial_delay_seconds
- int
Количество секунд после запуска контейнера перед инициированием пробы активности. Значение по умолчанию — 310.
- timeout_seconds
- int
Период в секундах, после которого истекает время ожидания пробы активности. Значение по умолчанию — 2 секунды. Минимальное значение — 1.
- success_threshold
- int
Минимальное число последовательных успешных попыток проведения пробы активности после сбоя, которое нужно, чтобы проба считалась успешной. По умолчанию равен 1. Минимальное значение — 1.
- failure_threshold
- int
Количество попыток (failureThreshold), выполняемых Kubernetes, до их полного прекращения в случае запуска pod, но сбоя пробы активности. Значение по умолчанию — 3. Минимальное значение — 1.
- traffic_percentile
- float
Объем трафика, который получает версия в конечной точке.
- is_default
- bool
Использование этой версии в качестве версии по умолчанию в Endpoint. Значение по умолчанию — False.
- is_control_version_type
- bool
Использование этой версии в качестве контрольной версии в Endpoint. Значение по умолчанию — False.
- cpu_cores_limit
- float
Максимальное число ядер ЦП, которое может использовать этот объект WebService. Может выражаться десятичным числом.
- memory_gb_limit
- float
Максимальный объем памяти (в ГБ), который может использовать этот объект WebService. Может выражаться десятичным числом.
Исключения
delete_version
Удаление версии в Endpoint.
delete_version(version_name)Параметры
Исключения
deploy_configuration
Создание объекта конфигурации для развертывания целевого объекта вычислений AKS.
static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, version_name=None, traffic_percentile=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None)Параметры
- autoscale_enabled
- bool
Включение автомасштабирования для этой версии в объекте Endpoint.
По умолчанию используется значение True, если num_replicas = None.
- autoscale_min_replicas
- int
Минимальное количество используемых контейнеров при автомасштабировании этой версии в объекте Endpoint. По умолчанию равен 1.
- autoscale_max_replicas
- int
Максимальное количество используемых контейнеров при автомасштабировании этой версии в объекте Endpoint. Значение по умолчанию равно 10.
- autoscale_refresh_seconds
- int
Частота, с которой должны выполняться попытки автомасштабирования этой версии в объекте Endpoint. По умолчанию равен 1.
- autoscale_target_utilization
- int
Целевой объем использования (в процентах от 100), который нужно пытаться поддерживать при автомасштабировании этой версии в объекте Endpoint. Значение по умолчанию — 70.
- collect_model_data
- bool
Включение сбора данных модели для этой версии в объекте Endpoint. Значение по умолчанию — False.
- auth_enabled
- bool
Включение проверки подлинности на основе ключа для этой версии в объекте Endpoint. Значение по умолчанию — True.
- cpu_cores
- float
Количество ядер ЦП, выделяемых для этой версии в Endpoint. Может выражаться десятичным числом. Значение по умолчанию — 0,1.
- memory_gb
- float
Объем памяти (ГБ), выделяемой для этой версии в Endpoint. Может выражаться десятичным числом. Значение по умолчанию — 0,5
- enable_app_insights
- bool
Включение ведения журнала Application Insights для этой версии в объекте Endpoint. Значение по умолчанию — False.
- scoring_timeout_ms
- int
Время ожидания принудительной оценки вызовов этой версии в объекте Endpoint. Значение по умолчанию — 60 000.
- replica_max_concurrent_requests
- int
Максимальное количество одновременных запросов на реплику, которое будет разрешено для этой версии в объекте Endpoint. По умолчанию равен 1. Не изменяйте этот параметр со значения по умолчанию 1, если это не требует служба технической поддержки Майкрософт или член команды Машинного обучения Azure.
- max_request_wait_time
- int
Максимальный период времени (в миллисекундах), в течение которого запрос будет оставаться в очереди до возврата ошибки 503. По умолчанию: 500.
- num_replicas
- int
Количество контейнеров, выделяемых для этой версии в объекте Endpoint. Значения по умолчанию нет. Если этот параметр не задан, средство автомасштабирования будет включено по умолчанию.
- primary_key
- str
Первичный ключ проверки подлинности, используемый для этого объекта Endpoint.
- secondary_key
- str
Вторичный ключ проверки подлинности, используемый для этого объекта Endpoint.
Словарь тегов значений ключа для предоставления этому объекту Endpoint.
Словарь свойств значений ключа для предоставления этому объекту Endpoint. Эти свойства нельзя изменить после развертывания, но можно добавить новые пары "ключ — значение"
- gpu_cores
- int
Количество ядер GPU, выделяемых для этой версии в объекте Endpoint. Значение по умолчанию — 0.
- period_seconds
- int
Частота (в секундах) выполнения пробы активности. Значение по умолчанию — 10 секунд. Минимальное значение — 1.
- initial_delay_seconds
- int
Количество секунд после запуска контейнера до начала пробы активности. Значение по умолчанию — 310.
- timeout_seconds
- int
Количество секунд, после которого истекает время ожидания пробы активности. Значение по умолчанию — 2 секунды. Минимальное значение — 1.
- success_threshold
- int
Минимальное число последовательных успешных попыток пробы активности после сбоя, после которых проба будет считаться успешной. По умолчанию равен 1. Минимальное значение — 1.
- failure_threshold
- int
Количество попыток (failureThreshold), выполняемых Kubernetes, до их полного прекращения в случае запуска pod, но сбоя пробы активности. Значение по умолчанию — 3. Минимальное значение — 1.
- namespace
- str
Пространство имен Kubernetes, в котором развертывается эта конечная точка: до 63 строчных букв, цифр (a–z, 0–9) и дефисов (-). Первый и последний символы не могут быть дефисами.
- token_auth_enabled
- bool
Указывает, следует ли включить проверку подлинности на основе маркера для этого объекта Endpoint. Если этот параметр включен, пользователи могут получить маркер для доступа к этому объекту Endpoint с помощью учетных данных Azure Active Directory. Значение по умолчанию — False.
- traffic_percentile
- float
Объем трафика, который получает версия в объекте Endpoint.
- compute_target_name
- str
Имя целевого объект вычислений, в который будет выполняться развертывание.
- cpu_cores_limit
- float
Максимальное число ядер ЦП, которое может использовать этот объект WebService. Может выражаться десятичным числом.
- memory_gb_limit
- float
Максимальный объем памяти (в ГБ), который может использовать этот объект WebService. Может выражаться десятичным числом.
Возвращаемый тип
Исключения
serialize
Преобразует этот объект WebService в сериализованный словарь JSON.
serialize()Возвращаемое значение
Представление JSON этого объекта WebService.
Возвращаемый тип
Исключения
update
Обновление объекте Endpoint с помощью предоставленных свойств.
Значения, для которых указано None, останутся в этом объекте Endpoint без изменений.
update(auth_enabled=None, token_auth_enabled=None, enable_app_insights=None, description=None, tags=None, properties=None)Параметры
- auth_enabled
- bool
Включение проверки подлинности на основе ключа для этой версии в объекте Endpoint. Значение по умолчанию — True.
- token_auth_enabled
- bool
Указывает, следует ли включить проверку подлинности на основе маркера для этого объекта Endpoint. Если этот параметр включен, пользователи могут получить маркер для доступа к этому объекту Endpoint с помощью учетных данных Azure Active Directory. Значение по умолчанию — False.
- enable_app_insights
- bool
Включение ведения журнала Application Insights для этой версии в объекте Endpoint. Значение по умолчанию — False.
Словарь тегов значений ключа для предоставления этому объекту Endpoint.
Словарь свойств значений ключа для предоставления этому объекту Endpoint. Эти свойства нельзя изменить после развертывания, однако можно добавить новые пары "ключ-значение".
Исключения
update_version
Обновление существующей версии в объекте Endpoint с помощью указанных свойств.
Значения, для которых указано None, останутся в этой версии без изменений.
update_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Параметры
- autoscale_enabled
- bool
Включение автомасштабирования для этой версии в объекте Endpoint. По умолчанию имеет значение True, если num_replicas имеет значение None.
- autoscale_min_replicas
- int
Минимальное количество используемых контейнеров при автомасштабировании этой версии в объекте Endpoint. По умолчанию равен 1.
- autoscale_max_replicas
- int
Максимальное количество используемых контейнеров при автомасштабировании этой версии в объекте Endpoint. Значение по умолчанию равно 10.
- autoscale_refresh_seconds
- int
Частота, с которой должны выполняться попытки автомасштабирования этой версии в объекте Endpoint. Значение по умолчанию — 1.
- autoscale_target_utilization
- int
Целевой объем использования (в процентах от 100), который нужно пытаться поддерживать при автомасштабировании этой версии в объекте Endpoint. Значение по умолчанию — 70.
- collect_model_data
- bool
Включение сбора данных модели для этой версии в объекте Endpoint. Значение по умолчанию — False.
- cpu_cores
- float
Количество ядер ЦП, выделяемых для этой версии в Endpoint. Может выражаться десятичным числом. Значение по умолчанию — 0,1.
- memory_gb
- float
Объем памяти (ГБ), выделяемой для этой версии в Endpoint. Может выражаться десятичным числом. Значение по умолчанию — 0,5
- scoring_timeout_ms
- int
Время ожидания принудительной оценки вызовов этой версии в объекте Endpoint. Значение по умолчанию — 60000.
- replica_max_concurrent_requests
- int
Максимальное количество одновременных запросов на реплику, которое будет разрешено для этой версии в объекте Endpoint. По умолчанию равен 1. Не изменяйте этот параметр со значения по умолчанию 1, если это не требует служба технической поддержки Майкрософт или член команды Машинного обучения Azure.
- max_request_wait_time
- int
Максимальный период времени (в миллисекундах), в течение которого запрос будет оставаться в очереди до возврата ошибки 503. По умолчанию: 500.
- num_replicas
- int
Количество контейнеров, выделяемых для этой версии в объекте Endpoint. Значения по умолчанию нет. Если этот параметр не задан, средство автомасштабирования будет включено по умолчанию.
Словарь тегов значений ключа для предоставления этому объекту Endpoint.
Словарь свойств значений ключа для предоставления этому объекту Endpoint. Эти свойства нельзя изменить после развертывания, однако можно добавить новые пары "ключ-значение".
Список объектов Model для упаковки в обновленную службу.
- inference_config
- InferenceConfig
Объект InferenceConfig, используемый для предоставления требуемых свойств развертывания модели.
- gpu_cores
- int
Количество ядер GPU, выделяемых для этой версии в объекте Endpoint. Значение по умолчанию — 0.
- period_seconds
- int
Частота (в секундах) выполнения пробы активности. Значение по умолчанию — 10 секунд. Минимальное значение — 1.
- initial_delay_seconds
- int
Количество секунд после запуска контейнера перед инициированием пробы активности. Значение по умолчанию — 310.
- timeout_seconds
- int
Период в секундах, после которого истекает время ожидания пробы активности. Значение по умолчанию — 2 секунды. Минимальное значение — 1.
- success_threshold
- int
Минимальное число последовательных успешных попыток проведения пробы активности после сбоя, которое нужно, чтобы проба считалась успешной. По умолчанию равен 1. Минимальное значение — 1.
- failure_threshold
- int
Количество попыток (failureThreshold), выполняемых Kubernetes, до их полного прекращения в случае запуска pod, но сбоя пробы активности. Значение по умолчанию — 3. Минимальное значение — 1.
- traffic_percentile
- float
Объем трафика, который получает версия в конечной точке.
- is_default
- bool
Использование этой версии в качестве версии по умолчанию в Endpoint. Значение по умолчанию — False.
- is_control_version_type
- bool
Использование этой версии в качестве контрольной версии в Endpoint. Значение по умолчанию — False.
- cpu_cores_limit
- float
Максимальное число ядер ЦП, которое может использовать этот объект WebService. Может выражаться десятичным числом.
- memory_gb_limit
- float
Максимальный объем памяти (в ГБ), который может использовать этот объект WebService. Может выражаться десятичным числом.
Исключения
Обратная связь
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделе https://aka.ms/ContentUserFeedback.
Отправить и просмотреть отзыв по