AksEndpoint Klas
Notitie
Dit is een experimentele klasse en kan op elk gewenst moment worden gewijzigd. Zie https://aka.ms/azuremlexperimental voor meer informatie.
Vertegenwoordigt een verzameling webserviceversies achter hetzelfde eindpunt dat wordt uitgevoerd op Azure Kubernetes Service.
Terwijl een AksWebservice één service met één score-eindpunt implementeert, kunt u met de klasse AksEndpoint meerdere webserviceversies achter hetzelfde score-eindpunt implementeren. Elke webserviceversie kan worden geconfigureerd voor een percentage van het verkeer, zodat u modellen op een gecontroleerde manier kunt implementeren, bijvoorbeeld voor A/B-tests. Het AksEndpoint staat implementatie toe vanuit een modelobject dat vergelijkbaar is met AksWebservice.
Initialiseer het webservice-exemplaar.
De webserviceconstructor haalt een cloudweergave op van een webserviceobject dat is gekoppeld aan de opgegeven werkruimte. Er wordt een exemplaar van een onderliggende klasse geretourneerd die overeenkomt met het specifieke type van het opgehaalde webserviceobject.
- Overname
-
AksEndpoint
Constructor
AksEndpoint(workspace, name)Parameters
- workspace
- Workspace
Het werkruimteobject met het webserviceobject dat moet worden opgehaald.
Variabelen
- versions
- dict[str, AksWebservice]
Een woordenlijst met de versienaam van het versieobject. Bevat alle versies die zijn geïmplementeerd als onderdeel van dit eindpunt.
Methoden
| create_version |
Voeg een nieuwe versie toe aan een eindpunt met de opgegeven eigenschappen. |
| delete_version |
Een versie in een eindpunt verwijderen. |
| deploy_configuration |
Maak een configuratieobject voor implementatie naar een AKS-rekendoel. |
| serialize |
Converteer deze webservice naar een geserialiseerde JSON-woordenlijst. |
| update |
Werk het eindpunt bij met de opgegeven eigenschappen. Waarden die als Geen zijn achtergelaten, blijven ongewijzigd in dit eindpunt |
| update_version |
Werk een bestaande versie bij in een eindpunt met de opgegeven eigenschappen. Waarden die als Geen zijn opgegeven, blijven ongewijzigd in deze versie. |
create_version
Voeg een nieuwe versie toe aan een eindpunt met de opgegeven eigenschappen.
create_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Parameters
- autoscale_enabled
- bool
Of automatisch schalen voor deze versie in een eindpunt moet worden ingeschakeld.
De standaardwaarde is Waar als num_replicas Geen is.
- autoscale_min_replicas
- int
Het minimale aantal containers dat moet worden gebruikt bij het automatisch schalen van deze versie in een eindpunt. Standaard ingesteld op 1
- autoscale_max_replicas
- int
Het maximum aantal containers dat moet worden gebruikt bij het automatisch schalen van deze versie in een eindpunt. De standaardwaarde is 10
- autoscale_refresh_seconds
- int
Hoe vaak de automatische schaalaanpassing moet proberen deze versie in een eindpunt te schalen. Standaard ingesteld op 1
- autoscale_target_utilization
- int
Het doelgebruik (in procent van 100) dat de automatische schaalaanpassing moet proberen te onderhouden voor deze versie in een eindpunt. De standaardwaarde is 70
- collect_model_data
- bool
Of het verzamelen van modelgegevens voor deze versie in een eindpunt al dan niet moet worden ingeschakeld. Standaard ingesteld op False.
- cpu_cores
- float
Het aantal CPU-kernen dat moet worden toegewezen voor deze versie in een eindpunt. Kan een decimaal getal zijn. Standaard ingesteld op 0.1
- memory_gb
- float
De hoeveelheid geheugen (in GB) die moet worden toegewezen voor deze versie in een eindpunt. Kan een decimaal getal zijn. De standaardwaarde is 0,5
- scoring_timeout_ms
- int
Een time-out om af te dwingen voor score-aanroepen naar deze versie in een eindpunt. De standaardwaarde is 60000.
- replica_max_concurrent_requests
- int
Het aantal maximale gelijktijdige aanvragen per replica dat deze versie in een eindpunt toestaat. Standaardwaarde is 1. Wijzig deze instelling niet van de standaardwaarde 1, tenzij u hiervoor instructies krijgt van de technische ondersteuning van Microsoft of een lid van het Azure Machine Learning-team.
- max_request_wait_time
- int
De maximale hoeveelheid tijd die een aanvraag in de wachtrij blijft (in milliseconden) voordat een fout van 503 wordt geretourneerd. De standaardwaarde is 500.
- num_replicas
- int
Het aantal containers dat moet worden toegewezen voor deze versie in een eindpunt. Geen standaardwaarde, als deze parameter niet is ingesteld, is automatische schaalaanpassing standaard ingeschakeld.
Woordenlijst met sleutelwaarde-eigenschappen voor dit eindpunt. Deze eigenschappen kunnen niet worden gewijzigd na de implementatie, maar er kunnen wel nieuwe sleutelwaardeparen worden toegevoegd.
Een lijst met modelobjecten die moeten worden verpakt met de bijgewerkte service.
- inference_config
- InferenceConfig
Een InferenceConfig-object dat wordt gebruikt om de vereiste modelimplementatie-eigenschappen te bieden.
- gpu_cores
- int
Het aantal GPU-kernen dat moet worden toegewezen voor deze versie in een eindpunt. De standaardwaarde is 0.
- period_seconds
- int
Hoe vaak (in seconden) de activiteitstest moet worden uitgevoerd. De standaardwaarde is 10 seconden. Minimumwaarde is 1.
- initial_delay_seconds
- int
Het aantal seconden nadat de container is gestart voordat de activiteitstests worden gestart. De standaardwaarde is 310.
- timeout_seconds
- int
Het aantal seconden waarna er een time-out optreedt voor de liveness-test. De standaardwaarde is 2 seconden. Minimumwaarde is 1.
- success_threshold
- int
De minimale opeenvolgende successen voor de liveness-test om als geslaagd te worden beschouwd nadat deze is mislukt. Standaardwaarde is 1. Minimumwaarde is 1.
- failure_threshold
- int
Wanneer een pod wordt gestart en de activiteitstest mislukt, probeert Kubernetes failureThreshold keer voordat hij stopt. Standaardwaarde is 3. Minimumwaarde is 1.
- traffic_percentile
- float
De hoeveelheid verkeer die de versie in een eindpunt afneemt.
- is_default
- bool
Of u deze versie al dan niet als standaardversie in een eindpunt wilt instellen. Standaard ingesteld op False.
- is_control_version_type
- bool
Of u deze versie al dan niet als besturingselementversie in een eindpunt wilt maken. Standaard ingesteld op False.
- cpu_cores_limit
- float
Het maximum aantal CPU-kernen dat deze webservice mag gebruiken. Kan een decimaal getal zijn.
- memory_gb_limit
- float
De maximale hoeveelheid geheugen (in GB) die deze webservice mag gebruiken. Kan een decimaal getal zijn.
Uitzonderingen
delete_version
Een versie in een eindpunt verwijderen.
delete_version(version_name)Parameters
Uitzonderingen
deploy_configuration
Maak een configuratieobject voor implementatie naar een AKS-rekendoel.
static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, version_name=None, traffic_percentile=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None)Parameters
- autoscale_enabled
- bool
Of automatisch schalen al dan niet moet worden ingeschakeld voor deze versie in een eindpunt.
De standaardwaarde is Waar als num_replicas Geen is.
- autoscale_min_replicas
- int
Het minimale aantal containers dat moet worden gebruikt bij het automatisch schalen van deze versie in een eindpunt. Standaardwaarde is 1.
- autoscale_max_replicas
- int
Het maximum aantal containers dat moet worden gebruikt bij het automatisch schalen van deze versie in een eindpunt. De standaardwaarde is 10.
- autoscale_refresh_seconds
- int
Hoe vaak de automatische schaalaanpassing moet proberen deze versie in een eindpunt te schalen. Standaardwaarde is 1.
- autoscale_target_utilization
- int
Het doelgebruik (in procenten van 100) dat de automatische schaalaanpassing moet proberen te onderhouden voor deze versie in een eindpunt. De standaardwaarde is 70.
- collect_model_data
- bool
Of het verzamelen van modelgegevens voor deze versie in een eindpunt al dan niet moet worden ingeschakeld. Standaard ingesteld op False.
- auth_enabled
- bool
Of sleutelverificatie al dan niet moet worden ingeschakeld voor deze versie in een eindpunt. De standaardwaarde is True.
- cpu_cores
- float
Het aantal CPU-kernen dat moet worden toegewezen voor deze versie in een eindpunt. Kan een decimaal getal zijn. Standaard ingesteld op 0.1
- memory_gb
- float
De hoeveelheid geheugen (in GB) die moet worden toegewezen voor deze versie in een eindpunt. Kan een decimaal getal zijn. De standaardwaarde is 0,5
- enable_app_insights
- bool
Of applicationInsights-logboekregistratie al dan niet moet worden ingeschakeld voor deze versie in een eindpunt. Standaard ingesteld op False.
- scoring_timeout_ms
- int
Een time-out voor het afdwingen van scoreaanroepen naar deze versie in een eindpunt. De standaardwaarde is 60000
- replica_max_concurrent_requests
- int
Het aantal maximale gelijktijdige aanvragen per replica dat deze versie in een eindpunt toestaat. Standaardwaarde is 1. Wijzig deze instelling niet van de standaardwaarde 1, tenzij u hiervoor instructies krijgt van de technische ondersteuning van Microsoft of een lid van het Azure Machine Learning-team.
- max_request_wait_time
- int
De maximale hoeveelheid tijd die een aanvraag in de wachtrij blijft (in milliseconden) voordat een fout van 503 wordt geretourneerd. De standaardwaarde is 500.
- num_replicas
- int
Het aantal containers dat moet worden toegewezen voor deze versie in een eindpunt. Geen standaardwaarde, als deze parameter niet is ingesteld, is automatische schaalaanpassing standaard ingeschakeld.
- primary_key
- str
Een primaire verificatiesleutel die moet worden gebruikt voor dit eindpunt.
- secondary_key
- str
Een secundaire verificatiesleutel die moet worden gebruikt voor dit eindpunt.
Woordenlijst met sleutelwaarde-eigenschappen voor dit eindpunt. Deze eigenschappen kunnen niet worden gewijzigd na de implementatie, maar er kunnen wel nieuwe sleutelwaardeparen worden toegevoegd
- gpu_cores
- int
Het aantal GPU-kernen dat moet worden toegewezen voor deze versie in een eindpunt. De standaardwaarde is 0.
- period_seconds
- int
Hoe vaak (in seconden) de activiteitstest moet worden uitgevoerd. De standaardwaarde is 10 seconden. Minimumwaarde is 1.
- initial_delay_seconds
- int
Aantal seconden nadat de container is gestart voordat de activiteitstests worden gestart. De standaardwaarde is 310.
- timeout_seconds
- int
Het aantal seconden waarna er een time-out optreedt voor de activiteitstest. De standaardinstelling is 2 seconden. Minimumwaarde is 1.
- success_threshold
- int
De minimale opeenvolgende successen voor de activiteitstest voordat de test succesvol of mislukt is. Standaardwaarde is 1. Minimumwaarde is 1.
- failure_threshold
- int
Wanneer een pod wordt gestart en de activiteitstest mislukt, probeert failureThreshold Kubernetes het af en toe voordat hij opgeeft. Standaardwaarde is 3. Minimumwaarde is 1.
- namespace
- str
De Kubernetes-naamruimte waarin dit eindpunt moet worden geïmplementeerd: maximaal 63 kleine alfanumerieke tekens ('a'-'z', '0'-'9') en afbreekstreepjes ('-'). De eerste en laatste tekens mogen geen afbreekstreepjes zijn.
- token_auth_enabled
- bool
Of tokenverificatie al dan niet moet worden ingeschakeld voor dit eindpunt. Als dit is ingeschakeld, hebben gebruikers toegang tot dit eindpunt door het toegangstoken op te halen met behulp van hun Azure Active Directory-referenties. Standaard ingesteld op False.
- traffic_percentile
- float
de hoeveelheid verkeer dat de versie in een eindpunt afneemt.
- cpu_cores_limit
- float
Het maximum aantal CPU-kernen dat deze webservice mag gebruiken. Kan een decimaal getal zijn.
- memory_gb_limit
- float
De maximale hoeveelheid geheugen (in GB) die deze webservice mag gebruiken. Kan een decimaal getal zijn.
Retourtype
Uitzonderingen
serialize
Converteer deze webservice naar een geserialiseerde JSON-woordenlijst.
serialize()Retouren
De JSON-weergave van deze webservice.
Retourtype
Uitzonderingen
update
Werk het eindpunt bij met de opgegeven eigenschappen.
Waarden die als Geen zijn achtergelaten, blijven ongewijzigd in dit eindpunt
update(auth_enabled=None, token_auth_enabled=None, enable_app_insights=None, description=None, tags=None, properties=None)Parameters
- auth_enabled
- bool
Of sleutelverificatie al dan niet moet worden ingeschakeld voor deze versie in een eindpunt. De standaardwaarde is True.
- token_auth_enabled
- bool
Of tokenverificatie al dan niet moet worden ingeschakeld voor dit eindpunt. Als dit is ingeschakeld, hebben gebruikers toegang tot dit eindpunt door het toegangstoken op te halen met behulp van hun Azure Active Directory-referenties. Standaard ingesteld op False.
- enable_app_insights
- bool
Of Application Insights-logboekregistratie voor deze versie in een eindpunt moet worden ingeschakeld. Standaard ingesteld op False.
Woordenlijst met sleutelwaarde-eigenschappen voor dit eindpunt. Deze eigenschappen kunnen niet worden gewijzigd na de implementatie, maar er kunnen wel nieuwe sleutelwaardeparen worden toegevoegd.
Uitzonderingen
update_version
Werk een bestaande versie bij in een eindpunt met de opgegeven eigenschappen.
Waarden die als Geen zijn opgegeven, blijven ongewijzigd in deze versie.
update_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Parameters
- autoscale_enabled
- bool
Of automatisch schalen al dan niet moet worden ingeschakeld voor deze versie in een eindpunt. De standaardwaarde is True als num_replicas Geen is.
- autoscale_min_replicas
- int
Het minimale aantal containers dat moet worden gebruikt bij het automatisch schalen van deze versie in een eindpunt. Standaardwaarde is 1.
- autoscale_max_replicas
- int
Het maximum aantal containers dat moet worden gebruikt bij het automatisch schalen van deze versie in een eindpunt. De standaardwaarde is 10.
- autoscale_refresh_seconds
- int
Hoe vaak de automatische schaalaanpassing moet proberen deze versie in een eindpunt te schalen. Standaard ingesteld op 1
- autoscale_target_utilization
- int
Het doelgebruik (in procenten van 100) dat de automatische schaalaanpassing moet proberen te onderhouden voor deze versie in een eindpunt. De standaardwaarde is 70.
- collect_model_data
- bool
Of het verzamelen van modelgegevens voor deze versie in een eindpunt al dan niet moet worden ingeschakeld. Standaard ingesteld op False.
- cpu_cores
- float
Het aantal CPU-kernen dat moet worden toegewezen voor deze versie in een eindpunt. Kan een decimaal getal zijn. Standaard ingesteld op 0.1
- memory_gb
- float
De hoeveelheid geheugen (in GB) die moet worden toegewezen voor deze versie in een eindpunt. Kan een decimaal getal zijn. De standaardwaarde is 0,5
- scoring_timeout_ms
- int
Een time-out die moet worden afgedwongen voor het scoren van aanroepen naar deze versie in een eindpunt. De standaardwaarde is 60000.
- replica_max_concurrent_requests
- int
Het aantal maximale gelijktijdige aanvragen per replica dat deze versie in een eindpunt toestaat. Standaardwaarde is 1. Wijzig deze instelling niet van de standaardwaarde 1, tenzij u hiervoor instructies krijgt van de technische ondersteuning van Microsoft of een lid van het Azure Machine Learning-team.
- max_request_wait_time
- int
De maximale hoeveelheid tijd die een aanvraag in de wachtrij blijft (in milliseconden) voordat een fout van 503 wordt geretourneerd. De standaardwaarde is 500.
- num_replicas
- int
Het aantal containers dat moet worden toegewezen voor deze versie in een eindpunt. Geen standaardwaarde, als deze parameter niet is ingesteld, is automatische schaalaanpassing standaard ingeschakeld.
Woordenlijst met sleutelwaarde-eigenschappen voor dit eindpunt. Deze eigenschappen kunnen niet worden gewijzigd na de implementatie, maar er kunnen wel nieuwe sleutelwaardeparen worden toegevoegd.
Een lijst met modelobjecten die moeten worden verpakt met de bijgewerkte service
- inference_config
- InferenceConfig
Een InferenceConfig-object dat wordt gebruikt om de vereiste eigenschappen voor modelimplementatie te bieden.
- gpu_cores
- int
Het aantal GPU-kernen dat moet worden toegewezen voor deze versie in een eindpunt. De standaardwaarde is 0.
- period_seconds
- int
Hoe vaak (in seconden) de activiteitstest moet worden uitgevoerd. De standaardwaarde is 10 seconden. Minimumwaarde is 1.
- initial_delay_seconds
- int
Het aantal seconden nadat de container is gestart voordat de activiteitstests worden gestart. De standaardwaarde is 310.
- timeout_seconds
- int
Het aantal seconden waarna er een time-out optreedt voor de activiteitstest. De standaardinstelling is 2 seconden. Minimumwaarde is 1.
- success_threshold
- int
De minimale opeenvolgende successen voor de liveness-test om als geslaagd te worden beschouwd nadat deze is mislukt. Standaardwaarde is 1. Minimumwaarde is 1.
- failure_threshold
- int
Wanneer een pod wordt gestart en de activiteitstest mislukt, probeert Kubernetes failureThreshold keer voordat hij stopt. Standaardwaarde is 3. Minimumwaarde is 1.
- traffic_percentile
- float
De hoeveelheid verkeer die de versie in een eindpunt afneemt.
- is_default
- bool
Of u deze versie al dan niet als standaardversie in een eindpunt wilt instellen. Standaard ingesteld op False.
- is_control_version_type
- bool
Of deze versie al dan niet als besturingselementversie in een eindpunt moet worden opgegeven. Standaard ingesteld op False.
- cpu_cores_limit
- float
Het maximum aantal CPU-kernen dat deze webservice mag gebruiken. Kan een decimaal getal zijn.
- memory_gb_limit
- float
De maximale hoeveelheid geheugen (in GB) die deze webservice mag gebruiken. Kan een decimaal getal zijn.
Uitzonderingen
Feedback
Binnenkort beschikbaar: In de loop van 2024 zullen we GitHub-problemen geleidelijk uitfaseren als het feedbackmechanisme voor inhoud en deze vervangen door een nieuw feedbacksysteem. Zie voor meer informatie: https://aka.ms/ContentUserFeedback.
Feedback verzenden en weergeven voor