AksEndpoint Osztály
Megjegyzés
Ez egy kísérleti osztály, és bármikor változhat. További információ: https://aka.ms/azuremlexperimental.
Webszolgáltatás-verziók gyűjteményét jelöli ugyanazon végpont mögött, amely a Azure Kubernetes Service fut.
Míg egy AksWebservice szolgáltatás egyetlen pontozási végponttal rendelkezik, az AksEndpoint osztály lehetővé teszi több webszolgáltatás-verzió üzembe helyezését ugyanazon pontozási végpont mögött. Minden webszolgáltatás-verzió konfigurálható úgy, hogy a forgalom egy százalékát szolgálja ki, így szabályozott módon helyezhet üzembe modelleket, például A/B teszteléshez. Az AksEndpoint lehetővé teszi az üzembe helyezést az AksWebservice-hez hasonló modellobjektumból.
Inicializálja a Webservice-példányt.
A Webszolgáltatás-konstruktor lekéri a megadott munkaterülethez társított webszolgáltatás-objektum felhőbeli ábrázolását. Egy gyermekosztály egy példányát adja vissza, amely megfelel a lekért webszolgáltatás-objektum adott típusának.
- Öröklődés
-
AksEndpoint
Konstruktor
AksEndpoint(workspace, name)Paraméterek
- workspace
- Workspace
A lekérni kívánt Webservice objektumot tartalmazó munkaterület-objektum.
Változók
- versions
- dict[str, AksWebservice]
A verziónév és a verzióobjektum szótára. A végpont részeként üzembe helyezett összes verziót tartalmazza.
Metódusok
| create_version |
Adjon hozzá egy új verziót egy végponthoz a megadott tulajdonságokkal. |
| delete_version |
Verzió törlése egy végponton. |
| deploy_configuration |
Hozzon létre egy konfigurációs objektumot egy AKS számítási célon való üzembe helyezéshez. |
| serialize |
Konvertálja ezt a webszolgáltatást JSON szerializált szótárlá. |
| update |
Frissítse a végpontot a megadott tulajdonságokkal. A Nincs érték változatlan marad ebben a végpontban |
| update_version |
Frissítsen egy meglévő verziót egy végponton a megadott tulajdonságokkal. A Nincs érték változatlan marad ebben a verzióban. |
create_version
Adjon hozzá egy új verziót egy végponthoz a megadott tulajdonságokkal.
create_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Paraméterek
- autoscale_enabled
- bool
Azt jelzi, hogy engedélyezi-e az automatikus skálázást ehhez a verzióhoz egy végponton.
Alapértelmezés szerint Igaz, ha num_replicas nincs.
- autoscale_min_replicas
- int
A verzió végponton belüli automatikus skálázásakor használandó tárolók minimális száma. Alapértelmezett érték: 1
- autoscale_max_replicas
- int
A verzió végponton belüli automatikus skálázásakor használandó tárolók maximális száma. Alapértelmezett érték: 10
- autoscale_refresh_seconds
- int
Milyen gyakran próbálja meg az automatikus skálázási eszköz ezt a verziót egy végponton skálázni. Alapértelmezett érték: 1
- autoscale_target_utilization
- int
A cél kihasználtsága (a 100-ból százalékban) az automatikus skálázási eszköznek meg kell kísérelnie fenntartani ezt a verziót egy végponton. Alapértelmezett érték: 70
- collect_model_data
- bool
Azt határozza meg, hogy engedélyezi-e a modelladatok gyűjtését ehhez a verzióhoz egy végponton. Alapértelmezés szerint False (Hamis)
- cpu_cores
- float
Az ehhez a verzióhoz kiosztandó processzormagok száma egy végponton. Tizedes tört is lehet. Alapértelmezett érték: 0,1
- memory_gb
- float
Az ehhez a verzióhoz a végponton lefoglalandó memória mennyisége (GB-ban). Tizedes tört is lehet. Alapértelmezett érték: 0,5
- scoring_timeout_ms
- int
Időtúllépés az erre a verzióra irányuló, végponton belüli pontozási hívások kényszerítéséhez. Alapértelmezés szerint 60000.
- replica_max_concurrent_requests
- int
Replikánkénti maximális egyidejű kérések száma, amelyek lehetővé teszik ezt a verziót egy végponton. Alapértelmezés szerint 1. Ne módosítsa ezt a beállítást az alapértelmezett 1 értékről, kivéve, ha a Microsoft műszaki támogatási szolgálata vagy az Azure Machine Learning csapatának tagja utasítja.
- max_request_wait_time
- int
A kérések maximális időtartama (ezredmásodpercben), mielőtt 503-at ad vissza. Alapértelmezés szerint 500.
- num_replicas
- int
Az ehhez a verzióhoz lefoglalandó tárolók száma egy végponton. Nincs alapértelmezett érték, ha ez a paraméter nincs beállítva, akkor az automatikus skálázási eszköz alapértelmezés szerint engedélyezve van.
A végponthoz tartozó kulcsérték-tulajdonságok szótára. Ezek a tulajdonságok az üzembe helyezés után nem módosíthatók, de új kulcsértékpárok is hozzáadhatók.
A frissített szolgáltatással csomagolni kívánt modellobjektumok listája.
- inference_config
- InferenceConfig
Egy InferenceConfig objektum, amely a modell szükséges üzembehelyezési tulajdonságainak megadására szolgál.
- gpu_cores
- int
A végpont ezen verziójához lefoglalandó GPU-magok száma. Alapértelmezés szerint 0.
- period_seconds
- int
Milyen gyakran (másodpercben) hajtja végre az élőség-mintavételt. Alapértelmezés szerint 10 másodperc. A minimális érték 1.
- initial_delay_seconds
- int
A tároló elindítása után másodpercek száma az élettartam-mintavételek kezdeményezése előtt. Alapértelmezés szerint 310.
- timeout_seconds
- int
A másodpercek száma, amely után az élettartam-mintavétel túllépi az időkorlátot. Alapértelmezés szerint 2 másodperc. A minimális érték 1.
- success_threshold
- int
Az élettartam-mintavétel sikerességének minimális egymást követő sikerei a sikertelenség után sikeresnek tekinthetők. Alapértelmezés szerint 1. A minimális érték 1.
- failure_threshold
- int
Amikor elindul egy pod, és az élettartam-mintavétel sikertelen lesz, a Kubernetes megpróbálkozhat a failureThreshold times before a feladással. Alapértelmezés szerint 3. A minimális érték 1.
- traffic_percentile
- float
A verzió által a végponton átmenő forgalom mennyisége.
- is_default
- bool
Azt határozza meg, hogy ez a verzió legyen-e alapértelmezett verzió egy végponton. Alapértelmezés szerint Hamis.
- is_control_version_type
- bool
Azt határozza meg, hogy ez a verzió legyen-e vezérlőverzió egy végponton. Alapértelmezés szerint Hamis.
- cpu_cores_limit
- float
A webszolgáltatás által használható processzormagok maximális száma. Tizedes tört is lehet.
- memory_gb_limit
- float
A webszolgáltatás által használható maximális memóriamennyiség (GB-ban). Tizedes tört is lehet.
Kivételek
delete_version
Verzió törlése egy végponton.
delete_version(version_name)Paraméterek
Kivételek
deploy_configuration
Hozzon létre egy konfigurációs objektumot egy AKS számítási célon való üzembe helyezéshez.
static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, version_name=None, traffic_percentile=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None)Paraméterek
- autoscale_enabled
- bool
Azt jelzi, hogy engedélyezi-e az automatikus skálázást ehhez a verzióhoz egy végponton.
Alapértelmezés szerint Igaz, ha num_replicas nincs.
- autoscale_min_replicas
- int
Azoknak a tárolóknak a minimális száma, amelyet a verzió végpontokban történő automatikus skálázásakor használni kell. Alapértelmezés szerint 1.
- autoscale_max_replicas
- int
Azoknak a tárolóknak a maximális száma, amelyet a verzió végpontokban történő automatikus skálázásakor használhat. Alapértelmezés szerint 10.
- autoscale_refresh_seconds
- int
Milyen gyakran próbálja meg az automatikus skálázó ezt a verziót egy végponton skálázni. Alapértelmezés szerint 1.
- autoscale_target_utilization
- int
A cél kihasználtsága (a 100-ból százalékban) az automatikus skálázónak meg kell kísérelnie az adott verzió fenntartását egy végponton. Alapértelmezés szerint 70.
- collect_model_data
- bool
Azt jelzi, hogy engedélyezi-e a modelladatok gyűjtését ehhez a verzióhoz egy végponton. Alapértelmezés szerint Hamis.
- auth_enabled
- bool
Azt jelzi, hogy engedélyezi-e a kulcs-hitelesítést ehhez a verzióhoz egy végponton. Alapértelmezés szerint Igaz.
- cpu_cores
- float
Az ehhez a verzióhoz lefoglalt processzormagok száma egy végponton. Lehet decimális. Alapértelmezett érték: 0.1
- memory_gb
- float
Az ehhez a verzióhoz lefoglalt memória mennyisége (GB-ban) egy végpontban. Lehet decimális. Alapértelmezett érték: 0,5
- enable_app_insights
- bool
Azt jelzi, hogy engedélyezi-e az ApplicationInsights naplózását ehhez a verzióhoz egy végponton. Alapértelmezés szerint Hamis.
- scoring_timeout_ms
- int
Időtúllépés a végpont ezen verziójára irányuló pontozási hívások kényszerítéséhez. Alapértelmezett érték: 60000
- replica_max_concurrent_requests
- int
Replikánkénti maximális egyidejű kérések száma, amelyek lehetővé teszik ezt a verziót egy végponton. Alapértelmezés szerint 1. Ne módosítsa ezt a beállítást az alapértelmezett 1 értékről, kivéve, ha a Microsoft technikai támogatási szolgálata vagy az Azure Machine Learning-csapat tagja utasítja.
- max_request_wait_time
- int
Az 503-at tartalmazó hiba visszaadása előtt a kérések maximális időtartama (ezredmásodpercben) az üzenetsorban marad. Alapértelmezés szerint 500.
- num_replicas
- int
Az ehhez a verzióhoz lefoglalandó tárolók száma egy végponton. Nincs alapértelmezett érték, ha ez a paraméter nincs beállítva, akkor az automatikus skálázás alapértelmezés szerint engedélyezve van.
- secondary_key
- str
A végponthoz használandó másodlagos hitelesítési kulcs.
A végponthoz tartozó kulcsérték-tulajdonságok szótára. Ezek a tulajdonságok nem módosíthatók az üzembe helyezés után, de új kulcsértékpárok is hozzáadhatók
- gpu_cores
- int
Az ehhez a verzióhoz lefoglalt GPU-magok száma egy végponton. Alapértelmezés szerint 0.
- period_seconds
- int
Milyen gyakran (másodpercben) hajtja végre az élőségi mintavételt. Alapértelmezés szerint 10 másodperc. A minimális érték 1.
- initial_delay_seconds
- int
A tároló elindítása utáni másodpercek száma az élőségi mintavételek elindítása előtt. Alapértelmezés szerint 310.
- timeout_seconds
- int
Azon másodpercek száma, amelyek után az élőképesség-mintavétel túllépi az időkorlátot. Alapértelmezés szerint 2 másodperc. A minimális érték 1.
- success_threshold
- int
A sikertelen működés után sikeresnek ítélt élettartam-mintavétel minimális egymást követő sikerei. Alapértelmezés szerint 1. A minimális érték 1.
- failure_threshold
- int
Amikor elindul egy pod, és az élőképesség-mintavétel meghiúsul, a Kubernetes kipróbálja failureThreshold az időpontokat, mielőtt feladná. Alapértelmezés szerint 3. A minimális érték 1.
- namespace
- str
Az a Kubernetes-névtér, amelyben ezt a végpontot üzembe kell helyezni: legfeljebb 63 kisbetűs alfanumerikus ('a'-'z', '0'-'9') és kötőjel ('-') karakter. Az első és az utolsó karakter nem lehet kötőjel.
- token_auth_enabled
- bool
Azt jelzi, hogy engedélyezi-e a jogkivonat hitelesítését ehhez a végponthoz. Ha ez engedélyezve van, a felhasználók hozzáféréssel férhetnek hozzá ehhez a végponthoz a hozzáférési jogkivonat lekérésével az Azure Active Directory-hitelesítő adataikkal. Alapértelmezés szerint Hamis.
- traffic_percentile
- float
a verzió által a végponton átmenő forgalom mennyisége.
- compute_target_name
- str
A központilag üzembe helyezendő számítási cél neve
- cpu_cores_limit
- float
A webszolgáltatás által használható processzormagok maximális száma. Lehet decimális.
- memory_gb_limit
- float
A webszolgáltatás által használható maximális memóriamennyiség (GB-ban). Lehet decimális.
Visszatérési típus
Kivételek
serialize
Konvertálja ezt a webszolgáltatást JSON szerializált szótárlá.
serialize()Válaszok
A webszolgáltatás JSON-reprezentációja.
Visszatérési típus
Kivételek
update
Frissítse a végpontot a megadott tulajdonságokkal.
A Nincs érték változatlan marad ebben a végpontban
update(auth_enabled=None, token_auth_enabled=None, enable_app_insights=None, description=None, tags=None, properties=None)Paraméterek
- auth_enabled
- bool
Azt jelzi, hogy engedélyezi-e a kulcs-hitelesítést ehhez a verzióhoz egy végponton. Alapértelmezés szerint Igaz.
- token_auth_enabled
- bool
Azt jelzi, hogy engedélyezi-e a jogkivonat hitelesítését ehhez a végponthoz. Ha ez engedélyezve van, a felhasználók hozzáféréssel férhetnek hozzá ehhez a végponthoz a hozzáférési jogkivonat lekérésével az Azure Active Directory-hitelesítő adataikkal. Alapértelmezés szerint Hamis.
- enable_app_insights
- bool
Azt jelzi, hogy engedélyezi-e az Application Insights-naplózást ehhez a verzióhoz egy végponton. Alapértelmezés szerint Hamis.
A végponthoz tartozó kulcsérték-tulajdonságok szótára. Ezek a tulajdonságok nem módosíthatók az üzembe helyezés után, azonban új kulcsértékpárok is hozzáadhatók.
Kivételek
update_version
Frissítsen egy meglévő verziót egy végponton a megadott tulajdonságokkal.
A Nincs érték változatlan marad ebben a verzióban.
update_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Paraméterek
- autoscale_enabled
- bool
Azt jelzi, hogy engedélyezi-e az automatikus skálázást ehhez a verzióhoz egy végponton. Alapértelmezés szerint Igaz, ha num_replicas Nincs.
- autoscale_min_replicas
- int
Azoknak a tárolóknak a minimális száma, amelyet a verzió végpontokban történő automatikus skálázásakor használni kell. Alapértelmezés szerint 1.
- autoscale_max_replicas
- int
Azoknak a tárolóknak a maximális száma, amelyet a verzió végpontokban történő automatikus skálázásakor használhat. Alapértelmezés szerint 10.
- autoscale_refresh_seconds
- int
Milyen gyakran próbálja meg az automatikus skálázó ezt a verziót egy végponton skálázni. Alapértelmezett érték: 1
- autoscale_target_utilization
- int
A cél kihasználtsága (a 100-ból százalékban) az automatikus skálázónak meg kell kísérelnie az adott verzió fenntartását egy végponton. Alapértelmezés szerint 70.
- collect_model_data
- bool
Azt jelzi, hogy engedélyezi-e a modelladatok gyűjtését ehhez a verzióhoz egy végponton. Alapértelmezés szerint Hamis.
- cpu_cores
- float
Az ehhez a verzióhoz lefoglalt processzormagok száma egy végponton. Lehet decimális. Alapértelmezett érték: 0.1
- memory_gb
- float
Az ehhez a verzióhoz lefoglalt memória mennyisége (GB-ban) egy végpontban. Lehet decimális. Alapértelmezett érték: 0,5
- scoring_timeout_ms
- int
Időtúllépés az erre a verzióra irányuló, végponton belüli pontozási hívások kényszerítéséhez. Alapértelmezés szerint 60000.
- replica_max_concurrent_requests
- int
Replikánkénti maximális egyidejű kérések száma, amelyek lehetővé teszik ezt a verziót egy végponton. Alapértelmezés szerint 1. Ne módosítsa ezt a beállítást az alapértelmezett 1 értékről, kivéve, ha a Microsoft műszaki támogatási szolgálata vagy az Azure Machine Learning csapatának tagja utasítja.
- max_request_wait_time
- int
A kérések maximális időtartama (ezredmásodpercben), mielőtt 503-at ad vissza. Alapértelmezés szerint 500.
- num_replicas
- int
Az ehhez a verzióhoz lefoglalandó tárolók száma egy végponton. Nincs alapértelmezett érték, ha ez a paraméter nincs beállítva, akkor az automatikus skálázási eszköz alapértelmezés szerint engedélyezve van.
A végponthoz tartozó kulcsérték-tulajdonságok szótára. Ezek a tulajdonságok az üzembe helyezés után nem módosíthatók, de új kulcsértékpárok is hozzáadhatók.
A frissített szolgáltatással csomagolandó modellobjektumok listája
- inference_config
- InferenceConfig
Egy InferenceConfig objektum, amely a modell szükséges üzembehelyezési tulajdonságainak megadására szolgál.
- gpu_cores
- int
A végpont ezen verziójához lefoglalandó GPU-magok száma. Alapértelmezés szerint 0.
- period_seconds
- int
Milyen gyakran (másodpercben) hajtja végre az élőség-mintavételt. Alapértelmezés szerint 10 másodperc. A minimális érték 1.
- initial_delay_seconds
- int
A tároló elindítása után másodpercek száma az élettartam-mintavételek kezdeményezése előtt. Alapértelmezés szerint 310.
- timeout_seconds
- int
A másodpercek száma, amely után az élettartam-mintavétel túllépi az időkorlátot. Alapértelmezés szerint 2 másodperc. A minimális érték 1.
- success_threshold
- int
Az élettartam-mintavétel sikerességének minimális egymást követő sikerei a sikertelenség után sikeresnek tekinthetők. Alapértelmezés szerint 1. A minimális érték 1.
- failure_threshold
- int
Amikor elindul egy pod, és az élettartam-mintavétel sikertelen lesz, a Kubernetes megpróbálkozhat a failureThreshold times before a feladással. Alapértelmezés szerint 3. A minimális érték 1.
- traffic_percentile
- float
A verzió által a végponton átmenő forgalom mennyisége.
- is_default
- bool
Azt határozza meg, hogy ez a verzió legyen-e alapértelmezett verzió egy végponton. Alapértelmezés szerint Hamis.
- is_control_version_type
- bool
Azt határozza meg, hogy ez a verzió legyen-e vezérlőverzió egy végponton. Alapértelmezés szerint Hamis.
- cpu_cores_limit
- float
A webszolgáltatás által használható processzormagok maximális száma. Tizedes tört is lehet.
- memory_gb_limit
- float
A webszolgáltatás által használható maximális memóriamennyiség (GB-ban). Tizedes tört is lehet.
Kivételek
Visszajelzés
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ: https://aka.ms/ContentUserFeedback.
Visszajelzés küldése és megtekintése a következőhöz: