Az Azure Machine Learningben elérhető Kubernetes-számítási cél ismertetése
ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)
Az Azure Machine Tanulás CLI/Python SDK 2-vel az Azure Machine Tanulás bevezetett egy új számítási célt – Kubernetes számítási célt. Egy meglévő Azure Kubernetes Service-fürt (AKS) vagy az Azure Arc-kompatibilis Kubernetes-fürt (Arc Kubernetes) egyszerűen engedélyezhető kubernetes számítási célként az Azure Machine Tanulás-ban, és használatával modelleket taníthat be vagy helyezhet üzembe.
Ebben a cikkben a következő tudnivalókat ismerheti meg:
- Működés
- Használati forgatókönyvek
- Ajánlott eljárások
- KubernetesCompute és örökölt AksCompute
Működés
Az Azure Machine Tanulás Kubernetes Compute kétféle Kubernetes-fürtöt támogat:
- AKS-fürt az Azure-ban. Az Ön által felügyelt AKS-fürttel az Azure-ban biztonsági és vezérlési funkciókhoz juthat, hogy megfeleljen a megfelelőségi követelményeknek, és rugalmasan felügyelhesse a csapatok ML-számítási feladatait.
- Arc Kubernetes-fürt az Azure-on kívül. Az Arc Kubernetes-fürttel modelleket taníthat be vagy helyezhet üzembe bármilyen helyszíni infrastruktúrában, többfelhős vagy peremhálózati infrastruktúrában.
Az AKS- vagy Arc Kubernetes-fürtön egyszerű fürtbővítmény üzembe helyezésével a Kubernetes-fürt zökkenőmentesen támogatott az Azure Machine Tanulás a betanítási vagy következtetési számítási feladatok futtatásához. Az alábbi egyszerű lépésekkel egyszerűen engedélyezheti és használhat egy meglévő Kubernetes-fürtöt az Azure Machine-hez Tanulás számítási feladathoz:
- Azure Kubernetes Service-fürt vagy Arc Kubernetes-fürt előkészítése.
- Az Azure Machine Tanulás bővítmény üzembe helyezése.
- Csatolja a Kubernetes-fürtöt az Azure Machine Tanulás-munkaterülethez.
- Használja a Kubernetes számítási célértéket a CLI v2, az SDK v2 és a Studio felhasználói felülete alapján.
It-operation csapat. Az informatikai üzemeltetési csapat feladata az első három lépés: egy AKS- vagy Arc Kubernetes-fürt előkészítése, az Azure Machine Tanulás fürtbővítmény üzembe helyezése, valamint a Kubernetes-fürt csatlakoztatása az Azure Machine Tanulás-munkaterülethez. Ezen alapvető számítási lépések mellett az informatikai üzemeltetési csapat olyan ismerős eszközöket is használ, mint az Azure CLI vagy a kubectl, hogy a következő feladatokat végezze el az adatelemzési csapat számára:
- Hálózati és biztonsági konfigurációk, például kimenő proxykiszolgáló-kapcsolat vagy Azure tűzfalkonfiguráció, következtetési útválasztó (azureml-fe) beállítása, SSL/TLS-megszakítás és virtuális hálózati konfiguráció.
- Példánytípusokat hozhat létre és kezelhet különböző ML számítási feladatokhoz, és hatékony számítási erőforrás-kihasználtságot érhet el.
- A Kubernetes-fürthöz kapcsolódó számítási feladatok lelövésével kapcsolatos problémák.
Adatelemzési csapat. Miután az informatikai üzemeltetési csapat befejezte a számítási beállítások és a számítási cél(ok) létrehozását, az adatelemzési csapat felfedezheti az Azure Machine Tanulás-munkaterületen elérhető számítási célok és példánytípusok listáját. Ezek a számítási erőforrások felhasználhatók betanítási vagy következtetési számítási feladatokhoz. Az adatelemzés a számítási cél nevét és a példánytípus nevét határozza meg az előnyben részesített eszközök vagy API-k használatával. Ezek a nevek lehetnek például az Azure Machine Tanulás CLI 2-es verziójának, a Python SDK v2-nek vagy a Studio felhasználói felületének.
A Kubernetes használati forgatókönyvei
Az Arc Kubernetes-fürttel modelleket hozhat létre, taníthat be és helyezhet üzembe bármilyen helyszíni és többfelhős infrastruktúrában a Kubernetes használatával. Ezzel megnyit néhány olyan új használati mintát, amely korábban nem volt lehetséges a felhőbeállítási környezetben. Az alábbi táblázat az Azure Machine Tanulás Kubernetes Compute által engedélyezett új használati minták összegzését tartalmazza:
Használati minta | Az adatok helye | Motiváció | Az Infra telepítője és az Azure Machine Tanulás implementálása |
---|---|---|---|
Modell betanítása a felhőben, modell helyszíni üzembe helyezése | Felhőbeli | Használja ki a felhőalapú számítást. Rugalmas számítási igények vagy speciális hardverek, például GPU miatt. A modellt a helyszínen kell üzembe helyezni a biztonsági, megfelelőségi vagy késési követelmények miatt |
1. Felügyelt Azure-számítás a felhőben. 2. Ügyfél által felügyelt Kubernetes a helyszínen. 3. Teljesen automatizált MLOps hibrid módban, beleértve a betanítási és modelltelepítési lépéseket is, amely zökkenőmentesen vált át a felhőről a helyszínire, és fordítva. 4. Megismételhető, minden eszköz megfelelően nyomon követve. Szükség esetén újratanított modell, és a modell üzembe helyezése automatikusan frissült az újratanítás után. |
Modell betanítása a helyszínen és a felhőben, üzembe helyezés a felhőben és a helyszínen | Felhőbeli | A helyszíni beruházásokat a felhő méretezhetőségével kombinálni kívánó szervezetek. Felhőbeli és helyszíni számításokat hozhat egyetlen üvegpanel alatt. Az adatok egyetlen igazságforrása a felhőben található, a helyszínire replikálható (azaz lazilyan a használaton vagy proaktív módon). A felhőalapú számítási elsődleges használat az, ha a helyszíni erőforrások nem érhetők el (használatban, karbantartás alatt), vagy nem rendelkeznek meghatározott hardverkövetelményekkel (GPU). | 1. Felügyelt Azure-számítás a felhőben. 2. Ügyfél által felügyelt Kubernetes a helyszínen. 3. Teljesen automatizált MLOps hibrid módban, beleértve a betanítási és modelltelepítési lépéseket is, amely zökkenőmentesen vált át a felhőről a helyszínire, és fordítva. 4. Megismételhető, minden eszköz megfelelően nyomon követve. Szükség esetén újratanított modell, és a modell üzembe helyezése automatikusan frissült az újratanítás után. |
Modell betanítása a helyszínen, modell üzembe helyezése a felhőben | Helyszíni | Az adatoknak a helyszínen kell maradniuk az adattárolási követelmények miatt. Modell üzembe helyezése a felhőben globális szolgáltatáshozzáférés vagy számítási rugalmasság érdekében a skálázás és az átviteli sebesség tekintetében. |
1. Felügyelt Azure-számítás a felhőben. 2. Ügyfél által felügyelt Kubernetes a helyszínen. 3. Teljesen automatizált MLOps hibrid módban, beleértve a betanítási és modelltelepítési lépéseket is, amely zökkenőmentesen vált át a felhőről a helyszínire, és fordítva. 4. Megismételhető, minden eszköz megfelelően nyomon követve. Szükség esetén újratanított modell, és a modell üzembe helyezése automatikusan frissült az újratanítás után. |
Saját AKS használata az Azure-ban | Felhőbeli | További biztonság és vezérlők. Minden magánhálózati IP-gépi tanulás az adatkiszivárgás megakadályozása érdekében. |
1. AKS-fürt egy Azure-beli virtuális hálózat mögött. 2. Hozzon létre privát végpontokat ugyanabban a virtuális hálózaton az Azure Machine Tanulás munkaterülethez és a hozzá tartozó erőforrásokhoz. 3. Teljesen automatizált MLOps. |
Teljes ml-életciklus a helyszínen | Helyszíni | Bizalmas adatok vagy védett IP-cím védelme, például ml-modellek és kód/szkriptek. | 1. Kimenő proxykiszolgáló-kapcsolat a helyszínen. 2. Az Azure ExpressRoute és az Azure Arc privát kapcsolata az Azure-erőforrásokhoz. 3. Ügyfél által felügyelt Kubernetes a helyszínen. 4. Teljesen automatizált MLOps. |
Korlátozások
KubernetesCompute
Az Azure Machine Tanulás számítási feladatainak (betanítási és modellkövetkező) célja a következő korlátozásokkal rendelkezik:
- Az Előzetes verziójú funkciók rendelkezésre állása az Azure Machine Tanulás nem garantált.
- Azonosított korlátozás: A modellkatalógusból és a beállításjegyzékből származó modellek (beleértve az alapmodellt) nem támogatottak a Kubernetes online végpontjaiban.
Ajánlott eljárások
A felelősségek elkülönítése az informatikai üzemeltetési csapat és az adatelemzési csapat között. Ahogy az előző szakaszban említettük, a saját számítási és infrastruktúra kezelése az ml-számítási feladatokhoz összetett feladat. A legjobb, ha informatikai üzemeltetési csapat végzi, hogy az adatelemzési csapat az ML-modellekre összpontosíthasson a szervezeti hatékonyság érdekében.
Példánytípusok létrehozása és kezelése különböző ML számítási feladatokhoz. Minden gépi tanulási számítási feladat különböző mennyiségű számítási erőforrást használ, például CPU-t/GPU-t és memóriát. Az Azure Machine Tanulás a példánytípust Kubernetes egyéni erőforrásdefinícióként (CRD) implementálja a nodeSelector és az erőforrás-kérelem/korlát tulajdonságaival. A példánytípusok gondosan válogatott listájával az informatikai műveletek megcélzhatják az ml-számítási feladatokat adott csomópont(ok)on, és hatékonyan kezelhetik a számítási erőforrások kihasználtságát.
Több Azure Machine-Tanulás munkaterület ugyanazt a Kubernetes-fürtöt használja. A Kubernetes-fürtöt többször is csatolhatja ugyanahhoz az Azure Machine-Tanulás-munkaterülethez vagy különböző Azure Machine-Tanulás-munkaterületekhez, így több számítási célt is létrehozhat egy munkaterületen vagy több munkaterületen. Mivel sok ügyfél adatelemzési projekteket szervez az Azure Machine Tanulás-munkaterület köré, több adatelemzési projekt is megoszthatja ugyanazt a Kubernetes-fürtöt. Ez jelentősen csökkenti az ml-infrastruktúra kezelési költségeit és az informatikai költségek megtakarítását.
Csapat/projekt számítási feladat elkülönítése a Kubernetes-névtér használatával. Amikor Kubernetes-fürtöt csatol az Azure Machine Tanulás-munkaterülethez, megadhat egy Kubernetes-névteret a számítási célhoz. A számítási cél által futtatott összes számítási feladat a megadott névtér alá kerül.
KubernetesCompute és örökölt AksCompute
Az Azure Machine Tanulás CLI/Python SDK v1 használatával modelleket helyezhet üzembe az AKS-en az AksCompute-cél használatával. A KubernetesCompute-cél és az AksCompute-cél egyaránt támogatja az AKS-integrációt, de másképpen támogatják. Az alábbi táblázat a főbb különbségeket mutatja be:
Képességek | AKS-integráció az AksCompute használatával (örökölt) | AKS-integráció a KubernetesCompute használatával |
---|---|---|
CLI/SDK v1 | Igen | Nem |
CLI/SDK v2 | Nem | Igen |
Képzés | Nem | Igen |
Valós idejű következtetés | Igen | Igen |
Batch-következtetés | Nem | Igen |
A valós idejű következtetés új funkciói | Nincs új funkciófejlesztés | Aktív ütemterv |
Ezekkel a fő különbségekkel és az Azure Machine Tanulás SDK/CLI v2 használatának általános fejlődésével az Azure Machine Tanulás azt javasolja, hogy kubernetes számítási célt használjon a modellek üzembe helyezéséhez, ha úgy dönt, hogy az AKS-t használja a modellek üzembe helyezéséhez.
Egyéb erőforrások
Példák
Az Összes Azure Machine-Tanulás példa a következő helyen https://github.com/Azure/azureml-examples.gittalálható: .
Bármely Azure Machine-Tanulás példa esetében csak a számítási cél nevét kell frissítenie a Kubernetes számítási célként, akkor minden készen áll.
- Betanítási feladatminták felfedezése a CLI 2-vel – https://github.com/Azure/azureml-examples/tree/main/cli/jobs
- A modell üzembe helyezésének megismerése online végpontmintákkal a CLI 2-vel – https://github.com/Azure/azureml-examples/tree/main/cli/endpoints/online/kubernetes
- Kötegelt végpontminták felfedezése a CLI 2-vel – https://github.com/Azure/azureml-examples/tree/main/cli/endpoints/batch
- Betanítási feladatok mintáinak felfedezése az SDK 2-vel –https://github.com/Azure/azureml-examples/tree/main/sdk/python/jobs
- A modell üzembe helyezésének megismerése online végpontmintákkal az SDK 2-vel –https://github.com/Azure/azureml-examples/tree/main/sdk/python/endpoints/online/kubernetes