Mi az Azure Machine Learning?

  • Cikk

Az Azure Machine Tanulás egy felhőalapú szolgáltatás a gépi tanulási (ML) projekt életciklusának felgyorsítására és kezelésére. Az ML-szakemberek, az adattudósok és a mérnökök a mindennapi munkafolyamataikban használhatják modellek betanítása és üzembe helyezése, valamint gépi tanulási műveletek (MLOps) kezelésére.

Létrehozhat egy modellt a Machine Tanulás vagy használhat egy nyílt forráskódú platformból készült modellt, például a PyTorchot, a TensorFlow-t vagy a scikit-learn-t. Az MLOps-eszközök segítenek a modellek monitorozásában, újratanításában és újbóli üzembe helyezésében.

Tipp.

Ingyenes próbaverzió! Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot. Próbálja ki az Azure Machine Learning ingyenes vagy fizetős verzióját. Azure-szolgáltatásokra elkölthető krediteket kap. A kreditek felhasználása után megtarthatja a fiókját, és tovább használhatja azt az ingyenes Azure-szolgáltatásokkal. A bankkártyáját semmilyen költség nem terheli, hacsak Ön kifejezetten nem módosítja beállításait ennek engedélyezéséhez.

Ki az Azure Machine Tanulás?

A gépi Tanulás azoknak a személyeknek és csapatoknak szól, akik az MLOps-t a szervezeten belül implementálják, hogy az ML-modelleket biztonságos és auditálható éles környezetben éles környezetbe helyezzék.

Az adattudósok és az ml-mérnökök eszközökkel felgyorsíthatják és automatizálhatják mindennapi munkafolyamataikat. Az alkalmazásfejlesztők eszközöket használhatnak a modellek alkalmazásokba vagy szolgáltatásokba való integrálásához. A platformfejlesztők a tartós Azure Resource Manager API-k által támogatott, robusztus eszközkészletet használhatnak a fejlett gépi tanulási eszközök létrehozásához.

A Microsoft Azure-felhőben dolgozó vállalatok jól ismert biztonsági és szerepköralapú hozzáférés-vezérlést használhatnak az infrastruktúrához. Beállíthat egy projektet, amely megtagadja a védett adatokhoz való hozzáférést, és kiválasztja a műveleteket.

Hatékonyság a csapat minden tagja számára

Az ML-projektekhez gyakran van szükség olyan csapatra, amely változatos képességekkel rendelkezik az összeállításhoz és a karbantartáshoz. A gépi Tanulás olyan eszközökkel rendelkezik, amelyek lehetővé teszik a következőket:

  • Együttműködés a csapattal megosztott jegyzetfüzeteken, számítási erőforrásokon, kiszolgáló nélküli számításon, adatokon és környezeteken keresztül

  • Modellek fejlesztése a méltányosság és a magyarázhatóság, a nyomon követés és az auditálás érdekében a megfelelőségi követelmények teljesítéséhez

  • Az ML-modellek gyorsan és egyszerűen üzembe helyezhetők nagy méretekben, és az MLOps segítségével hatékonyan kezelhetik és szabályozhatják őket

  • Gépi tanulási számítási feladatok futtatása bárhol, beépített irányítással, biztonsággal és megfelelőséggel

Az igényeinek megfelelő, többkompatibilis platformeszközök

Az ML-csapat minden tagja használhatja az előnyben részesített eszközöket a feladat elvégzéséhez. Akár gyors kísérleteket, hiperparaméter-finomhangolást, folyamatépítést vagy következtetéskezelést futtat, használhat ismerős interfészeket, például:

Miközben finomítja a modellt, és együttműködik másokkal a Gép Tanulás fejlesztési ciklus többi részében, megoszthatja és megkeresheti a projektek eszközeit, erőforrásait és metrikáit a Machine Tanulás studio felhasználói felületén.

Stúdió

A Machine Tanulás Studio több szerzői élményt kínál a projekt típusától és a korábbi gépi tanulási élmény szintjétől függően anélkül, hogy bármit telepítenie kellene.

  • Jegyzetfüzetek: Saját kód írása és futtatása felügyelt Jupyter Notebook-kiszolgálókon, amelyek közvetlenül integrálva vannak a studióban.

  • Futtatási metrikák vizualizációja: A kísérletek elemzése és optimalizálása vizualizációval.

    Screenshot that shows metrics for a training run.

  • Azure Machine Tanulás tervező: A tervező használatával kódírás nélkül taníthat be és helyezhet üzembe ML-modelleket. Húzza az adathalmazokat és összetevőket az ML-folyamatok létrehozásához.

  • Automatizált gépi tanulási felhasználói felület: Megtudhatja, hogyan hozhat létre automatizált gépi tanulási kísérleteket egy könnyen használható felülettel.

  • Adatcímkézés: A gépi Tanulás adatcímkézés használatával hatékonyan koordinálhatja a képfeliratozási vagy szövegcímkézési projekteket.

Nagyvállalati felkészültség és biztonság

A gépi Tanulás integrálva van az Azure-felhőplatformmal, hogy biztonságot adjon az ML-projekteknek.

A biztonsági integrációk a következők:

  • Azure Virtual Networks hálózati biztonsági csoportokkal.
  • Az Azure Key Vaultban biztonsági titkos kulcsokat menthet, például a tárfiókok hozzáférési adatait.
  • Az Azure Container Registry virtuális hálózat mögött van beállítva.

További információ : Oktatóanyag: Biztonságos munkaterület beállítása.

Azure-integrációk a teljes megoldásokhoz

Az Azure-szolgáltatásokkal való egyéb integrációk támogatják az ML-projekteket a végétől a végéig. Ezek közé tartoznak például az alábbiak:

Fontos

Az Azure Machine Tanulás nem tárolja vagy dolgozza fel az adatokat azon a régión kívül, ahol üzembe helyezi.

Gépi tanulási projekt munkafolyamata

A modelleket általában egy célokkal és célokkal rendelkező projekt részeként fejlesztik. A projektek gyakran több személyt is érintenek. Ha adatokkal, algoritmusokkal és modellekkel kísérletezik, a fejlesztés iteratív.

Projekt életciklusa

A projekt életciklusa projektenként változhat, de gyakran így néz ki.

Diagram that shows the machine learning project lifecycle

A munkaterületek rendszereznek egy projektet, és lehetővé teszik az együttműködést számos olyan felhasználó számára, aki egy közös cél érdekében dolgozik. A munkaterület felhasználói egyszerűen megoszthatják a futtatásuk eredményeit a kísérletezésből a stúdió felhasználói felületén. Vagy használhatnak verziószámozott objektumokat olyan feladatokhoz, mint a környezetek és a tárhivatkozások.

További információ: Azure Machine Tanulás-munkaterületek kezelése.

Ha egy projekt készen áll az üzembe helyezésre, a felhasználók munkája automatizálható egy ML-folyamatban, és ütemezés vagy HTTPS-kérés alapján aktiválható.

Modelleket helyezhet üzembe a felügyelt következtetési megoldásban valós idejű és kötegtelepítések esetén is, így a modellek üzembe helyezéséhez általában szükséges infrastruktúra-kezelést absztrakcióval oldhatja meg.

Modellek betanítása

Az Azure Machine Tanulás futtathatja a betanítási szkriptet a felhőben, vagy létrehozhat egy modellt az alapoktól. Az ügyfelek gyakran hoznak létre nyílt forráskódú keretrendszerekben létrehozott és betanított modelleket, hogy üzembe tudják helyezni őket a felhőben.

Nyitott és együttműködő

Az adattudósok az Azure Machine-Tanulás olyan modelleket használhatnak, amelyeket közös Python-keretrendszerekben hoztak létre, például:

  • PyTorch
  • TensorFlow
  • scikit-learn
  • XGBoost
  • LightGBM

Egyéb nyelvek és keretrendszerek is támogatottak:

  • R
  • .

További információ: Nyílt forráskódú integráció az Azure Machine Tanulás.

Automatizált featurizáció és algoritmusválasztás

Egy ismétlődő, időigényes folyamat során a klasszikus gépi tanulásban az adattudósok előzetes tapasztalatot és intuíciót használnak a megfelelő adat featurizáció és algoritmus kiválasztásához a betanításhoz. Az automatizált gépi tanulás (AutoML) felgyorsítja ezt a folyamatot. Használhatja a Machine Tanulás studio felhasználói felületén vagy a Python SDK-on keresztül.

További információ: Mi az automatizált gépi tanulás?

Hiperparaméter-optimalizálás

A hiperparaméter optimalizálása vagy a hiperparaméter finomhangolása fárasztó feladat lehet. A gépi Tanulás automatizálhatja ezt a feladatot tetszőleges paraméteres parancsokhoz a feladatdefiníció kis módosításával. Az eredmények a stúdióban jelennek meg.

További információ: Hiperparaméterek hangolása.

Többcsomópontos elosztott betanítás

A mélytanulási és néha klasszikus gépi tanulási betanítási feladatokra vonatkozó képzés hatékonysága drasztikusan javítható többcsomópontos elosztott betanításokkal. Az Azure Machine Tanulás számítási fürtök és a kiszolgáló nélküli számítás a legújabb GPU-lehetőségeket kínálják.

Az Azure Machine Tanulás Kubernetes, az Azure Machine Tanulás számítási fürtök és a kiszolgáló nélküli számítás segítségével támogatott:

  • PyTorch
  • TensorFlow
  • MPI

Az MPI-disztribúciót használhatja Horovodhoz vagy egyéni többcsomópontos logikához. Az Apache Spark kiszolgáló nélküli Spark-számítási és csatolt Synapse Spark-készleten keresztül támogatott, amelyek Azure Synapse Analytics Spark-fürtöket használnak.

További információ: Elosztott betanítás az Azure Machine Tanulás.

Kínosan párhuzamos betanítás

Az ML-projektek méretezéséhez kínosan párhuzamos modellbetanításra lehet szükség. Ez a minta gyakori az olyan helyzetekben, mint az előrejelzési kereslet, ahol egy modell betanítása számos üzletben lehetséges.

Modellek üzembe helyezése

A modell éles üzembe helyezéséhez üzembe kell helyeznie a modellt. Az Azure Machine Tanulás felügyelt végpontok elvonják a köteg- vagy valós idejű (online) modell pontozásához (következtetéshez) szükséges infrastruktúrát.

Valós idejű és kötegelt pontozás (következtetés)

A kötegelt pontozás vagy kötegelt következtetés magában foglalja egy végpont meghívását az adatokra való hivatkozással. A kötegvégpont aszinkron módon futtatja a feladatokat, hogy párhuzamosan dolgozza fel az adatokat a számítási fürtökön, és további elemzés céljából tárolja az adatokat.

A valós idejű pontozás vagy online következtetés magában foglalja egy végpont meghívását egy vagy több modelltelepítéssel, és közel valós idejű választ kap HTTPS-en keresztül. A forgalom több üzemelő példányra osztható, ami lehetővé teszi az új modellverziók tesztelését azáltal, hogy kezdetben bizonyos mennyiségű forgalmat átirányít, majd növeli az új modell iránti bizalmat.

További információkért lásd:

MLOps: DevOps gépi tanuláshoz

Az ML-modellekhez készült DevOps( más néven MLOps) az éles modellek fejlesztésének folyamata. A modell életciklusának a betanítástól az üzembe helyezésig naplózhatónak kell lennie, ha nem reprodukálható.

Ml-modell életciklusa

Diagram that shows the machine learning model lifecycle * MLOps.

További információ az MLOpsról az Azure Machine Tanulás.

MLOP-ket engedélyező integrációk

A gépi Tanulás a modell életciklusának szem előtt tartásával készült. A modell életciklusát egy adott véglegesítésre és környezetre is naplózhatja.

Az MLOps engedélyezésének néhány fő funkciója a következők:

  • git Integráció.
  • MLflow-integráció.
  • Gépi tanulási folyamat ütemezése.
  • Azure Event Grid-integráció egyéni eseményindítókhoz.
  • A CI/CD-eszközök, például a GitHub Actions vagy az Azure DevOps egyszerű használata.

A gépi Tanulás monitorozási és naplózási funkciókat is tartalmaz:

  • Feladatösszetevők, például kódpillanatképek, naplók és egyéb kimenetek.
  • A feladatok és az eszközök, például a tárolók, az adatok és a számítási erőforrások közötti vonalvezetés.

Ha Apache Airflow-t használ, az airflow-provider-azure-machinelearning csomag egy olyan szolgáltató, amely lehetővé teszi munkafolyamatok küldését az Azure Machine Tanulás az Apache AirFlow-ból.

Következő lépések

Az Azure Machine Tanulás használatának megkezdése: