Mik a számítási célok az Azure Machine Learningben?What are compute targets in Azure Machine Learning?
A számítási cél egy kijelölt számítási erőforrás vagy környezet, amelyben futtathatja a betanítási szkriptet, vagy üzemeltetheti a szolgáltatás központi telepítését.A compute target is a designated compute resource or environment where you run your training script or host your service deployment. Ez a hely lehet a helyi számítógép vagy egy felhőalapú számítási erőforrás.This location might be your local machine or a cloud-based compute resource. A számítási célok használata megkönnyíti a számítási környezet későbbi módosítását anélkül, hogy módosítani kellene a kódot.Using compute targets makes it easy for you to later change your compute environment without having to change your code.
Egy tipikus modell-fejlesztési életciklus esetén a következőket teheti:In a typical model development lifecycle, you might:
- Első lépésként fejlesztheti és kísérletezheti kis mennyiségű adaton.Start by developing and experimenting on a small amount of data. Ebben a szakaszban a számítási célként a helyi környezetet, például a helyi számítógépet vagy a felhőalapú virtuális gépet (VM) használja.At this stage, use your local environment, such as a local computer or cloud-based virtual machine (VM), as your compute target.
- Vertikális felskálázás nagyobb mennyiségű adatokra, vagy elosztott képzések elvégzése az alábbi képzési számítási célokegyikével.Scale up to larger data, or do distributed training by using one of these training compute targets.
- Miután a modell elkészült, üzembe helyezheti egy webüzemeltetési környezetben vagy IoT-eszközön az egyik ilyen üzembe helyezési számítási célponttal.After your model is ready, deploy it to a web hosting environment or IoT device with one of these deployment compute targets.
A számítási célokhoz használt számítási erőforrások egy munkaterülethezvannak csatolva.The compute resources you use for your compute targets are attached to a workspace. A helyi gépen kívüli számítási erőforrásokat a munkaterület felhasználói osztják meg.Compute resources other than the local machine are shared by users of the workspace.
Számítási célok betanításaTraining compute targets
A Azure Machine Learning különböző számítási célok esetében eltérő támogatással rendelkezik.Azure Machine Learning has varying support across different compute targets. Egy tipikus modell fejlesztési életciklusa kis mennyiségű adat fejlesztésével vagy kísérletezésével kezdődik.A typical model development lifecycle starts with development or experimentation on a small amount of data. Ebben a szakaszban helyi környezetet, például helyi számítógépet vagy felhőalapú virtuális gépet használhat.At this stage, use a local environment like your local computer or a cloud-based VM. Ha nagyobb mennyiségű adatkészletre vagy elosztott képzésre van szüksége, használja a Azure Machine Learning számítást, és hozzon létre egy önálló vagy több csomópontos fürtöt, amely minden egyes futtatásakor elküldi az egyes műveleteket.As you scale up your training on larger datasets or perform distributed training, use Azure Machine Learning compute to create a single- or multi-node cluster that autoscales each time you submit a run. Saját számítási erőforrást is csatolhat, bár a különböző forgatókönyvek támogatása eltérő lehet.You can also attach your own compute resource, although support for different scenarios might vary.
A számítási célok az egyik betanítási feladatokból a következőre használhatók.Compute targets can be reused from one training job to the next. Ha például egy távoli virtuális gépet csatlakoztat a munkaterülethez, újra felhasználhatja azt több feladathoz is.For example, after you attach a remote VM to your workspace, you can reuse it for multiple jobs. Gépi tanulási folyamatokhoz használja az egyes számítási célkitűzések megfelelő folyamatának lépéseit .For machine learning pipelines, use the appropriate pipeline step for each compute target.
A legtöbb feladathoz a következő források bármelyikét használhatja egy képzési számítási célra.You can use any of the following resources for a training compute target for most jobs. Nem minden erőforrás használható az automatikus gépi tanuláshoz, a gépi tanulási folyamatokhoz vagy a tervezőhöz.Not all resources can be used for automated machine learning, machine learning pipelines, or designer.
Képzési célokTraining targets | Automatizált gépi tanulásAutomated machine learning | Machine Learning-folyamatokMachine learning pipelines | Azure Machine Learning DesignerAzure Machine Learning designer |
---|---|---|---|
Helyi számítógépLocal computer | YesYes | ||
Számítási fürt Azure Machine LearningAzure Machine Learning compute cluster | IgenYes | IgenYes | YesYes |
Azure Machine Learning számítási példányAzure Machine Learning compute instance | Igen (az SDK-n keresztül)Yes (through SDK) | YesYes | |
Távoli virtuális gépRemote VM | IgenYes | YesYes | |
Azure- DatabricksAzure Databricks | Igen (csak SDK helyi mód)Yes (SDK local mode only) | YesYes | |
Azure Data Lake AnalyticsAzure Data Lake Analytics | YesYes | ||
Azure HDInsightAzure HDInsight | YesYes | ||
Azure BatchAzure Batch | YesYes |
Tipp
A számítási példány 120 GB-OS operációsrendszer-lemezzel rendelkezik.The compute instance has 120GB OS disk. Ha elfogyott a szabad lemezterület, a terminál használatával törölje legalább 1-2 GB-ot a számítási példány leállítása vagy újraindítása előtt.If you run out of disk space, use the terminal to clear at least 1-2 GB before you stop or restart the compute instance.
További információ a betanítási műveletek számítási célra való beküldéséről.Learn more about how to submit a training run to a compute target.
Kiszámítási célok a következtetéshezCompute targets for inference
A modell központi telepítésének üzemeltetéséhez a következő számítási erőforrások használhatók.The following compute resources can be used to host your model deployment.
A modell üzemeltetéséhez használt számítási cél a telepített végpont költségeit és rendelkezésre állását is befolyásolja.The compute target you use to host your model will affect the cost and availability of your deployed endpoint. A táblázat segítségével kiválaszthatja a megfelelő számítási célt.Use this table to choose an appropriate compute target.
Számítási célCompute target | Alkalmazási célUsed for | GPU-támogatásGPU support | FPGA-támogatásFPGA support | LeírásDescription |
---|---|---|---|---|
Helyi webszolgáltatás Local web service | Tesztelés/hibakeresésTesting/debugging | Korlátozott teszteléshez és hibaelhárításhoz használható.Use for limited testing and troubleshooting. A hardveres gyorsítás a helyi rendszer könyvtárainak használatából függ.Hardware acceleration depends on use of libraries in the local system. | ||
Azure Kubernetes Service (AKS)Azure Kubernetes Service (AKS) | Valós idejű következtetésReal-time inference | Igen (webszolgáltatás üzembe helyezése)Yes (web service deployment) | IgenYes | Nagy léptékű üzembe helyezések esetén használható.Use for high-scale production deployments. Gyors válaszidőt és automatikus skálázást biztosít a telepített szolgáltatás számára.Provides fast response time and autoscaling of the deployed service. A fürt automatikus skálázása nem támogatott a Azure Machine Learning SDK-n keresztül.Cluster autoscaling isn't supported through the Azure Machine Learning SDK. Az AK-fürt csomópontjainak módosításához használja a Azure Portalban az AK-fürt felhasználói felületét.To change the nodes in the AKS cluster, use the UI for your AKS cluster in the Azure portal. A tervező támogatja.Supported in the designer. |
Azure Container InstancesAzure Container Instances | Tesztelés vagy fejlesztésTesting or development | Alacsony léptékű CPU-alapú számítási feladatokhoz használható, amelyek kevesebb mint 48 GB RAM memóriát igényelnek.Use for low-scale CPU-based workloads that require less than 48 GB of RAM. A tervező támogatja.Supported in the designer. |
||
Az Azure Machine Learning számítási fürtjeiAzure Machine Learning compute clusters | Batch- következtetésBatch inference | Igen (gépi tanulási folyamat)Yes (machine learning pipeline) | Kötegelt pontozás futtatása kiszolgáló nélküli számítási feladatokhoz.Run batch scoring on serverless compute. A a normál és az alacsony prioritású virtuális gépeket támogatja.Supports normal and low-priority VMs. A valós idejű következtetések nem támogatottak.No support for realtime inference. |
Megjegyzés
Bár a számítási célok, például a helyi, Azure Machine Learning számítások, és a Azure Machine Learning számítási fürtök támogatják a GPU-t a betanításhoz és kísérletezéshez, GPU-t használ, Ha webszolgáltatásként való üzembe helyezés esetén csak az AK-ban támogatott.Although compute targets like local, Azure Machine Learning compute, and Azure Machine Learning compute clusters support GPU for training and experimentation, using GPU for inference when deployed as a web service is supported only on AKS.
Ha a Machine learning-folyamattal való pontozást csak Azure Machine learning számításokban támogatja, GPU-t használ a következtetéshez.Using a GPU for inference when scoring with a machine learning pipeline is supported only on Azure Machine Learning compute.
A fürt SKU kiválasztásakor először fel kell skálázást, majd ki kell bővíteni. Kezdje egy olyan géppel, amely a modell által igényelt RAM 150%-a, az eredmény profilja és a szükséges teljesítménnyel rendelkező gép keresése.When choosing a cluster SKU, first scale up and then scale out. Start with a machine that has 150% of the RAM your model requires, profile the result and find a machine that has the performance you need. Miután megismerte, növelje a gépek számát, hogy illeszkedjen az egyidejű következtetéshez.Once you've learned that, increase the number of machines to fit your need for concurrent inference.
Megjegyzés
- A Container instances csak az 1 GB-nál kisebb méretű kisméretű modellek esetében alkalmas.Container instances are suitable only for small models less than 1 GB in size.
- Használjon egycsomópontos AK-fürtöket nagyobb modellek fejlesztéséhez és teszteléséhez.Use single-node AKS clusters for dev/test of larger models.
A következtetések elvégzése során a Azure Machine Learning létrehoz egy Docker-tárolót, amely a modell és a hozzájuk tartozó erőforrások használatához szükséges.When performing inference, Azure Machine Learning creates a Docker container that hosts the model and associated resources needed to use it. Ezt a tárolót a rendszer a következő telepítési forgatókönyvek egyikében használja:This container is then used in one of the following deployment scenarios:
A valós idejű következtetésekhez használt webszolgáltatásként .As a web service that's used for real-time inference. A webszolgáltatás központi telepítései a következő számítási célok egyikét használják:Web service deployments use one of the following compute targets:
- Helyi számítógépLocal computer
- Azure Machine Learning számítási példányAzure Machine Learning compute instance
- Azure Container InstancesAzure Container Instances
- Azure Kubernetes ServiceAzure Kubernetes Service
- Azure Functions (előzetes verzió).Azure Functions (preview). A functions szolgáltatásban való üzembe helyezés csak a Azure Machine Learningra támaszkodik a Docker-tároló felépítéséhez.Deployment to Functions only relies on Azure Machine Learning to build the Docker container. Innen a functions használatával telepíthető.From there, it's deployed by using Functions. További információ: Machine learning-modell üzembe helyezése Azure functions (előzetes verzió).For more information, see Deploy a machine learning model to Azure Functions (preview).
Olyan Batch-következtetési végpontként, amely a kötegek rendszeres feldolgozásához használatos.As a batch inference endpoint that's used to periodically process batches of data. A Batch-következtetések Azure Machine learning számítási fürtökethasználnak.Batch inferences use Azure Machine Learning compute clusters.
Egy IoT-eszközre (előzetes verzió).To an IoT device (preview). A IoT-eszközre történő központi telepítés csak az Azure Machine Learningra támaszkodik a Docker-tároló felépítéséhez.Deployment to an IoT device only relies on Azure Machine Learning to build the Docker container. Innen a Azure IoT Edge használatával telepíthető.From there, it's deployed by using Azure IoT Edge. További információ: telepítés IoT Edge modulként (előzetes verzió).For more information, see Deploy as an IoT Edge module (preview).
Megtudhatja, hol és hogyan helyezheti üzembe a modellt egy számítási célra.Learn where and how to deploy your model to a compute target.
Azure Machine Learning számítás (felügyelt)Azure Machine Learning compute (managed)
A felügyelt számítási erőforrásokat Azure Machine Learning hozza létre és kezeli.A managed compute resource is created and managed by Azure Machine Learning. Ez a számítás a gépi tanulási munkaterhelésekre van optimalizálva.This compute is optimized for machine learning workloads. Azure Machine Learning számítási fürtök és számítási példányok az egyetlen felügyelt számítások.Azure Machine Learning compute clusters and compute instances are the only managed computes.
A következő esetekben hozhat létre Azure Machine Learning számítási példányokat vagy számítási fürtöket:You can create Azure Machine Learning compute instances or compute clusters from:
- Azure Machine learning Studio.Azure Machine Learning studio.
- A Python SDK és parancssori felület:The Python SDK and CLI:
- Az R SDK (előzetes verzió).The R SDK (preview).
- Egy Azure Resource Manager sablon.An Azure Resource Manager template. Példa sablonra: Azure Machine learning számítási fürt létrehozása.For an example template, see Create an Azure Machine Learning compute cluster.
- Gépi tanulási bővítmény az Azure CLI-hez.A machine learning extension for the Azure CLI.
A létrehozáskor ezek a számítási erőforrások automatikusan a munkaterület részét képezik, más típusú számítási céloktól eltérően.When created, these compute resources are automatically part of your workspace, unlike other kinds of compute targets.
KépességCapability | Számítási fürtCompute cluster | Számítási példányCompute instance |
---|---|---|
Egy vagy több csomópontos fürtSingle- or multi-node cluster | ✓ | |
Minden alkalommal, amikor elküld egy futtatástAutoscales each time you submit a run | ✓ | |
Fürt automatikus kezelése és feladatütemezésAutomatic cluster management and job scheduling | ✓ | ✓ |
A processzor-és a GPU-erőforrások támogatásaSupport for both CPU and GPU resources | ✓ | ✓ |
Megjegyzés
Ha egy számítási fürt üresjáratban van, az autoskálázás 0 csomópontra történik, így nem kell fizetnie, ha nincs használatban.When a compute cluster is idle, it autoscales to 0 nodes, so you don't pay when it's not in use. A számítási példányok mindig be vannak kapcsolva, és nem méretezhetők le.A compute instance is always on and doesn't autoscale. Ha nem használja, állítsa le a számítási példányt a többletköltség elkerülése érdekében.You should stop the compute instance when you aren't using it to avoid extra cost.
Támogatott VM-sorozatok és-méretekSupported VM series and sizes
Ha Azure Machine Learning felügyelt számítási erőforráshoz kiválasztja a csomópont méretét, az Azure-ban elérhető virtuálisgép-méretek közül választhat.When you select a node size for a managed compute resource in Azure Machine Learning, you can choose from among select VM sizes available in Azure. Az Azure számos méretet kínál a különböző számítási feladatokhoz használható Linux és Windows rendszerekhez.Azure offers a range of sizes for Linux and Windows for different workloads. További információ: VM-típusok és-méretek.To learn more, see VM types and sizes.
A virtuális gépek méretének kiválasztására néhány kivétel és korlátozás vonatkozik:There are a few exceptions and limitations to choosing a VM size:
- Egyes virtuálisgép-sorozatok nem támogatottak Azure Machine Learningban.Some VM series aren't supported in Azure Machine Learning.
- Néhány virtuálisgép-sorozat korlátozott.Some VM series are restricted. Ha korlátozott adatsorozatot szeretne használni, forduljon az ügyfélszolgálathoz, és igényeljen kvóta-növekedést az adatsorozathoz.To use a restricted series, contact support and request a quota increase for the series. Az ügyfélszolgálattal való kapcsolatfelvételsel kapcsolatos információkért lásd az Azure támogatási lehetőségeit.For information on how to contact support, see Azure support options.
A támogatott adatsorozatokkal és korlátozásokkal kapcsolatos további információkért tekintse meg a következő táblázatot.See the following table to learn more about supported series and restrictions.
Támogatott VM-sorozatSupported VM series | KorlátozásokRestrictions | KategóriaCategory | TámogatóSupported by |
---|---|---|---|
TD | Nincsenek.None. | Általános célúGeneral purpose | Számítási fürtök és példányCompute clusters and instance |
DDSv4DDSv4 | Nincsenek.None. | Általános célúGeneral purpose | Számítási fürtök és példányCompute clusters and instance |
Dv2Dv2 | Nincsenek.None. | Általános célúGeneral purpose | Számítási fürtök és példányCompute clusters and instance |
Dv3Dv3 | Nincsenek.None. | Általános célúGeneral purpose | Számítási fürtök és példányCompute clusters and instance |
DSv2DSv2 | Nincsenek.None. | Általános célúGeneral purpose | Számítási fürtök és példányCompute clusters and instance |
DSv3DSv3 | Nincsenek.None. | Általános célúGeneral purpose | Számítási fürtök és példányCompute clusters and instance |
EAv4EAv4 | Nincsenek.None. | MemóriaoptimalizáltMemory optimized | Számítási fürtök és példányCompute clusters and instance |
Ev3Ev3 | Nincsenek.None. | MemóriaoptimalizáltMemory optimized | Számítási fürtök és példányCompute clusters and instance |
FSv2FSv2 | Nincsenek.None. | Számításra optimalizáltCompute optimized | Számítási fürtök és példányCompute clusters and instance |
HH | Nincsenek.None. | Nagy teljesítményű számításHigh performance compute | Számítási fürtök és példányCompute clusters and instance |
HBHB | Jóváhagyást igényel.Requires approval. | Nagy teljesítményű számításHigh performance compute | Számítási fürtök és példányCompute clusters and instance |
HBv2HBv2 | Jóváhagyást igényel.Requires approval. | Nagy teljesítményű számításHigh performance compute | Számítási fürtök és példányCompute clusters and instance |
HCS FRISSÍTŐÜGYNÖKHCS | Jóváhagyást igényel.Requires approval. | Nagy teljesítményű számításHigh performance compute | Számítási fürtök és példányCompute clusters and instance |
MM | Jóváhagyást igényel.Requires approval. | MemóriaoptimalizáltMemory optimized | Számítási fürtök és példányCompute clusters and instance |
NCNC | Nincsenek.None. | GPUGPU | Számítási fürtök és példányCompute clusters and instance |
NC – promoNC Promo | Nincsenek.None. | GPUGPU | Számítási fürtök és példányCompute clusters and instance |
NCsv2NCsv2 | Jóváhagyást igényel.Requires approval. | GPUGPU | Számítási fürtök és példányCompute clusters and instance |
NCsv3NCsv3 | Jóváhagyást igényel.Requires approval. | GPUGPU | Számítási fürtök és példányCompute clusters and instance |
NDsNDs | Jóváhagyást igényel.Requires approval. | GPUGPU | Számítási fürtök és példányCompute clusters and instance |
NDv2NDv2 | Jóváhagyást igényel.Requires approval. | GPUGPU | Számítási fürtök és példányCompute clusters and instance |
NVNV | Nincsenek.None. | GPUGPU | Számítási fürtök és példányCompute clusters and instance |
NVv3NVv3 | Jóváhagyást igényel.Requires approval. | GPUGPU | Számítási fürtök és példányCompute clusters and instance |
Habár a Azure Machine Learning támogatja ezeket a virtuálisgép-sorozatokat, előfordulhat, hogy az összes Azure-régióban nem érhetők el.While Azure Machine Learning supports these VM series, they might not be available in all Azure regions. Annak ellenőrzéséhez, hogy elérhetők-e a virtuálisgép-sorozatok, tekintse meg a régiók által elérhető termékeket.To check whether VM series are available, see Products available by region.
Megjegyzés
A Azure Machine Learning nem támogatja az Azure-beli számítási műveletek által támogatott összes virtuálisgép-méretet.Azure Machine Learning doesn't support all VM sizes that Azure Compute supports. Az elérhető virtuálisgép-méretek listázásához használja az alábbi módszerek egyikét:To list the available VM sizes, use one of the following methods:
Számítási elkülönítésCompute isolation
Azure Machine Learning a számítási egységek olyan virtuálisgép-méreteket biztosítanak, amelyek egy adott hardvereszközhöz vannak elkülönítve, és egyetlen ügyfélhez vannak hozzárendelve.Azure Machine Learning compute offers VM sizes that are isolated to a specific hardware type and dedicated to a single customer. Az elkülönített virtuálisgép-méretek olyan számítási feladatokhoz használhatók, amelyek nagy fokú elkülönítést igényelnek a többi ügyfél munkaterheléséhez olyan okokból, amelyek megfelelnek a megfelelőségi és szabályozási követelményeknek.Isolated VM sizes are best suited for workloads that require a high degree of isolation from other customers' workloads for reasons that include meeting compliance and regulatory requirements. Az elkülönített méret kihasználása garantálja, hogy a virtuális gép az adott kiszolgálópéldány esetében csak egy fut.Utilizing an isolated size guarantees that your VM will be the only one running on that specific server instance.
A jelenlegi elkülönített VM-ajánlatok a következők:The current isolated VM offerings include:
- Standard_M128msStandard_M128ms
- Standard_F72s_v2Standard_F72s_v2
- Standard_NC24s_v3Standard_NC24s_v3
- Standard_NC24rs_v3 *Standard_NC24rs_v3*
*RDMA-kompatibilis*RDMA capable
További információ az elkülönítésről: elkülönítés az Azure nyilvános felhőben.To learn more about isolation, see Isolation in the Azure public cloud.
Nem felügyelt számításUnmanaged compute
A nem felügyelt számítási célt nem a Azure Machine learning felügyeli.An unmanaged compute target is not managed by Azure Machine Learning. Ezt a számítási célt a Azure Machine Learningon kívül hozza létre, majd csatolja a munkaterülethez.You create this type of compute target outside Azure Machine Learning and then attach it to your workspace. A nem felügyelt számítási erőforrások további lépéseket igényelhetnek a gépi tanulási feladatok teljesítményének fenntartása vagy javítása érdekében.Unmanaged compute resources can require additional steps for you to maintain or to improve performance for machine learning workloads.
Következő lépésekNext steps
Az alábbiak végrehajtásának módját ismerheti meg:Learn how to: