Az Azure Machine Learning monitorozásaMonitor Azure Machine Learning

Ha kritikus fontosságú alkalmazásokat és üzleti folyamatokat kíván használni az Azure-erőforrásokon, figyelnie kell ezeket az erőforrásokat a rendelkezésre állással, a teljesítménnyel és a művelettel kapcsolatban.When you have critical applications and business processes relying on Azure resources, you want to monitor those resources for their availability, performance, and operation. Ez a cikk a Azure Machine Learning által generált figyelési információkat ismerteti, valamint azt, hogy miként elemezheti és figyelmeztetheti ezeket az információkat a Azure Monitor.This article describes the monitoring data generated by Azure Machine Learning and how to analyze and alert on this data with Azure Monitor.

Tipp

A jelen dokumentumban található információk elsősorban rendszergazdák számára készültek, mivel a Azure Machine learning szolgáltatás és az ahhoz kapcsolódó Azure-szolgáltatások figyelését ismerteti.The information in this document is primarily for administrators, as it describes monitoring for the Azure Machine Learning service and associated Azure services. Ha Ön egy adattudós vagy fejlesztő, és szeretné figyelni a modell-oktatóprogramokra vonatkozó információkat, tekintse meg a következő dokumentumokat:If you are a data scientist or developer, and want to monitor information specific to your model training runs, see the following documents:

Ha a webszolgáltatásként vagy IoT Edge-modulként telepített modellek által létrehozott információkat szeretné figyelni, tekintse meg a modell adatainak és a figyelő összegyűjtése a Application Insightshasználatával című témakört.If you want to monitor information generated by models deployed as web services or IoT Edge modules, see Collect model data and Monitor with Application Insights.

Mi az Azure Monitor?What is Azure Monitor?

A Azure Machine Learning a Azure monitorhasználatával hoz létre figyelési adatgyűjtési szolgáltatást, amely az Azure-ban teljes verem-figyelési szolgáltatás.Azure Machine Learning creates monitoring data using Azure Monitor, which is a full stack monitoring service in Azure. Azure Monitor az Azure-erőforrások figyelésére szolgáló funkciók teljes készletét biztosítja.Azure Monitor provides a complete set of features to monitor your Azure resources. Más felhőkben és a helyszínen is figyelheti az erőforrásokat.It can also monitor resources in other clouds and on-premises.

A következő fogalmakat ismerteti az Azure-erőforrások Azure Monitorával való monitorozásával foglalkozócikkből:Start with the article Monitoring Azure resources with Azure Monitor, which describes the following concepts:

  • Mi az Azure Monitor?What is Azure Monitor?
  • A figyeléshez kapcsolódó költségekCosts associated with monitoring
  • Az Azure-ban összegyűjtött adatok figyeléseMonitoring data collected in Azure
  • Adatgyűjtés konfigurálásaConfiguring data collection
  • Szabványos eszközök az Azure-ban a figyelési adatok elemzéséhez és riasztásáhozStandard tools in Azure for analyzing and alerting on monitoring data

Az alábbi részekben a cikk a Azure Machine Learninghoz összegyűjtött adatok leírásával épít.The following sections build on this article by describing the specific data gathered for Azure Machine Learning. Ezek a szakasz példákat is tartalmaznak az adatgyűjtés konfigurálására és az adatok elemzésére az Azure-eszközökkel.These sections also provide examples for configuring data collection and analyzing this data with Azure tools.

Tipp

A Azure Monitorhez kapcsolódó költségek megismeréséhez tekintse meg a használati és becsült költségeket.To understand costs associated with Azure Monitor, see Usage and estimated costs. Ha meg szeretné tudni, hogy mire van szüksége ahhoz, hogy az adatai megjelenjenek Azure Monitorban, tekintse meg az adatfeldolgozási idő naplózásacímű témakört.To understand the time it takes for your data to appear in Azure Monitor, see Log data ingestion time.

Adatok figyelése Azure Machine LearningrólMonitoring data from Azure Machine Learning

Azure Machine Learning ugyanolyan típusú figyelési adatokat gyűjt, mint az Azure-erőforrások monitorozásávalkapcsolatos további Azure-erőforrások.Azure Machine Learning collects the same kinds of monitoring data as other Azure resources that are described in Monitoring data from Azure resources.

A Azure Machine Learning által létrehozott naplók és metrikák részletes ismertetését lásd: Azure Machine learning monitorozási adatok referenciája .See Azure Machine Learning monitoring data reference for a detailed reference of the logs and metrics created by Azure Machine Learning.

Gyűjtés és ÚtválasztásCollection and routing

A platform metrikáit és a tevékenység naplóját a rendszer automatikusan összegyűjti és tárolja, de a diagnosztikai beállítások segítségével más helyekre is átirányíthatja őket.Platform metrics and the Activity log are collected and stored automatically, but can be routed to other locations by using a diagnostic setting.

Az erőforrás-naplók gyűjtése és tárolása addig nem történik meg, amíg létre nem hozza a diagnosztikai beállításokat, és egy vagy több helyre irányítja őket.Resource Logs are not collected and stored until you create a diagnostic setting and route them to one or more locations.

A diagnosztikai beállításoknak a Azure Portal, a CLI vagy a PowerShell használatával történő létrehozásával kapcsolatos részletes folyamatért lásd: diagnosztikai beállítás létrehozása a platform-naplók és-metrikák összegyűjtéséhez az Azure-ban .See Create diagnostic setting to collect platform logs and metrics in Azure for the detailed process for creating a diagnostic setting using the Azure portal, CLI, or PowerShell. Diagnosztikai beállítás létrehozásakor meg kell adnia, hogy a rendszer milyen típusú naplókat gyűjtsön.When you create a diagnostic setting, you specify which categories of logs to collect. A Azure Machine Learning kategóriái Azure Machine learning figyelési adatreferenciábanvannak felsorolva.The categories for Azure Machine Learning are listed in Azure Machine Learning monitoring data reference.

Fontos

Ezen beállítások engedélyezéséhez további Azure-szolgáltatások (Storage-fiók, Event hub vagy Log Analytics) szükségesek, ami növelheti a költségeket.Enabling these settings requires additional Azure services (storage account, event hub, or Log Analytics), which may increase your cost. A becsült költségek kiszámításához tekintse meg az Azure díjszabási számológépét.To calculate an estimated cost, visit the Azure pricing calculator.

A következő naplókat konfigurálhatja Azure Machine Learninghoz:You can configure the following logs for Azure Machine Learning:

KategóriaCategory LeírásDescription
AmlComputeClusterEventAmlComputeClusterEvent Azure Machine Learning számítási fürtök eseményei.Events from Azure Machine Learning compute clusters.
AmlComputeClusterNodeEventAmlComputeClusterNodeEvent Azure Machine Learning számítási fürt csomópontjain belüli események.Events from nodes within an Azure Machine Learning compute cluster.
AmlComputeJobEventAmlComputeJobEvent Azure Machine Learning számításon futó feladatok eseményei.Events from jobs running on Azure Machine Learning compute.

Megjegyzés

Ha a mérőszámokat egy diagnosztikai beállításban engedélyezi, a dimenzió adatai jelenleg nem szerepelnek a Storage-fiókba, az Event hub-ba vagy a log analyticsbe továbbított adatok részeként.When you enable metrics in a diagnostic setting, dimension information is not currently included as part of the information sent to a storage account, event hub, or log analytics.

A gyűjtött mérőszámokat és naplókat a következő szakaszokban tárgyaljuk.The metrics and logs you can collect are discussed in the following sections.

Mérőszámok elemzéseAnalyzing metrics

A metrikákat a Azure monitor menüből megnyitva elemezheti Azure Machine learning mérőszámait, valamint más Azure-szolgáltatások metrikáit is.You can analyze metrics for Azure Machine Learning, along with metrics from other Azure services, by opening Metrics from the Azure Monitor menu. Az eszköz használatával kapcsolatos részletekért lásd: az Azure Metrikaböngésző használatának első lépései .See Getting started with Azure Metrics Explorer for details on using this tool.

A gyűjtött platform metrikáinak listáját itt tekintheti meg: Monitoring Azure Machine learning adathivatkozási mérőszámok.For a list of the platform metrics collected, see Monitoring Azure Machine Learning data reference metrics.

Azure Machine Learning összes mérőszáma a névtér Machine learning szolgáltatás munkaterületen található.All metrics for Azure Machine Learning are in the namespace Machine Learning Service Workspace.

Metrikaböngésző a Machine Learning szolgáltatás munkaterületének kiválasztásával

A hivatkozásokat a Azure monitor által támogatott összes erőforrás-metrikalistáját láthatja.For reference, you can see a list of all resource metrics supported in Azure Monitor.

Tipp

Azure Monitor metrikák adatai 90 napig érhetők el.Azure Monitor metrics data is available for 90 days. A diagramok létrehozásakor azonban csak 30 napig lehet vizualizációt készíteni.However, when creating charts only 30 days can be visualized. Ha például egy 90 napos időszakot szeretne megjeleníteni, azt három, a 90 napos időszakon belül 30 napos diagramra kell bontania.For example, if you want to visualize a 90 day period, you must break it into three charts of 30 days within the 90 day period.

Szűrés és felosztásFiltering and splitting

A dimenziókat támogató metrikák esetében a dimenzió érték használatával szűrőket alkalmazhat.For metrics that support dimensions, you can apply filters using a dimension value. Például az aktív magok szűrése a fürt nevénél cpu-cluster .For example, filtering Active Cores for a Cluster Name of cpu-cluster.

A mérőszámokat dimenzió alapján is feloszthatja, hogy megjelenítse, hogy a metrika különböző szakaszai hogyan hasonlítanak össze egymással.You can also split a metric by dimension to visualize how different segments of the metric compare with each other. Például feloszthatja a folyamat lépésének típusát , hogy megtekintse a folyamat során használt lépések számát.For example, splitting out the Pipeline Step Type to see a count of the types of steps used in the pipeline.

További információ a szűrésről és a felosztásról: Azure monitor speciális szolgáltatásai.For more information of filtering and splitting, see Advanced features of Azure Monitor.

Naplók elemzéseAnalyzing logs

A Azure Monitor Log Analytics használatával diagnosztikai konfigurációt kell létrehoznia, és engedélyeznie kell az adatok küldését a log Analyticsnak.Using Azure Monitor Log Analytics requires you to create a diagnostic configuration and enable Send information to Log Analytics. További információ: gyűjtemény és útválasztás szakasz.For more information, see the Collection and routing section.

Azure Monitor naplókban lévő, az egyes táblákban található, egyedi tulajdonságokkal rendelkező táblázatokban tárolt adathalmazok.Data in Azure Monitor Logs is stored in tables, with each table having its own set of unique properties. A Azure Machine Learning az alábbi táblázatokban tárolja az adattárolást:Azure Machine Learning stores data in the following tables:

TáblázatTable LeírásDescription
AmlComputeClusterEventAmlComputeClusterEvent Azure Machine Learning számítási fürtök eseményei.Events from Azure Machine Learning compute clusters.
AmlComputeClusterNodeEventAmlComputeClusterNodeEvent Azure Machine Learning számítási fürt csomópontjain belüli események.Events from nodes within an Azure Machine Learning compute cluster.
AmlComputeJobEventAmlComputeJobEvent Azure Machine Learning számításon futó feladatok eseményei.Events from jobs running on Azure Machine Learning compute.

Fontos

Amikor kijelöli a naplók elemet a Azure Machine learning menüben, a rendszer megnyit egy log Analytics a jelenlegi munkaterületre beállított lekérdezési hatókörrel.When you select Logs from the Azure Machine Learning menu, Log Analytics is opened with the query scope set to the current workspace. Ez azt jelenti, hogy a naplók lekérdezése csak az adott erőforrás adatait fogja tartalmazni.This means that log queries will only include data from that resource. Ha olyan lekérdezést szeretne futtatni, amely más adatbázisokból vagy más Azure-szolgáltatásoktól származó adatokból származó adatokkal is rendelkezik, válassza a naplók lehetőséget a Azure monitor menüből.If you want to run a query that includes data from other databases or data from other Azure services, select Logs from the Azure Monitor menu. Részletekért lásd: a naplózási lekérdezés hatóköre és időbeli tartománya Azure Monitor log Analytics .See Log query scope and time range in Azure Monitor Log Analytics for details.

A naplók és a metrikák részletes ismertetését lásd: Azure Machine learning monitorozási adatok referenciája.For a detailed reference of the logs and metrics, see Azure Machine Learning monitoring data reference.

Példa Kusto-lekérdezésekreSample Kusto queries

Fontos

Amikor kiválasztja a naplók elemet a [szolgáltatásnév] menüben, log Analytics megnyílik a lekérdezés hatóköre beállítással az aktuális Azure Machine learning munkaterületre.When you select Logs from the [service-name] menu, Log Analytics is opened with the query scope set to the current Azure Machine Learning workspace. Ez azt jelenti, hogy a naplók lekérdezése csak az adott erőforrás adatait fogja tartalmazni.This means that log queries will only include data from that resource. Ha olyan lekérdezést szeretne futtatni, amely más munkaterületekről vagy más Azure-szolgáltatásokból származó adatokból származó adatokkal is rendelkezik, válassza a naplók lehetőséget a Azure monitor menüből.If you want to run a query that includes data from other workspaces or data from other Azure services, select Logs from the Azure Monitor menu. Részletekért lásd: a naplózási lekérdezés hatóköre és időbeli tartománya Azure Monitor log Analytics .See Log query scope and time range in Azure Monitor Log Analytics for details.

A következő lekérdezések segítségével figyelheti Azure Machine Learning erőforrásait:Following are queries that you can use to help you monitor your Azure Machine Learning resources:

  • Sikertelen feladatok beolvasása az elmúlt öt napban:Get failed jobs in the last five days:

    AmlComputeJobEvent
    | where TimeGenerated > ago(5d) and EventType == "JobFailed"
    | project  TimeGenerated , ClusterId , EventType , ExecutionState , ToolType
    
  • Rekordok beolvasása egy adott feladattípushoz:Get records for a specific job name:

    AmlComputeJobEvent
    | where JobName == "automl_a9940991-dedb-4262-9763-2fd08b79d8fb_setup"
    | project  TimeGenerated , ClusterId , EventType , ExecutionState , ToolType
    
  • A fürt eseményeinek beolvasása az elmúlt öt napban azon fürtök esetében, amelyeknél a virtuális gép mérete Standard_D1_V2:Get cluster events in the last five days for clusters where the VM size is Standard_D1_V2:

    AmlComputeClusterEvent
    | where TimeGenerated > ago(4d) and VmSize == "STANDARD_D1_V2"
    | project  ClusterName , InitialNodeCount , MaximumNodeCount , QuotaAllocated , QuotaUtilized
    
  • Az elmúlt nyolc napban lefoglalt csomópontok beolvasása:Get nodes allocated in the last eight days:

    AmlComputeClusterNodeEvent
    | where TimeGenerated > ago(8d) and NodeAllocationTime  > ago(8d)
    | distinct NodeId
    

RiasztásokAlerts

Azure Machine Learning riasztásait a Azure monitor menüből származó riasztások megnyitásával érheti el.You can access alerts for Azure Machine Learning by opening Alerts from the Azure Monitor menu. A riasztások létrehozásával kapcsolatos részletekért tekintse meg a metrikus riasztások létrehozása, megtekintése és kezelése Azure monitor használatával című témakört.See Create, view, and manage metric alerts using Azure Monitor for details on creating alerts.

A következő táblázat a Azure Machine Learning vonatkozó gyakori és javasolt metrikai szabályokat sorolja fel:The following table lists common and recommended metric alert rules for Azure Machine Learning:

RiasztástípusAlert type FeltételCondition LeírásDescription
Modell-üzembehelyezés sikertelenModel Deploy Failed Összesítés típusa: Total, operátor: nagyobb, mint, küszöbérték: 0Aggregation type: Total, Operator: Greater than, Threshold value: 0 Ha egy vagy több modell telepítése meghiúsultWhen one or more model deployments have failed
Kvóta kihasználtsága (%)Quota Utilization Percentage Összesítés típusa: átlag, operátor: nagyobb, mint, küszöbérték: 90Aggregation type: Average, Operator: Greater than, Threshold value: 90 Ha a kvóta kihasználtsági aránya nagyobb, mint 90%When the quota utilization percentage is greater than 90%
Használhatatlan csomópontokUnusable Nodes Összesítés típusa: Total, operátor: nagyobb, mint, küszöbérték: 0Aggregation type: Total, Operator: Greater than, Threshold value: 0 Ha egy vagy több használhatatlan csomópont vanWhen there are one or more unusable nodes

Következő lépésekNext steps