Azure Batch bewaken

  • Artikel

In dit artikel wordt het volgende beschreven:

  • De typen bewakingsgegevens die u voor deze service kunt verzamelen.
  • Manieren om die gegevens te analyseren.

Notitie

Als u al bekend bent met deze service en/of Azure Monitor en alleen wilt weten hoe u bewakingsgegevens analyseert, raadpleegt u de sectie Analyseren aan het einde van dit artikel.

Wanneer u kritieke toepassingen en bedrijfsprocessen hebt die afhankelijk zijn van Azure-resources, moet u waarschuwingen voor uw systeem bewaken en ontvangen. De Azure Monitor-service verzamelt en aggregeert metrische gegevens en logboeken van elk onderdeel van uw systeem. Azure Monitor biedt een overzicht van beschikbaarheid, prestaties en tolerantie, en geeft u een overzicht van problemen. U kunt de Azure-portal, PowerShell, Azure CLI, REST API of clientbibliotheken gebruiken om bewakingsgegevens in te stellen en weer te geven.

Resourcetypen

Azure maakt gebruik van het concept van resourcetypen en id's om alles in een abonnement te identificeren. Azure Monitor organiseert op dezelfde manier kernbewakingsgegevens in metrische gegevens en logboeken op basis van resourcetypen, ook wel naamruimten genoemd. Er zijn verschillende metrische gegevens en logboeken beschikbaar voor verschillende resourcetypen. Uw service is mogelijk gekoppeld aan meer dan één resourcetype.

Resourcetypen maken ook deel uit van de resource-id's voor elke resource die wordt uitgevoerd in Azure. Eén resourcetype voor een virtuele machine is Microsoft.Compute/virtualMachinesbijvoorbeeld . Zie Resourceproviders voor een lijst met services en de bijbehorende resourcetypen.

Zie voor meer informatie over de resourcetypen voor Batch de verwijzing naar bewakingsgegevens van Batch.

Gegevensopslag

Voor Azure Monitor:

  • Metrische gegevens worden opgeslagen in de metrische gegevensdatabase van Azure Monitor.
  • Logboekgegevens worden opgeslagen in het logboekarchief van Azure Monitor. Log Analytics is een hulpprogramma in Azure Portal waarmee een query kan worden uitgevoerd op dit archief.
  • Het Azure-activiteitenlogboek is een afzonderlijk archief met een eigen interface in Azure Portal.

U kunt eventueel metrische gegevens en activiteitenlogboekgegevens routeren naar het logboekarchief van Azure Monitor. Vervolgens kunt u Log Analytics gebruiken om een query uit te voeren op de gegevens en deze te correleren met andere logboekgegevens.

Veel services kunnen diagnostische instellingen gebruiken om metrische gegevens en logboekgegevens te verzenden naar andere opslaglocaties buiten Azure Monitor. Voorbeelden hiervan zijn Azure Storage, gehoste partnersystemen en niet-Azure-partnersystemen, met behulp van Event Hubs.

Zie het Azure Monitor-gegevensplatform voor gedetailleerde informatie over hoe Azure Monitor gegevens opslaat.

Diagnostische logboeken in opslag openen

Als u diagnostische logboeken van Batch in een opslagaccount archiveert, wordt er een opslagcontainer gemaakt in het opslagaccount zodra er een gerelateerde gebeurtenis plaatsvindt. Blobs worden gemaakt volgens het volgende naamgevingspatroon:

insights-{log category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/
RESOURCEGROUPS/{resource group name}/PROVIDERS/MICROSOFT.BATCH/
BATCHACCOUNTS/{Batch account name}/y={four-digit numeric year}/
m={two-digit numeric month}/d={two-digit numeric day}/
h={two-digit 24-hour clock hour}/m=00/PT1H.json

Voorbeeld:

insights-metrics-pt1m/resourceId=/SUBSCRIPTIONS/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/
RESOURCEGROUPS/MYRESOURCEGROUP/PROVIDERS/MICROSOFT.BATCH/
BATCHACCOUNTS/MYBATCHACCOUNT/y=2018/m=03/d=05/h=22/m=00/PT1H.json

Elk PT1H.json blobbestand bevat gebeurtenissen in JSON-indeling die zijn opgetreden binnen het uur dat is opgegeven in de blob-URL (bijvoorbeeld h=12). Tijdens het huidige uur worden gebeurtenissen toegevoegd aan het PT1H.json-bestand wanneer ze optreden. De minuutwaarde (m=00) is altijd 00, omdat diagnostische logboekgebeurtenissen per uur worden opgesplitst in afzonderlijke blobs. Alle tijden zijn in UTC.

In het volgende voorbeeld ziet u een PoolResizeCompleteEvent vermelding in een PT1H.json logboekbestand. De vermelding bevat informatie over het huidige en doelaantal toegewezen en lage prioriteitsknooppunten en de begin- en eindtijd van de bewerking.

{ "Tenant": "65298bc2729a4c93b11c00ad7e660501", "time": "2019-08-22T20:59:13.5698778Z", "resourceId": "/SUBSCRIPTIONS/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/RESOURCEGROUPS/MYRESOURCEGROUP/PROVIDERS/MICROSOFT.BATCH/BATCHACCOUNTS/MYBATCHACCOUNT/", "category": "ServiceLog", "operationName": "PoolResizeCompleteEvent", "operationVersion": "2017-06-01", "properties": {"id":"MYPOOLID","nodeDeallocationOption":"Requeue","currentDedicatedNodes":10,"targetDedicatedNodes":100,"currentLowPriorityNodes":0,"targetLowPriorityNodes":0,"enableAutoScale":false,"isAutoPool":false,"startTime":"2019-08-22 20:50:59.522","endTime":"2019-08-22 20:59:12.489","resultCode":"Success","resultMessage":"The operation succeeded"}}

Gebruik de Storage-API's om programmatisch toegang te krijgen tot de logboeken in uw opslagaccount.

Metrische gegevens van het Azure Monitor-platform

Azure Monitor biedt metrische platformgegevens voor de meeste services. Deze metrische gegevens zijn:

  • Afzonderlijk gedefinieerd voor elke naamruimte.
  • Opgeslagen in de metrische gegevensdatabase van Azure Monitor.
  • Lichtgewicht en in staat om bijna realtime waarschuwingen te ondersteunen.
  • Wordt gebruikt om de prestaties van een resource in de loop van de tijd bij te houden.

Verzameling: Azure Monitor verzamelt automatisch metrische platformgegevens. Er is geen configuratie vereist.

Routering: U kunt ook meestal metrische platformgegevens routeren naar Azure Monitor-logboeken/Log Analytics, zodat u er query's op kunt uitvoeren met andere logboekgegevens. Zie de diagnostische instelling voor metrische gegevens voor meer informatie. Zie Diagnostische instellingen maken in Azure Monitor voor informatie over het configureren van diagnostische instellingen voor een service.

Zie Ondersteunde metrische gegevens in Azure Monitor voor een lijst met alle metrische gegevens die kunnen worden verzameld voor alle resources in Azure Monitor.

Voorbeelden van metrische gegevens in een Batch-account zijn gebeurtenissen voor groep maken, aantal knooppunten met lage prioriteit en taak voltooide gebeurtenissen. Deze metrische gegevens kunnen helpen bij het identificeren van trends en kunnen worden gebruikt voor gegevensanalyse.

Notitie

Metrische gegevens die in de afgelopen 3 minuten zijn verzonden, worden mogelijk nog steeds samengevoegd, zodat waarden tijdens dit tijdsbestek mogelijk worden ondervermeld. Levering van metrische gegevens wordt niet gegarandeerd en kan worden beïnvloed door levering buiten bestelling, gegevensverlies of duplicatie.

Zie de naslaginformatie voor Batch-bewakingsgegevens voor een volledige lijst met beschikbare metrische gegevens voor Batch.

Azure Monitor-resourcelogboeken

Resourcelogboeken bieden inzicht in bewerkingen die zijn uitgevoerd door een Azure-resource. Logboeken worden automatisch gegenereerd, maar u moet ze routeren naar Azure Monitor-logboeken om ze op te slaan of er query's op uit te voeren. Logboeken zijn ingedeeld in categorieën. Een bepaalde naamruimte kan meerdere resourcelogboekcategorieën hebben.

Verzameling: Resourcelogboeken worden pas verzameld en opgeslagen als u een diagnostische instelling maakt en de logboeken doorsturen naar een of meer locaties. Wanneer u een diagnostische instelling maakt, geeft u op welke categorieën logboeken moeten worden verzameld. Er zijn meerdere manieren om diagnostische instellingen te maken en te onderhouden, waaronder Azure Portal, programmatisch en hoewel Azure Policy.

Routering: de voorgestelde standaardinstelling is het routeren van resourcelogboeken naar Azure Monitor-logboeken, zodat u er query's op kunt uitvoeren met andere logboekgegevens. Andere locaties, zoals Azure Storage, Azure Event Hubs en bepaalde Microsoft-bewakingspartners, zijn ook beschikbaar. Zie Azure-resourcelogboeken en resourcelogboekbestemmingen voor meer informatie.

Zie Diagnostische instellingen in Azure Monitor voor gedetailleerde informatie over het verzamelen, opslaan en routeren van resourcelogboeken.

Zie Ondersteunde resourcelogboeken in Azure Monitor voor een lijst met alle beschikbare resourcelogboekcategorieën in Azure Monitor.

Alle resourcelogboeken in Azure Monitor hebben dezelfde koptekstvelden, gevolgd door servicespecifieke velden. Het algemene schema wordt beschreven in het schema voor resourcelogboeken van Azure Monitor.

Zie de referentie voor batchgegevens voor de beschikbare resourcelogboekcategorieën, de bijbehorende Log Analytics-tabellen en de logboekschema's voor Batch.

U moet expliciet diagnostische instellingen inschakelen voor elk Batch-account dat u wilt bewaken.

Voor de Batch-service kunt u de volgende logboeken verzamelen:

  • ServiceLog: gebeurtenissen die door de Batch-service worden verzonden tijdens de levensduur van een afzonderlijke resource, zoals een pool of taak.
  • AllMetrics: Metrische gegevens op batchaccountniveau.

In de volgende schermopname ziet u een voorbeeld van een diagnostische instelling waarmee allLogs en AllMetrics naar een Log Analytics-werkruimte worden verzonden.

Schermopname van de pagina Diagnostische instelling waarin een voorbeeld wordt weergegeven.

Wanneer u een Azure Batch-pool maakt, kunt u een van de volgende bewakingsgerelateerde extensies op de rekenknooppunten installeren om gegevens te verzamelen en te analyseren:

Zie Agents vergelijken voor een vergelijking van de verschillende extensies en agents en de gegevens die ze verzamelen.

Azure-activiteitenlogboek

Het activiteitenlogboek bevat gebeurtenissen op abonnementsniveau waarmee bewerkingen voor elke Azure-resource worden bijgehouden, zoals van buiten die resource wordt gezien; Bijvoorbeeld het maken van een nieuwe resource of het starten van een virtuele machine.

Verzameling: gebeurtenissen in activiteitenlogboeken worden automatisch gegenereerd en verzameld in een afzonderlijk archief voor weergave in Azure Portal.

Routering: U kunt activiteitenlogboekgegevens verzenden naar Azure Monitor-logboeken, zodat u deze naast andere logboekgegevens kunt analyseren. Andere locaties, zoals Azure Storage, Azure Event Hubs en bepaalde Microsoft-bewakingspartners, zijn ook beschikbaar. Zie Overzicht van het Azure-activiteitenlogboek voor meer informatie over het routeren van het activiteitenlogboek.

Voor Batch-accounts verzamelt het activiteitenlogboek gebeurtenissen met betrekking tot het maken en verwijderen en sleutelbeheer van accounts.

Bewakingsgegevens analyseren

Er zijn veel hulpprogramma's voor het analyseren van bewakingsgegevens.

Azure Monitor-hulpprogramma's

Azure Monitor ondersteunt de volgende basishulpprogramma's:

Hulpprogramma's waarmee complexere visualisaties mogelijk zijn, zijn onder andere:

  • Dashboards waarmee u verschillende soorten gegevens kunt combineren in één deelvenster in Azure Portal.
  • Werkmappen, aanpasbare rapporten die u kunt maken in Azure Portal. Werkmappen kunnen tekst, metrische gegevens en logboekquery's bevatten.
  • Grafana, een open platformhulpprogramma dat excelleert in operationele dashboards. U kunt Grafana gebruiken om dashboards te maken die gegevens uit meerdere andere bronnen dan Azure Monitor bevatten.
  • Power BI, een business analytics-service die interactieve visualisaties biedt in verschillende gegevensbronnen. U kunt Power BI zo configureren dat logboekgegevens automatisch vanuit Azure Monitor worden geïmporteerd om te profiteren van deze visualisaties.

Wanneer u op aantallen gebaseerde Batch-metrische gegevens analyseert, zoals Toegewezen aantal kerngeheugens of Aantal knooppunten met lage prioriteit, gebruikt u de aggregatie Avg . Gebruik de aggregatie Aantal voor metrische gegevens op basis van gebeurtenissen, zoals Pool Resize Complete Events. Vermijd het gebruik van de aggregatie Som , waarmee de waarden van alle gegevenspunten worden opgeteld die gedurende de periode van de grafiek zijn ontvangen.

Azure Monitor-exporthulpprogramma's

U kunt gegevens uit Azure Monitor ophalen in andere hulpprogramma's met behulp van de volgende methoden:

Als u aan de slag wilt gaan met de REST API voor Azure Monitor, raadpleegt u de stapsgewijze instructies voor Azure Monitoring REST API.

Kusto-query's

U kunt bewakingsgegevens analyseren in de Azure Monitor-logboeken/Log Analytics-opslag met behulp van de Kusto-querytaal (KQL).

Belangrijk

Wanneer u Logboeken selecteert in het menu van de service in de portal, wordt Log Analytics geopend met het querybereik ingesteld op de huidige service. Dit bereik betekent dat logboekquery's alleen gegevens uit dat type resource bevatten. Als u een query wilt uitvoeren die gegevens uit andere Azure-services bevat, selecteert u Logboeken in het menu Azure Monitor . Zie Log-querybereik en tijdsbereik in Azure Monitor Log Analytics voor meer informatie.

Zie de interface voor Log Analytics-query's voor een lijst met algemene query's voor elke service.

Voorbeeldquery's

Hier volgen enkele voorbeeldlogboekquery's voor Batch:

Grootte van pool wijzigen: lijsten met groottes per pool en resultaatcode (geslaagd of mislukt):

AzureDiagnostics
| where OperationName=="PoolResizeCompleteEvent"
| summarize operationTimes=make_list(startTime_s) by poolName=id_s, resultCode=resultCode_s

Taakduur: Geeft de verstreken tijd van taken in seconden, van begin tot taak voltooid.

AzureDiagnostics
| where OperationName=="TaskCompleteEvent"
| extend taskId=id_s, ElapsedTime=datetime_diff('second', executionInfo_endTime_t, executionInfo_startTime_t) // For longer running tasks, consider changing 'second' to 'minute' or 'hour'
| summarize taskList=make_list(taskId) by ElapsedTime

Mislukte taken per taak: bevat mislukte taken per bovenliggende taak.

AzureDiagnostics
| where OperationName=="TaskFailEvent"
| summarize failedTaskList=make_list(id_s) by jobId=jobId_s, ResourceId

Waarschuwingen

Azure Monitor-waarschuwingen melden u proactief wanneer er specifieke voorwaarden worden gevonden in uw bewakingsgegevens. Met waarschuwingen kunt u problemen in uw systeem identificeren en oplossen voordat uw klanten ze opmerken. Zie Azure Monitor-waarschuwingen voor meer informatie.

Er zijn veel bronnen van algemene waarschuwingen voor Azure-resources. Zie Voorbeeldquery's voor logboekwaarschuwingen voor voorbeelden van veelvoorkomende waarschuwingen voor Azure-resources. De site Azure Monitor Baseline Alerts (AMBA) biedt een semi-geautomatiseerde methode voor het implementeren van belangrijke metrische platformwaarschuwingen, dashboards en richtlijnen. De site is van toepassing op een voortdurend uitbreidende subset van Azure-services, inclusief alle services die deel uitmaken van de Azure Landing Zone (ALZ).

Het algemene waarschuwingsschema standaardiseert het verbruik van Azure Monitor-waarschuwingsmeldingen. Zie Algemeen waarschuwingsschema voor meer informatie.

Typen waarschuwingen

U kunt een waarschuwing ontvangen voor elke metrische gegevensbron of logboekgegevensbron in het Azure Monitor-gegevensplatform. Er zijn veel verschillende typen waarschuwingen, afhankelijk van de services die u bewaakt en de bewakingsgegevens die u verzamelt. Verschillende typen waarschuwingen hebben verschillende voordelen en nadelen. Zie Het juiste waarschuwingstype voor bewaking kiezen voor meer informatie.

In de volgende lijst worden de typen Azure Monitor-waarschuwingen beschreven die u kunt maken:

  • Metrische waarschuwingen evalueren met regelmatige tussenpozen resourcegegevens. Metrische gegevens kunnen metrische platformgegevens, aangepaste metrische gegevens, logboeken van Azure Monitor zijn geconverteerd naar metrische gegevens of metrische Gegevens van Application Insights. Metrische waarschuwingen kunnen ook meerdere voorwaarden en dynamische drempelwaarden toepassen.
  • Met logboekwaarschuwingen kunnen gebruikers een Log Analytics-query gebruiken om resourcelogboeken met een vooraf gedefinieerde frequentie te evalueren.
  • Waarschuwingen voor activiteitenlogboeken worden geactiveerd wanneer een nieuwe gebeurtenis van het activiteitenlogboek plaatsvindt die overeenkomt met gedefinieerde voorwaarden. Resource Health-waarschuwingen en Service Health-waarschuwingen zijn waarschuwingen voor activiteitenlogboeken die rapporteren over uw service en resourcestatus.

Sommige Azure-services ondersteunen ook waarschuwingen voor slimme detectie, Prometheus-waarschuwingen of aanbevolen waarschuwingsregels.

Voor sommige services kunt u op schaal bewaken door dezelfde waarschuwingsregel voor metrische gegevens toe te passen op meerdere resources van hetzelfde type dat in dezelfde Azure-regio aanwezig is. Afzonderlijke meldingen worden verzonden voor elke bewaakte resource. Zie Meerdere resources bewaken met één waarschuwingsregel voor ondersteunde Azure-services en -clouds.

Notitie

Als u een toepassing maakt of uitvoert die op uw service wordt uitgevoerd, biedt Azure Monitor Application Insights mogelijk meer typen waarschuwingen.

Batch-waarschuwingsregels

Omdat metrische levering afhankelijk kan zijn van inconsistenties, zoals levering buiten bestelling, gegevensverlies of duplicatie, moet u waarschuwingen voorkomen die worden geactiveerd op één gegevenspunt. Gebruik in plaats daarvan drempelwaarden om rekening te houden met deze inconsistenties gedurende een bepaalde periode.

U kunt bijvoorbeeld een metrische waarschuwing configureren wanneer het aantal kerngeheugens met lage prioriteit op een bepaald niveau valt. U kunt deze waarschuwing vervolgens gebruiken om de samenstelling van uw pools aan te passen. Voor de beste resultaten stelt u een periode van 10 of meer minuten in waarbij de waarschuwing wordt geactiveerd als het gemiddelde aantal kernen met lage prioriteit lager is dan de drempelwaarde voor de hele periode. Met deze periode kunnen metrische gegevens worden samengevoegd, zodat u nauwkeurigere resultaten krijgt.

De volgende tabel bevat enkele waarschuwingsregeltriggers voor Batch. Deze waarschuwingsregels zijn slechts voorbeelden. U kunt waarschuwingen instellen voor alle metrische gegevens, logboekvermeldingen of activiteitenlogboekvermeldingen die worden vermeld in de batch-controlegegevensverwijzing.

Waarschuwingstype Voorwaarde Beschrijving
Metric Onbruikbaar aantal knooppunten Wanneer het aantal onbruikbare knooppunten groter is dan 0
Metric Mislukte taken Wanneer het totale aantal mislukte taken groter is dan de dynamische drempelwaarde

Advisor-aanbevelingen

Voor sommige services, als er kritieke omstandigheden of aanstaande wijzigingen optreden tijdens resourcebewerkingen, wordt een waarschuwing weergegeven op de pagina Serviceoverzicht in de portal. Meer informatie en aanbevolen oplossingen voor de waarschuwing vindt u in Advisor-aanbevelingen onder Bewaking in het linkermenu. Tijdens normale bewerkingen worden er geen aanbevelingen van advisor weergegeven.

Zie het overzicht van Azure Advisor voor meer informatie over Azure Advisor.

Andere opties voor Batch-bewaking

Batch Explorer is een gratis, uitgebreid, zelfstandig clienthulpprogramma voor het maken, opsporen en bewaken van Azure Batch-toepassingen. U kunt Azure Batch Insights met Batch Explorer gebruiken om systeemstatistieken voor uw Batch-knooppunten op te halen, zoals prestatiemeteritems voor virtuele machines (VM's).

In uw Batch-toepassingen kunt u de Batch .NET-bibliotheek gebruiken om de status van uw resources te bewaken of op te vragen, waaronder taken, taken, knooppunten en pools. Voorbeeld:

U kunt de Batch-API's gebruiken om lijstquery's te maken voor Batch-taken, taken, rekenknooppunten en andere resources. Zie Query's maken om Batch-resources efficiënt weer te geven voor meer informatie over het filteren van lijstquery's.

Of, in plaats van mogelijk tijdrovende lijstquery's die gedetailleerde informatie retourneren over grote verzamelingen taken of knooppunten, kunt u de bewerkingen Taken ophalen en Aantal knooppunten lijstgroepen gebruiken om tellingen voor Batch-taken en rekenknooppunten op te halen. Zie Batch-oplossingen bewaken door taken en knooppunten te tellen op status voor meer informatie.

U kunt Application Insights integreren met uw Azure Batch-toepassingen om uw code te instrumenteren met aangepaste metrische gegevens en tracering. Voor een gedetailleerd overzicht van het toevoegen van Application Insights aan een Batch .NET-oplossing, instrumenttoepassingscode, het bewaken van de toepassing in Azure Portal en het bouwen van aangepaste dashboards, raadpleegt u Monitor en fouten opsporen in een Azure Batch .NET-toepassing met Application Insights en het bijbehorende codevoorbeeld.

Gerelateerde inhoud