Share via

Azure OpenAI-service bewaken

  • Artikel

Wanneer u kritieke toepassingen en bedrijfsprocessen hebt die afhankelijk zijn van Azure-resources, wilt u de beschikbaarheid, prestaties en werking van deze resources bewaken.

In dit artikel worden de bewakingsgegevens beschreven die zijn gegenereerd door de Azure OpenAI-service. Azure OpenAI maakt deel uit van Azure AI-services, die gebruikmaken van Azure Monitor. Als u niet bekend bent met de functies van Azure Monitor die gebruikelijk zijn voor alle Azure-services die gebruikmaken van de service, raadpleegt u Azure-resources bewaken met Azure Monitor.

Dashboards

Azure OpenAI biedt out-of-box dashboards voor elk van uw Azure OpenAI-resources. Als u toegang wilt krijgen tot de bewakingsdashboards, meldt u zich aan https://portal.azure.com en selecteert u het overzichtsvenster voor een van uw Azure OpenAI-resources.

Schermopname van out-of-box dashboards voor een Azure OpenAI-resource in Azure Portal.

De dashboards zijn gegroepeerd in vier categorieën: HTTP-aanvragen, op tokens gebaseerd gebruik, PTU-gebruik en afstemmen

Gegevensverzameling en -routering in Azure Monitor

Azure OpenAI verzamelt dezelfde soorten bewakingsgegevens als andere Azure-resources. U kunt Azure Monitor configureren voor het genereren van gegevens in activiteitenlogboeken, resourcelogboeken, logboeken van virtuele machines en metrische platformgegevens. Zie Bewakingsgegevens van Azure-resources voor meer informatie.

Metrische platformgegevens en het Activiteitenlogboek van Azure Monitor worden automatisch verzameld en opgeslagen. Deze gegevens kunnen worden gerouteerd naar andere locaties met behulp van een diagnostische instelling. Azure Monitor-resourcelogboeken worden pas verzameld en opgeslagen als u een diagnostische instelling maakt en de logboeken vervolgens doorsturen naar een of meer locaties.

Wanneer u een diagnostische instelling maakt, geeft u op welke categorieën logboeken moeten worden verzameld. Zie Diagnostische instelling maken om platformlogboeken en metrische gegevens in Azure te verzamelen voor meer informatie over het maken van een diagnostische instelling met behulp van Azure Portal, de Azure CLI of PowerShell.

Houd er rekening mee dat het gebruik van diagnostische instellingen en het verzenden van gegevens naar Azure Monitor-logboeken andere kosten heeft. Zie Kostenberekeningen en opties voor Azure Monitor-logboeken voor meer informatie.

De metrische gegevens en logboeken die u kunt verzamelen, worden beschreven in de volgende secties.

Metrische gegevens analyseren

U kunt metrische gegevens voor uw Azure OpenAI Service-resources analyseren met Azure Monitor-hulpprogramma's in Azure Portal. Selecteer op deoverzichtspagina voor uw Azure OpenAI-resource metrische gegevens onder Bewaking in het linkerdeelvenster. Zie Aan de slag met Azure Monitor Metrics Explorer voor meer informatie.

Azure OpenAI heeft commonaliteit met een subset van Azure AI-services. Zie Ondersteunde metrische gegevens voor Microsoft.CognitiveServices/accounts voor een lijst met alle metrische platformgegevens die zijn verzameld voor Azure OpenAI en vergelijkbare Azure AI-services van Azure Monitor.

Metrische gegevens van Cognitive Services

Dit zijn verouderde metrische gegevens die gebruikelijk zijn voor alle Azure AI Services-resources. U wordt niet meer aangeraden deze metrische gegevens te gebruiken met Azure OpenAI.

Metrische gegevens van Azure OpenAI

Notitie

De metrische gegevens voor ingericht beheerd gebruik worden nu afgeschaft en worden niet meer aanbevolen. Deze metrische waarde is vervangen door de metrische gegevens voor ingericht beheerd gebruik V2 .

De volgende tabel bevat een overzicht van de huidige subset metrische gegevens die beschikbaar zijn in Azure OpenAI.

Metric Categorie Statistische functie Beschrijving Dimensies
Azure OpenAI Requests HTTP Tellen Het totale aantal aanroepen naar de Azure OpenAI-API gedurende een bepaalde periode. Van toepassing op door PayGo, PTU en PTU beheerde SKU's. ApiName, ,ModelDeploymentNameModelName,ModelVersion, OperationName, , , RegionStatusCodeStreamType
Generated Completion Tokens Gebruik Sum Aantal gegenereerde tokens (uitvoer) van een Azure OpenAI-model. Van toepassing op PayGo-, PTU- en PTU-manged-SKU's ApiName, ,ModelDeploymentNameModelName,Region
Processed FineTuned Training Hours Gebruik Sum Het aantal trainingsuren dat is verwerkt in een nauwkeurig afgestemd model van Azure OpenAI. ApiName, ,ModelDeploymentNameModelName,Region
Processed Inference Tokens Gebruik Sum Het aantal deductietokens dat wordt verwerkt door een Azure OpenAI-model. Berekend als prompttokens (invoer) + gegenereerde tokens. Van toepassing op PayGo-, PTU- en PTU-manged-SKU's. ApiName, ,ModelDeploymentNameModelName,Region
Processed Prompt Tokens Gebruik Sum Het totale aantal prompttokens (invoer) dat is verwerkt in een Azure OpenAI-model. Van toepassing op door PayGo, PTU en PTU beheerde SKU's. ApiName, ,ModelDeploymentNameModelName,Region
Provision-managed Utilization V2 HTTP Gemiddeld Door inrichting beheerd gebruik is het gebruikspercentage voor een bepaalde ingerichte implementatie. Berekend als (verbruikte PTU's/PTU's geïmplementeerd)*100. Wanneer het gebruik 100% is, worden aanroepen beperkt en wordt er een 429-foutcode geretourneerd. ModelDeploymentName,,ModelNameModelVersion, Region,StreamType
Prompt Token Cache Match Rate HTTP Gemiddeld Alleen ingericht beheerd. De cache van de prompttoken bereikt rantsoenen uitgedrukt als een percentage. ModelDeploymentName, , , ModelVersionModelNameRegion
Time to Response HTTP Gemiddeld Aanbevolen latentiemeting (reactiesnelheid) voor streamingaanvragen. Van toepassing op PTU- en PTU-beheerde implementaties. Deze metrische waarde is niet van toepassing op standaardimplementaties voor betalen per gebruik. Berekend als de tijd die nodig is voor het eerste antwoord dat wordt weergegeven nadat een gebruiker een prompt heeft verzonden, zoals gemeten door de API-gateway. Dit aantal neemt toe naarmate de promptgrootte toeneemt en/of de grootte van cachetreffers vermindert. Opmerking: deze metrische waarde is een benadering omdat gemeten latentie sterk afhankelijk is van meerdere factoren, waaronder gelijktijdige aanroepen en het algehele workloadpatroon. Daarnaast wordt er geen rekening gehouden met enige latentie aan de clientzijde die mogelijk bestaat tussen uw client en het API-eindpunt. Raadpleeg uw eigen logboekregistratie voor optimale latentie bijhouden. ModelDepIoymentName, en ModelNameModelVersion

Diagnostische instellingen configureren

Alle metrische gegevens kunnen worden geëxporteerd met diagnostische instellingen in Azure Monitor. Als u logboeken en metrische gegevens wilt analyseren met Azure Monitor Log Analytics-query's, moet u diagnostische instellingen configureren voor uw Azure OpenAI-resource en uw Log Analytics-werkruimte.

  1. Selecteer diagnostische instellingen in het linkerdeelvenster van uw Azure OpenAI-resourcepagina onder Bewaking. Selecteer Diagnostische instelling toevoegen op de pagina Diagnostische instellingen.

    Schermopname van het openen van de pagina Diagnostische instelling voor een Azure OpenAI-resource in Azure Portal.

  2. Configureer op de pagina Diagnostische instellingen de volgende velden:

    1. Selecteer Verzenden naar Log Analytics-werkruimte.
    2. Kies uw Azure-accountabonnement.
    3. Kies uw Log Analytics-werkruimte.
    4. Selecteer onder Logboeken alleLogs.
    5. Selecteer onder Metrische gegevens AllMetrics.

    Schermopname van het configureren van diagnostische instellingen voor een Azure OpenAI-resource in Azure Portal.

  3. Voer de naam van een diagnostische instelling in om de configuratie op te slaan.

  4. Selecteer Opslaan.

Nadat u de diagnostische instellingen hebt geconfigureerd, kunt u werken met metrische gegevens en logboekgegevens voor uw Azure OpenAI-resource in uw Log Analytics-werkruimte.

Logboeken analyseren

Gegevens in Azure Monitor-logboeken worden opgeslagen in tabellen waarin elke tabel een eigen set unieke eigenschappen heeft.

Alle resourcelogboeken in Azure Monitor hebben dezelfde velden, gevolgd door servicespecifieke velden. Zie Algemene en servicespecifieke schema's voor Azure-resourcelogboeken voor informatie over het algemene schema.

Het activiteitenlogboek is een type platformlogboek in Azure dat inzicht biedt in gebeurtenissen op abonnementsniveau. U kunt dit logboek onafhankelijk bekijken of doorsturen naar Azure Monitor-logboeken. In Azure Portal kunt u het activiteitenlogboek in Azure Monitor-logboeken gebruiken om complexe query's uit te voeren met Log Analytics.

Voor een lijst met de typen resourcelogboeken die beschikbaar zijn voor Azure OpenAI en vergelijkbare Azure AI-services, raadpleegt u bewerkingen van De Azure-resourceprovider van Microsoft.CognitiveServices .

Kusto-query's gebruiken

Nadat u een Azure OpenAI-model hebt geïmplementeerd, kunt u enkele voltooiingsaanroepen verzenden met behulp van de speeltuinomgeving in Azure AI Studio.

Schermopname van het genereren van voltooiingen voor een Azure OpenAI-resource in de Azure OpenAI Studio-speeltuin.

Elke tekst die u invoert in de speeltuin Voltooiingen of de speeltuin Chat-voltooiingen genereert metrische gegevens en logboekgegevens voor uw Azure OpenAI-resource. In de Log Analytics-werkruimte voor uw resource kunt u een query uitvoeren op de bewakingsgegevens met behulp van de Kusto-querytaal .

Belangrijk

De optie Query openen op de azure OpenAI-resourcepagina bladert naar Azure Resource Graph. Deze optie wordt niet beschreven in dit artikel. De volgende query's gebruiken de queryomgeving voor Log Analytics. Volg de stappen in Diagnostische instellingen configureren om uw Log Analytics-werkruimte voor te bereiden.

  1. Selecteer Logboeken op de resourcepagina van Uw Azure OpenAI onder Bewaking in het linkerdeelvenster.

  2. Selecteer de Log Analytics-werkruimte die u hebt geconfigureerd met diagnostische gegevens voor uw Azure OpenAI-resource.

  3. Selecteer Logboeken op de pagina Log Analytics-werkruimte, onder Overzicht in het linkerdeelvenster.

    In Azure Portal wordt standaard een venster Query's met voorbeeldquery's en suggesties weergegeven. U kunt dit venster sluiten.

Voer voor de volgende voorbeelden de Kusto-query in de bewerkingsregio boven aan het venster Query in en selecteer vervolgens Uitvoeren. De queryresultaten worden onder de querytekst weergegeven.

De volgende Kusto-query is handig voor een eerste analyse van Azure Diagnostics-gegevens (AzureDiagnostics) over uw resource:

AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s

Deze query retourneert een voorbeeld van 100 vermeldingen en geeft een subset weer van de beschikbare kolommen met gegevens in de logboeken. In de queryresultaten kunt u de pijl naast de tabelnaam selecteren om alle beschikbare kolommen en bijbehorende gegevenstypen weer te geven.

Schermopname van de Log Analytics-queryresultaten voor Azure Diagnostics-gegevens over de Azure OpenAI-resource.

Als u alle beschikbare kolommen met gegevens wilt zien, kunt u de bereikparametersregel | project ... uit de query verwijderen:

AzureDiagnostics
| take 100

Voer de volgende query uit om de metrische gegevens van Azure (AzureMetrics) voor uw resource te onderzoeken:

AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

De query retourneert een voorbeeld van 100 vermeldingen en geeft een subset weer van de beschikbare kolommen met metrische Gegevens van Azure:

Schermopname van de Log Analytics-queryresultaten voor metrische Gegevens van Azure over de Azure OpenAI-resource.

Notitie

Wanneer u Bewakingslogboeken> selecteert in het menu Azure OpenAI voor uw resource, wordt Log Analytics geopend met het querybereik ingesteld op de huidige resource. De zichtbare logboekquery's bevatten alleen gegevens van die specifieke resource. Als u een query wilt uitvoeren die gegevens uit andere resources of gegevens uit andere Azure-services bevat, selecteert u Logboeken in het menu Azure Monitor in Azure Portal. Zie Logboekquerybereik en tijdsbereik in Azure Monitor Log Analytics voor meer informatie.

Waarschuwingen instellen

Met Azure Monitor-waarschuwingen wordt u proactief op de hoogte gesteld wanneer aan bepaalde belangrijke voorwaarden wordt voldaan in uw controlegegevens. Hiermee kunt u problemen in uw systeem identificeren en oplossen voordat uw gebruikers ze merken. U kunt waarschuwingen instellen voor metrische gegevens, logboeken en het activiteitenlogboek. Verschillende typen waarschuwingen hebben verschillende voordelen en nadelen.

De waarschuwingsbehoeften van elke organisatie variëren en kunnen na verloop van tijd veranderen. Over het algemeen moeten alle waarschuwingen uitvoerbaar zijn en een specifiek bedoeld antwoord hebben als de waarschuwing optreedt. Als een waarschuwing geen onmiddellijke reactie vereist, kan de voorwaarde worden vastgelegd in een rapport in plaats van een waarschuwing. Sommige gebruiksvoorbeelden vereisen mogelijk waarschuwingen wanneer bepaalde foutvoorwaarden bestaan. In andere gevallen hebt u mogelijk waarschuwingen nodig voor fouten die een bepaalde drempelwaarde voor een bepaalde periode overschrijden.

Fouten onder bepaalde drempelwaarden kunnen vaak worden geëvalueerd via een regelmatige analyse van gegevens in Azure Monitor-logboeken. Wanneer u uw logboekgegevens in de loop van de tijd analyseert, kunt u ontdekken dat een bepaalde voorwaarde gedurende een verwachte periode niet voorkomt. U kunt deze voorwaarde bijhouden met behulp van waarschuwingen. Soms is het ontbreken van een gebeurtenis in een logboek net zo belangrijk als een signaal als een fout.

Afhankelijk van het type toepassing dat u ontwikkelt met uw gebruik van Azure OpenAI, biedt Azure Monitor Application Insights mogelijk meer bewakingsvoordelen op de toepassingslaag.

Volgende stappen