Monitorování služby Azure OpenAI

  • Článek

Pokud máte důležité aplikace a obchodní procesy, které se spoléhají na prostředky Azure, měli byste monitorovat dostupnost, výkon a provoz těchto prostředků.

Tento článek popisuje data monitorování generovaná službou Azure OpenAI Service. Azure OpenAI je součástí služeb Azure AI, které používají Azure Monitor. Pokud neznáte funkce služby Azure Monitor, které jsou společné pro všechny služby Azure, které tuto službu používají, přečtěte si téma Monitorování prostředků Azure pomocí služby Azure Monitor.

Řídicí panely

Azure OpenAI poskytuje předefinované řídicí panely pro každý z vašich prostředků Azure OpenAI. Pokud chcete získat přístup k přihlášení k https://portal.azure.com řídicím panelům monitorování a vybrat podokno přehledu pro některý z vašich prostředků Azure OpenAI.

Snímek obrazovky znázorňující předem otevřené řídicí panely pro prostředek Azure OpenAI na webu Azure Portal

Řídicí panely jsou seskupené do čtyř kategorií: požadavky HTTP, využití založené na tokenech, využití PTU a jemné ladění.

Shromažďování a směrování dat ve službě Azure Monitor

Azure OpenAI shromažďuje stejné druhy dat monitorování jako jiné prostředky Azure. Azure Monitor můžete nakonfigurovat tak, aby generoval data v protokolech aktivit, protokolech prostředků, protokolech virtuálních počítačů a metrikách platformy. Další informace najdete v tématu Monitorování dat z prostředků Azure.

Metriky platformy a protokol aktivit služby Azure Monitor se shromažďují a ukládají automaticky. Tato data je možné směrovat do jiných umístění pomocí nastavení diagnostiky. Protokoly prostředků služby Azure Monitor se neshromažďují a neukládají, dokud nevytvoříte nastavení diagnostiky a pak protokoly směrujete do jednoho nebo více umístění.

Při vytváření nastavení diagnostiky určíte, které kategorie protokolů se mají shromažďovat. Další informace o vytváření nastavení diagnostiky pomocí webu Azure Portal, Azure CLI nebo PowerShellu najdete v tématu Vytvoření nastavení diagnostiky pro shromažďování protokolů platformy a metrik v Azure.

Mějte na paměti, že použití nastavení diagnostiky a odesílání dat do protokolů služby Azure Monitor má spojené další náklady. Další informace najdete v tématu Výpočty a možnosti nákladů služby Azure Monitor.

Metriky a protokoly, které můžete shromažďovat, jsou popsány v následujících částech.

Analýza metrik

Metriky pro prostředky služby Azure OpenAI Můžete analyzovat pomocí nástrojů Azure Monitoru na webu Azure Portal. Na stránce Přehled vašeho prostředku Azure OpenAI vyberte metriky v části Monitorování v levém podokně. Další informace najdete v tématu Začínáme s Průzkumníkem metrik služby Azure Monitor.

Azure OpenAI má společnou řadu s podmnožinou služeb Azure AI. Seznam všech metrik platformy shromážděných pro Azure OpenAI a podobné služby Azure AI službou Azure Monitor najdete v tématu Podporované metriky pro Microsoft.CognitiveServices/accounts.

Metriky služeb Cognitive Services

Jedná se o starší metriky, které jsou společné pro všechny prostředky azure AI Services. Tyto metriky už nedoporučujeme používat s Azure OpenAI.

Metriky Azure OpenAI

Poznámka:

Metrika využití zřízeného spravovaného uživatele je teď zastaralá a už se nedoporučuje. Tato metrika byla nahrazena metrikou využití spravovaného zřizováním V2 .

Následující tabulka shrnuje aktuální podmnožinu metrik dostupných v Azure OpenAI.

Metrika Kategorie Agregace Popis Dimenze
Azure OpenAI Requests HTTP Počet Celkový početvoláních Platí pro skladové položky spravované pomocí PayGo, PTU a PTU. ApiName, ,ModelDeploymentNameModelName,ModelVersion, OperationName, Region, , StatusCodeStreamType
Generated Completion Tokens Využití Sum Počet vygenerovaných tokenů (výstup) z modelu Azure OpenAI Platí pro skladové položky PayGo, PTU a PTU. ApiName, ,ModelDeploymentNameModelName,Region
Processed FineTuned Training Hours Využití Sum Počet trénovacích hodin zpracovaných v modelu Azure OpenAI je vyladěný. ApiName, ,ModelDeploymentNameModelName,Region
Processed Inference Tokens Využití Sum Počet odvozovaných tokenů zpracovaných modelem Azure OpenAI Vypočítáno jako tokeny výzvy (vstup) + vygenerované tokeny. Platí pro skladové položky PayGo, PTU a PTU. ApiName, ,ModelDeploymentNameModelName,Region
Processed Prompt Tokens Využití Sum Celkový počet tokenů výzvy (vstup) zpracovaných v modelu Azure OpenAI Platí pro skladové položky spravované pomocí PayGo, PTU a PTU. ApiName, ,ModelDeploymentNameModelName,Region
Provision-managed Utilization V2 Využití Průměr Využití spravovaného zřizováním je procento využití pro dané zřízené nasazení spravované. Vypočítáno jako (spotřebované jednotky PTU nebo nasazené PTU)*100. Pokud je využití vyšší nebo vyšší než 100 %, volání se omezí a vrátí kód chyby 429. ModelDeploymentName,ModelName,ModelVersion, Region, StreamType

Konfigurace nastavení diagnostiky

Všechny metriky se dají exportovat pomocí nastavení diagnostiky ve službě Azure Monitor. Pokud chcete analyzovat protokoly a data metrik pomocí dotazů Log Analytics služby Azure Monitor, musíte nakonfigurovat nastavení diagnostiky pro prostředek Azure OpenAI a pracovní prostor služby Log Analytics.

  1. Na stránce prostředku Azure OpenAI v části Monitorování vyberte nastavení diagnostiky v levém podokně. Na stránce Nastavení diagnostiky vyberte Přidat nastavení diagnostiky.

    Snímek obrazovky, který ukazuje, jak otevřít stránku nastavení diagnostiky pro prostředek Azure OpenAI na webu Azure Portal

  2. Na stránce Nastavení diagnostiky nakonfigurujte následující pole:

    1. Vyberte Možnost Odeslat do pracovního prostoru služby Log Analytics.
    2. Zvolte své předplatné účtu Azure.
    3. Zvolte pracovní prostor služby Log Analytics.
    4. V části Protokoly vyberte všechny protokoly.
    5. V části Metriky vyberte Všechny metriky.

    Snímek obrazovky znázorňující konfiguraci nastavení diagnostiky pro prostředek Azure OpenAI na webu Azure Portal

  3. Zadáním názvu nastavení diagnostiky uložte konfiguraci.

  4. Zvolte Uložit.

Po konfiguraci nastavení diagnostiky můžete pracovat s metrikami a daty protokolu pro prostředek Azure OpenAI v pracovním prostoru služby Log Analytics.

Analýza protokolů

Data v protokolech služby Azure Monitor jsou uložená v tabulkách, kde každá tabulka má vlastní sadu jedinečných vlastností.

Všechny protokoly prostředků ve službě Azure Monitor mají stejná pole, za kterými následují pole specifická pro službu. Informace o společném schématu najdete v tématu Běžná schémata a schémata specifická pro služby pro protokoly prostředků Azure.

Protokol aktivit je typ protokolu platformy v Azure, který poskytuje přehled o událostech na úrovni předplatného. Tento protokol můžete zobrazit nezávisle nebo ho směrovat do protokolů služby Azure Monitor. Na webu Azure Portal můžete pomocí protokolu aktivit v protokolech služby Azure Monitor spouštět složité dotazy pomocí Log Analytics.

Seznam typů protokolů prostředků dostupných pro Azure OpenAI a podobné služby Azure AI najdete v tématu Operace poskytovatele prostředků Azure Microsoft.CognitiveServices .

Použití dotazů Kusto

Po nasazení modelu Azure OpenAI můžete posílat některá volání dokončení pomocí prostředí dětského hřiště v Azure AI Studiu.

Snímek obrazovky, který ukazuje, jak vygenerovat dokončení pro prostředek Azure OpenAI v dětském prostředí Azure OpenAI Studio

Veškerý text, který zadáte do dětského hřiště Dokončení nebo do dětského hřiště pro dokončování chatu, generuje metriky a data protokolu pro váš prostředek Azure OpenAI. V pracovním prostoru služby Log Analytics pro váš prostředek můžete dotazovat data monitorování pomocí dotazovacího jazyka Kusto .

Důležité

Možnost Otevřít dotaz na stránce prostředků Azure OpenAI přejde na Azure Resource Graph, který není popsaný v tomto článku. Následující dotazy používají prostředí dotazů pro Log Analytics. Nezapomeňte postupovat podle kroků v části Konfigurace nastavení diagnostiky pro přípravu pracovního prostoru služby Log Analytics.

  1. Na stránce prostředku Azure OpenAI v části Monitorování v levém podokně vyberte Protokoly.

  2. Vyberte pracovní prostor služby Log Analytics, který jste nakonfigurovali pomocí diagnostiky pro prostředek Azure OpenAI.

  3. Na stránce pracovního prostoru služby Log Analytics v části Přehled v levém podokně vyberte Protokoly.

    Na webu Azure Portal se ve výchozím nastavení zobrazí okno Dotazy s ukázkovými dotazy a návrhy. Toto okno můžete zavřít.

V následujících příkladech zadejte dotaz Kusto do oblasti úprav v horní části okna Dotazu a pak vyberte Spustit. Výsledky dotazu se zobrazí pod textem dotazu.

Následující dotaz Kusto je užitečný pro počáteční analýzu dat Azure Diagnostics (AzureDiagnostics) o vašem prostředku:

AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s

Tento dotaz vrátí vzorek 100 položek a zobrazí podmnožinu dostupných sloupců dat v protokolech. Ve výsledcích dotazu můžete vybrat šipku vedle názvu tabulky a zobrazit všechny dostupné sloupce a přidružené datové typy.

Snímek obrazovky znázorňující výsledky dotazu Log Analytics pro data azure Diagnostics o prostředku Azure OpenAI

Pokud chcete zobrazit všechny dostupné sloupce dat, můžete z dotazu odebrat řádek | project ... parametrů oborů:

AzureDiagnostics
| take 100

Pokud chcete prozkoumat data metrik Azure proAzureMetrics váš prostředek, spusťte následující dotaz:

AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

Dotaz vrátí vzorek 100 položek a zobrazí podmnožinu dostupných sloupců dat metrik Azure:

Snímek obrazovky znázorňující výsledky dotazu Log Analytics pro data metrik Azure o prostředku Azure OpenAI

Poznámka:

Když v nabídce Azure OpenAI pro váš prostředek vyberete Protokoly monitorování>, otevře se Log Analytics s rozsahem dotazu nastaveným na aktuální prostředek. Viditelné dotazy protokolu zahrnují pouze data z daného prostředku. Pokud chcete spustit dotaz, který obsahuje data z jiných prostředků nebo dat z jiných služeb Azure, vyberte protokoly z nabídky Azure Monitoru na webu Azure Portal. Další informace najdete v tématu Rozsah dotazu protokolu a časový rozsah ve službě Azure Monitor Log Analytics .

Nastavení výstrah

Výstrahy služby Azure Monitor proaktivně upozorňují na výskyt důležitých podmínek v monitorovaných datech. Umožňují vám identifikovat a řešit problémy ve vašem systému, než si je uživatelé všimnou. Můžete nastavit upozornění na metriky, protokoly a protokol aktivit. Různé typy upozornění mají různé výhody a nevýhody.

Požadavky na upozorňování každé organizace se liší a můžou se v průběhu času měnit. Obecně platí, že všechny výstrahy by měly být použitelné a měly by mít konkrétní zamýšlenou odpověď, pokud dojde k výstraze. Pokud výstraha nevyžaduje okamžitou odpověď, může být podmínka zachycena v sestavě, nikoli v upozornění. Některé případy použití můžou vyžadovat upozorňování, kdykoli existují určité chybové podmínky. V jiných případech můžete potřebovat upozornění na chyby, které překročí určitou prahovou hodnotu pro určené časové období.

Chyby pod určitými prahovými hodnotami se často dají vyhodnotit prostřednictvím pravidelné analýzy dat v protokolech služby Azure Monitor. Při analýze dat protokolu v průběhu času můžete zjistit, že určitá podmínka neproběhne v očekávaném časovém období. Tuto podmínku můžete sledovat pomocí výstrah. V některých případech je absence události v protokolu stejně důležitá jako chyba.

V závislosti na typu aplikace, kterou vyvíjíte s využitím Azure OpenAI, můžou Přehledy aplikace Azure Monitor nabízet v aplikační vrstvě další výhody monitorování.

Další kroky