Plánování správy nákladů na službu Azure OpenAI Service

Tento článek popisuje, jak můžete plánovat a spravovat náklady na službu Azure OpenAI. Před nasazením služby můžete pomocí cenové kalkulačky Azure odhadnout náklady na Azure OpenAI. Později při nasazování prostředků Azure zkontrolujte odhadované náklady. Jakmile začnete používat prostředky Azure OpenAI, nastavte rozpočty a monitorujte náklady pomocí funkcí služby Cost Management.

Můžete také zkontrolovat předpokládané náklady a identifikovat trendy útraty a identifikovat oblasti, ve kterých chcete jednat. Náklady na službu Azure OpenAI představují jenom část měsíčních nákladů na faktuře za Azure. Přestože se tento článek týká plánování a správy nákladů na Azure OpenAI, účtuje se vám všechny služby a prostředky Azure používané ve vašem předplatném Azure, včetně služeb třetích stran.

Požadavky

Analýza nákladů ve službě Cost Management podporuje většinu typů účtů Azure, ale ne všechny. Úplný seznam podporovaných typů účtů si můžete prohlédnout v článku Vysvětlení dat služby Cost Management. Pokud chcete zobrazit data o nákladech, potřebujete alespoň přístup pro čtení pro účet Azure. Informace o přiřazování přístupu k datům služby Azure Cost Management najdete v článku Přiřazení přístupu k datům.

Odhad nákladů před použitím Azure OpenAI

Pomocí cenové kalkulačky Azure můžete odhadnout náklady na používání Azure OpenAI.

Vysvětlení modelu úplné fakturace Azure OpenAI

Služba Azure OpenAI běží na infrastruktuře Azure, která při nasazování nových prostředků nabíhá náklady. Můžou nastat další náklady na infrastrukturu, které by mohly narůstat. Následující části popisují, jak se vám účtují poplatky za službu Azure OpenAI.

Modely řady Base a Codex

Základní řady Azure OpenAI a modely řad Codex se účtují na 1 000 tokenů. Náklady se liší podle toho, kterou modelovou řadu zvolíte: Ada, Babbage, Curie, Davinci nebo Code-Cushman.

Modely Azure OpenAI rozumí a zpracovávají text tím, že ho rozdělí na tokeny. Pro referenci je každý token zhruba čtyři znaky pro typický anglický text.

Náklady na tokeny se vztahují na vstup i výstup. Předpokládejme například, že máte ukázku kódu JavaScriptu s 1 000 tokeny, kterou požádáte o převod modelu Azure OpenAI na Python. Při odeslání počátečního vstupního požadavku se vám bude účtovat přibližně 1 000 tokenů a 1 000 dalších tokenů pro výstup přijatý v odpovědi na celkem 2 000 tokenů.

V praxi by pro tento typ volání dokončení nebyl vstup a výstup tokenu dokonale 1:1. Převod z jednoho programovacího jazyka na jiný by mohl vést k delšímu nebo kratšímu výstupu v závislosti na mnoha faktorech. Jedním z takových faktorů je hodnota přiřazená parametru max_tokens .

Jemně vyladěné modely řad Base Series a Codex

Jemně vyladěné modely Azure OpenAI se účtují na základě tří faktorů:

• Trénovací hodiny
• Hostitelské hodiny
• Odvození na 1 000 tokenů

Náklady na hodiny hostování jsou důležité vědět, protože po nasazení jemně vyladěného modelu se stále účtují hodinové náklady bez ohledu na to, jestli ho aktivně používáte. Pečlivě monitorujte jemně vyladěné náklady na model.

Důležité

Po nasazení přizpůsobeného modelu se nasazení odstraní, pokud nasazení zůstane neaktivní po dobu delší než patnáct (15) dnů. Nasazení přizpůsobeného modelu je neaktivní , pokud byl model nasazen před více než patnácti (15) dny a během nepřetržitého 15denního období se do něj neprovedou žádná dokončení ani dokončení chatu.

Odstranění neaktivního nasazení neodstraní ani neovlivní základní přizpůsobený model a přizpůsobený model je možné kdykoliv znovu nasadit.

Každý přizpůsobený (jemně vyladěný) model, který je nasazený, je hodinové hostování nákladů bez ohledu na to, jestli se do modelu provádějí volání dokončení nebo dokončení chatu. .

Další náklady, které můžou nabíhání služby Azure OpenAI

Povolení možností, jako je odesílání dat do protokolů služby Azure Monitor a upozorňování, se za tyto služby účtují další náklady. Tyto náklady jsou viditelné v rámci těchto dalších služeb a na úrovni předplatného, ale nejsou viditelné, pokud jsou vymezeny pouze na prostředek Azure OpenAI.

Použití zálohy na Azure se službou Azure OpenAI

Poplatky za službu Azure OpenAI můžete platit pomocí kreditu zálohy na Azure. Kredit azure Prepayment ale nemůžete použít k úhradě poplatků za produkty a služby třetích stran, včetně těchto produktů a služeb, které najdete na Azure Marketplace.

Kód odpovědi na chybu HTTP a stav fakturace ve službě Azure OpenAI

Pokud služba provádí zpracování, může se vám účtovat i v případě, že stavový kód není úspěšný (ne 200). Například chyba 400 z důvodu filtru obsahu nebo limitu vstupu nebo chyby 408 kvůli vypršení časového limitu.

Pokud služba neprovádí zpracování, nebude se vám nic účtovat. Například chyba 401 kvůli ověření nebo chybě 429 kvůli překročení limitu rychlosti.

Monitorování nákladů

Při používání prostředků Azure s Azure OpenAI se účtují náklady. Náklady na jednotku využití prostředků Azure se liší podle časových intervalů, jako jsou sekundy, minuty, hodiny a dny nebo podle využití jednotek, jako jsou bajty a megabajty. Jakmile se začne používat Azure OpenAI, můžou vzniknout náklady a náklady se zobrazí v analýze nákladů.

Při použití analýzy nákladů zobrazíte náklady Na Azure OpenAI v grafech a tabulkách pro různé časové intervaly. Příklady jsou podle dne, aktuálního a předchozího měsíce a roku. Zobrazíte také náklady na rozpočty a předpokládané náklady. Přechod na delší zobrazení v průběhu času vám může pomoct identifikovat trendy útraty. Můžete zjistit, kde mohlo dojít k nadměrnému překročení. Pokud jste vytvořili rozpočty, můžete také snadno zjistit, kde jsou překročeny.

Zobrazení nákladů na Azure OpenAI v analýze nákladů:

1. Přihlaste se k portálu Azure.
2. Vyberte jeden z vašich prostředků Azure OpenAI.
3. V části Správa prostředků vyberte Analýzu nákladů.
4. Ve výchozím nastavení je analýza nákladů vymezená na jednotlivé prostředky Azure OpenAI.

Abyste pochopili rozpis toho, co tvoří tyto náklady, může pomoct upravit seskupení podle měřiče a přepnout typ grafu na spojnicový. Teď vidíte, že pro tento konkrétní prostředek pochází zdroj nákladů ze tří různých modelových řad s tokeny Text-Davinci, které představují většinu nákladů.

Při vyhodnocování nákladů spojených s Azure OpenAI je důležité porozumět rozsahu. Pokud jsou vaše prostředky součástí stejné skupiny prostředků, můžete určit rozsah analýzy nákladů na této úrovni, abyste porozuměli vlivu na náklady. Pokud jsou vaše prostředky rozložené do více skupin prostředků, můžete nastavit rozsah na úroveň předplatného.

Pokud je obor vymezen na vyšší úrovni, často potřebujete přidat další filtry, abyste se mohli zaměřit na využití Azure OpenAI. Když je rozsah na úrovni předplatného, uvidíte mnoho dalších prostředků, o které se nemusíte starat v kontextu služby Azure OpenAI Cost Management. Při rozsahu na úrovni předplatného doporučujeme přejít na úplný nástroj pro analýzu nákladů ve službě Cost Management .

Tady je příklad použití nástroje analýza nákladů k zobrazení kumulovaných nákladů pro předplatné nebo skupinu prostředků:

1. Na horním panelu hledání Azure vyhledejte Službu Cost Management a přejděte do celého prostředí služeb, včetně dalších možností, jako je vytváření rozpočtů.
2. V případě potřeby vyberte možnost Změnit , pokud obor : neodkazuje na skupinu prostředků nebo předplatné, které chcete analyzovat.
3. Vlevo vyberte Sestavy a analýza> nákladů.
4. Na kartě Všechna zobrazení vyberte Kumulované náklady.

Řídicí panel analýzy nákladů zobrazuje kumulované náklady, které se analyzují v závislosti na tom, co jste zadali pro rozsah.

Pokud se pokusíte přidat filtr podle služby, zjistíte, že v seznamu nemůžete najít Azure OpenAI. K této situaci dochází, protože Azure OpenAI má společnou řadu služeb Azure AI, ve kterých je filtr úrovně služeb Cognitive Services. Pokud chcete zobrazit všechny prostředky Azure OpenAI v rámci předplatného bez jakéhokoli jiného typu prostředků služeb Azure AI, místo toho rozsah na úroveň služby: Azure OpenAI:

Tvorba rozpočtů

Můžete vytvářet rozpočty pro správu nákladů a vytvářet výstrahy , které zúčastněné strany informují o anomáliích útraty a rizikech přetížení. Upozornění jsou založena na porovnání útraty s rozpočtem a prahovými hodnotami nákladů. Vytvoříte rozpočty a upozornění pro předplatná Azure a skupiny prostředků. Jsou užitečné jako součást celkové strategie monitorování nákladů.

Pokud chcete mít v monitorování větší členitost, můžete vytvořit rozpočty s filtry pro konkrétní prostředky nebo služby v Azure. Filtry pomáhají zajistit, že nechtěně nevytáčíte nové prostředky, které vás budou stát více peněz. Další informace o možnostech filtru, které jsou k dispozici při vytváření rozpočtu, najdete v tématu Možnosti skupiny a filtru.

Důležité

I když má OpenAI možnost pro pevné limity, které vám brání v překročení rozpočtu, Azure OpenAI tuto funkci v současné době neposkytuje. Automatizaci ze skupin akcí můžete začít v rámci oznámení rozpočtu, abyste mohli provádět pokročilejší akce, ale to vyžaduje další vlastní vývoj.

Export nákladových dat

Data nákladů můžete také exportovat do účtu úložiště, což je užitečné, když potřebujete další analýzy dat za náklady. Finanční tým může například analyzovat data pomocí Excelu nebo Power BI. Náklady můžete exportovat denně, týdně nebo měsíčně a nastavit vlastní rozsah kalendářních dat. Jako způsob načtení datových sad nákladů doporučujeme exportovat data nákladů.

Další kroky

• Zjistěte , jak optimalizovat investice do cloudu pomocí služby Azure Cost Management.
• Přečtěte si další informace o správě nákladů pomocí analýzy nákladů.
• Přečtěte si, jak zabránit neočekávaným nákladům.
• Projděte si výukový kurz s asistencí pro Cost Management.