Planera för att hantera kostnader för Azure OpenAI Service

Den här artikeln beskriver hur du kan planera för och hantera kostnader för Azure OpenAI Service. Innan du distribuerar tjänsten använder du Priskalkylatorn för Azure för att beräkna kostnaderna för Azure OpenAI. När du senare distribuerar Azure-resurser granskar du de uppskattade kostnaderna. När du har börjat använda Azure OpenAI-resurser använder du Cost Management-funktioner för att ange budgetar och övervaka kostnader.

Du kan också granska prognostiserade kostnader och identifiera utgiftstrender för att identifiera områden där du kanske vill agera. Kostnaderna för Azure OpenAI Service är bara en del av de månatliga kostnaderna i din Azure-faktura. Även om den här artikeln handlar om att planera för och hantera kostnader för Azure OpenAI debiteras du för alla Azure-tjänster och resurser som används i din Azure-prenumeration, inklusive tjänster från tredje part.

Förutsättningar

Kostnadsanalys i Cost Management stöder de flesta Azure-kontotyper, men inte alla. Om du vill se hela listan med kontotyper som stöds kan du läsa Förstå Cost Management-data. Om du vill visa kostnadsdata behöver du minst läsbehörighet för ett Azure-konto. Mer information om hur du får åtkomst till Azure Cost Management finns i Tilldela åtkomst till data.

Beräkna kostnader innan du använder Azure OpenAI

Använd priskalkylatorn för Azure för att beräkna kostnaderna för att använda Azure OpenAI.

Förstå den fullständiga faktureringsmodellen för Azure OpenAI

Azure OpenAI Service körs på Azure-infrastruktur som ackumulerar kostnader när du distribuerar nya resurser. Det kan finnas andra infrastrukturkostnader som kan uppstå. I följande avsnitt beskrivs hur du debiteras för Azure OpenAI-tjänsten.

Basserie- och Codex-seriemodeller

Modellerna i basserien och Codex-serien i Azure OpenAI debiteras per 1 000 token. Kostnaderna varierar beroende på vilken modellserie du väljer: Ada, Babbage, Curie, Davinci eller Code-Cushman.

Azure OpenAI-modeller förstår och bearbetar text genom att dela upp den i token. Som referens är varje token ungefär fyra tecken för vanlig engelsk text.

Tokenkostnader är för både indata och utdata. Anta till exempel att du har ett JavaScript-kodexempel på 1 000 token som du ber en Azure OpenAI-modell att konvertera till Python. Du debiteras cirka 1 000 token för den första indatabegäran som skickas och ytterligare 1 000 token för utdata som tas emot som svar för totalt 2 000 token.

För den här typen av slutförandeanrop skulle tokenindata/utdata i praktiken inte vara helt 1:1. En konvertering från ett programmeringsspråk till ett annat kan resultera i längre eller kortare utdata beroende på många faktorer. En sådan faktor är värdet som tilldelats parametern max_tokens .

Finjusterade modeller i base-serien och Codex-serien

Finjusterade Azure OpenAI-modeller debiteras baserat på tre faktorer:

• Träningstimmar
• Värdtimmar
• Inferens per 1 000 token

Kostnaden för värdtimmar är viktig att vara medveten om eftersom när en finjusterad modell har distribuerats fortsätter den att medföra en timkostnad oavsett om du aktivt använder den. Övervaka noggrant finjusterade modellkostnader.

Viktigt!

När du har distribuerat en anpassad modell tas distributionen bort om distributionen förblir inaktiv i mer än femton (15) dagar. Distributionen av en anpassad modell är inaktiv om modellen distribuerades för mer än femton (15) dagar sedan och inga slutföranden eller samtal om chattavslut gjordes till den under en kontinuerlig 15-dagarsperiod.

Borttagningen av en inaktiv distribution tar inte bort eller påverkar inte den underliggande anpassade modellen, och den anpassade modellen kan distribueras om när som helst.

Varje anpassad (finjusterad) modell som distribueras medför en timvärdkostnad oavsett om slutföranden eller chattavslut görs till modellen. .

Andra kostnader som kan uppstå med Azure OpenAI-tjänsten

Att aktivera funktioner som att skicka data till Azure Monitor-loggar och aviseringar medför extra kostnader för dessa tjänster. Dessa kostnader visas under de andra tjänsterna och på prenumerationsnivå, men visas inte när omfånget begränsats till endast din Azure OpenAI-resurs.

Använda Azure-förskottsbetalning med Azure OpenAI-tjänsten

Du kan betala för Azure OpenAI Service-avgifter med din Azure-förskottsbetalningskredit. Du kan dock inte använda Azure-förskottsbetalningskredit för att betala för avgifter för produkter och tjänster från tredje part, inklusive de produkter och tjänster som finns på Azure Marketplace.

HTTP-felsvarskod och faktureringsstatus i Azure OpenAI-tjänsten

Om tjänsten utför bearbetningen debiteras du även om statuskoden inte lyckas (inte 200). Till exempel ett 400-fel på grund av ett innehållsfilter eller en indatagräns, eller ett 408-fel på grund av en tidsgräns.

Om tjänsten inte utför bearbetningen debiteras du inte. Till exempel ett 401-fel på grund av autentisering eller ett 429-fel på grund av att hastighetsgränsen överskrids.

Övervaka kostnader

När du använder Azure-resurser med Azure OpenAI tillkommer kostnader. Kostnaderna för Resursanvändningsenhet i Azure varierar beroende på tidsintervall, till exempel sekunder, minuter, timmar och dagar, eller efter enhetsanvändning, till exempel byte och megabyte. Så snart Azure OpenAI-användningen startar kan kostnader uppstå och du kan se kostnaderna i kostnadsanalysen.

När du använder kostnadsanalys visar du Azure OpenAI-kostnader i diagram och tabeller för olika tidsintervall. Några exempel är efter dag, aktuell och föregående månad och år. Du kan också visa kostnader mot budgetar och prognostiserade kostnader. Om du byter till längre vyer över tid kan du identifiera utgiftstrender. Du kan se var överförbrukning kan ha inträffat. Om du har skapat budgetar kan du också enkelt se var de överskrids.

Så här visar du Azure OpenAI-kostnader i kostnadsanalys:

1. Logga in på Azure-portalen.
2. Välj en av dina Azure OpenAI-resurser.
3. Under Resurshantering väljer du Kostnadsanalys
4. Som standard begränsas kostnadsanalysen till den enskilda Azure OpenAI-resursen.

För att förstå uppdelningen av vad som utgör den kostnaden kan det bidra till att ändra Gruppera efter till Mätare och växla diagramtypen till Linje. Du kan nu se att för den här resursen kommer kostnadskällan från tre olika modellserier med Text-Davinci-token som representerar huvuddelen av kostnaderna.

Det är viktigt att förstå omfånget när du utvärderar kostnader som är associerade med Azure OpenAI. Om dina resurser ingår i samma resursgrupp kan du begränsa kostnadsanalysen på den nivån för att förstå effekten på kostnaderna. Om dina resurser är spridda över flera resursgrupper kan du begränsa till prenumerationsnivån.

När du är begränsad till en högre nivå behöver du ofta lägga till fler filter för att fokusera på Azure OpenAI-användning. När du är begränsad till prenumerationsnivå ser du många andra resurser som du kanske inte bryr dig om i samband med Azure OpenAI-kostnadshantering. När du omfång på prenumerationsnivå rekommenderar vi att du navigerar till det fullständiga kostnadsanalysverktyget under Cost Management-tjänsten .

Här är ett exempel på hur du använder verktyget Kostnadsanalys för att se dina ackumulerade kostnader för en prenumeration eller resursgrupp:

1. Sök efter Cost Management i det översta Azure-sökfältet för att gå till den fullständiga tjänstupplevelsen, som innehåller fler alternativ, till exempel att skapa budgetar.
2. Om det behövs väljer du ändra omfånget : inte pekar på den resursgrupp eller prenumeration som du vill analysera.
3. Till vänster väljer du Rapportering + analys>Kostnadsanalys.
4. På fliken Alla vyer väljer du Ackumulerade kostnader.

Instrumentpanelen för kostnadsanalys visar de ackumulerade kostnader som analyseras beroende på vad du har angett för Omfång.

Om du försöker lägga till ett filter efter tjänst upptäcker du att du inte hittar Azure OpenAI i listan. Den här situationen beror på att Azure OpenAI har gemensamhet med en delmängd av Azure AI-tjänster där filtret på tjänstnivå är Cognitive Services. Om du vill se alla Azure OpenAI-resurser i en prenumeration utan någon annan typ av Azure AI-tjänstresurser, omfång till tjänstnivå: Azure OpenAI:

Skapa budgetar

Du kan skapa budgetar för att hantera kostnader och skapa aviseringar som meddelar intressenter om utgiftsavvikelser och överförbrukningsrisker. Aviseringar baseras på utgifter jämfört med budget- och kostnadströsklar. Du skapar budgetar och aviseringar för Azure-prenumerationer och resursgrupper. De är användbara som en del av en övergripande strategi för kostnadsövervakning.

Du kan skapa budgetar med filter för specifika resurser eller tjänster i Azure om du vill ha mer detaljerad information i din övervakning. Filter hjälper dig att se till att du inte oavsiktligt skapar nya resurser som kostar dig mer pengar. Mer information om de filteralternativ som är tillgängliga när du skapar en budget finns i Grupp- och filteralternativ.

Viktigt!

OpenAI har ett alternativ för hårda gränser som hindrar dig från att gå över din budget, men Azure OpenAI tillhandahåller för närvarande inte den här funktionen. Du kan starta automatisering från åtgärdsgrupper som en del av dina budgetmeddelanden för att vidta mer avancerade åtgärder, men detta kräver ytterligare anpassad utveckling från din sida.

Exportera kostnadsdata

Du kan också exportera dina kostnadsdata till ett lagringskonto, vilket är användbart när du behöver andra för att utföra extra dataanalys för kostnader. Ett ekonomiteam kan till exempel analysera data med excel eller Power BI. Du kan exportera dina kostnader enligt ett dagligt, vecko- eller månadsschema och ange ett anpassat datumintervall. Vi rekommenderar att du exporterar kostnadsdata som ett sätt att hämta kostnadsdatauppsättningar.

Nästa steg

• Lär dig hur du optimerar din molninvestering med Azure Cost Management.
• Läs mer om att hantera kostnader med kostnadsanalys.
• Lär dig hur du förhindrar oväntade kostnader.
• Gå den guidade utbildningskursen för Cost Management .