Planowanie zarządzania kosztami w usłudze Azure OpenAI Service

W tym artykule opisano sposób planowania kosztów usługi Azure OpenAI Service i zarządzania nimi. Przed wdrożeniem usługi użyj kalkulatora cen platformy Azure, aby oszacować koszty usługi Azure OpenAI. Później, podczas wdrażania zasobów platformy Azure, przejrzyj szacowane koszty. Po rozpoczęciu korzystania z zasobów usługi Azure OpenAI użyj funkcji usługi Cost Management, aby ustawić budżety i monitorować koszty.

Możesz również przejrzeć prognozowane koszty i zidentyfikować trendy wydatków, aby zidentyfikować obszary, w których warto działać. Koszty usługi Azure OpenAI Service są tylko częścią miesięcznych kosztów na rachunku za platformę Azure. Chociaż ten artykuł dotyczy planowania kosztów usługi Azure OpenAI i zarządzania nimi, opłaty są naliczane za wszystkie usługi i zasoby platformy Azure używane w ramach subskrypcji platformy Azure, w tym usługi innych firm.

Wymagania wstępne

Analiza kosztów w usłudze Cost Management obsługuje większość typów kont platformy Azure, ale nie wszystkie z nich. Aby wyświetlić pełną listę obsługiwanych typów kont, zobacz Omówienie danych usługi Cost Management. Aby wyświetlić dane kosztów, potrzebujesz co najmniej dostępu do odczytu dla konta platformy Azure. Aby uzyskać informacje na temat przypisywania dostępu do danych usługi Azure Cost Management, zobacz Przypisywanie dostępu do danych.

Szacowanie kosztów przed użyciem usługi Azure OpenAI

Skorzystaj z kalkulatora cen platformy Azure, aby oszacować koszty korzystania z usługi Azure OpenAI.

Omówienie pełnego modelu rozliczeniowego usługi Azure OpenAI

Usługa Azure OpenAI jest uruchamiana w infrastrukturze platformy Azure, która nalicza koszty podczas wdrażania nowych zasobów. Mogą istnieć inne koszty infrastruktury, które mogą zostać naliczone. W poniższych sekcjach opisano sposób naliczania opłat za usługę Azure OpenAI Service.

Modele serii podstawowej i serii Codex

Za modele z serii podstawowej platformy Azure OpenAI i z serii Codex opłaty są naliczane za 1000 tokenów. Koszty różnią się w zależności od wybranej serii modeli: Ada, Babbage, Curie, Davinci lub Code-Cushman.

Modele usługi Azure OpenAI rozumieją i przetwarzają tekst, dzieląc je na tokeny. Do celów referencyjnych każdy token ma mniej więcej cztery znaki dla typowego tekstu w języku angielskim.

Koszty tokenów dotyczą zarówno danych wejściowych, jak i wyjściowych. Załóżmy na przykład, że masz przykładowy kod JavaScript 1000 tokenów, który prosi model usługi Azure OpenAI o konwersję na język Python. Opłaty będą naliczane około 1000 tokenów dla wysłanego początkowego żądania wejściowego i 1000 dodatkowych tokenów dla danych wyjściowych, które są odbierane w odpowiedzi na łącznie 2000 tokenów.

W praktyce w przypadku tego typu wywołania ukończenia token wejściowy/wyjściowy nie byłby idealnie 1:1. Konwersja z jednego języka programowania na inny może spowodować dłuższe lub krótsze dane wyjściowe w zależności od wielu czynników. Jednym z takich czynników jest wartość przypisana do parametru max_tokens .

Seria podstawowa i seria Codex dostrojone modele

Opłaty za dostrojone modele usługi Azure OpenAI są naliczane na podstawie trzech czynników:

• Godzin szkolenia
• Godzin hostingu
• Wnioskowania na 1000 tokenów

Koszt godzin hostingu jest ważny, ponieważ po wdrożeniu dostosowanego modelu nadal wiąże się z kosztem godzinowym, niezależnie od tego, czy aktywnie korzystasz z niego. Uważnie monitoruj koszty dostosowanego modelu.

Ważne

Po wdrożeniu dostosowanego modelu, jeśli w dowolnym momencie wdrożenie pozostanie nieaktywne przez ponad piętnaście (15) dni, wdrożenie zostanie usunięte. Wdrożenie dostosowanego modelu jest nieaktywne , jeśli model został wdrożony ponad piętnaście (15) dni temu i nie wykonano do niego żadnych zakończeń ani wywołań ukończenia czatu w ciągu ciągłego 15-dniowego okresu.

Usunięcie nieaktywnego wdrożenia nie powoduje usunięcia lub wpływu na bazowy dostosowany model, a dostosowany model można wdrożyć ponownie w dowolnym momencie.

Każdy dostosowany (dostosowany) model, który jest wdrożony, wiąże się z godzinowym kosztem hostingu niezależnie od tego, czy do modelu są wykonywane zakończenia lub zakończenia rozmów. .

Inne koszty, które mogą być naliczane za pomocą usługi Azure OpenAI Service

Włączenie funkcji, takich jak wysyłanie danych do dzienników usługi Azure Monitor i alerty, powoduje naliczanie dodatkowych kosztów dla tych usług. Te koszty są widoczne w ramach tych innych usług i na poziomie subskrypcji, ale nie są widoczne, gdy zakres dotyczy tylko zasobu usługi Azure OpenAI.

Korzystanie z przedpłaty za platformę Azure z usługą Azure OpenAI Service

Możesz płacić za opłaty za usługę Azure OpenAI za pomocą środków przedpłaty za platformę Azure. Nie można jednak użyć środków przedpłaty za platformę Azure, aby zapłacić za opłaty za produkty i usługi innych firm, w tym te produkty i usługi znajdujące się w witrynie Azure Marketplace.

Kod odpowiedzi http o błędzie i stan rozliczeń w usłudze Azure OpenAI Service

Jeśli usługa wykonuje przetwarzanie, może zostać naliczona opłata, nawet jeśli kod stanu nie powiedzie się (nie 200). Na przykład błąd 400 spowodowany filtrem zawartości lub limitem danych wejściowych albo błąd 408 z powodu przekroczenia limitu czasu.

Jeśli usługa nie wykonuje przetwarzania, nie zostaną naliczone opłaty. Na przykład błąd 401 spowodowany uwierzytelnianiem lub błędem 429 spowodowany przekroczeniem limitu szybkości.

Monitorowanie kosztów

W miarę korzystania z zasobów platformy Azure z usługą Azure OpenAI ponosisz koszty. Koszty jednostek użycia zasobów platformy Azure różnią się w zależności od interwałów czasu, takich jak sekundy, minuty, godziny i dni lub użycie jednostek, takie jak bajty i megabajty. Gdy tylko rozpocznie się korzystanie z usługi Azure OpenAI, koszty można ponieść i zobaczyć koszty w analizie kosztów.

Podczas korzystania z analizy kosztów można wyświetlać koszty usługi Azure OpenAI na wykresach i tabelach dla różnych interwałów czasu. Niektóre przykłady to dzień, bieżący i poprzedni miesiąc oraz rok. Można również wyświetlać koszty w odniesieniu do budżetów i prognozowanych kosztów. Przełączanie się do dłuższych widoków w czasie może pomóc w identyfikowaniu trendów wydatków. Możesz zobaczyć, gdzie mogły wystąpić nadmierne wydatki. Jeśli utworzono budżety, możesz również łatwo zobaczyć, gdzie zostały przekroczone.

Aby wyświetlić koszty usługi Azure OpenAI w analizie kosztów:

1. Zaloguj się w witrynie Azure Portal.
2. Wybierz jeden z zasobów usługi Azure OpenAI.
3. W obszarze Zarządzanie zasobami wybierz pozycję Analiza kosztów
4. Domyślnie analiza kosztów jest ograniczona do pojedynczego zasobu usługi Azure OpenAI.

Aby zrozumieć podział tego, co stanowi ten koszt, może pomóc zmodyfikować grupę według na miernik i przełączyć typ wykresu na Linia. Teraz można zobaczyć, że w przypadku tego konkretnego zasobu źródło kosztów pochodzi z trzech różnych serii modeli z tokenami Text-Davinci, które reprezentują większość kosztów.

Ważne jest, aby zrozumieć zakres podczas oceniania kosztów związanych z usługą Azure OpenAI. Jeśli zasoby są częścią tej samej grupy zasobów, możesz określić zakres Analiza kosztów na tym poziomie, aby zrozumieć wpływ na koszty. Jeśli zasoby są rozmieszczone w wielu grupach zasobów, możesz ograniczyć zakres do poziomu subskrypcji.

W przypadku określenia zakresu na wyższym poziomie często trzeba dodać więcej filtrów, aby skoncentrować się na użyciu usługi Azure OpenAI. W przypadku określenia zakresu na poziomie subskrypcji zobaczysz wiele innych zasobów, które mogą nie być istotne w kontekście zarządzania kosztami usługi Azure OpenAI. W przypadku zakresu na poziomie subskrypcji zalecamy przejście do pełnego narzędzia analiza kosztów w usłudze Cost Management .

Oto przykład użycia narzędzia analiza kosztów w celu wyświetlenia skumulowanych kosztów dla subskrypcji lub grupy zasobów:

1. Wyszukaj pozycję Cost Management na górnym pasku wyszukiwania platformy Azure, aby przejść do pełnego środowiska usługi, co obejmuje więcej opcji, takich jak tworzenie budżetów.
2. W razie potrzeby wybierz pozycję Zmień , jeśli zakres: nie wskazuje grupy zasobów lub subskrypcji, którą chcesz przeanalizować.
3. Po lewej stronie wybierz pozycję Raportowanie i analiza>analizy Analiza kosztów.
4. Na karcie Wszystkie widoki wybierz pozycję Skumulowane koszty.

Pulpit nawigacyjny analizy kosztów przedstawia skumulowane koszty analizowane w zależności od tego, co zostało określone dla zakresu.

Jeśli spróbujesz dodać filtr według usługi, okaże się, że nie możesz znaleźć usługi Azure OpenAI na liście. Taka sytuacja występuje, ponieważ usługa Azure OpenAI ma wspólność z podzbiorem usług Azure AI, w których filtr poziomu usług to Cognitive Services. Jeśli chcesz wyświetlić wszystkie zasoby usługi Azure OpenAI w ramach subskrypcji bez żadnego innego typu zasobów usług Azure AI, zamiast tego zakres do warstwy usługi: Azure OpenAI:

Tworzenie budżetów

Budżety można tworzyć, aby zarządzać kosztami i tworzyć alerty, które powiadamiają uczestników projektu o anomaliach wydatków i nadmiernych kosztach ryzyka. Alerty są oparte na wydatkach w porównaniu z budżetem i progami kosztów. Budżety i alerty są tworzone dla subskrypcji i grup zasobów platformy Azure. Są one przydatne w ramach ogólnej strategii monitorowania kosztów.

Budżety można tworzyć z filtrami dla określonych zasobów lub usług na platformie Azure, jeśli chcesz mieć bardziej szczegółowość monitorowania. Filtry pomagają zagwarantować, że nie utworzysz przypadkowo nowych zasobów, które kosztują więcej pieniędzy. Aby uzyskać więcej informacji na temat opcji filtru dostępnych podczas tworzenia budżetu, zobacz Opcje grupowania i filtrowania.

Ważne

Mimo że interfejs OpenAI ma opcję limitów twardych, które uniemożliwiają przekroczenie budżetu, usługa Azure OpenAI nie udostępnia obecnie tej funkcji. Automatyzację można rozpocząć od grup akcji w ramach powiadomień budżetowych w celu wykonania bardziej zaawansowanych akcji, ale wymaga to dodatkowego niestandardowego programowania.

Eksportowanie danych kosztów

Możesz również wyeksportować dane kosztów do konta magazynu, co jest przydatne, gdy potrzebujesz innych osób do przeprowadzenia dodatkowej analizy danych pod kątem kosztów. Na przykład zespół finansowy może analizować dane przy użyciu programu Excel lub usługi Power BI. Możesz wyeksportować koszty według dziennego, tygodniowego lub miesięcznego harmonogramu i ustawić niestandardowy zakres dat. Zalecamy wyeksportowanie danych kosztów jako sposób pobierania zestawów danych kosztów.

Następne kroki

• Dowiedz się , jak zoptymalizować inwestycję w chmurę za pomocą usługi Azure Cost Management.
• Dowiedz się więcej o zarządzaniu kosztami za pomocą analizy kosztów.
• Dowiedz się, jak zapobiegać nieoczekiwanym kosztom.
• Weź udział w kursie szkoleniowym dotyczącym usługi Cost Management .