Škálování chatu Azure OpenAI pro Javu s využitím RAG s Azure Container Apps

Zjistěte, jak do aplikace přidat vyrovnávání zatížení, abyste mohli chatovací aplikaci rozšířit nad rámec limitů kvóty modelu a tokenu Azure OpenAI. Tento přístup používá Azure Container Apps k vytvoření tří koncových bodů Azure OpenAI a primárního kontejneru pro směrování příchozího provozu do jednoho ze tří koncových bodů.

Tento článek vyžaduje nasazení 2 samostatných ukázek:

• Chatovací aplikace

  • Pokud jste chatovací aplikaci ještě nenasadili, počkejte, až se ukázka nástroje pro vyrovnávání zatížení nasadí.

  • Pokud jste chatovací aplikaci už jednou nasadili, změníte proměnnou prostředí tak, aby podporovala vlastní koncový bod nástroje pro vyrovnávání zatížení, a znovu ji nasadíte.

  • Chatovací aplikace dostupná v těchto jazycích:

    • .NET
    • JavaScript
    • Python

• Aplikace nástroje pro vyrovnávání zatížení

Architektura pro vyrovnávání zatížení Azure OpenAI s využitím Azure Container Apps

Vzhledem k tomu, že prostředek Azure OpenAI má konkrétní limity kvót tokenu a modelu, je chatovací aplikace využívající jeden prostředek Azure OpenAI náchylný k selhání konverzací kvůli těmto limitům.

Pokud chcete chatovací aplikaci používat bez dosažení těchto limitů, použijte řešení s vyrovnáváním zatížení se službou Azure Container Apps. Toto řešení bezproblémově zpřístupňuje jeden koncový bod z Azure Container Apps na váš chatovací aplikační server.

Aplikace Azure Container se nachází před sadou prostředků Azure OpenAI. Aplikace kontejneru řeší dva scénáře: normální a omezené. Během normálního scénáře , kdy je k dispozici kvóta tokenů a modelů, vrátí prostředek Azure OpenAI 200 zpět prostřednictvím kontejnerové aplikace a aplikačního serveru.

Pokud je prostředek v omezeném scénáři , jako je například kvůli limitům kvót, může aplikace Kontejner Azure okamžitě zkusit jiný prostředek Azure OpenAI, aby se plně zaplněla původní žádost o chatovací aplikaci.

Požadavky

• Předplatné Azure. Vytvořte si ho zdarma

• Přístup k Azure OpenAI je udělován v požadovaném předplatném Azure.

  V současné době je přístup k této službě udělován pouze aplikací. Pokud chcete získat přístup k Azure OpenAI, vyplňte formulář na adrese https://aka.ms/oai/access.

• Vývojové kontejnery jsou k dispozici pro obě ukázky se všemi závislostmi potřebnými k dokončení tohoto článku. Vývojové kontejnery můžete spouštět v GitHub Codespaces (v prohlížeči) nebo místně pomocí editoru Visual Studio Code.

  GitHub Codespaces

  • Účet GitHub

  Visual Studio Code

  • Azure Developer CLI
  • Docker Desktop – spusťte Docker Desktop , pokud ještě není spuštěný
  • Visual Studio Code s rozšířením vývojového kontejneru

Ukázková aplikace místního nástroje pro vyrovnávání zůstatku v aplikacích Pro kontejnery

GitHub Codespaces

GitHub Codespaces spouští vývojový kontejner spravovaný GitHubem pomocí editoru Visual Studio Code pro web jako uživatelského rozhraní. Pro nejjednodušší vývojové prostředí použijte GitHub Codespaces, abyste měli předinstalované správné vývojářské nástroje a závislosti k dokončení tohoto článku.

Důležité

Všechny účty GitHubu můžou každý měsíc používat Codespaces až 60 hodin zdarma se 2 jádrovými instancemi. Další informace najdete v tématu GitHub Codespaces měsíčně zahrnuté úložiště a hodiny jádra.

Visual Studio Code

Rozšíření Dev Containers pro Visual Studio Code vyžaduje instalaci Dockeru na místním počítači. Rozšíření hostuje vývojový kontejner místně pomocí hostitele Dockeru se správnými vývojářskými nástroji a závislostmi předinstalovanými k dokončení tohoto článku.

Nasazení nástroje pro vyrovnávání zatížení Azure Container Apps

1. Pokud chcete nasadit nástroj pro vyrovnávání zatížení do Azure, přihlaste se k Azure Developer CLI (AZD).

   azd auth login
   

2. Dokončete pokyny pro přihlášení.

3. Nasaďte aplikaci nástroje pro vyrovnávání zatížení.

   azd up
   

   Budete muset vybrat předplatné a oblast nasazení. Nemusí to být stejné předplatné a oblast jako chatovací aplikace.

4. Než budete pokračovat, počkejte, dokud nasazování neskončí.

5. Získejte adresu URL na konci nasazení s názvem Koncový bod. Toto je CONTAINER_APP_URL použito v další části.

Opětovné nasazení chatovací aplikace s koncovým bodem nástroje pro vyrovnávání zatížení

Ty jsou hotové v ukázce chatovací aplikace.

Počáteční nasazení

1. Otevřete ukázkový vývojový kontejner chatovací aplikace pomocí jedné z následujících možností.

   Jazyk	Codespaces	Visual Studio Code
   .NET
   JavaScript
   Python

2. Přihlaste se k Azure Developer CLI (AZD).

   azd auth login
   

   Dokončete pokyny pro přihlášení.

3. Vytvořte prostředí AZD s názvem, například chat-app.

   azd env new <name>
   

4. Přidejte následující proměnnou prostředí, která říká back-endu chatovací aplikace, aby pro požadavky OpenAI používala vlastní adresu URL.

   azd env set OPENAI_HOST azure_custom
   

5. Přidejte následující proměnnou prostředí, která nahrazuje <CONTAINER_APP_URL> adresu URL z předchozí části. Tato akce řekne back-endu chatovací aplikace, jaká je hodnota vlastní adresy URL požadavku OpenAI.

   azd env set AZURE_OPENAI_CUSTOM_URL <CONTAINER_APP_URL>
   

6. Nasaďte chatovací aplikaci.

   azd up
   

Přesun

1. Znovu otevřete ukázkový vývojový kontejner chatovací aplikace pomocí jedné z následujících možností.

   Jazyk	Codespaces	Visual Studio Code
   .NET
   JavaScript
   Python

2. Přidejte následující proměnnou prostředí, která říká back-endu chatovací aplikace, aby pro požadavky OpenAI používala vlastní adresu URL.

   azd env set OPENAI_HOST azure_custom
   

3. Přidejte následující proměnnou prostředí, která říká back-endu chatovací aplikace, jaká je hodnota vlastní adresy URL požadavku OpenAI.

   azd env set CONTAINER_APP_URL <CONTAINER_APP_URL>
   

4. Nasaďte chatovací aplikaci.

   azd up
   

   Než budete pokračovat, počkejte, až se tento proces dokončí.

Chatovací aplikaci teď můžete používat s jistotou, že je vytvořená tak, aby se škálovat napříč mnoha uživateli bez vyčerpání kvóty.

Streamování protokolů pro zobrazení výsledků nástroje pro vyrovnávání zatížení

1. Na webu Azure Portal vyhledejte skupinu prostředků.

2. V seznamu prostředků ve skupině vyberte prostředek Kontejnerová aplikace.

3. Výběrem možnosti Monitorování –> Stream protokolu zobrazte protokol.

4. K vygenerování provozu v protokolu použijte chatovací aplikaci.

5. Vyhledejte protokoly, které odkazují na prostředky Azure OpenAI. Každý ze tří prostředků má svou číselnou identitu v komentáři protokolu začínající Proxying to https://openai3na , kde 3 označuje třetí prostředek Azure OpenAI.

   

6. Když při používání chatovací aplikace obdrží nástroj pro vyrovnávání zatížení stav, že žádost překročila kvótu, nástroj pro vyrovnávání zatížení se automaticky otočí do jiného prostředku.

Konfigurace tokenů za minutu (TPM)

Ve výchozím nastavení se každá instance OpenAI v nástroji pro vyrovnávání zatížení nasadí s 30 000 čipy TPM (tokeny za minutu). Chatovací aplikaci můžete používat s jistotou, že je vytvořená tak, aby se škálovat napříč mnoha uživateli bez vyčerpání kvóty. Tuto hodnotu změňte v těchto případech:

• Zobrazí se chyby kapacity nasazení: nižší hodnota.
• Plánování vyšší kapacity zvýší hodnotu.

1. Ke změně hodnoty použijte následující příkaz.

   azd env set OPENAI_CAPACITY 50
   

2. Znovu nasaďte nástroj pro vyrovnávání zatížení.

   azd up
   

Vyčištění prostředků

Až budete hotovi s chatovací aplikací i nástrojem pro vyrovnávání zatížení, vyčistěte prostředky. Prostředky Azure vytvořené v tomto článku se fakturují k vašemu předplatnému Azure. Pokud v budoucnu tyto prostředky nepotřebujete, odstraňte je, abyste se vyhnuli účtování dalších poplatků.

Vyčištění prostředků chatovací aplikace

Vraťte se do článku chatovací aplikace, abyste tyto prostředky vyčistili.

• .NET
• JavaScript
• Python

Vyčištění prostředků nástroje pro vyrovnávání nahrávání

Spuštěním následujícího příkazu Azure Developer CLI odstraňte prostředky Azure a odeberte zdrojový kód:

azd down --purge --force

Přepínače poskytují:

• purge: Odstraněné prostředky se okamžitě vymažou. To vám umožní opakovaně používat čip TPM Azure OpenAI.
• force: Odstranění probíhá bezobslužně bez nutnosti souhlasu uživatele.

Vyčištění služby GitHub Codespaces

GitHub Codespaces

Odstraněním prostředí GitHub Codespaces zajistíte, že můžete maximalizovat nárok na počet bezplatných hodin za jádro, které získáte pro svůj účet.

Důležité

Další informace o oprávněních účtu GitHub najdete v tématu GitHub Codespaces měsíčně zahrnuté hodiny úložiště a jádra.

1. Přihlaste se k řídicímu panelu GitHub Codespaces (https://github.com/codespaces).

2. Vyhledejte aktuálně spuštěné Codespaces zdrojové z azure-samples/openai-aca-lb úložiště GitHub.

   

3. Otevřete místní nabídku pro codespace a pak vyberte Odstranit.

   

Visual Studio Code

Nemusíte nutně vyčistit místní prostředí, ale můžete zastavit spuštěný vývojový kontejner a vrátit se ke spuštění editoru Visual Studio Code v kontextu místního pracovního prostoru.

1. Otevřete paletu příkazů, vyhledejte příkazy Dev Containers a pak vyberte Dev Containers: Znovu otevřít složku místně.

   

Tip

Visual Studio Code zastaví spuštěný vývojový kontejner, ale kontejner stále existuje v Dockeru v zastaveném stavu. Vždy máte možnost odstranit instanci kontejneru, image kontejneru a svazky z Dockeru, abyste uvolnili více místa na místním počítači.

Získání pomoci

Pokud máte potíže s nasazením nástroje pro vyrovnávání zatížení služby Azure API Management, zapište problém do problémů úložiště.

Ukázkový kód

Ukázky použité v tomto článku zahrnují:

• Chatovací aplikace v Javě s RAG
• Load Balancer se službou Azure Container Apps

Další krok

• Použití zátěžového testování Azure k zátěžovým testům chatovací aplikace pomocí