Azure OpenAI schalen voor JavaScript-chat met behulp van RAG met Azure Container Apps
Meer informatie over het toevoegen van taakverdeling aan uw toepassing om de chat-app uit te breiden buiten het Azure OpenAI-token en de quotumlimieten voor modellen. Deze benadering maakt gebruik van Azure Container Apps om drie Azure OpenAI-eindpunten te maken, evenals een primaire container om binnenkomend verkeer naar een van de drie eindpunten te leiden.
Voor dit artikel moet u twee afzonderlijke voorbeelden implementeren:
Chat-app
Als u de chat-app nog niet hebt geïmplementeerd, wacht u totdat het voorbeeld van de load balancer is geïmplementeerd.
Als u de chat-app al eenmaal hebt geïmplementeerd, wijzigt u de omgevingsvariabele om een aangepast eindpunt voor de load balancer te ondersteunen en opnieuw te implementeren.
Chat-app beschikbaar in deze talen:
Load balancer-app
Architectuur voor taakverdeling van Azure OpenAI met Azure Container Apps
Omdat de Azure OpenAI-resource specifieke token- en modelquotumlimieten heeft, is een chat-app met één Azure OpenAI-resource gevoelig voor gespreksfouten vanwege deze limieten.
Als u de chat-app wilt gebruiken zonder deze limieten te bereiken, gebruikt u een oplossing met gelijke taakverdeling met Azure Container Apps. Deze oplossing biedt naadloos één eindpunt van Azure Container Apps aan uw chat-app-server.
De Azure Container-app bevindt zich voor een set Azure OpenAI-resources. De Container-app lost twee scenario's op: normaal en beperkt. Tijdens een normaal scenario waarin token- en modelquota beschikbaar zijn, retourneert de Azure OpenAI-resource een 200 terug via de container-app en app-server.
Wanneer een resource zich in een beperkt scenario bevindt, zoals vanwege quotumlimieten, kan de Azure Container-app een andere Azure OpenAI-resource onmiddellijk opnieuw proberen om de oorspronkelijke aanvraag voor de chat-app volledig uit te voeren.
Vereisten
Azure-abonnement. Maak er gratis een
Toegang verleend tot Azure OpenAI in het gewenste Azure abonnement.
Op dit moment wordt alleen toegang tot deze service verleend door een aanvraag te doen. U kunt toegang tot Azure OpenAI aanvragen door het formulier in te vullen op https://aka.ms/oai/access.
Dev-containers zijn beschikbaar voor beide voorbeelden, waarbij alle afhankelijkheden vereist zijn om dit artikel te voltooien. U kunt de dev-containers uitvoeren in GitHub Codespaces (in een browser) of lokaal met behulp van Visual Studio Code.
- GitHub-account
Lokale balancer-app voor container-apps openen
GitHub Codespaces voert een ontwikkelcontainer uit die wordt beheerd door GitHub met Visual Studio Code voor het web als de gebruikersinterface. Voor de eenvoudigste ontwikkelomgeving gebruikt u GitHub Codespaces zodat u de juiste ontwikkelhulpprogramma's en afhankelijkheden vooraf hebt geïnstalleerd om dit artikel te voltooien.
Belangrijk
Alle GitHub-accounts kunnen Codespaces elke maand maximaal 60 uur gratis gebruiken met 2 kernexemplaren. Zie GitHub Codespaces maandelijks inbegrepen opslag- en kernuren voor meer informatie.
Load balancer voor Azure Container Apps implementeren
Als u de load balancer wilt implementeren in Azure, meldt u zich aan bij Azure Developer CLI (AZD).
azd auth loginVoltooi de aanmeldingsinstructies.
Implementeer de load balancer-app.
azd upU moet een abonnement en regio voor de implementatie selecteren. Dit hoeft niet hetzelfde abonnement en dezelfde regio te zijn als de chat-app.
Wacht tot de implementatie is voltooid voordat u doorgaat.
Haal de URL op aan het einde van de implementatie met de naam Eindpunt. Dit wordt
CONTAINER_APP_URLgebruikt in de volgende sectie.
Chat-app opnieuw implementeren met load balancer-eindpunt
Deze zijn voltooid in het voorbeeld van de chat-app.
Open de dev-container van de chat-app met behulp van een van de volgende opties.
Taal Codespaces Visual Studio Code .NET JavaScript Python Meld u aan bij Azure Developer CLI (AZD).
azd auth loginVoltooi de aanmeldingsinstructies.
Maak een AZD-omgeving met een naam, zoals
chat-app.azd env new <name>Voeg de volgende omgevingsvariabele toe, waarmee de back-end van de Chat-app een aangepaste URL voor de OpenAI-aanvragen moet gebruiken.
azd env set OPENAI_HOST azure_customVoeg de volgende omgevingsvariabele
<CONTAINER_APP_URL>toe, waarbij u de URL uit de vorige sectie vervangt. Deze actie vertelt de back-end van de chat-app wat de waarde is van de aangepaste URL voor de OpenAI-aanvraag.azd env set AZURE_OPENAI_CUSTOM_URL <CONTAINER_APP_URL>Implementeer de chat-app.
azd up
U kunt nu de chat-app gebruiken met het vertrouwen dat deze is gebouwd om te schalen voor veel gebruikers zonder dat er geen quotum meer is.
Logboeken streamen om de resultaten van de load balancer te bekijken
Zoek in Azure Portal uw resourcegroep.
Selecteer in de lijst met resources in de groep de Container App-resource.
Selecteer Bewaking -> Logboekstream om het logboek weer te geven.
Gebruik de chat-app om verkeer in het logboek te genereren.
Zoek naar de logboeken, die verwijzen naar de Azure OpenAI-resources. Elk van de drie resources heeft een numerieke identiteit in de opmerking
Proxying to https://openai3in het logboek, waarbij3de derde Azure OpenAI-resource wordt aangegeven.
Wanneer u de chat-app gebruikt, wordt de load balancer automatisch naar een andere resource geroteerd wanneer de load balancer de status krijgt dat de aanvraag het quotum heeft overschreden.
De tokens per minuutquotum (TPM) configureren
Standaard wordt elk van de OpenAI-exemplaren in de load balancer geïmplementeerd met 30.000 TPM-capaciteit (tokens per minuut). U kunt de chat-app gebruiken met het vertrouwen dat deze is gebouwd om te schalen voor veel gebruikers zonder dat er geen quotum meer is. Wijzig deze waarde wanneer:
- U krijgt fouten in de implementatiecapaciteit: verlaag deze waarde.
- Het plannen van een hogere capaciteit, verhoogt de waarde.
Gebruik de volgende opdracht om de waarde te wijzigen.
azd env set OPENAI_CAPACITY 50Implementeer de load balancer opnieuw.
azd up
Resources opschonen
Wanneer u klaar bent met zowel de chat-app als de load balancer, moet u de resources opschonen. De Azure-resources die in dit artikel zijn gemaakt, worden gefactureerd voor uw Azure-abonnement. Als u deze resources in de toekomst niet meer nodig hebt, verwijdert u deze om te voorkomen dat er meer kosten in rekening worden gebracht.
Resources voor chat-apps opschonen
Ga terug naar het artikel van de chat-app om deze resources op te schonen.
Resources voor upload balancer opschonen
Voer de volgende Azure Developer CLI-opdracht uit om de Azure-resources te verwijderen en de broncode te verwijderen:
azd down --purge --force
De schakelopties bieden:
purge: Verwijderde resources worden onmiddellijk verwijderd. Hiermee kunt u de TPM van Azure OpenAI opnieuw gebruiken.force: het verwijderen gebeurt op de achtergrond, zonder dat hiervoor toestemming van de gebruiker is vereist.
GitHub Codespaces opschonen
Als u de GitHub Codespaces-omgeving verwijdert, zorgt u ervoor dat u de hoeveelheid gratis rechten per kernuren kunt maximaliseren die u voor uw account krijgt.
Belangrijk
Zie GitHub Codespaces maandelijks inbegrepen opslag- en kernuren voor meer informatie over de rechten van uw GitHub-account.
Meld u aan bij het GitHub Codespaces-dashboard (https://github.com/codespaces).
Zoek uw momenteel uitgevoerde Codespaces die afkomstig zijn uit de
azure-samples/openai-aca-lbGitHub-opslagplaats.
Open het contextmenu voor de coderuimte en selecteer Vervolgens Verwijderen.
Hulp vragen
Als u problemen ondervindt bij het implementeren van de Load Balancer van Azure API Management, meldt u het probleem aan bij de problemen van de opslagplaats.
Voorbeeldcode
Voorbeelden die in dit artikel worden gebruikt, zijn:
Volgende stap
- Azure Load Testing gebruiken om uw chat-app te testen met
Feedback
Binnenkort beschikbaar: In de loop van 2024 zullen we GitHub-problemen geleidelijk uitfaseren als het feedbackmechanisme voor inhoud en deze vervangen door een nieuw feedbacksysteem. Zie voor meer informatie: https://aka.ms/ContentUserFeedback.
Feedback verzenden en weergeven voor