Locust ile RAG kullanarak Python sohbet uygulamasının yük testi

Bu makale, popüler bir açık kaynak yük testi aracı olan Locust ile RAG desenini kullanarak python sohbet uygulamasında yük testi gerçekleştirme işlemini sağlar. Yük testinin birincil amacı, sohbet uygulamanızda beklenen yükün geçerli Dakika Başına Azure OpenAI İşlemleri (TPM) kotasını aşmadığından emin olmaktır. Yoğun yük altında kullanıcı davranışının benzetimini yaparak, uygulamanızdaki olası performans sorunlarını ve ölçeklenebilirlik sorunlarını belirleyebilirsiniz. Bu işlem, yüksek hacimli kullanıcı istekleriyle karşılaşıldığında bile sohbet uygulamanızın yanıt verme ve güvenilir kalmasını sağlama açısından çok önemlidir.

Sohbet uygulamasının yük testi hakkında daha fazla bilgi edinmek için tanıtım videosunu izleyin.

• Video

Not

Bu makalede, makaledeki örnekler ve kılavuzlar için temel olarak bir veya daha fazla yapay zeka uygulaması şablonu kullanılır. Yapay zeka uygulama şablonları, yapay zeka uygulamalarınız için yüksek kaliteli bir başlangıç noktası sağlamaya yardımcı olan, bakımlı, kolay dağıtılan başvuru uygulamaları sağlar.

Önkoşullar

• Azure aboneliği. Ücretsiz bir tane oluşturun

• İstenen Azure aboneliğinde Azure OpenAI'ya erişim verilir. Şu anda bu hizmete erişim yalnızca uygulama tarafından sağlanmaktadır. adresinden formu https://aka.ms/oai/accesstamamlayarak Azure OpenAI'ye erişim için başvurabilirsiniz.

• Geliştirme kapsayıcıları her iki örnek için de kullanılabilir ve bu makalenin tamamlanması için tüm bağımlılıklar gereklidir. Geliştirme kapsayıcılarını GitHub Codespaces'ta (tarayıcıda) veya Visual Studio Code'u kullanarak yerel olarak çalıştırabilirsiniz.

  Codespaces (önerilen)

  • Yalnızca bir GitHub hesabına ihtiyacınız var

  Visual Studio Code

  • Azure Geliştirici CLI'sı
  • Docker Desktop - Henüz çalışmıyorsa Docker Desktop'ı başlatın
  • Visual Studio Code
  • Dev Kapsayıcı Uzantısı

• RAG ile Python sohbet uygulaması - Sohbet uygulamanızı yük dengeleme çözümlerinden birini kullanacak şekilde yapılandırdıysanız, bu makale yük dengelemeyi test etmeye yardımcı olur. Yük dengeleme çözümleri Azure Container Apps'i içerir.

Yük testi örnek uygulamasını açma

Yük testi, Locust testi olarak Python sohbet uygulaması çözümündedir. Bu makaleye dönmeniz, çözümü dağıtmanız ve ardından aşağıdaki adımları tamamlamak için bu geliştirme kapsayıcısı geliştirme ortamını kullanmanız gerekir.

Testi çalıştırma

1. Yük testi için bağımlılıkları yükleyin.

   python3 -m pip install -r requirements-dev.txt
   

2. Locust test dosyasını kullanan Locust'u başlatın: locustfile.py deponun kökünde bulunur.

   locust
   

3. gibi http://localhost:8089çalışan Locust web sitesini açın.

4. Locust web sitesine aşağıdakileri girin.

   Özellik	Değer
   Kullanıcı sayısı	20
   Rampa yukarı	1
   Ana Bilgisayar	https://<YOUR-CHAT-APP-URL>.azurewebsites.net

   

5. Testi başlatmak için Swarm'u Başlat'ı seçin.

6. Test ilerleme durumunu izlemek için Grafikler'i seçin.

   

Kaynakları temizleme

Yük testini bitirdiğinizde kaynakları temizleyin. Bu makalede oluşturulan Azure kaynakları Azure aboneliğinize faturalandırılır. Gelecekte bu kaynaklara ihtiyaç duymayı beklemiyorsanız, daha fazla ücret ödememek için bunları silin. Bu makaleye özgü kaynağı sildikten sonra diğer sohbet uygulaması öğreticisine geri dönmeyi ve temizleme adımlarını izlemeyi unutmayın.

Bu kaynakları temizlemek için sohbet uygulaması makalesine dönün.

Yardım alın

Bu yük testleyiciyi kullanırken sorun yaşıyorsanız sorununuzu deponun Sorunları'na kaydedin.