Locust ile RAG kullanarak Python sohbet uygulamasının yük testi
Bu makale, popüler bir açık kaynak yük testi aracı olan Locust ile RAG desenini kullanarak python sohbet uygulamasında yük testi gerçekleştirme işlemini sağlar. Yük testinin birincil amacı, sohbet uygulamanızda beklenen yükün geçerli Dakika Başına Azure OpenAI İşlemleri (TPM) kotasını aşmadığından emin olmaktır. Yoğun yük altında kullanıcı davranışının benzetimini yaparak, uygulamanızdaki olası performans sorunlarını ve ölçeklenebilirlik sorunlarını belirleyebilirsiniz. Bu işlem, yüksek hacimli kullanıcı istekleriyle karşılaşıldığında bile sohbet uygulamanızın yanıt verme ve güvenilir kalmasını sağlama açısından çok önemlidir.
Sohbet uygulamasının yük testi hakkında daha fazla bilgi edinmek için tanıtım videosunu izleyin.
Not
Bu makalede, makaledeki örnekler ve kılavuzlar için temel olarak bir veya daha fazla yapay zeka uygulaması şablonu kullanılır. Yapay zeka uygulama şablonları, yapay zeka uygulamalarınız için yüksek kaliteli bir başlangıç noktası sağlamaya yardımcı olan, bakımlı, kolay dağıtılan başvuru uygulamaları sağlar.
Önkoşullar
Azure aboneliği. Ücretsiz bir tane oluşturun
İstenen Azure aboneliğinde Azure OpenAI'ya erişim verilir. Şu anda bu hizmete erişim yalnızca uygulama tarafından sağlanmaktadır. adresinden formu https://aka.ms/oai/accesstamamlayarak Azure OpenAI'ye erişim için başvurabilirsiniz.
Geliştirme kapsayıcıları her iki örnek için de kullanılabilir ve bu makalenin tamamlanması için tüm bağımlılıklar gereklidir. Geliştirme kapsayıcılarını GitHub Codespaces'ta (tarayıcıda) veya Visual Studio Code'u kullanarak yerel olarak çalıştırabilirsiniz.
RAG ile Python sohbet uygulaması - Sohbet uygulamanızı yük dengeleme çözümlerinden birini kullanacak şekilde yapılandırdıysanız, bu makale yük dengelemeyi test etmeye yardımcı olur. Yük dengeleme çözümleri Azure Container Apps'i içerir.
Yük testi örnek uygulamasını açma
Yük testi, Locust testi olarak Python sohbet uygulaması çözümündedir. Bu makaleye dönmeniz, çözümü dağıtmanız ve ardından aşağıdaki adımları tamamlamak için bu geliştirme kapsayıcısı geliştirme ortamını kullanmanız gerekir.
Testi çalıştırma
Yük testi için bağımlılıkları yükleyin.
python3 -m pip install -r requirements-dev.txt
Locust test dosyasını kullanan Locust'u başlatın: locustfile.py deponun kökünde bulunur.
locust
gibi
http://localhost:8089
çalışan Locust web sitesini açın.Locust web sitesine aşağıdakileri girin.
Özellik Değer Kullanıcı sayısı 20 Rampa yukarı 1 Ana Bilgisayar https://<YOUR-CHAT-APP-URL>.azurewebsites.net
Testi başlatmak için Swarm'u Başlat'ı seçin.
Test ilerleme durumunu izlemek için Grafikler'i seçin.
Kaynakları temizleme
Yük testini bitirdiğinizde kaynakları temizleyin. Bu makalede oluşturulan Azure kaynakları Azure aboneliğinize faturalandırılır. Gelecekte bu kaynaklara ihtiyaç duymayı beklemiyorsanız, daha fazla ücret ödememek için bunları silin. Bu makaleye özgü kaynağı sildikten sonra diğer sohbet uygulaması öğreticisine geri dönmeyi ve temizleme adımlarını izlemeyi unutmayın.
Bu kaynakları temizlemek için sohbet uygulaması makalesine dönün.
Yardım alın
Bu yük testleyiciyi kullanırken sorun yaşıyorsanız sorununuzu deponun Sorunları'na kaydedin.
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin