Azure OpenAI Hizmeti kotaları ve sınırları
Bu makale, Azure AI hizmetlerinde Azure OpenAI için kotaların ve sınırların ayrıntılı bir açıklamasını ve hızlı başvuruyu içerir.
Kotalar ve limitler başvurusu
Aşağıdaki bölümlerde, Azure OpenAI için geçerli olan varsayılan kotalar ve sınırlar için hızlı bir kılavuz sağlanır:
| Sınır Adı | Sınır Değeri |
|---|---|
| Azure aboneliği başına bölge başına OpenAI kaynakları | 30 |
| Varsayılan DALL-E 2 kota sınırları | 2 eşzamanlı istek |
| Varsayılan DALL-E 3 kota sınırları | 2 kapasite birimi (dakikada 6 istek) |
| İstek başına en fazla istem belirteci | Modele göre değişir. Daha fazla bilgi için bkz. Azure OpenAI Hizmeti modelleri |
| En fazla ince ayarlı model dağıtımı | 5 |
| Kaynak başına toplam eğitim işi sayısı | 100 |
| Kaynak başına en fazla eşzamanlı çalışan eğitim işi | 1 |
| Kuyruğa alınan en fazla eğitim işi | 20 |
| Kaynak başına En Fazla Dosya (ince ayar) | 50 |
| Kaynak başına tüm dosyaların toplam boyutu (ince ayar) | 1 GB |
| En fazla eğitim işi süresi (aşılırsa iş başarısız olur) | 720 saat |
| En fazla eğitim işi boyutu (eğitim dosyasındaki belirteçler) x (dönem sayısı) | 2 Milyar |
| Karşıya yükleme başına tüm dosyaların en büyük boyutu (verilerinizde Azure OpenAI) | 16MB |
Ile dizideki maksimum sayı veya giriş sayısı /embeddings |
2048 |
En fazla /chat/completions ileti sayısı |
2048 |
Maksimum işlev sayısı /chat/completions |
128 |
En fazla /chat completions araç sayısı |
128 |
| Dağıtım başına sağlanan aktarım hızı birimi sayısı üst sınırı | 100.000 |
| Yardımcı/iş parçacığı başına en fazla dosya | 20 |
| Yardımcılar için en büyük dosya boyutu ve ince ayar | 512 MB |
| Yardımcılar belirteci sınırı | 2.000.000 belirteç sınırı |
Bölgesel kota sınırları
Modeller için varsayılan kota modele ve bölgeye göre değişir. Varsayılan kota sınırları değiştirilebilir.
Standart dağıtım kotası, Dakika Başına Belirteçler (TPM) açısından açıklanmıştır.
| Bölge | GPT-4 | GPT-4-32K | GPT-4-Turbo | GPT-4-Turbo-V | GPT-35-Turbo | GPT-35-Turbo-Instruct | Metin Ekleme-Ada-002 | metin ekleme-3-küçük | metin ekleme-3-büyük | Babbage-002 | Babbage-002 - finetune | Davinci-002 | Davinci-002 - finetune | GPT-35-Turbo - finetune | GPT-35-Turbo-1106 - finetune | GPT-35-Turbo-0125 - finetune |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| australiaeast | 40 K | 80 K | 80 K | 30 K | 300 K | - | 350 K | - | - | - | - | - | - | - | - | - |
| Güney Brezilya | - | - | - | - | - | - | 350 K | - | - | - | - | - | - | - | - | - |
| canadaeast | 40 K | 80 K | 80 K | - | 300 K | - | 350 K | 350 K | 350 K | - | - | - | - | - | - | - |
| eastus | - | - | 80 K | - | 240 K | 240 K | 240 K | 350 K | 350 K | - | - | - | - | - | - | - |
| eastus2 | - | - | 80 K | - | 300 K | - | 350 K | 350 K | 350 K | - | - | - | - | 250 K | 250 K | 250 K |
| francecentral | 20 K | 60 K | 80 K | - | 240 K | - | 240 K | - | - | - | - | - | - | - | - | - |
| japaneast | - | - | - | 30 K | 300 K | - | 350 K | - | - | - | - | - | - | - | - | - |
| northcentralus | - | - | 80 K | - | 300 K | - | 350 K | - | - | 240 K | 250 K | 240 K | 250 K | 250 K | 250 K | 250 K |
| Doğu Norveç | - | - | 150 K | - | - | - | 350 K | - | - | - | - | - | - | - | - | - |
| Güney Afrika'nın Kuzeyi | - | - | - | - | - | - | 350 K | - | - | - | - | - | - | - | - | - |
| Orta Güney ABD | - | - | 80 K | - | 240 K | - | 240 K | - | - | - | - | - | - | - | - | - |
| southindia | - | - | 150 K | - | 300 K | - | 350 K | - | - | - | - | - | - | - | - | - |
| Orta İsveç | 40 K | 80 K | 150 K | 30 K | 300 K | 240 K | 350 K | - | - | 240 K | 250 K | 240 K | 250 K | 250 K | 250 K | 250 K |
| Kuzey İsviçre | 40 K | 80 K | - | 30 K | 300 K | - | 350 K | - | - | - | - | - | - | - | - | - |
| İsviçrewest | - | - | - | - | - | - | - | - | - | - | 250 K | - | 250 K | 250 K | 250 K | 250 K |
| uksouth | - | - | 80 K | - | 240 K | - | 350 K | - | - | - | - | - | - | - | - | - |
| westeurope | - | - | - | - | 240 K | - | 240 K | - | - | - | - | - | - | - | - | - |
| westus | - | - | 80 K | 30 K | 300 K | - | 350 K | - | - | - | - | - | - | - | - | - |
| westus3 | - | - | 80 K | - | - | - | 350 K | - | - | - | - | - | - | - | - | - |
1 K = 1000 Dakika Başına Belirteç (TPM). TPM ile Dakika Başına İstekler (RPM) arasındaki ilişki şu anda 1000 TPM için 6 RPM olarak tanımlanmıştır.
Hız sınırları içinde kalmak için genel en iyi yöntemler
Hız sınırlarıyla ilgili sorunları en aza indirmek için aşağıdaki teknikleri kullanmak iyi bir fikirdir:
- Uygulamanıza yeniden deneme mantığı ekleyin.
- İş yükünde ani değişikliklerden kaçının. İş yükünü kademeli olarak artırın.
- Farklı yük artışı desenlerini test edin.
- Dağıtımınıza atanan kotayı artırın. Gerekirse kotayı başka bir dağıtımdan taşıyın.
Varsayılan kotalara ve sınırlara artış isteme
Kota artışı istekleri Azure OpenAI Studio'nun Kotalar sayfasından gönderilebilir. Yoğun talep nedeniyle kota artışı isteklerinin kabul edildiğini ve alındıkları sırayla doldurulacağını lütfen unutmayın. Mevcut kota ayırmayı kullanan trafik oluşturan müşterilere öncelik verilir ve bu koşul karşılanmazsa isteğiniz reddedilebilir.
Diğer fiyat sınırları için lütfen bir hizmet isteği gönderin.
Sonraki adımlar
Azure OpenAI dağıtımlarınız için kotayı yönetmeyi keşfedin. Azure OpenAI'yi destekleyen temel modeller hakkında daha fazla bilgi edinin.