Gestire e aumentare le quote e i limiti per le risorse con Azure Machine Learning
Azure usa le quote e i limiti per evitare lo sforamento del budget a causa di illeciti e per rispettare i vincoli di capacità di Azure. Considerare questi limiti durante la scalabilità per i carichi di lavoro di produzione. Questo articolo contiene informazioni relative agli argomenti seguenti:
- Limiti predefiniti sulle risorse di Azure correlate a Azure Machine Learning.
- Creazione di quote a livello di area di lavoro.
- Visualizzazione delle quote e dei limiti.
- Richiesta di aumenti delle quote.
Oltre a gestire quote e limiti, è possibile apprendere come pianificare e gestire i costi per Azure Machine Learning o apprendere sui limiti del servizio in Azure Machine Learning.
Considerazioni speciali
Le quote vengono applicate a ogni sottoscrizione nell'account. Se sono disponibili più sottoscrizioni, è necessario richiedere un aumento della quota per ogni sottoscrizione.
Una quota è un limite di credito per le risorse di Azure, non una garanzia di capacità. Se si hanno esigenze di capacità su larga scala, contattare il supporto tecnico di Azure per aumentare la quota.
La quota viene condivisa fra tutti i servizi nelle sottoscrizioni, incluso Azure Machine Learning. Calcolare l'utilizzo in tutti i servizi durante la valutazione della capacità.
Nota
Il calcolo di Azure Machine Learning è un'eccezione. Ha una quota separata dalla quota di calcolo della memoria centrale.
I limiti predefiniti variano in base al tipo di categoria dell'offerta, ad esempio Versione di valutazione gratuita o Pagamento in base al consumo, e alle serie delle macchine virtuali, ad esempio Dv2, F e G.
Quote e limiti predefiniti sulle risorse
In questa sezione vengono fornite informazioni sulle quote e sui limiti predefiniti e massimi sulle risorse seguenti:
- Asset di Azure Machine Learning
- Calcoli di Azure Machine Learning (incluso Spark serverless)
- Quota condivisa di Azure Machine Learning
- Endpoint online di Azure Machine Learning (gestiti e Kubernetes) ed endpoint batch
- Pipeline di Azure Machine Learning
- Integrazione di Azure Machine Learning con Synapse
- Macchine virtuali
- Istanze di Azure Container
- Archiviazione di Azure
Importante
I limiti sono soggetti a modifiche. Per le informazioni più recenti, vedere Limiti dei servizi in Azure Machine Learning.
Asset di Azure Machine Learning
I seguenti limiti per gli asset si applicano in base all'area di lavoro.
| Conto risorse | Limite massimo |
|---|---|
| Set di dati | 10 milioni |
| Esecuzioni | 10 milioni |
| Modelli | 10 milioni |
| Componente | 10 milioni |
| Artifacts | 10 milioni |
Inoltre, il tempo di esecuzione massimo è di 30 giorni e il numero massimo di metriche registrate per ogni esecuzione è 1 milione.
Ambiente di calcolo di Azure Machine Learning
Nell'ambiente di calcolo di Azure Machine Learning è previsto un limite di quota predefinito per il numero di core e per il numero di risorse di calcolo consentite per ogni area in una sottoscrizione.
Nota
- La quota per il numero di core viene suddivisa per ogni famiglia di macchine virtuali e per i core totali cumulativi.
- La quota sul numero di risorse di calcolo univoche per regione è separata dalla quota di core della VM, poiché si applica solo alle risorse di calcolo gestite di Azure Machine Learning.
Per aumentare i seguenti limiti sugli elementi, richiedere un aumento della quota:
- Quote di core della famiglia di VM. Per altre informazioni sulla famiglia di VM per cui richiedere un aumento della quota, vedere Dimensioni delle macchine virtuali in Azure. Ad esempio, le famiglie di VM GPU iniziano con "N" nel nome della famiglia (per esempio, la serie NCv3).
- Quote core di sottoscrizione totali
- Quota del cluster
- Altre risorse in questa sezione
Risorse disponibili:
I core dedicati per area hanno un limite predefinito di 24-300, a seconda del tipo di offerta di sottoscrizione. È possibile aumentare il numero di core dedicati per sottoscrizione per ogni famiglia di macchine virtuali. Le famiglie di macchine virtuali specializzate come le serie NCv2, NCv3 o ND iniziano con un valore predefinito di zero core. Anche le GPU iniziano con un valore predefinito di zero core.
I core a priorità bassa per area hanno un limite predefinito di 100-3.000, a seconda del tipo di offerta di sottoscrizione. Il numero di core a bassa priorità per ogni sottoscrizione può essere aumentato ed è un valore singolo per le famiglie di macchine virtuali.
Il limite di calcolo totale per regione ha un limite predefinito di 500 per regione all'interno di una determinata sottoscrizione ed è possibile aumentarlo fino a un valore massimo di 2500 per regione. Il limite è condiviso tra cluster di training, istanze di ambiente di calcolo e distribuzioni di endpoint online gestiti. Un'istanza di ambiente di calcolo viene considerata un cluster a nodo singolo a scopo di quota.
La tabella seguente mostra altri limiti nella piattaforma. Contattare il team addetto al prodotto Azure Machine Learning tramite un ticket di supporto tecnico per richiedere un'eccezione.
| Risorsa o azione | Limite massimo |
|---|---|
| Aree di lavoro per gruppo di risorse | 800 |
| I nodi in un singolo cluster di calcolo di Azure Machine Learning (AmlCompute) sono configurati come pool non abilitati alle comunicazioni (ovvero non possono eseguire processi MPI) | 100 nodi, ma configurabili fino a 65.000 nodi |
| I nodi in un singolo passaggio di esecuzione parallela vengono eseguiti in un cluster di calcolo di Azure Machine Learning (AmlCompute) | 100 nodi ma configurabili fino a 65.000 nodi se il cluster è configurato per la scalabilità come indicato in precedenza |
| I nodi in un singolo cluster di calcolo di Azure Machine Learning (AmlCompute) sono configurati come pool abilitati alle comunicazioni | 300 nodi, ma configurabili fino a 4.000 nodi |
| Nodi in un singolo cluster di calcolo di Azure Machine Learning (AmlCompute) configurato come pool abilitato per le comunicazioni in una famiglia di macchine virtuali abilitate per RDMA | 100 nodi |
| I nodi in una singola MPI vengono eseguiti in un cluster di calcolo di Azure Machine Learning (AmlCompute) | 100 nodi |
| Durata dei processi | 21 giorni1 |
| Durata del processo in un nodo a priorità bassa | 7 giorni2 |
| Parametri dei server per nodo | 1 |
1 La durata massima è la durata compresa tra l'avvio e il termine di un processo. I processi completati persistono per un periodo illimitato. I dati sui processi non completati entro la durata massima non sono accessibili.
2 È possibile annullare i processi in un nodo con priorità bassa ogni volta che è presente un vincolo sulla capacità. Si consiglia di implementare il checkpoint nel processo.
Quota condivisa di Azure Machine Learning
Azure Machine Learning offre un pool di quote condivise da cui gli utenti in diverse aree possono accedere alla quota per eseguire test per un periodo di tempo limitato, a seconda della disponibilità. La durata specifica dipende dal caso d'uso. Usando temporaneamente la quota tratta dal pool di quote, non è più necessario inviare un ticket di supporto per un aumento della quota a breve termine o attendere l'approvazione della richiesta per la quota prima di poter procedere con il carico di lavoro.
L'uso del pool di quote condivise è disponibile per l'esecuzione di processi Spark e per il test dell'inferenza per Llama-2, Phi, Nemotron, Mistral, Dolly e Deci-DeciLM del Catalogo modelli per un breve periodo di tempo. Prima di poter distribuire questi modelli tramite la quota condivisa, è necessario disporre di una sottoscrizione Contratto Enterprise. Per altre informazioni su come usare la quota condivisa per la distribuzione di endpoint online, vedere Come distribuire i modelli di base usando Studio.
È consigliabile usare la quota condivisa solo per la creazione di endpoint di test temporanei, non per gli endpoint di produzione. Per gli endpoint presenti nell'ambiente di produzione, è necessario richiedere una quota dedicata inviando un ticket di supporto. La fatturazione per la quota condivisa si basa sull'utilizzo, proprio come la fatturazione per le famiglie di macchine virtuali dedicate. Per rifiutare esplicitamente la quota condivisa per i processi Spark, compilare il modulo di esclusione esplicita dell'allocazione della capacità condivisa di Azure Machine Learning.
Endpoint online e batch di Azure Machine Learning
Gli endpoint online e batch di Azure Machine Learning presentano limiti sulle risorse descritti nella tabella seguente.
Importante
Tali limiti sono regionali, ovvero è possibile usare fino ai suddetti per ogni regione in uso. Ad esempio, se il limite corrente per il numero di endpoint per sottoscrizione è 100, è possibile creare 100 endpoint nella regione Stati Uniti orientali, 100 endpoint nella regione Stati Uniti occidentali e 100 endpoint in ognuna delle altre regioni supportate in una singola sottoscrizione. Lo stesso principio si applica a tutti gli altri limiti.
Per determinare l'utilizzo corrente per un endpoint, visualizzare le metriche.
Per richiedere un'eccezione al team addetto al prodotto Azure Machine Learning, seguire la procedura descritta negli aumenti del limite di endpoint.
| Conto risorse | Limite 1 | Consente l'eccezione | Si applica a |
|---|---|---|---|
| Nome endpoint | I nomi degli endpoint devono |
- | Tutti i tipi di endpoint 3 |
| Nome distribuzione | I nomi di distribuzione devono |
- | Tutti i tipi di endpoint 3 |
| Numero di endpoint per sottoscrizione | 100 | Sì | Tutti i tipi di endpoint 3 |
| Numero di endpoint per cluster | 60 | - | endpoint online Kubernetes |
| Numero di distribuzioni per sottoscrizione | 500 | Sì | Tutti i tipi di endpoint 3 |
| Numero di distribuzioni per endpoint | 20 | Sì | Tutti i tipi di endpoint 3 |
| Numero di distribuzioni per cluster | 100 | - | endpoint online Kubernetes |
| Numero di istanze per distribuzione | 50 4 | Sì | Endpoint online gestito |
| Timeout massimo della richiesta a livello di endpoint | 180 secondi | - | Endpoint online gestito |
| Timeout massimo della richiesta a livello di endpoint | 300 secondi | - | endpoint online Kubernetes |
| Richieste totali al secondo a livello di endpoint per tutte le distribuzioni | 500 5 | Sì | Endpoint online gestito |
| Connessioni totali al secondo a livello di endpoint per tutte le distribuzioni | 500 5 | Sì | Endpoint online gestito |
| Connessioni totali attive a livello di endpoint per tutte le distribuzioni | 500 5 | Sì | Endpoint online gestito |
| Larghezza di banda totale a livello di endpoint per tutte le distribuzioni | 5 MBPS 5 | Sì | Endpoint online gestito |
1 Si tratta di un limite regionale. Ad esempio, se il limite corrente per il numero di endpoint è 100, è possibile creare 100 endpoint nella regione Stati Uniti orientali, 100 endpoint nella regione Stati Uniti occidentali e 100 endpoint in ognuna delle altre regioni supportate in una singola sottoscrizione. Lo stesso principio si applica a tutti gli altri limiti.
2 I trattini singoli come my-endpoint-namevengono accettati nei nomi di endpoint e distribuzione.
3 Gli endpoint e le distribuzioni possono essere di tipi diversi; tuttavia, i limiti si applicano alla somma di tutti i tipi. Ad esempio, per impostazione predefinita la somma degli endpoint online gestiti e degli endpoint online e batch Kubernetes in ogni sottoscrizione non può superare i 100 per regione. Analogamente, per impostazione predefinita la somma delle distribuzioni online gestite e delle distribuzioni online e batch Kubernetes in ogni sottoscrizione non può superare i 500 per regione.
4 Il 20% di risorse di calcolo aggiuntive è riservato all'esecuzione degli aggiornamenti. Ad esempio, se si richiedono 10 istanze in una distribuzione, è necessario avere una quota per 12. In caso contrario, viene visualizzato un errore. Esistono alcuni SKU di VM esenti da quote aggiuntive. Per altre informazioni sull'allocazione delle quote, vedere Allocazione della quota di macchine virtuali per la distribuzione.
5 Le richieste al secondo, le connessioni, la larghezza di banda e così via sono correlate. Se si richiede di aumentare uno di questi limiti, assicurarsi di stimare/calcolare insieme altri limiti correlati.
Allocazione della quota di macchine virtuali per la distribuzione
Per gli endpoint online gestiti, Azure Machine Learning riserva il 20% delle risorse di calcolo per l'esecuzione degli aggiornamenti in alcune SKU di VM. Se si richiede un determinato numero di istanze per gli SKU di macchine virtuali in una distribuzione, è necessario disporre di una quota per ceil(1.2 * number of instances requested for deployment) * number of cores for the VM SKU evitare di ricevere un errore. Ad esempio, se si richiedono 10 istanze di una macchina virtuale Standard_DS3_v2 (fornita con quattro core) in una distribuzione, è necessario avere una quota per 48 core (12 instances * 4 cores) disponibile. Questa quota aggiuntiva è riservata alle operazioni avviate dal sistema, ad esempio gli aggiornamenti del sistema operativo e il ripristino della macchina virtuale, e non comporta costi a meno che tali operazioni non vengano eseguite.
Esistono determinati SKU di VM esentati dalla prenotazione di quote aggiuntive. Per visualizzare l'elenco completo, vedere l'elenco degli SKU degli endpoint online gestiti.
Per visualizzare gli incrementi relativi all'utilizzo e alla quota di richieste, vedere Visualizzare l'utilizzo e le quote nel portale di Azure. Per visualizzare i costi di esecuzione di un endpoint online gestito, vedere Visualizzare i costi per un endpoint online gestito.
Pipeline di Azure Machine Learning
Le pipeline di Azure Machine Learning hanno i limiti seguenti.
| Conto risorse | Limite |
|---|---|
| Passaggi in una pipeline | 30.000 |
| Aree di lavoro per gruppo di risorse | 800 |
Integrazione di Azure Machine Learning con Synapse
Spark serverless di Azure Machine Learning consente di accedere facilmente alla funzionalità di elaborazione distribuita per il ridimensionamento dei processi Apache Spark. Serverless Spark usa la stessa quota dedicata dell'ambiente di calcolo di Azure Machine Learning. È possibile aumentare i limiti di quota inviando un ticket di supporto e richiedendo un aumento della quota e del limite per la serie ESv3 nella categoria "Servizio Machine Learning: quota macchina virtuale".
Per visualizzare l'utilizzo delle quote, passare a Studio di Machine Learning e selezionare il nome della sottoscrizione per cui si desidera visualizzare l'utilizzo. Selezionare "Quota" nel pannello a sinistra.
Macchine virtuali
Ogni sottoscrizione di Azure ha un limite sul numero di macchine virtuali in tutti i servizi. I core delle macchine virtuali hanno un limite totale regionale e un limite regionale per serie di dimensioni. Entrambi i limiti vengono applicati separatamente.
Si consideri ad esempio una sottoscrizione con limite di core di VM totale per gli Stati Uniti orientali pari a 30, un limite di core di serie A pari a 30 e un limite di core di serie D pari a 30. Questa sottoscrizione può distribuire 30 VM A1 o 30 VM D1 o una combinazione dei due tipi che non supera un totale di 30 core.
Non è possibile aumentare i limiti per le macchine virtuali oltre i valori illustrati nella tabella seguente.
| Conto risorse | Limite |
|---|---|
| Sottoscrizioni di Azureassociate a un tenant di Microsoft Entra | Nessun limite |
| Coamministratori per ogni sottoscrizione | Nessun limite |
| Gruppi di risorse per sottoscrizione | 980 |
| Dimensione delle richieste delle API di Azure Resource Manager | 4.194.304 byte |
| Tag per sottoscrizione1 | 50 |
| Calcoli di tag univoci per sottoscrizione2 | 80.000 |
| Distribuzioni a livello di sottoscrizione per sede | 8003 |
| Percorsi delle distribuzioni a livello di sottoscrizione | 10 |
1È possibile applicare fino a 50 tag direttamente a una sottoscrizione. All'interno della sottoscrizione, ogni risorsa o gruppo di risorse è soggetto a un limite di 50 tag. Tuttavia, la sottoscrizione è in grado di contenere un numero illimitato di tag distribuiti in varie risorse e gruppi di risorse.
2Resource Manager restituisce un elenco di nomi e valori di tag nella sottoscrizione solo quando il numero di tag univoci non supera i 80.000. Un tag univoco viene definito dalla combinazione di ID risorsa, nome di tag e valore di tag. Ad esempio, due risorse con lo stesso nome e valore di tag vengono calcolate come due tag univoci. È possibile comunque trovare una risorsa in base al tag quando il numero è superiore a 80.000.
3Le distribuzioni vengono automaticamente eliminate dalla cronologia quando ci si avvicina al limite. Per alter informazioni, vedere Eliminazioni automatiche dalla cronologia delle distribuzioni.
Istanze di contenitore
Per altre informazioni, vedere Limiti di Istanze di Container.
Storage
Archiviazione di Azure ha un limite di 250 account di archiviazione per area per sottoscrizione. Il limite include gli account di archiviazione Standard e Premium.
Quota a livello di area di lavoro
Usare le quote a livello di area di lavoro per gestire l'allocazione di destinazione di calcolo di Azure Machine Learning tra diverse aree di lavoro nella stessa sottoscrizione.
Per impostazione predefinita, tutte le aree di lavoro condividono la stessa quota a livello di sottoscrizione per le famiglie di macchine virtuali. Tuttavia, è possibile impostare una quota massima per le singole famiglie di macchine virtuali nelle aree di lavoro di una sottoscrizione. Le quote per le singole famiglie di VM consentono di condividere la capacità ed evitare problemi di contesa delle risorse.
- Passare a un'area di lavoro nella sottoscrizione.
- Nel riquadro a sinistra selezionare Utilizzo e quote.
- Selezionare la scheda Configura quote per visualizzare le quote.
- Espandere una famiglia di macchine virtuali.
- Impostare un limite di quota per una qualsiasi area di lavoro elencata nella famiglia di macchine virtuali.
Non è possibile impostare un valore negativo o un valore superiore a quello della quota a livello di sottoscrizione.
Nota
È necessario avere le autorizzazioni a livello di sottoscrizione per impostare una quota a livello di area di lavoro.
Visualizzare le quote in Studio
Quando si crea una nuova risorsa di calcolo, per impostazione predefinita vengono visualizzate solo le dimensioni delle VM di cui si dispone già di una quota da usare. Impostare la visualizzazione su Seleziona da tutte le opzioni.
Scorrere verso il basso fino a visualizzare l'elenco delle dimensioni di VM di cui non si dispone di una quota.
Usare il collegamento per passare direttamente alla richiesta di assistenza clienti online per ottenere una quota maggiore.
Visualizzare l'utilizzo e le quote nel portale di Azure
Per visualizzare la quota per varie risorse di Azure, ad esempio macchine virtuali, archiviazione o rete, usare il portale di Azure:
Nel riquadro a sinistra selezionare Tutti i servizi e quindi Sottoscrizioni nella categoria Generale.
Nell'elenco delle sottoscrizioni selezionare la sottoscrizione per cui si desidera individuare la quota.
Selezionare Utilizzo + quote per visualizzare i limiti di quota e l'utilizzo attuali. Usare i filtri per selezionare il provider e i percorsi.
È possibile gestire la quota di calcolo di Azure Machine Learning nella sottoscrizione separatamente dalle altre quote di Azure:
Andare alportale di Azure Machine Learning e accedere all'area di lavoro di Azure Machine Learning.
Nel riquadro sulla sinistra, nella sezione Supporto e risoluzione dei problemi, selezionare Utilizzo e quote per visualizzare i limiti di quota correnti e l'utilizzo.
Selezionare una sottoscrizione per visualizzare i limiti di quota. Filtrare in base alla regione a cui si è interessati.
È possibile passare da una vista a livello di sottoscrizione e una vista a livello di area di lavoro.
Richiesta di aumento quota e limite
L'aumento della quota delle macchine virtuali consiste nell'aumentare il numero di core per famiglia di macchine virtuali per regione. L'aumento del limite dell'endpoint consiste nell'aumentare i limiti specifici degli endpoint per sottoscrizione e regione. Fare attenzione a scegliere la categoria giusta quando si presenta la richiesta di aumento della quota, come descritto nella sezione successiva.
Aumenti di quota VM
Per aumentare il limite per la quota di VMi di Azure Machine Learning al di sopra del limite predefinito, è possibile richiedere l'aumento della quota dalla vista Utilizzo e quote precedente o inviare una richiesta di aumento della quota da Studio di Azure Machine Learning.
- Andare alla pagina Utilizzo + quote seguendo le istruzioni riportate in precedenza. Visualizzare i limiti di quota attuali. Selezionare lo SKU per il quale si desidera richiedere un aumento.
- Specificare la quota da aumentare e il nuovo valore limite. Infine, selezionare Invia per continuare.
Aumenti dei limiti di endpoint
Per aumentare il limite di endpoint, aprire una richiesta di supporto clienti online. Quando si richiede l'aumento del limite dell'endpoint, specificare le informazioni seguenti:
- Quando si apre la richiesta di supporto, selezionare Limiti di servizio e sottoscrizione (quote) per il Tipo di problema.
- Selezionare la sottoscrizione desiderata.
- Selezionare Servizio Machine Learning: Limiti degli endpoint per il Tipo di quota.
- Nella scheda Dettagli aggiuntivi è necessario fornire motivi dettagliati per l'aumento del limite affinché la richiesta venga elaborata. Selezionare Immettere i dettagli, quindi specificare il limite che si desidera aumentare e il nuovo valore per ogni limite, il motivo della richiesta di aumento del limite e il/i percorso/i in cui è necessario aumentare il limite.
Assicurarsi di aggiungere le informazioni seguenti nel motivo dell'aumento del limite:
- Descrizione dello scenario e del carico di lavoro (ad esempio testo, immagine e così via).
- Motivo dell'aumento richiesto.
- Fornire la velocità effettiva di destinazione e il relativo criterio (QPS medio/picco, utenti simultanei).
- Fornire la latenza di destinazione su larga scala e la latenza corrente osservata con una singola istanza.
- Fornire lo SKU di VM e il numero di istanze in totale per supportare la velocità effettiva e latenza di destinazione. Specificare il numero di endpoint/distribuzioni/istanze che si prevede di usare in ogni area.
- Verificare se si dispone di un test di benchmark che indica lo SKU di VM selezionato e il numero di istanze che soddisfano i requisiti di velocità effettiva e latenza.
- Specificare il tipo di payload e le dimensioni di un singolo payload. La larghezza di banda di rete deve essere allineata alle dimensioni del payload e alle richieste al secondo.
- Specificare il piano di tempo pianificato (entro quando è necessario aumentare i limiti - specificare il piano a fasi, se possibile) e verificare se (1) il costo dell'esecuzione su tale scala si riflette nel budget e (2) gli SKU di VM di destinazione sono approvati.
- Infine, selezionare Salva e continua per continuare.
Nota
Questa richiesta di aumento del limite di endpoint è diversa dalla richiesta di aumento della quota di VM. Se la richiesta è correlata all'aumento della quota di VM, seguire le istruzioni nella sezione Aumenti della quota di VM.
Aumento del limite di calcolo
Per aumentare il limite di calcolo totale, aprire una richiesta di supporto clienti online. Specificare le informazioni seguenti:
Quando si apre la richiesta di supporto, selezionare Tecnico per il Tipo di problema.
Selezionare la sottoscrizione desiderata
Selezionare Apprendimento automatico per il Servizio.
Selezionare la risorsa desiderata
Nel riepilogo menzionare "Aumentare i limiti di calcolo totali"
Selezionare Cluster di elaborazione come tipo di problema e Cluster non aumenta o si blocca durante il ridimensionamento come sottotipo di Problema.
Nella scheda Dettagli aggiuntivi specificare l'ID sottoscrizione, l'area, il nuovo limite (compreso tra 500 e 2500) e la giustificazione aziendale, se si desidera aumentare i limiti di calcolo totali in questa area.
Infine, selezionare Crea per creare un ticket di richiesta di supporto.