Échec du travail en raison de la limite de demandes de l’instance principale du gestionnaire de clusterJob fails due to cluster manager core instance request limit

ProblèmeProblem

Un bloc-notes Azure Databricks ou une API de travail retourne l’erreur suivante :An Azure Databricks Notebook or Job API returns the following error:

Unexpected failure while creating the cluster for the job. Cause REQUEST_LIMIT_EXCEEDED: Your request was rejected due to API rate limit. Please retry your request later, or choose a larger node type instead.

CauseCause

L’erreur indique que la limite des demandes d’instance de service Core du gestionnaire de cluster a été dépassée.The error indicates the Cluster Manager Service core instance request limit was exceeded.

Une instance de base du gestionnaire de cluster peut prendre en charge un maximum de 1000 requêtes.A Cluster Manager core instance can support a maximum of 1000 requests.

SolutionSolution

Contactez le support technique Azure Databricks pour augmenter la limite définie dans l’instance principale.Contact Azure Databricks Support to increase the limit set in the core instance.

Azure Databricks pouvez augmenter la limite du travail maxBurstyUpsizePerOrg jusqu’à 2000 et upsizeTokenRefillRatePerMin jusqu’à 120.Azure Databricks can increase the job limit maxBurstyUpsizePerOrg up to 2000, and upsizeTokenRefillRatePerMin up to 120. Les travaux en cours d’exécution sont affectés lorsque la limite est augmentée.Current running jobs are affected when the limit is increased.

L’augmentation de ces valeurs peut arrêter le problème de limitation, mais peut également entraîner une utilisation élevée du processeur.Increasing these values can stop the throttling issue, but can also cause high CPU utilization.

La meilleure solution pour résoudre ce problème consiste à remplacer l’instance principale de cluster Manager par une plus grande instance pouvant prendre en charge des taux de transmission de données maximaux.The best solution for this issue is to replace the Cluster Manager core instance with a larger instance that can support maximum data transmission rates.

La prise en charge de Azure Databricks peut modifier le type d’instance actuel du gestionnaire de cluster en un plus grand.Azure Databricks Support can change the current Cluster Manager instance type to a larger one.