Auftragsfehler aufgrund eines Anforderungslimits für Cluster Manager-KerninstanzenJob fails due to cluster manager core instance request limit

ProblemProblem

Ein Azure Databricks Notebook oder eine Auftrags-API gibt den folgenden Fehler zurück:An Azure Databricks Notebook or Job API returns the following error:

Unexpected failure while creating the cluster for the job. Cause REQUEST_LIMIT_EXCEEDED: Your request was rejected due to API rate limit. Please retry your request later, or choose a larger node type instead.

UrsacheCause

Der Fehler zeigt an, dass das Anforderungs Limit für die Kern Instanz des Cluster-Managers überschritten wurdeThe error indicates the Cluster Manager Service core instance request limit was exceeded.

Eine Cluster-Manager-Kern Instanz kann maximal 1000 Anforderungen unterstützen.A Cluster Manager core instance can support a maximum of 1000 requests.

LösungSolution

Wenden Sie sich an Azure Databricks Support, um das in der Kern Instanz festgelegte Limit zu erhöhen.Contact Azure Databricks Support to increase the limit set in the core instance.

Azure Databricks können die Auftrags Beschränkung auf maxBurstyUpsizePerOrg bis zu 2000 und upsizeTokenRefillRatePerMin bis zu 120 erhöhen.Azure Databricks can increase the job limit maxBurstyUpsizePerOrg up to 2000, and upsizeTokenRefillRatePerMin up to 120. Aktuell laufende Aufträge sind betroffen, wenn der Grenzwert erreicht wird.Current running jobs are affected when the limit is increased.

Wenn Sie diese Werte erhöhen, kann dies das einschränderungs Problem verhindern, aber auch eine hohe CPU-Auslastung verursachen.Increasing these values can stop the throttling issue, but can also cause high CPU utilization.

Die beste Lösung für dieses Problem besteht darin, die Core-Instanz des Cluster-Managers durch eine größere Instanz zu ersetzen, die maximale Datenübertragungsrate unterstützen kann.The best solution for this issue is to replace the Cluster Manager core instance with a larger instance that can support maximum data transmission rates.

Azure Databricks-Unterstützung kann den aktuellen Cluster-Manager-Instanztyp in einen größeren ändern.Azure Databricks Support can change the current Cluster Manager instance type to a larger one.