Jobbet misslyckas till följd av gräns för begäran för kärninstans i klusterhanteraren

Problem

Ett Azure Databricks-anteckningsbok-eller jobb-API returnerar följande fel:

Unexpected failure while creating the cluster for the job. Cause REQUEST_LIMIT_EXCEEDED: Your request was rejected due to API rate limit. Please retry your request later, or choose a larger node type instead.

Orsak

Felet anger att gränsen för antalet instanser av kluster hanteraren för tjänst kärnor överskreds.

En kärn instans av Cluster Manager kan stödja högst 1000 förfrågningar.

Lösning

Kontakta Azure Databricks support om du vill öka den angivna gränsen i Core-instansen.

Azure Databricks kan öka jobb gränsen maxBurstyUpsizePerOrg upp till 2000 och upsizeTokenRefillRatePerMin upp till 120. Aktuella jobb som körs påverkas när gränsen ökas.

Att öka dessa värden kan stoppa begränsnings problemet, men kan även orsaka hög processor användning.

Den bästa lösningen för det här problemet är att ersätta Cluster manager core-instansen med en större instans som har stöd för högsta antal data överförings hastigheter.

Azure Databricks-stöd kan ändra den aktuella kluster hanterarens instans typ till en större.