Taak mislukt vanwege limiet voor het aantal aanvragen van kernexemplaren voor clusterbeheer

Probleem

Een Azure Databricks Notebook- of Job-API retourneert de volgende fout:

Unexpected failure while creating the cluster for the job. Cause REQUEST_LIMIT_EXCEEDED: Your request was rejected due to API rate limit. Please retry your request later, or choose a larger node type instead.

Oorzaak

De fout geeft aan dat de aanvraaglimiet voor het kerninvoer van de Cluster Manager-service is overschreden.

Een Cluster Manager-kerninvoer kan maximaal 1000 aanvragen ondersteunen.

Oplossing

Neem contact Azure Databricks ondersteuning om de limiet te verhogen die is ingesteld in het kernin exemplaar.

Azure Databricks kunt de taaklimiet maxBurstyUpsizePerOrg verhogen tot 2000 en upsizeTokenRefillRatePerMin maximaal 120. Huidige taken worden beïnvloed wanneer de limiet wordt verhoogd.

Het verhogen van deze waarden kan het beperkingsprobleem stoppen, maar kan ook een hoog CPU-gebruik veroorzaken.

De beste oplossing voor dit probleem is om de kerninvoer van Cluster Manager te vervangen door een grotere instantie die maximale gegevensoverdrachtssnelheden kan ondersteunen.

Azure Databricks ondersteuning kan het huidige clusterbeheer-exemplaartype wijzigen in een groter exemplaar.