作业因群集管理器核心实例请求限制而失败

问题

Azure Databricks 笔记本或作业 API 返回以下错误:

Unexpected failure while creating the cluster for the job. Cause REQUEST_LIMIT_EXCEEDED: Your request was rejected due to API rate limit. Please retry your request later, or choose a larger node type instead.

原因

此错误指示已超过群集管理器服务核心实例请求限制

群集管理器核心实例最多可支持 1000 个请求。

解决方案

联系 Azure Databricks 支持,以增加设置的核心实例限制。

Azure Databricks 可以将作业限制增加 maxBurstyUpsizePerOrg 到2000, upsizeTokenRefillRatePerMin 最高可达120。 当限制增加时,当前正在运行的作业将受到影响。

增加这些值可以消除限制问题,但也可能导致 CPU 利用率过高。

此问题的最佳解决方案是将群集管理器核心实例替换为可支持最大数据传输速率的较大实例。

Azure Databricks 支持可以将当前群集管理器实例类型更改为较大的实例类型。