クラスターマネージャーのコアインスタンスの要求の制限によりジョブが失敗するJob Fails Due to Cluster Manager Core Instance Request Limit

問題点Problem

Azure Databricks Notebook またはジョブ API は、次のエラーを返します。An Azure Databricks Notebook or Job API returns the following error:

Unexpected failure while creating the cluster for the job. Cause REQUEST_LIMIT_EXCEEDED: Your request was rejected due to API rate limit. Please retry your request later, or choose a larger node type instead.

原因Cause

このエラーは、クラスターマネージャーのサービスコアインスタンスの要求の上限を超えたことを示します。The error indicates the Cluster Manager Service core instance request limit was exceeded.

クラスターマネージャーのコアインスタンスは、最大1000の要求をサポートできます。A Cluster Manager core instance can support a maximum of 1000 requests.

ソリューションSolution

コアインスタンスで設定されている制限を増やすには、Azure Databricks サポートに問い合わせてください。Contact Azure Databricks Support to increase the limit set in the core instance.

Azure Databricks によって、ジョブの上限 maxBurstyUpsizePerOrg 最大2000まで増加し、120まで upsizeTokenRefillRatePerMin ことができます。Azure Databricks can increase the job limit maxBurstyUpsizePerOrg up to 2000, and upsizeTokenRefillRatePerMin up to 120. 制限が増加すると、現在実行中のジョブが影響を受けます。Current running jobs are affected when the limit is increased.

これらの値を大きくすると、制限の問題が発生しなくなる可能性がありますが、CPU 使用率が高くなる可能性もあります。Increasing these values can stop the throttling issue, but can also cause high CPU utilization.

この問題を解決する最善の方法は、クラスターマネージャーのコアインスタンスを、最大データ転送率をサポートできる大きなインスタンスに置き換えることです。The best solution for this issue is to replace the Cluster Manager core instance with a larger instance that can support maximum data transmission rates.

Azure Databricks サポートでは、現在のクラスターマネージャーインスタンスの種類を大きなものに変更できます。Azure Databricks Support can change the current Cluster Manager instance type to a larger one.