問題: エアフローでジョブを実行すると Invalid Access Token エラーが発生するProblem: Invalid Access Token Error When Running Jobs with Airflow

問題点Problem

スケジュールされた通気 Azure Databricks ジョブを実行すると、次のエラーが表示されます。When you run scheduled Airflow Azure Databricks jobs, you get this error:

Invalid Access Token : 403 Forbidden Error

原因Cause

エアフローを通じて Azure Databricks ジョブを実行またはスケジュールするには、通気 web UI を使用して Azure Databricks 接続を構成する必要があります。To run or schedule Azure Databricks jobs through Airflow, you need to configure the Azure Databricks connection using the Airflow web UI. 次のいずれかの間違った設定を行うと、エラーが発生する可能性があります。Any of the following incorrect settings can cause the error:

  • [host] フィールドを Azure Databricks ワークスペースのホスト名に設定します。Set the host field to the Azure Databricks workspace hostname.
  • login フィールドを [token] に設定します。Set the login field to token.
  • password フィールドを、Azure Databricks で生成された個人用アクセストークンに設定します。Set the password field to the Azure Databricks-generated personal access token.
  • Extra フィールドを JSON 文字列に設定します。このとき、キーが token、値が個人用アクセストークンになります。Set the Extra field to a JSON string, where the key is token and the value is your personal access token.

Azure Databricks 生成された個人用アクセストークンは、通常、90日間有効です。The Azure Databricks-generated personal access token is normally valid for 90 days. トークンの有効期限が切れると、この 403 Forbidden Error が発生します。If the token expires, then this 403 Forbidden Error occurs.

ソリューションSolution

  • JSON 文字列を使用して Extra フィールドが正しく構成されていることを確認します。Verify that the Extra field is correctly configured with the JSON string:

    {"token": "<your personal access token>"}

  • [password] フィールドと [Extra] フィールドの両方にトークンが記載されていることを確認します。Verify that the token is mentioned in both the password field and the Extra field.

  • host、login、および password の各フィールドが正しく構成されていることを確認します。Verify that the host, login, and password fields are configured correctly.

  • 個人用アクセストークンの有効期限が切れていないことを確認します。Verify that the personal access token has not expired.

必要に応じて、新しいトークンを生成します。If necessary, generate a new token.