databricks_step 模組

包含在 DBFS 上建立 Azure ML 管線步驟以執行 Databricks 筆記本或 Python 腳本的功能。

類別

DatabricksStep

建立 Azure ML 管線步驟,以將 DataBricks 筆記本、Python 腳本或 JAR 新增為節點。

如需使用 DatabricksStep 的範例,請參閱筆記本 https://aka.ms/pl-databricks

建立 Azure ML 管線步驟,以將 DataBricks 筆記本、Python 腳本或 JAR 新增為節點。

如需使用 DatabricksStep 的範例,請參閱筆記本 https://aka.ms/pl-databricks

:p aram python_script_name:[必要] 相對於 的 Python 腳本 source_directory 名稱。 如果腳本接受輸入和輸出,這些會以參數的形式傳遞至腳本。 如果 python_script_name 已指定 ,則 source_directory 也必須指定 。

指定 、、 python_script_namemain_class_namenotebook_pathpython_script_path 其中一個 。

如果您將 DataReference 物件指定為 輸入,且具有 data_reference_name=input1 和 PipelineData 物件做為輸出 名稱=output1,則輸入和輸出會以參數的形式傳遞至腳本。 這是它們的外觀,您必須剖析腳本中的引數,以存取每個輸入和輸出的路徑: 「-input1」、「wasbs:///test」,「-output1」、「wasbs:// test@storagename.blob.core.windows.nettest@storagename.blob.core.windows.net /b3e26de1-87a4-494d-a20f-1988d2b81a2/output1」

此外,腳本中也會提供下列參數:

  • AZUREML_RUN_TOKEN:使用 Azure Machine Learning 進行驗證的 AML 權杖。
  • AZUREML_RUN_TOKEN_EXPIRY:AML 權杖到期時間。
  • AZUREML_RUN_ID:此回合的 Azure Machine Learning 執行識別碼。
  • AZUREML_ARM_SUBSCRIPTION:AML 工作區的 Azure 訂用帳戶。
  • AZUREML_ARM_RESOURCEGROUP:適用于 Azure Machine Learning 工作區的 Azure 資源群組。
  • AZUREML_ARM_WORKSPACE_NAME:Azure Machine Learning 工作區的名稱。
  • AZUREML_ARM_PROJECT_NAME:Azure Machine Learning 實驗的名稱。
  • AZUREML_SERVICE_ENDPOINT:AML 服務的端點 URL。
  • AZUREML_WORKSPACE_ID:Azure Machine Learning 工作區的識別碼。
  • AZUREML_EXPERIMENT_ID:Azure Machine Learning 實驗的識別碼。
  • AZUREML_SCRIPT_DIRECTORY_NAME:已複製source_directory之 DBFS 中的目錄路徑。
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

當您使用 DatabricksStep 參數 source_directorypython_script_name Databricks 上的本機電腦上執行 Python 腳本時,您的source_directory會複製到 DBFS,而 DBFS 上的目錄路徑會在腳本開始執行時當做參數傳遞至腳本。 此參數會標示為 –AZUREML_SCRIPT_DIRECTORY_NAME。 您必須以字串 「dbfs:/」 作為前置詞或 「/dbfs/」 可存取 DBFS 中的目錄。