databricks_step Modul

  • Referens

Innehåller funktioner för att skapa ett Azure ML-pipelinesteg för att köra en Databricks-anteckningsbok eller Python-skript på DBFS.

Klasser

DatabricksStep

Skapar ett Azure ML Pipeline-steg för att lägga till en DataBricks-anteckningsbok, Python-skript eller JAR som en nod.

Ett exempel på hur du använder DatabricksStep finns i notebook-filen https://aka.ms/pl-databricks.

Skapa ett Azure ML Pipeline-steg för att lägga till en DataBricks-anteckningsbok, Python-skript eller JAR som en nod.

Ett exempel på hur du använder DatabricksStep finns i notebook-filen https://aka.ms/pl-databricks.

:p aram python_script_name:[Krävs] Namnet på ett Python-skript i förhållande till source_directory. Om skriptet tar indata och utdata skickas de till skriptet som parametrar. Om python_script_name anges måste du source_directory också göra det.

Ange exakt en av notebook_path, python_script_path, python_script_nameeller main_class_name.

Om du anger ett DataReference-objekt som indata med data_reference_name=input1 och ett PipelineData-objekt som utdata med name=output1 skickas indata och utdata till skriptet som parametrar. Så här ser de ut och du måste parsa argumenten i skriptet för att komma åt sökvägarna för varje indata och utdata: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Dessutom är följande parametrar tillgängliga i skriptet:

  • AZUREML_RUN_TOKEN: AML-token för autentisering med Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY: Förfallotiden för AML-token.
  • AZUREML_RUN_ID: Kör-ID för Azure Machine Learning för den här körningen.
  • AZUREML_ARM_SUBSCRIPTION: Azure-prenumeration för din AML-arbetsyta.
  • AZUREML_ARM_RESOURCEGROUP: Azure-resursgrupp för din Azure Machine Learning-arbetsyta.
  • AZUREML_ARM_WORKSPACE_NAME: Namnet på din Azure Machine Learning-arbetsyta.
  • AZUREML_ARM_PROJECT_NAME: Namnet på ditt Azure Machine Learning-experiment.
  • AZUREML_SERVICE_ENDPOINT: Slutpunkts-URL:en för AML-tjänster.
  • AZUREML_WORKSPACE_ID: ID för din Azure Machine Learning-arbetsyta.
  • AZUREML_EXPERIMENT_ID: ID för ditt Azure Machine Learning-experiment.
  • AZUREML_SCRIPT_DIRECTORY_NAME: Katalogsökväg i DBFS där source_directory har kopierats.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

När du kör ett Python-skript från din lokala dator på Databricks med hjälp av DatabricksStep-parametrar och source_directorypython_script_namekopieras source_directory till DBFS och katalogsökvägen i DBFS skickas som en parameter till skriptet när körningen påbörjas. Den här parametern är märkt som –AZUREML_SCRIPT_DIRECTORY_NAME. Du måste prefixa den med strängen "dbfs:/" eller "/dbfs/" för att få åtkomst till katalogen i DBFS.