steps Pakket

Bevat vooraf gemaakte stappen die kunnen worden uitgevoerd in een Azure Machine Learning-pijplijn.

Azure ML Pipeline-stappen kunnen samen worden geconfigureerd om een pijplijn te maken, die een deelbare en herbruikbare Azure Machine Learning-werkstroom vertegenwoordigt. Elke stap van een pijplijn kan zodanig worden geconfigureerd dat de vorige uitvoeringsresultaten opnieuw kunnen worden gebruikt als de inhoud van de stap (scripts en afhankelijkheden) evenals de invoer en parameters ongewijzigd blijven.

De klassen in dit pakket worden doorgaans samen met de klassen in het core pakket gebruikt. Het kernpakket bevat klassen voor het configureren van gegevens (PipelineData), het plannen (Schedule) en het beheren van de uitvoer van stappen (StepRun).

De vooraf gemaakte stappen in dit pakket hebben betrekking op veel veelvoorkomende scenario's in machine learning-werkstromen. Als u aan de slag wilt gaan met vooraf gemaakte pijplijnstappen, raadpleegt u:

Modules

adla_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap voor het uitvoeren van een U-SQL-script met Azure Data Lake Analytics.

automl_step

Bevat functionaliteit voor het toevoegen en beheren van een geautomatiseerde ML-pijplijnstap in Azure Machine Learning.

azurebatch_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap waarmee een uitvoerbaar Windows-bestand in Azure Batch wordt uitgevoerd.

command_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap waarmee opdrachten worden uitgevoerd.

data_transfer_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap waarmee gegevens worden overgedragen tussen opslagopties.

databricks_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap voor het uitvoeren van een Databricks-notebook of Python-script op DBFS.

estimator_step

Bevat functionaliteit voor het maken van een pijplijnstap waarmee een Estimator voor machine learning-modeltraining wordt uitgevoerd.

hyper_drive_step

Bevat mogelijkheden voor het maken en beheren van Azure ML-pijplijnstappen voor het afstemmen van hyperparameters.

kusto_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap voor het uitvoeren van een Kusto-notebook.

module_step

Bevat functionaliteit voor het toevoegen van een Azure Machine Learning-pijplijnstap met behulp van een bestaande versie van een module.

mpi_step

Bevat functionaliteit voor het toevoegen van een Azure ML-pijplijnstap voor het uitvoeren van een MPI-taak voor machine learning-modeltraining.

parallel_run_config

Bevat functionaliteit voor het configureren van een ParallelRunStep.

parallel_run_step

Bevat functionaliteit voor het toevoegen van een stap voor het uitvoeren van een gebruikersscript in de parallelle modus op meerdere AmlCompute-doelen.

python_script_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap waarmee het Python-script wordt uitgevoerd.

r_script_step

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap die R-script uitvoert.

synapse_spark_step

Bevat functionaliteit voor het maken van een Azure ML Synapse-stap waarmee een Python-script wordt uitgevoerd.

Klassen

AdlaStep

Hiermee maakt u een Azure ML-pijplijnstap om een U-SQL-script uit te voeren met Azure Data Lake Analytics.

Zie het notebook https://aka.ms/pl-adlavoor een voorbeeld van het gebruik van deze AdlaStep.

Een Azure ML-pijplijnstap maken om een U-SQL-script uit te voeren met Azure Data Lake Analytics.

AutoMLStep

Hiermee maakt u een Azure ML-pijplijnstap die een geautomatiseerde ML-uitvoering omvat.

Zie het notebook https://aka.ms/pl-automlvoor een voorbeeld van het gebruik van AutoMLStep.

Initialiseer een AutoMLStep.

AutoMLStepRun

Bevat informatie over een geautomatiseerde ML-experimentuitvoering en methoden voor het ophalen van standaarduitvoer.

De klasse AutoMLStepRun wordt gebruikt voor het beheren, controleren van de status en het ophalen van uitvoeringsdetails zodra een geautomatiseerde ML-uitvoering in een pijplijn is verzonden. Bovendien kan deze klasse worden gebruikt om de standaarduitvoer van de AutoMLStep via de StepRun klasse op te halen.

Initialiseer een automl-stapuitvoering.

AzureBatchStep

Hiermee maakt u een Azure ML-pijplijnstap voor het verzenden van taken naar Azure Batch.

Opmerking: deze stap biedt geen ondersteuning voor het uploaden/downloaden van mappen en de inhoud ervan.

Zie het notebook https://aka.ms/pl-azbatchvoor een voorbeeld van het gebruik van AzureBatchStep.

Maak een Azure ML-pijplijnstap voor het verzenden van taken naar Azure Batch.

CommandStep

Maak een Azure ML-pijplijnstap waarmee een opdracht wordt uitgevoerd.

Maak een Azure ML-pijplijnstap waarmee een opdracht wordt uitgevoerd.

DataTransferStep

Hiermee maakt u een Azure ML-pijplijnstap waarmee gegevens tussen opslagopties worden overgedragen.

DataTransferStep ondersteunt algemene opslagtypen zoals Azure Blob Storage en Azure Data Lake als bronnen en sinks. Zie de sectie Opmerkingen voor meer informatie.

Zie het notebook https://aka.ms/pl-data-transvoor een voorbeeld van het gebruik van DataTransferStep.

Maak een Azure ML-pijplijnstap waarmee gegevens worden overgedragen tussen opslagopties.

DatabricksStep

Hiermee maakt u een Azure ML-pijplijnstap om een DataBricks-notebook, Python-script of JAR als een knooppunt toe te voegen.

Zie het notebook https://aka.ms/pl-databricksvoor een voorbeeld van het gebruik van DatabricksStep.

Maak een Azure ML-pijplijnstap om een DataBricks-notebook, Python-script of JAR als een knooppunt toe te voegen.

Zie het notebook https://aka.ms/pl-databricksvoor een voorbeeld van het gebruik van DatabricksStep.

:p aram python_script_name:[Vereist] De naam van een Python-script ten opzichte source_directoryvan . Als het script invoer en uitvoer gebruikt, worden deze als parameters doorgegeven aan het script. Als python_script_name is opgegeven, source_directory moet dat ook zijn.

Geef precies een van notebook_path, python_script_path, python_script_nameof main_class_nameop.

Als u een DataReference-object opgeeft als invoer met data_reference_name=input1 en een PipelineData-object als uitvoer met naam=output1, worden de invoer en uitvoer als parameters doorgegeven aan het script. Zo zien ze eruit en moet u de argumenten in uw script parseren om toegang te krijgen tot de paden van elke invoer en uitvoer: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Daarnaast zijn de volgende parameters beschikbaar in het script:

  • AZUREML_RUN_TOKEN: het AML-token voor verificatie met Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY: de verlooptijd van het AML-token.
  • AZUREML_RUN_ID: Azure Machine Learning-uitvoerings-id voor deze uitvoering.
  • AZUREML_ARM_SUBSCRIPTION: Azure-abonnement voor uw AML-werkruimte.
  • AZUREML_ARM_RESOURCEGROUP: Azure-resourcegroep voor uw Azure Machine Learning-werkruimte.
  • AZUREML_ARM_WORKSPACE_NAME: naam van uw Azure Machine Learning-werkruimte.
  • AZUREML_ARM_PROJECT_NAME: naam van uw Azure Machine Learning-experiment.
  • AZUREML_SERVICE_ENDPOINT: de eindpunt-URL voor AML-services.
  • AZUREML_WORKSPACE_ID: id van uw Azure Machine Learning-werkruimte.
  • AZUREML_EXPERIMENT_ID: id van uw Azure Machine Learning-experiment.
  • AZUREML_SCRIPT_DIRECTORY_NAME: mappad in DBFS waar source_directory is gekopieerd.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Wanneer u een Python-script uitvoert vanaf uw lokale computer in Databricks met behulp van DatabricksStep-parameters source_directory en python_script_name, wordt uw source_directory gekopieerd naar DBFS en wordt het mappad op DBFS als parameter doorgegeven aan uw script wanneer de uitvoering wordt gestart. Deze parameter is gelabeld als –AZUREML_SCRIPT_DIRECTORY_NAME. U moet het voorvoegsel voorzien van de tekenreeks 'dbfs:/' of '/dbfs/' om toegang te krijgen tot de map in DBFS.

EstimatorStep

AFGEKEURD. Hiermee maakt u een pijplijnstap die moet worden uitgevoerd Estimator voor azure ML-modeltraining.

Een Azure ML-pijplijnstap maken om Estimator voor machine learning-modeltraining uit te voeren.

AFGEKEURD. Gebruik in plaats daarvan de CommandStep . Zie Ml-training uitvoeren in pijplijnen met CommandStep voor een voorbeeld.

HyperDriveStep

Hiermee maakt u een Azure ML-pijplijnstap voor het uitvoeren van hyperparameter-tunning voor machine learning-modeltraining.

Zie het notitieblok https://aka.ms/pl-hyperdrivevoor een voorbeeld van het gebruik van HyperDriveStep.

Maak een Azure ML-pijplijnstap om hyperparameter-tunning uit te voeren voor machine learning-modeltraining.

HyperDriveStepRun

Beheer, controleer de status en haal uitvoeringsdetails op voor een HyperDriveStep pijplijnstap.

HyperDriveStepRun biedt de functionaliteit van HyperDriveRun met de aanvullende ondersteuning van StepRun. Met de klasse HyperDriveStepRun kunt u de uitvoeringsdetails voor de HyperDrive-uitvoering en alle gegenereerde onderliggende uitvoeringen beheren, de status controleren en ophalen. Met de stepRun-klasse kunt u dit doen zodra de bovenliggende pijplijnuitvoering is verzonden en de pijplijn de stapuitvoering heeft verzonden.

Initialiseer een HyperDriveStepRun.

HyperDriveStepRun biedt de functionaliteit van HyperDriveRun met de aanvullende ondersteuning van StepRun. Met de klasse HyperDriveRun kunt u de status beheren, de status controleren en uitvoeringsdetails ophalen voor de HyperDrive-uitvoering en elk van de gegenereerde onderliggende uitvoeringen. Met de stepRun-klasse kunt u dit doen zodra de bovenliggende pijplijnuitvoering is verzonden en de pijplijn de stapuitvoering heeft verzonden.

KustoStep

KustoStep maakt de functionaliteit mogelijk voor het uitvoeren van Kusto-query's op een Kusto-doelcluster in Azure ML-pijplijnen.

Initialiseer KustoStep.

ModuleStep

Hiermee maakt u een Azure Machine Learning-pijplijnstap om een specifieke versie van een module uit te voeren.

Module objecten definiëren herbruikbare berekeningen, zoals scripts of uitvoerbare bestanden, die kunnen worden gebruikt in verschillende machine learning-scenario's en door verschillende gebruikers. Als u een specifieke versie van een module in een pijplijn wilt gebruiken, maakt u een ModuleStap. Een ModuleStep is een stap in de pijplijn die gebruikmaakt van een bestaande ModuleVersion.

Zie het notebook https://aka.ms/pl-modulestepvoor een voorbeeld van het gebruik van ModuleStep.

Een Azure ML-pijplijnstap maken om een specifieke versie van een module uit te voeren.

MpiStep

Hiermee maakt u een Azure ML-pijplijnstap om een MPI-taak uit te voeren.

Zie het notebook https://aka.ms/pl-style-transvoor een voorbeeld van het gebruik van MpiStep.

Maak een Azure ML-pijplijnstap om een MPI-taak uit te voeren.

AFGEKEURD. Gebruik in plaats daarvan de CommandStep . Zie Gedistribueerde training uitvoeren in pijplijnen met CommandStep voor een voorbeeld.

ParallelRunConfig

Hiermee definieert u de configuratie voor een ParallelRunStep object.

Zie het notebook https://aka.ms/batch-inference-notebooksvoor een voorbeeld van het gebruik van ParallelRunStep.

Zie voor de gids https://aka.ms/prstsgvoor probleemoplossing. Meer verwijzingen vindt u hier.

Initialiseer het configuratieobject.

ParallelRunStep

Hiermee maakt u een Azure Machine Learning-pijplijnstap voor het asynchroon en parallel verwerken van grote hoeveelheden gegevens.

Zie het notebook https://aka.ms/batch-inference-notebooksvoor een voorbeeld van het gebruik van ParallelRunStep.

Zie voor de gids https://aka.ms/prstsgvoor probleemoplossing. Meer verwijzingen vindt u hier.

Maak een Azure ML-pijplijnstap om grote hoeveelheden gegevens asynchroon en parallel te verwerken.

Zie de notebookkoppeling https://aka.ms/batch-inference-notebooksvoor een voorbeeld van het gebruik van ParallelRunStep.

PythonScriptStep

Hiermee maakt u een Azure ML-pijplijnstap waarmee een Python-script wordt uitgevoerd.

Zie het notebook https://aka.ms/pl-get-startedvoor een voorbeeld van het gebruik van PythonScriptStep.

Maak een Azure ML-pijplijnstap waarmee het Python-script wordt uitgevoerd.

RScriptStep

Notitie

Dit is een experimentele klasse en kan op elk gewenst moment worden gewijzigd. Zie https://aka.ms/azuremlexperimental voor meer informatie.

Hiermee maakt u een Azure ML-pijplijnstap waarmee R-script wordt uitgevoerd.

Maak een Azure ML-pijplijnstap waarmee R-script wordt uitgevoerd.

AFGEKEURD. Gebruik in plaats daarvan de CommandStep . Zie R-scripts uitvoeren in pijplijnen met CommandStep voor een voorbeeld.

SynapseSparkStep

Notitie

Dit is een experimentele klasse en kan op elk gewenst moment worden gewijzigd. Zie https://aka.ms/azuremlexperimental voor meer informatie.

Hiermee maakt u een Azure ML Synapse-stap waarmee een Python-script wordt verzonden en uitgevoerd.

Maak een Azure ML-pijplijnstap waarmee een Spark-taak wordt uitgevoerd in een Synapse Spark-pool.