AdlaStep Klass
Skapar ett Azure ML Pipeline-steg för att köra ett U-SQL-skript med Azure Data Lake Analytics.
Ett exempel på hur du använder den här AdlaStep finns i notebook-filen https://aka.ms/pl-adla.
Skapa ett Azure ML Pipeline-steg för att köra ett U-SQL-skript med Azure Data Lake Analytics.
- Arv
-
azureml.pipeline.core._adla_step_base._AdlaStepBaseAdlaStep
Konstruktor
AdlaStep(script_name, name=None, inputs=None, outputs=None, params=None, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, source_directory=None, allow_reuse=True, version=None, hash_paths=None)Parametrar
- script_name
- str
[Krävs] Namnet på ett U-SQL-skript i förhållande till source_directory.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
En lista över indataportbindningar.
En lista över portbindningar för utdata.
- degree_of_parallelism
- int
Graden av parallellitet som ska användas för det här jobbet. Detta måste vara större än 0. Om värdet är mindre än 0 är standardvärdet 1.
- priority
- int
Det prioritetsvärde som ska användas för det aktuella jobbet. Lägre tal har högre prioritet. Som standard har ett jobb en prioritet på 1 000. Värdet du anger måste vara större än 0.
- compute_target
- AdlaCompute, str
[Krävs] DEN ADLA-beräkning som ska användas för det här jobbet.
- allow_reuse
- bool
Anger om steget ska återanvända tidigare resultat när det körs igen med samma inställningar. Återanvändning är aktiverat som standard. Om steginnehållet (skript/beroenden) samt indata och parametrar förblir oförändrade återanvänds utdata från föregående körning av det här steget. När du återanvänder steget, i stället för att skicka jobbet för beräkning, görs resultaten från den föregående körningen omedelbart tillgängliga för efterföljande steg. Om du använder Azure Machine Learning-datauppsättningar som indata bestäms återanvändningen av om datauppsättningens definition har ändrats, inte av om underliggande data har ändrats.
- version
- str
Valfri versionstagg för att ange en ändring av funktionaliteten för steget.
- hash_paths
- list
INAKTUELL: behövs inte längre.
En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar har identifierats återanvänder pipelinen steginnehållet från en tidigare körning. Som standard hashas innehållet source_directory i förutom filer som anges i .amlignore eller .gitignore.
- script_name
- str
[Krävs] Namnet på ett U-SQL-skript i förhållande till source_directory.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
Lista över indataportbindningar
- outputs
- list[Union[PipelineData, <xref:azureml.pipeline.core.pipeline_output_dataset.PipelineAbstractOutputDataset>, OutputPortBinding]]
En lista över portbindningar för utdata.
- degree_of_parallelism
- int
Graden av parallellitet som ska användas för det här jobbet. Detta måste vara större än 0. Om värdet är mindre än 0 är standardvärdet 1.
- priority
- int
Det prioritetsvärde som ska användas för det aktuella jobbet. Lägre tal har högre prioritet. Som standard har ett jobb en prioritet på 1 000. Värdet du anger måste vara större än 0.
- compute_target
- AdlaCompute, str
[Krävs] DEN ADLA-beräkning som ska användas för det här jobbet.
- allow_reuse
- bool
Anger om steget ska återanvända tidigare resultat när det körs igen med samma inställningar. Återanvändning är aktiverat som standard. Om steginnehållet (skript/beroenden) samt indata och parametrar förblir oförändrade återanvänds utdata från föregående körning av det här steget. När du återanvänder steget, i stället för att skicka jobbet för beräkning, görs resultaten från den föregående körningen omedelbart tillgängliga för efterföljande steg. Om du använder Azure Machine Learning-datauppsättningar som indata bestäms återanvändningen av om datauppsättningens definition har ändrats, inte av om underliggande data har ändrats.
- hash_paths
- list
INAKTUELL: behövs inte längre.
En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar har identifierats återanvänder pipelinen steginnehållet från en tidigare körning. Som standard hashas innehållet source_directory i förutom filer som anges i .amlignore eller .gitignore.
Kommentarer
Du kan använda @@name@@ syntax i skriptet för att referera till indata, utdata och paramer.
om namnet är namnet på en indata- eller utdataportbindning ersätts alla förekomster av @@name@@ i skriptet med den faktiska datasökvägen för en motsvarande portbindning.
om namnet matchar någon nyckel i params dict ersätts eventuella förekomster av @@name@@ med motsvarande värde i diktat.
AdlaStep fungerar endast med data som lagras i standard Data Lake Storage för Data Lake Analytics-kontot. Om data finns i en lagring som inte är standard använder du en DataTransferStep för att kopiera data till standardlagringen. Du hittar standardlagringen genom att öppna ditt Data Lake Analytics-konto i Azure Portal och sedan gå till objektet Datakällor under Inställningar i den vänstra rutan.
I följande exempel visas hur du använder AdlaStep i en Azure Machine Learning-pipeline.
adla_step = AdlaStep(
name='extract_employee_names',
script_name='sample_script.usql',
source_directory=sample_folder,
inputs=[sample_input],
outputs=[sample_output],
compute_target=adla_compute)
Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-adla-as-compute-target.ipynb
Metoder
| create_node |
Skapa en nod från steget AdlaStep och lägg till den i den angivna grafen. Den här metoden är inte avsedd att användas direkt. När en pipeline instansieras med det här steget skickar Azure ML automatiskt de parametrar som krävs via den här metoden så att steget kan läggas till i ett pipelinediagram som representerar arbetsflödet. |
create_node
Skapa en nod från steget AdlaStep och lägg till den i den angivna grafen.
Den här metoden är inte avsedd att användas direkt. När en pipeline instansieras med det här steget skickar Azure ML automatiskt de parametrar som krävs via den här metoden så att steget kan läggas till i ett pipelinediagram som representerar arbetsflödet.
create_node(graph, default_datastore, context)Parametrar
- default_datastore
- Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
Standarddatalagringen.
- context
- <xref:azureml.pipeline.core._GraphContext>
Grafkontexten.
Returer
Nodobjektet.
Returtyp
Feedback
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i: https://aka.ms/ContentUserFeedback.
Skicka och visa feedback för