DataTransferStep Osztály

Létrehoz egy Azure ML Pipeline-lépést, amely adatokat továbbít a tárolási lehetőségek között.

A DataTransferStep olyan gyakori tárolási típusokat támogat, mint a Azure Blob Storage és az Azure Data Lake, mint forrás és fogadó. További információ: Megjegyzések szakasz.

A DataTransferStep használatára a jegyzetfüzetben https://aka.ms/pl-data-transtalál példát.

Hozzon létre egy Azure ML Pipeline-lépést, amely adatokat továbbít a tárolási lehetőségek között.

Öröklődés

azureml.pipeline.core._data_transfer_step_base._DataTransferStepBase

DataTransferStep

Konstruktor

DataTransferStep(name, source_data_reference=None, destination_data_reference=None, compute_target=None, source_reference_type=None, destination_reference_type=None, allow_reuse=True)

Paraméterek

Name	Description
name Kötelező	str [Kötelező] A lépés neve.
source_data_reference	Union[InputPortBinding, DataReference, PortDataReference, PipelineData] [Kötelező] Egy bemeneti kapcsolat, amely az adatátviteli művelet forrásaként szolgál. alapértelmezett érték: None
destination_data_reference	Union[InputPortBinding, PipelineOutputAbstractDataset, DataReference] [Kötelező] Egy kimeneti kapcsolat, amely az adatátviteli művelet céljaként szolgál. alapértelmezett érték: None
compute_target	DataFactoryCompute, str [Kötelező] Az adatok átviteléhez használható Azure Data Factory. alapértelmezett érték: None
source_reference_type	str Egy választható sztring, amely a típust source_data_referenceadja meg. A lehetséges értékek a következők: "fájl", "könyvtár". Ha nincs megadva, a rendszer a meglévő elérési út típusát használja. Ezzel a paraméterrel megkülönböztethet egy azonos nevű fájlt és könyvtárat. alapértelmezett érték: None
destination_reference_type	str Egy választható sztring, amely a típust destination_data_referenceadja meg. A lehetséges értékek a következők: "fájl", "könyvtár". Ha nincs megadva, az Azure ML a meglévő elérési út, forráshivatkozás vagy könyvtár típusát használja ebben a sorrendben. alapértelmezett érték: None
allow_reuse	bool Azt jelzi, hogy a lépés újra felhasználja-e a korábbi eredményeket, amikor ugyanazokat a beállításokat használja újra. Az újrafelhasználás alapértelmezés szerint engedélyezve van. Ha a lépésargumentumok változatlanok maradnak, a rendszer újra felhasználja a lépés előző futtatásából származó kimenetet. A lépés újbóli használata esetén az adatok újbóli átvitele helyett az előző futtatás eredményei azonnal elérhetővé válnak a további lépésekhez. Ha az Azure Machine Learning-adathalmazokat használja bemenetként, az újrafelhasználást az határozza meg, hogy az adathalmaz definíciója megváltozott-e, nem pedig az, hogy a mögöttes adatok megváltoztak-e. alapértelmezett érték: True
name Kötelező	str [Kötelező] A lépés neve.
source_data_reference Kötelező	Union[InputPortBinding, DataReference, PortDataReference, PipelineData] [Kötelező] Egy bemeneti kapcsolat, amely az adatátviteli művelet forrásaként szolgál.
destination_data_reference Kötelező	Union[InputPortBinding, PipelineOutputAbstractDataset, DataReference] [Kötelező] Egy kimeneti kapcsolat, amely az adatátviteli művelet céljaként szolgál.
compute_target Kötelező	DataFactoryCompute, str [Kötelező] Az adatok átviteléhez használható Azure Data Factory.
source_reference_type Kötelező	str Egy választható sztring, amely a típust source_data_referenceadja meg. A lehetséges értékek a következők: "fájl", "könyvtár". Ha nincs megadva, a rendszer a meglévő elérési út típusát használja. Ezzel a paraméterrel megkülönböztethet egy azonos nevű fájlt és könyvtárat.
destination_reference_type Kötelező	str Egy választható sztring, amely a típust destination_data_referenceadja meg. A lehetséges értékek a következők: "fájl", "könyvtár". Ha nincs megadva, az Azure ML a meglévő elérési út, forráshivatkozás vagy könyvtár típusát használja ebben a sorrendben.
allow_reuse Kötelező	bool Azt jelzi, hogy a lépés újra felhasználja-e a korábbi eredményeket, amikor ugyanazokat a beállításokat használja újra. Az újrafelhasználás alapértelmezés szerint engedélyezve van. Ha a lépésargumentumok változatlanok maradnak, a rendszer újra felhasználja a lépés előző futtatásából származó kimenetet. A lépés újbóli használata esetén az adatok újbóli átvitele helyett az előző futtatás eredményei azonnal elérhetővé válnak a további lépésekhez. Ha az Azure Machine Learning-adathalmazokat használja bemenetként, az újrafelhasználást az határozza meg, hogy az adathalmaz definíciója megváltozott-e, nem pedig az, hogy a mögöttes adatok megváltoztak-e.

Megjegyzések

Ez a lépés a következő tárolási típusokat támogatja forrásként és fogadóként, kivéve, ha fel van jegyezve:

• Azure Blob Storage

• Azure Data Lake Storage Gen1 és Gen2

• Azure SQL Database

• Azure Database for PostgreSQL

• Azure Database for MySQL

Az Azure SQL-adatbázishoz szolgáltatásnév-hitelesítést kell használnia. További információ: Egyszerű szolgáltatáshitelesítés. Példa a szolgáltatásnév-hitelesítés Azure SQL Database-hez való használatára: https://aka.ms/pl-data-trans.

Ha adatfüggőséget szeretne létesíteni a lépések között, a get_output metódussal lekérhet egy PipelineData objektumot, amely az adatátviteli lépés kimenetét képviseli, és bemenetként használható a folyamat későbbi lépéseihez.

   data_transfer_step = DataTransferStep(name="copy data", ...)

   # Use output of data_transfer_step as input of another step in pipeline
   # This will make training_step wait for data_transfer_step to complete
   training_input = data_transfer_step.get_output()
   training_step = PythonScriptStep(script_name="train.py",
                           arguments=["--model", training_input],
                           inputs=[training_input],
                           compute_target=aml_compute,
                           source_directory=source_directory)

Ha egy adott nevet szeretne létrehozniInputPortBinding, kombinálhatja a get_output() kimenetet a vagy as_mount metódus as_input kimenetévelPipelineData.

   data_transfer_step = DataTransferStep(name="copy data", ...)
   training_input = data_transfer_step.get_output().as_input("my_input_name")

Metódusok

create_node	Hozzon létre egy csomópontot a DataTransfer lépésből, és adja hozzá az adott gráfhoz. Ez a módszer nem használható közvetlenül. Ha ezzel a lépéssel példányosít egy folyamatot, az Azure ML automatikusan átadja a szükséges paramétereket ezen a módszeren keresztül, így a lépés hozzáadható a munkafolyamatot képviselő folyamatgráfhoz.
get_output	Kérje le a lépés kimenetét PipelineData néven.

create_node

Hozzon létre egy csomópontot a DataTransfer lépésből, és adja hozzá az adott gráfhoz.

Ez a módszer nem használható közvetlenül. Ha ezzel a lépéssel példányosít egy folyamatot, az Azure ML automatikusan átadja a szükséges paramétereket ezen a módszeren keresztül, így a lépés hozzáadható a munkafolyamatot képviselő folyamatgráfhoz.

create_node(graph, default_datastore, context)

Paraméterek

Name	Description
graph Kötelező	Graph A csomópont hozzáadásához a gráfobjektum.
default_datastore Kötelező	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] Az alapértelmezett adattár.
context Kötelező	<xref:azureml.pipeline.core._GraphContext> A gráfkörnyezet.

Válaszok

Típus	Description
Node	A létrehozott csomópont.

get_output

Kérje le a lépés kimenetét PipelineData néven.

get_output()

Válaszok

Típus	Description
PipelineData	A lépés kimenete.

Megjegyzések

A lépések közötti adatfüggőség megállapításához használjon get_output metódust egy PipelineData objektum lekéréséhez, amely az adatátviteli lépés kimenetét jelöli, és bemenetként használható a folyamat későbbi lépéseihez.

   data_transfer_step = DataTransferStep(name="copy data", ...)

   # Use output of data_transfer_step as input of another step in pipeline
   # This will make training_step wait for data_transfer_step to complete
   training_input = data_transfer_step.get_output()
   training_step = PythonScriptStep(script_name="train.py",
                           arguments=["--model", training_input],
                           inputs=[training_input],
                           compute_target=aml_compute,
                           source_directory=source_directory)

Ha egy adott nevet szeretne létrehozniInputPortBinding, get_output() hívásokat kombinálhat a vagy as_mount segéd metódusokkalas_input.

   data_transfer_step = DataTransferStep(name="copy data", ...)

   training_input = data_transfer_step.get_output().as_input("my_input_name")