DataReference クラス

データストア内のデータへの参照を表します。

DataReference はデータストア内のパスを表し、実行時にデータを使用できる方法と場所を記述するために使用できます。 これは、Azure Machine Learning でのデータ アクセスおよび配信の推奨される方法ではなくなりました。 データセットは、追加されたデータ管理機能と統合インターフェイスを介して、Azure BLOB Storage、Azure Files、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure SQL Database、および Azure Database for PostgreSQL からデータにアクセスすることをサポートします。 機械学習プロジェクトでデータを読み取るには、データセットを使用することをお勧めします。

2 つの一般的なシナリオで Azure ML データセットを使用する方法の詳細については、次の記事を参照してください。

クラス DataReference コンストラクター。

継承
builtins.object
DataReference

コンストラクター

DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)

パラメーター

datastore
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
必須

参照するデータストア。

data_reference_name
str
既定値: None

データ参照の名前。

path_on_datastore
str
既定値: None

データ参照用バッキング ストレージの相対パス。

mode
str
既定値: mount

データ参照に対する操作。 サポートされている値は、「mount」(既定値) および「download」です。

スクリプトで入力データの特定のパス (ハードコーディングされたパスなど) が期待されている場合は、「download」モードを使用します。 この場合、DataReference を宣言するときに、path_on_compute パラメーターを使用してパスを指定します。 Azure Machine Learning では、スクリプトを実行する前に、そのパスで指定されたデータをダウンロードします。

「mount」モードでは、マウントされたデータを使用して一時ディレクトリが作成され、環境変数 $ AZUREML_DATAREFERENCE_<data_reference_name> に一時ディレクトリへのパスが設定されます。 パイプライン ステップ (PythonScriptStep など) の引数リストに DataReference を渡すと、実行時に参照がローカル データ パスに展開されます。

path_on_compute
str
既定値: None

コンピューティング先でのデータ参照のパス。

overwrite
bool
既定値: False

既存のデータを上書きするかどうかを示します。

datastore
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
必須

参照するデータストア。

data_reference_name
str
必須

データ参照の名前。

path_on_datastore
str
必須

データ参照用バッキング ストレージの相対パス。

mode
str
必須

データ参照に対する操作。 サポートされている値 'mount' (既定値) と 'download' です。

スクリプトで入力データの特定のパス (ハードコーディングされたパスなど) が期待されている場合は、「download」モードを使用します。 この場合、DataReference を宣言するときに、path_on_compute パラメーターを使用してパスを指定します。 Azure Machine Learning では、スクリプトを実行する前に、そのパスで指定されたデータをダウンロードします。

「mount」モードでは、マウントされたデータを使用して一時ディレクトリが作成され、環境変数 $ AZUREML_DATAREFERENCE_<data_reference_name> に一時ディレクトリへのパスが設定されます。 パイプライン ステップ (PythonScriptStep など) の引数リストに DataReference を渡すと、実行時に参照がローカル データ パスに展開されます。

path_on_compute
str
必須

コンピューティング先でのデータ参照のパス。

overwrite
bool
必須

既存のデータを上書きするかどうかを示します。

注釈

DataReference は、データの場所と、ターゲット コンピューティング バインディング (マウントまたはアップロード) でのデータの使用方法の両方を定義します。 データストア内のデータへのパスには、ルート/、データストア内のディレクトリ、またはデータストア内のファイルを指定できます。

メソッド

as_download

データ参照操作をダウンロードに切り替えます。

DataReference のダウンロードでは、Azure Blob と Azure File Share のみがサポートされています。 Azure Blob、Azure File Share、Azure Data Lake Gen1、Azure Data Lake Gen2 からデータをダウンロードするには、Azure Machine Learning Dataset を使用することをお勧めします。 データセットを作成して使用する方法の詳細については、https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsを参照してください。

as_mount

データ参照操作をマウントに切り替えます。

DataReference マウントでは Azure Blob のみをサポートしています。 Azure Blob、Azure File Share、Azure Data Lake Gen1、Azure Data Lake Gen2 にデータをマウントするには、Azure Machine Learning Datasetを使用することをお勧めします。 データセットを作成して使用する方法の詳細については、https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsを参照してください。

as_upload

データ参照操作をアップロードに切り替えます。

データのアップロードをサポートしているコンプーティングとデータストアの詳細については、https://aka.ms/datastore-matrixを参照してください。

create

データパスと DataPathComputeBinding を使用して DataReference を作成します。

path

指定したパスに基づいて DataReference インスタンスを作成します。

to_config

DataReference オブジェクトを DataReferenceConfiguration オブジェクトに変換します。

as_download

データ参照操作をダウンロードに切り替えます。

DataReference のダウンロードでは、Azure Blob と Azure File Share のみがサポートされています。 Azure Blob、Azure File Share、Azure Data Lake Gen1、Azure Data Lake Gen2 からデータをダウンロードするには、Azure Machine Learning Dataset を使用することをお勧めします。 データセットを作成して使用する方法の詳細については、https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsを参照してください。

as_download(path_on_compute=None, overwrite=False)

パラメーター

path_on_compute
str
既定値: None

コンピューティングでのデータ参照のパス。

overwrite
bool
既定値: False

既存のデータを上書きするかどうかを示します。

戻り値

新しいデータ参照オブジェクト。

の戻り値の型 :

as_mount

データ参照操作をマウントに切り替えます。

DataReference マウントでは Azure Blob のみをサポートしています。 Azure Blob、Azure File Share、Azure Data Lake Gen1、Azure Data Lake Gen2 にデータをマウントするには、Azure Machine Learning Datasetを使用することをお勧めします。 データセットを作成して使用する方法の詳細については、https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsを参照してください。

as_mount()

戻り値

新しいデータ参照オブジェクト。

の戻り値の型 :

as_upload

データ参照操作をアップロードに切り替えます。

データのアップロードをサポートしているコンプーティングとデータストアの詳細については、https://aka.ms/datastore-matrixを参照してください。

as_upload(path_on_compute=None, overwrite=False)

パラメーター

path_on_compute
str
既定値: None

コンピューティングでのデータ参照のパス。

overwrite
bool
既定値: False

既存のデータを上書きするかどうかを示します。

戻り値

新しいデータ参照オブジェクト。

の戻り値の型 :

create

データパスと DataPathComputeBinding を使用して DataReference を作成します。

static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)

パラメーター

data_reference_name
str
既定値: None

作成するデータ参照の名前。

datapath
DataPath
既定値: None

[必須] 必要使用するデータパス。

datapath_compute_binding
DataPathComputeBinding
既定値: None

[必須] 使用するデータパス コンピューティング バインディング。

戻り値

DataReference オブジェクト。

の戻り値の型 :

path

指定したパスに基づいて DataReference インスタンスを作成します。

path(path=None, data_reference_name=None)

パラメーター

path
str
既定値: None

データストアのパス。

data_reference_name
str
既定値: None

データ参照の名前。

戻り値

データ参照オブジェクト。

の戻り値の型 :

to_config

DataReference オブジェクトを DataReferenceConfiguration オブジェクトに変換します。

to_config()

戻り値

新しい DataReferenceConfiguration オブジェクト。

の戻り値の型 :