反馈

dataset_utilities 模块

  • 参考

用于与 azureml.core.Dataset 交互的实用工具方法。

函数

collect_usage_telemetry 

collect_usage_telemetry(compute: Any, spark_context: Any, **kwargs: Any) -> None

参数

compute
spark_context

convert_inputs

将给定的数据集转换为以可跟踪定义。

convert_inputs(X: Any, y: Any, sample_weight: Any, X_valid: Any, y_valid: Any, sample_weight_valid: Any) -> Tuple[Any, Any, Any, Any, Any, Any]

参数

X
必需

表示 X 的数据集

y
必需

表示 y 的数据集

sample_weight
必需

表示样本权重的数据集

X_valid
必需

表示 X_valid 的数据集

y_valid
必需

表示 y_valid 的数据集

sample_weight_valid
必需

表示验证样本权重的数据集

convert_inputs_dataset

将给定的数据集转换为以可跟踪定义。

convert_inputs_dataset(*datasets: Any) -> Tuple[Any, …]

参数

datasets
必需

要转换为可跟踪定义的数据集

ensure_saved 

ensure_saved(workspace: azureml.core.workspace.Workspace, **kwargs: Any) -> None

参数

workspace

get_dataset_from_mltable_data_json

从 MLTable 数据 json 中获取数据集

get_dataset_from_mltable_data_json(ws: azureml.core.workspace.Workspace, mltable_data_json_obj: Dict[str, Any], data_label: azureml.automl.core.shared.constants.MLTableDataLabel) -> Optional[azureml.data.abstract_dataset.AbstractDataset]

参数

ws
必需

从中获取数据集的工作区

mltable_data_json_obj
必需

mltable 数据 json 对象

data_label
必需

指示要从 mltable 数据 json 加载的数据集的标签

get_datasets_from_data_json

从数据 json 获取数据集，该数据 json 可以是 MLTable 数据 json（使用 URI）或 Dataprep json（使用数据集 ID）

get_datasets_from_data_json(ws: azureml.core.workspace.Workspace, data_preparation_json: Dict[str, Any], data_labels: List[azureml.automl.core.shared.constants.MLTableDataLabel]) -> Tuple[Optional[azureml.data.abstract_dataset.AbstractDataset], Optional[azureml.data.abstract_dataset.AbstractDataset], Optional[azureml.data.abstract_dataset.AbstractDataset]]

参数

ws
必需

从中获取数据集的工作区

data_preparation_json
必需

数据 json 对象

data_labels
必需

指示要从数据 json 加载的数据集的标签列表

get_datasets_from_dataprep_json

从 Dataprep json（使用数据集 ID）获取数据集

get_datasets_from_dataprep_json(ws: azureml.core.workspace.Workspace, dataprep_json: Dict[str, Any], data_labels: List[azureml.automl.core.shared.constants.MLTableDataLabel]) -> Tuple[Optional[azureml.data.abstract_dataset.AbstractDataset], Optional[azureml.data.abstract_dataset.AbstractDataset], Optional[azureml.data.abstract_dataset.AbstractDataset]]

参数

ws
必需

从中获取数据集的工作区

data_preparation_json
必需

数据 json 对象

data_labels
必需

指示要从数据 json 加载的数据集的标签列表

get_datasets_from_mltable_data_json

从 MLTable 数据 json（使用 URI）获取数据集

get_datasets_from_mltable_data_json(ws: azureml.core.workspace.Workspace, mltable_data_json_obj: Dict[str, Any], data_labels: List[azureml.automl.core.shared.constants.MLTableDataLabel]) -> Tuple[Optional[azureml.data.abstract_dataset.AbstractDataset], Optional[azureml.data.abstract_dataset.AbstractDataset], Optional[azureml.data.abstract_dataset.AbstractDataset]]

参数

ws
必需

从中获取数据集的工作区

data_preparation_json
必需

数据 json 对象

data_labels
必需

指示要从数据 json 加载的数据集的标签列表

get_datasets_json

获取 dataprep json。

get_datasets_json(training_data: Optional[Any] = None, validation_data: Optional[Any] = None, test_data: Optional[Any] = None) -> Optional[str]

参数

training_data
Dataset
默认值: None

训练数据。

validation_data
Dataset
默认值: None

验证数据

test_data
Dataset
默认值: None

测试数据

返回

数据集的字典的 JSON 字符串表示形式

is_dataset

查看给定对象是否为数据集或数据集定义。

is_dataset(dataset: Any) -> bool

参数

dataset
必需

要检查的对象