OpenDatasetBase Класс

  • Ссылка

Базовый класс открытого набора данных для наследования.

Создание открытых наборов данных.

Наследование
PublicData
OpenDatasetBase

Конструктор

OpenDatasetBase(cols: List[str] | None = None, enable_telemetry: bool = True, **kwargs)

Параметры

cols
list[str]
значение по умолчанию: None

Список имен столбцов для загрузки из набора данных, по умолчанию — Нет.

enable_telemetry
bool
значение по умолчанию: True

Указывает, следует ли включить телеметрию для этого набора данных, по умолчанию используется значение True.

kwargs
dict
Обязательно

аргументы для фильтра

Методы

get_file_dataset

Возвращает файловый набор данных для открытого набора данных.
get_tabular_dataset

Инициализация AbstractTabularOpenDataset с помощью URL-адреса BLOB-объекта.
to_pandas_dataframe

К кадру данных Pandas.
to_spark_dataframe

К кадру данных Spark.

get_file_dataset

Возвращает файловый набор данных для открытого набора данных.

get_file_dataset(start_date: datetime = None, end_date: datetime = None, enable_telemetry: bool = True, **kwargs) -> FileDataset

Параметры

cls
type
Обязательно

текущий класс

start_date
datetime
Обязательно

дата начала, значение по умолчанию — None

end_date
datetime
Обязательно

дата окончания, значение по умолчанию — None

enable_telemetry
bool
Обязательно

включение телеметрии, значение по умолчанию — True

Возвращаемое значение

файловый набор данных

Возвращаемый тип

FileDataset

get_tabular_dataset

Инициализация AbstractTabularOpenDataset с помощью URL-адреса BLOB-объекта.

get_tabular_dataset(start_date: datetime = None, end_date: datetime = None, cols: List[str] = None, enable_telemetry: bool = True, **kwargs) -> TabularDataset

Параметры

cls
type
Обязательно

имя типа открытого набора данных.

start_date
datetime
Обязательно

Дата начала для запроса включительно.

end_date
datetime
Обязательно

Дата окончания для запроса включительно.

cols
list[str]
Обязательно

Список имен столбцов для извлечения. По всем столбцам вернется значение None.

enable_telemetry
bool
Обязательно

Следует ли включить телеметрию, отключить только для UT.

Возвращаемое значение

Табличный набор данных

Возвращаемый тип

TabularDataset

to_pandas_dataframe

К кадру данных Pandas.

to_pandas_dataframe() -> DataFrame

to_spark_dataframe

К кадру данных Spark.

to_spark_dataframe()

Атрибуты

cols

Возвращает список имен столбцов для извлечения.

data

Возвращает данные объекта OpenDataset.

id

Возвращает идентификатор расположения открытых данных.

log_properties

Возвращает свойства журнала.

registry_id

Получение идентификатора реестра этого общедоступного набора данных, зарегистрированного в серверной части.

Этот идентификатор реестра используется для получения последних метаданных, таких как место хранения. Однако, всем подклассам общедоступных данных должен быть назначен _registry_id.

Возвращаемое значение

Строка идентификатора реестра.

Возвращаемый тип

str

time_column_name

Имя столбца времени.