TabularDataset Classe
Rappresenta un set di dati tabulare da usare in Azure Machine Learning.
Un tabularDataset definisce una serie di operazioni valutate in modo non modificabile per caricare i dati dall'origine dati nella rappresentazione tabulare. I dati non vengono caricati dall'origine fino a quando tabularDataset non viene richiesto di recapitare i dati.
TabularDataset viene creato usando metodi come from_delimited_files dalla TabularDatasetFactory classe .
Per altre informazioni, vedere l'articolo Aggiungere set di dati di registrazione &. Per iniziare a usare un set di dati tabulare, vedere https://aka.ms/tabulardataset-samplenotebook.
Inizializzare un oggetto TabularDataset.
Questo costruttore non dovrebbe essere richiamato direttamente. Il set di dati deve essere creato usando TabularDatasetFactory la classe .
- Ereditarietà
-
TabularDataset
Costruttore
TabularDataset()Commenti
È possibile creare un oggetto TabularDataset da file CSV, TSV, Parquet o SQL usando i from_* metodi della TabularDatasetFactory classe. È possibile eseguire operazioni di sottoinsieme in un tabulareDataset, ad esempio la suddivisione, l'ignorare e filtrare i record.
Il risultato della sottoinsieme è sempre uno o più nuovi oggetti TabularDataset.
È anche possibile convertire un TabularDataset in altri formati come un dataframe pandas. Il caricamento effettivo dei dati si verifica quando viene chiesto a TabularDataset di distribuire i dati in un altro meccanismo di archiviazione, ad esempio un dataframe Pandas o un file CSV.
TabularDataset può essere usato come input di un'esecuzione dell'esperimento. Può anche essere registrato nell'area di lavoro con un nome specificato e essere recuperato in seguito da tale nome.
Metodi
| download |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Scaricare i flussi di file definiti dal set di dati nel percorso locale. |
| drop_columns |
Eliminare le colonne specificate dal set di dati. Se viene eliminata una colonna timeeries, le funzionalità corrispondenti verranno eliminate anche per il set di dati restituito. |
| filter |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Filtrare i dati, lasciando solo i record corrispondenti all'espressione specificata. |
| get_profile |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Ottenere il profilo dati dall'esecuzione più recente del profilo inviato per questo o lo stesso set di dati nell'area di lavoro. |
| get_profile_runs |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Restituisce le esecuzioni del profilo precedenti associate a questo o stesso set di dati nell'area di lavoro. |
| keep_columns |
Mantenere le colonne specificate e eliminare tutte le altre dal set di dati. Se viene eliminata una colonna timeeries, le funzionalità corrispondenti verranno eliminate anche per il set di dati restituito. |
| mount |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Creare una gestione contesto per il montaggio di flussi di file definiti dal set di dati come file locali. |
| partition_by |
I dati partizionati verranno copiati e restituiti nella destinazione specificata dalla destinazione. creare il set di dati dal percorso dati restituito con formato di partizione, registrare il set di dati se viene specificato, restituire il set di dati per il nuovo percorso dati con partizioni |
| random_split |
Suddividere i record nel set di dati in due parti in modo casuale e approssimativamente in base alla percentuale specificata. Il primo set di dati contiene circa |
| skip |
Ignorare i record dall'inizio del set di dati dal conteggio specificato. |
| submit_profile_run |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Inviare un'esecuzione di sperimentazione per calcolare il profilo dati. Un profilo dati può essere molto utile per comprendere i dati di input, identificare anomalie e valori mancanti fornendo informazioni utili sui dati come il tipo di colonna, i valori mancanti e così via. |
| take |
Eseguire un esempio di record dall'inizio del set di dati dal conteggio specificato. |
| take_sample |
Eseguire un esempio casuale di record nel set di dati approssimativamente in base alla probabilità specificata. |
| time_after |
Filtrare TabularDataset con colonne timestamp dopo un'ora di inizio specificata. |
| time_before |
Filtrare TabularDataset con colonne di timestamp prima di un'ora di fine specificata. |
| time_between |
Filtrare TabularDataset tra un orario di inizio e di fine specificato. |
| time_recent |
Filtrare TabularDataset per contenere solo la durata specificata (quantità) di dati recenti. |
| to_csv_files |
Convertire il set di dati corrente in fileDataset contenente file CSV. Il set di dati risultante conterrà uno o più file CSV, ognuno corrispondente a una partizione di dati dal set di dati corrente. Questi file non vengono materializzati finché non vengono scaricati o letti da. |
| to_dask_dataframe |
Nota Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Restituisce un dataframe Dask che può leggere in modo più pigri i dati nel set di dati. |
| to_pandas_dataframe |
Caricare tutti i record dal set di dati in un dataframe pandas. |
| to_parquet_files |
Convertire il set di dati corrente in fileDataset contenente file Parquet. Il set di dati risultante conterrà uno o più file Parquet, ognuno corrispondente a una partizione di dati dal set di dati corrente. Questi file non vengono materializzati finché non vengono scaricati o letti da. |
| to_spark_dataframe |
Caricare tutti i record dal set di dati in un dataframe Spark. |
| with_timestamp_columns |
Definire le colonne timestamp per il set di dati. |
download
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Scaricare i flussi di file definiti dal set di dati nel percorso locale.
download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)Parametri
- target_path
- str
Directory locale in cui scaricare i file. Se Nessuno, i dati verranno scaricati in una directory temporanea.
- overwrite
- bool
Indica se sovrascrivere i file esistenti. Il valore predefinito è False. I file esistenti verranno sovrascritti se la sovrascrittura è impostata su True; in caso contrario, verrà generata un'eccezione.
- ignore_not_found
- bool
Indica se non è possibile scaricare se alcuni file puntati da set di dati non vengono trovati. Il valore predefinito è True. Il download avrà esito negativo se il download di file non riesce per qualsiasi motivo se ignore_not_found è impostato su False; in caso contrario, verrà registrata una guerra per errori non trovati e il dowload avrà esito positivo finché non vengono rilevati altri tipi di errore.
Restituisce
Restituisce una matrice di percorsi di file per ogni file scaricato.
Tipo restituito
drop_columns
Eliminare le colonne specificate dal set di dati.
Se viene eliminata una colonna timeeries, le funzionalità corrispondenti verranno eliminate anche per il set di dati restituito.
drop_columns(columns)Parametri
Restituisce
Restituisce un nuovo oggetto TabularDataset con le colonne specificate eliminate.
Tipo restituito
filter
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Filtrare i dati, lasciando solo i record corrispondenti all'espressione specificata.
filter(expression)Parametri
Restituisce
Set di dati modificato (non registrato).
Tipo restituito
Commenti
Le espressioni vengono avviate indicizzando il set di dati con il nome di una colonna. Supportano un'ampia gamma di funzioni e operatori e possono essere combinati usando operatori logici. L'espressione risultante verrà valutata in modo più pigre per ogni record quando si verifica un pull di dati e non la posizione in cui è definita.
dataset['myColumn'] > dataset['columnToCompareAgainst']
dataset['myColumn'].starts_with('prefix')
get_profile
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Ottenere il profilo dati dall'esecuzione più recente del profilo inviato per questo o lo stesso set di dati nell'area di lavoro.
get_profile(workspace=None)Parametri
- workspace
- Workspace
Area di lavoro in cui è stata inviata l'esecuzione del profilo. Impostazione predefinita per l'area di lavoro di questo set di dati. Obbligatorio se il set di dati non è associato a un'area di lavoro. Per altre informazioni sulle aree di lavoro, vedere https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.workspace.workspace .
Restituisce
Risultato del profilo dall'esecuzione più recente del tipo DatasetProfile.
Tipo restituito
get_profile_runs
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Restituisce le esecuzioni del profilo precedenti associate a questo o stesso set di dati nell'area di lavoro.
get_profile_runs(workspace=None)Parametri
- workspace
- Workspace
Area di lavoro in cui è stata inviata l'esecuzione del profilo. Impostazione predefinita per l'area di lavoro di questo set di dati. Obbligatorio se il set di dati non è associato a un'area di lavoro. Per altre informazioni sulle aree di lavoro, vedere https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.workspace.workspace .
Restituisce
oggetto iteratore di tipo azureml.core.Run.
Tipo restituito
keep_columns
Mantenere le colonne specificate e eliminare tutte le altre dal set di dati.
Se viene eliminata una colonna timeeries, le funzionalità corrispondenti verranno eliminate anche per il set di dati restituito.
keep_columns(columns, validate=False)Parametri
- validate
- bool
Indica se è possibile convalidare se i dati possono essere caricati dal set di dati restituito. Il valore predefinito è False. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente.
Restituisce
Restituisce un nuovo oggetto TabularDataset con solo le colonne specificate mantenute.
Tipo restituito
mount
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Creare una gestione contesto per il montaggio di flussi di file definiti dal set di dati come file locali.
mount(stream_column, mount_point=None)Parametri
- mount_point
- str
Directory locale in cui montare i file. Se Nessuno, i dati verranno montati in una directory temporanea, che è possibile trovare chiamando il metodo di istanza di MountContext.mount_point .
Restituisce
Restituisce un gestore del contesto per la gestione del ciclo di vita del montaggio.
Tipo restituito
partition_by
I dati partizionati verranno copiati e restituiti nella destinazione specificata dalla destinazione.
creare il set di dati dal percorso dati restituito con formato di partizione, registrare il set di dati se viene specificato, restituire il set di dati per il nuovo percorso dati con partizioni
ds = Dataset.get_by_name('test') # indexed by country, state, partition_date
# #1: call partition_by locally
new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
target=DataPath(datastore, "repartition"))
partition_keys = newds.partition_keys # ['country']
# new_ds can be passed to PRS as input dataset
partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)Parametri
Obbligatorio, il percorso dell'archivio dati in cui verranno caricati i dati parquet del dataframe. Una cartella guid verrà generata nel percorso di destinazione per evitare conflitti.
- show_progress
- bool
Facoltativo, indica se visualizzare lo stato di avanzamento del caricamento nella console. Le impostazioni predefinite sono True.
- partition_as_file_dataset
Facoltativo, indica se restituisce un filedataset o meno. Le impostazioni predefinite sono False.
Restituisce
Set di dati salvato o registrato.
Tipo restituito
random_split
Suddividere i record nel set di dati in due parti in modo casuale e approssimativamente in base alla percentuale specificata.
Il primo set di dati contiene circa percentage i record totali e il secondo set di dati i record rimanenti.
random_split(percentage, seed=None)Parametri
- percentage
- float
Percentuale approssimativa per dividere il set di dati. Questo deve essere un numero compreso tra 0,0 e 1,0.
Restituisce
Restituisce una tupla di nuovi oggetti TabularDataset che rappresentano i due set di dati dopo la suddivisione.
Tipo restituito
skip
Ignorare i record dall'inizio del set di dati dal conteggio specificato.
skip(count)Parametri
Restituisce
Restituisce un nuovo oggetto TabularDataset che rappresenta un set di dati con record ignorati.
Tipo restituito
submit_profile_run
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Inviare un'esecuzione di sperimentazione per calcolare il profilo dati.
Un profilo dati può essere molto utile per comprendere i dati di input, identificare anomalie e valori mancanti fornendo informazioni utili sui dati come il tipo di colonna, i valori mancanti e così via.
submit_profile_run(compute_target, experiment, cache_datastore_name=None)Parametri
- compute_target
- Union[str, ComputeTarget]
Destinazione di calcolo su cui eseguire l'esperimento di calcolo del profilo. Specificare "local" per usare il calcolo locale. Per altre informazioni sulle destinazioni di calcolo, vedere https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.computetarget altre informazioni.
- experiment
- Experiment
Oggetto esperimento. Per altre informazioni sugli esperimenti, vedere https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.experiment.experiment .
- cache_datastore_name
- str
nome dell'archivio dati per archiviare la cache del profilo, se none, verrà usato l'archivio dati predefinito
Restituisce
Oggetto di tipo DatasetProfileRun classe.
Tipo restituito
take
Eseguire un esempio di record dall'inizio del set di dati dal conteggio specificato.
take(count)Parametri
Restituisce
Restituisce un nuovo oggetto TabularDataset che rappresenta il set di dati di esempio.
Tipo restituito
take_sample
Eseguire un esempio casuale di record nel set di dati approssimativamente in base alla probabilità specificata.
take_sample(probability, seed=None)Parametri
Restituisce
Restituisce un nuovo oggetto TabularDataset che rappresenta il set di dati di esempio.
Tipo restituito
time_after
Filtrare TabularDataset con colonne timestamp dopo un'ora di inizio specificata.
time_after(start_time, include_boundary=True, validate=True)Parametri
- include_boundary
- bool
Indicare se la riga associata all'ora di limite (start_time) deve essere inclusa.
- validate
- bool
Indica se verificare se le colonne specificate esistono nel set di dati. Il valore predefinito è True. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente.
Restituisce
TabularDataset con il nuovo set di dati filtrato.
Tipo restituito
time_before
Filtrare TabularDataset con colonne di timestamp prima di un'ora di fine specificata.
time_before(end_time, include_boundary=True, validate=True)Parametri
- include_boundary
- bool
Indicare se la riga associata all'ora di limite (end_time) deve essere inclusa.
- validate
- bool
Indica se verificare se le colonne specificate esistono nel set di dati. Il valore predefinito è True. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente.
Restituisce
TabularDataset con il nuovo set di dati filtrato.
Tipo restituito
time_between
Filtrare TabularDataset tra un orario di inizio e di fine specificato.
time_between(start_time, end_time, include_boundary=True, validate=True)Parametri
- include_boundary
- bool
Indica se la riga associata all'ora di limite (start_end e end_time) deve essere inclusa.
- validate
- bool
Indica se verificare se le colonne specificate esistono nel set di dati. Il valore predefinito è True. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente.
Restituisce
TabularDataset con il nuovo set di dati filtrato.
Tipo restituito
time_recent
Filtrare TabularDataset per contenere solo la durata specificata (quantità) di dati recenti.
time_recent(time_delta, include_boundary=True, validate=True)Parametri
- include_boundary
- bool
Indicare se la riga associata all'ora di limite (time_delta) deve essere inclusa.
- validate
- bool
Indica se verificare se le colonne specificate esistono nel set di dati. Il valore predefinito è True. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente.
Restituisce
TabularDataset con il nuovo set di dati filtrato.
Tipo restituito
to_csv_files
Convertire il set di dati corrente in fileDataset contenente file CSV.
Il set di dati risultante conterrà uno o più file CSV, ognuno corrispondente a una partizione di dati dal set di dati corrente. Questi file non vengono materializzati finché non vengono scaricati o letti da.
to_csv_files(separator=',')Parametri
Restituisce
Restituisce un nuovo oggetto FileDataset con un set di file CSV contenenti i dati in questo set di dati.
Tipo restituito
to_dask_dataframe
Nota
Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.
Restituisce un dataframe Dask che può leggere in modo più pigri i dati nel set di dati.
to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')Parametri
- sample_size
Numero di record da leggere per determinare lo schema e i tipi.
- dtypes
Un dict facoltativo che specifica le colonne previste e i relativi dtype. sample_size viene ignorato se viene specificato.
- on_error
Come gestire i valori di errore nel set di dati, ad esempio quelli generati da un errore durante l'analisi dei valori. I valori validi sono "null" che li sostituisce con Null; e 'fail' che comporterà un'eccezione.
- out_of_range_datetime
Come gestire i valori di data e ora esterni all'intervallo supportato da Pandas. I valori validi sono "null" che li sostituisce con Null; e 'fail' che comporterà un'eccezione.
Restituisce
dask.dataframe.core.DataFrame
to_pandas_dataframe
Caricare tutti i record dal set di dati in un dataframe pandas.
to_pandas_dataframe(on_error='null', out_of_range_datetime='null')Parametri
- on_error
Come gestire i valori di errore nel set di dati, ad esempio quelli generati da un errore durante l'analisi dei valori. I valori validi sono "null" che li sostituisce con Null; e 'fail' che comporterà un'eccezione.
- out_of_range_datetime
Come gestire i valori di data e ora esterni all'intervallo supportato da Pandas. I valori validi sono "null" che li sostituisce con Null; e 'fail' che comporterà un'eccezione.
Restituisce
Restituisce un dataframe pandas.
Tipo restituito
to_parquet_files
Convertire il set di dati corrente in fileDataset contenente file Parquet.
Il set di dati risultante conterrà uno o più file Parquet, ognuno corrispondente a una partizione di dati dal set di dati corrente. Questi file non vengono materializzati finché non vengono scaricati o letti da.
to_parquet_files()Restituisce
Restituisce un nuovo oggetto FileDataset con un set di file Parquet contenenti i dati in questo set di dati.
Tipo restituito
to_spark_dataframe
Caricare tutti i record dal set di dati in un dataframe Spark.
to_spark_dataframe()Restituisce
Restituisce un dataframe Spark.
Tipo restituito
with_timestamp_columns
Definire le colonne timestamp per il set di dati.
with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)Parametri
- timestamp
- str
Nome della colonna come timestamp (usato per essere definito fine_grain_timestamp) (facoltativo). Il valore predefinito è None(clear).
- partition_timestamp
- str
Nome della colonna partition_timestamp (utilizzato per essere definito timestamp granulare grossolano) (facoltativo). Il valore predefinito è None(clear).
- validate
- bool
Indica se verificare se le colonne specificate esistono nel set di dati. Il valore predefinito è False. La convalida richiede che l'origine dati sia accessibile dal calcolo corrente.
Restituisce
Restituisce un nuovo tabularDataset con colonne timestamp definite.
Tipo restituito
Commenti
Il metodo definisce le colonne da usare come timestamp. Le colonne timestamp in un set di dati consentono di considerare i dati come dati della serie temporale e abilitare funzionalità aggiuntive. Quando un set di dati ha entrambi timestamp (used to be referred as fine_grain_timestamp) e partition_timestamp (used to be referred as coarse grain timestamp) specificato, le due colonne devono rappresentare la stessa sequenza temporale.
Attributi
timestamp_columns
Commenti e suggerimenti
Presto disponibile: Nel corso del 2024 verranno gradualmente disattivati i problemi di GitHub come meccanismo di feedback per il contenuto e ciò verrà sostituito con un nuovo sistema di feedback. Per altre informazioni, vedere https://aka.ms/ContentUserFeedback.
Invia e visualizza il feedback per