OutputFileDatasetConfig Classe

Represente como copiar a saída de uma execução e ser promovido como um FileDataset.

O OutputFileDatasetConfig permite especificar como pretende que uma determinada trajetória local no alvo do cálculo seja carregada para o destino especificado. Se nenhum argumento for passado para o construtor, geraremos automaticamente um nome, um destino e um caminho local.

Um exemplo de não passar argumentos:


   workspace = Workspace.from_config()
   experiment = Experiment(workspace, 'output_example')

   output = OutputFileDatasetConfig()

   script_run_config = ScriptRunConfig('.', 'train.py', arguments=[output])

   run = experiment.submit(script_run_config)
   print(run)

Um exemplo de criação de uma saída, em seguida, promover a saída para um conjunto de dados tabular e registá-la com o nome foo:


   workspace = Workspace.from_config()
   experiment = Experiment(workspace, 'output_example')

   datastore = Datastore(workspace, 'example_adls_gen2_datastore')

   # for more information on the parameters and methods, please look for the corresponding documentation.
   output = OutputFileDatasetConfig().read_delimited_files().register_on_complete('foo')

   script_run_config = ScriptRunConfig('.', 'train.py', arguments=[output])

   run = experiment.submit(script_run_config)
   print(run)
Herança
OutputFileDatasetConfig
OutputFileDatasetConfig

Construtor

OutputFileDatasetConfig(name=None, destination=None, source=None, partition_format=None)

Parâmetros

name
<xref:str>

O nome da saída específica para esta corrida. Isto é geralmente utilizado para fins de linhagem. Se estiver definido para Nenhum, geraremos automaticamente um nome. O nome também se tornará uma variável ambiental que contém o caminho local de onde pode escrever os seus ficheiros de saída e pastas para que serão enviados para o destino.

destination
<xref:tuple>

O destino para copiar a saída para. Se for definido para Nenhum, copiaremos a saída para a loja de dados workspaceblobstore, sob o caminho /dataset/{run-id}/{output-name}, onde o id run é o ID do Run e o nome de saída é o nome de saída do parâmetro de nome acima. O destino é um tuple onde o primeiro item é a datastore e o segundo item é o caminho dentro da datastore para copiar os dados para.

O caminho dentro da datastore pode ser um caminho de modelo. Um caminho de modelo é apenas um caminho regular, mas com espaços reservados dentro. Esses espaços reservados serão então resolvidos no momento oportuno. A sintaxe para espaços reservados é {placeholder}, por exemplo, /path/with/{placeholder}. Atualmente, apenas dois espaços reservados são suportados, {run-id} e {output-name}.

source
<xref:str>

O caminho dentro do alvo do cálculo para copiar os dados de. Se estiver definido para Nenhum, vamos definir isto para um diretório que criamos dentro do diretório temporário do alvo de computação.

partition_format
<xref:str>

Especifique o formato de partição do caminho. Incumprimentos a Nenhum. A informação de partição de cada caminho será extraída em colunas com base no formato especificado. A parte do formato '{column_name}' cria coluna de cordas, e '{column_name:yyyy/MM/dd/HH/mm/ss}' cria coluna de data, onde 'yyyy', 'MM', 'dd', 'HH', 'mm' e 'ss' são usados para extrair ano, mês, dia, hora, minuto e segundo para o tipo de data. O formato deve partir-se da posição da primeira chave de partição até ao fim do percurso do ficheiro. Por exemplo, dado o caminho. /Contas/2019/01/data.parquet' onde a partição é por nome e hora do departamento, partition_format='/{Department}/{PartitionDate:yyyy/MM/dd}/data.parquet' cria uma coluna de cordas 'Department' com o valor 'Contas' e uma coluna de data 'PartitionDate' com o valor '2019-01-01'.

Observações

Pode passar o OutputFileDatasetConfig como argumento para a sua execução, e será automaticamente traduzido para o caminho local no cálculo. O argumento de origem será utilizado se um for especificado, caso contrário geraremos automaticamente um diretório na pasta temporária do SO. Os ficheiros e pastas no interior do diretório de origem serão então copiados para o destino com base na configuração da saída.

Por predefinição, o modo pelo qual a saída será copiada para o armazenamento do destino será definido para montar. Para obter mais informações sobre o modo de montagem, consulte a documentação para as_mount.

Métodos

as_input

Especificar como consumir a saída como entrada nos passos seguintes do gasoduto.

as_mount

Desa ajuste o modo de saída para montar.

Para o modo de montagem, o diretório de saída será um diretório montado em FUSE. Os ficheiros escritos no diretório montado serão carregados quando o ficheiro estiver fechado.

as_upload

Desa ajuste o modo de saída para o upload.

Para o modo de upload, os ficheiros escritos no diretório de saída serão carregados no final do trabalho. Se o trabalho falhar ou for cancelado, o diretório de saída não será carregado.

as_input

Especificar como consumir a saída como entrada nos passos seguintes do gasoduto.

as_input(name=None)

Parâmetros

name
<xref:str>

O nome da entrada específica para a execução.

Devoluções

Um DatasetConsumptionConfig caso que descreve como entregar os dados de entrada.

Tipo de retorno

as_mount

Desa ajuste o modo de saída para montar.

Para o modo de montagem, o diretório de saída será um diretório montado em FUSE. Os ficheiros escritos no diretório montado serão carregados quando o ficheiro estiver fechado.

as_mount(disable_metadata_cache=False)

Parâmetros

disable_metadata_cache
<xref:bool>

Se cache metadados no nó local, se for desativado um nó não será capaz de ver ficheiros gerados a partir de outros nós durante o funcionamento do trabalho.

Devoluções

Um OutputFileDatasetConfig caso com modo definido para montar.

Tipo de retorno

as_upload

Desa ajuste o modo de saída para o upload.

Para o modo de upload, os ficheiros escritos no diretório de saída serão carregados no final do trabalho. Se o trabalho falhar ou for cancelado, o diretório de saída não será carregado.

as_upload(overwrite=False, source_globs=None)

Parâmetros

overwrite
<xref:bool>

Se substituir ficheiros que já existem no destino.

source_globs
list[<xref:str>]

Padrões glob usados para filtrar ficheiros que serão carregados.

Devoluções

Um OutputFileDatasetConfig caso com o modo definido para carregar.

Tipo de retorno