cloud_files_state função com valor de tabela

  • Artigo

Aplica-se a:Marque Sim Databricks SQL Marque Sim Databricks Runtime 11.3 LTS e superior

Retorna o estado no nível de arquivo de um carregador automático ou read_files fluxo.

Sintaxe

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumentos

  • table_name: O identificador da tabela de streaming que está sendo gravada pelo read_files. O nome não deve incluir uma especificação temporal. Disponível em Databricks Runtime 13.3 LTS e superior.
  • checkpoint: Um STRING literal. O diretório de ponto de verificação para um fluxo usando a fonte Auto Loader. Consulte O que é Auto Loader?.

Devoluções

Retorna uma tabela com o seguinte esquema:

  • path STRING NOT NULL PRIMARY KEY

    O caminho de um arquivo.

  • size BIGINT NOT NULL

    O tamanho de um arquivo em bytes.

  • create_time TIMESTAMP NOT NULL

    A hora em que um arquivo foi criado.

  • discovery_time TIMESTAMP NOT NULL

    Importante

    Esta funcionalidade está em Pré-visualização Privada. Para a experimentar, contacte o representante do Azure Databricks.

    A hora em que um arquivo foi descoberto.

  • commit_time TIMESTAMP

    Importante

    Esta funcionalidade está em Pré-visualização Privada. Para a experimentar, contacte o representante do Azure Databricks.

    O tempo que um arquivo foi confirmado no ponto de verificação após o processamento. NULL se o ficheiro ainda não estiver processado. Um arquivo pode ser processado, mas pode ser marcado como confirmado arbitrariamente mais tarde. Marcar o arquivo como confirmado significa que o Auto Loader não requer o arquivo para processamento novamente.

  • archive_time TIMESTAMP

    Importante

    Esta funcionalidade está em Pré-visualização Privada. Para a experimentar, contacte o representante do Azure Databricks.

    A hora em que um arquivo foi arquivado. NULL se o ficheiro não tiver sido arquivado.

  • source_id STRING

    A ID da origem do Auto Loader na consulta de streaming. Esse valor é '0' para fluxos que ingerem de um único local de armazenamento de objetos na nuvem.

Permissões

Você precisa ter:

  • OWNER privilégios na tabela de streaming se estiver usando um identificador de tabela de streaming.
  • READ FILES privilégios no local do ponto de verificação se fornecer um ponto de verificação em um local externo.

Exemplos

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path