Compartir a través de

cloud_files_state función con valores de tabla

  • Artículo

Se aplica a:casilla marcada como sí Databricks SQL casilla marcada como Sí Databricks Runtime 11.3 LTS y versiones posteriores

Devuelve el estado a nivel de archivo de un flujo de Auto Loader o read_files.

Sintaxis

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumentos

  • table_name: identificador de la tabla de streaming en la que está escribiendo read_files. El nombre no debe incluir una especificación temporal. Disponible en Databricks Runtime 13.3 LTS y versiones posteriores.
  • checkpoint: un literal STRING. Directorio de punto de control de una secuencia mediante el origen del cargador automático. Consulte ¿Qué es Auto Loader?.

Devoluciones

Devuelve una tabla con el esquema siguiente:

  • path STRING NOT NULL PRIMARY KEY

    Ruta de acceso de un archivo.

  • size BIGINT NOT NULL

    Tamaño de un archivo en bytes.

  • create_time TIMESTAMP NOT NULL

    Hora de creación de un archivo.

  • discovery_time TIMESTAMP NOT NULL

    Importante

    Esta característica se encuentra en versión preliminar privada. Para probarla, acuda a su contacto de Azure Databricks.

    La hora a la que se detectó un archivo.

  • commit_time TIMESTAMP

    Importante

    Esta característica se encuentra en versión preliminar privada. Para probarla, acuda a su contacto de Azure Databricks.

    Hora a la que se confirmó un archivo en el punto de control después del procesamiento. NULL si el archivo aún no se ha procesado. Un archivo podría procesarse, pero podría marcarse como confirmado arbitrariamente más adelante. Marcar el archivo como confirmado significa que Auto Loader no requiere el archivo para volver a procesarlo.

  • archive_time TIMESTAMP

    Importante

    Esta característica se encuentra en versión preliminar privada. Para probarla, acuda a su contacto de Azure Databricks.

    Hora a la que se archivó un archivo. NULL si el archivo no se ha archivado.

  • source_id STRING

    Identificador del origen de Auto Loader en la consulta de streaming. Este valor es '0' para las secuencias que ingieren desde una única ubicación del almacén de objetos en la nube.

Permisos

Debe tener:

  • Privilegios de OWNER en la tabla de streaming si usa un identificador de tabla de streaming.
  • Privilegios de READ FILES en la ubicación del punto de control si proporciona un punto de control en una ubicación externa.

Ejemplos

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path