Grupo de comandos fs

Nota:

Esta información se aplica a las versiones 0.205 y posteriores de la CLI de Databricks, que se encuentran en Versión preliminar pública. Para encontrar su versión de la CLI de Databricks, ejecute databricks -v.

El grupo de comandos fs de la CLI de Databricks permite automatizar volúmenes en Unity Catalog y automatizar objetos del sistema de archivos de Databricks (DBFS).

Ejecute los comandos fs anexándolos a databricks fs. A fin de mostrar la ayuda para este comando fs, ejecute databricks fs -h.

Los comandos fs requieren que las rutas de volúmenes comiencen por dbfs:/Volumes y que las rutas de directorios y archivos en DBFS comiencen por dbfs:/.

Importante

Antes de usar la CLI de Databricks, asegúrese de configurar la CLI de Databricks y de configurar la autenticación para la CLI de Databricks.

Enumerar el contenido de un directorio

Para enumerar el contenido de un directorio en un volumen o en DBFS, use el comando ls. Especifique la ruta de acceso al directorio. En los ejemplos siguientes se enumeran los nombres de los objetos que se encuentran en la raíz del volumen especificado o en la raíz de DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume
databricks fs ls dbfs:/

Para mostrar la información completa, incluidos los tipos de objetos, tamaños, tiempos de modificación desde Epoch en milisegundos, así como los nombres de los objetos, use la opción --long o -l. En los ejemplos siguientes se enumera la información completa de los objetos que se encuentran en la raíz del volumen especificado o en un directorio tmp de la raíz de DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l
databricks fs ls dbfs:/tmp -l

Para mostrar las rutas de acceso del objetos completas, use la opción --absolute. En los ejemplos siguientes se enumera la información completa de los objetos, y la ruta completa de los objetos, que se encuentran en la raíz del volumen especificado o en un directorio tmp de la raíz de DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l --absolute
databricks fs ls dbfs:/tmp -l --absolute

Generar el contenido de un archivo

Para generar el contenido de un archivo, use el comando cat. Especifique la ruta de acceso al archivo en DBFS. En los ejemplos siguientes se genera el contenido de un archivo denominado babynames.csv encontrado en la raíz del volumen especificado o en un directorio tmp de la raíz de DBFS:

databricks fs cat dbfs:/Volumes/main/default/my-volume/babynames.csv
databricks fs cat dbfs:/tmp/babynames.csv

En los ejemplos siguientes se devuelven errores, ya que se intenta generar el contenido de un directorio en lugar de un archivo:

databricks fs cat dbfs:/Volumes/main/default/my-volume
databricks fs cat dbfs:/tmp

Creación de un directorio

Para crear un directorio, use el comando mkdir. Especifique la ruta de acceso al directorio que se va a crear en un volumen o en DBFS. Si el directorio ya existe, no sucede nada. En los ejemplos siguientes se crea un directorio denominado squirrel-data en la raíz del volumen especificado o en un directorio denominado tmp de la raíz de DBFS:

databricks fs mkdir dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs mkdir dbfs:/tmp/squirrel-data

Copiar un directorio o un archivo

Para copiar un directorio o un archivo, use el comando cp. Especifique las rutas de acceso al directorio o archivo de origen que se va a copiar y su destino. Puede copiar directorios y archivos entre el sistema de archivos local y DBFS, y puede copiar directorios y archivos entre rutas de acceso de DBFS. Para sobrescribir los archivos existentes, use la opción --overwrite. Para copiar archivos de forma recursiva dentro de un directorio, use la opción --recursive o -r.

El comando cp supone file:/, si se omite file:/.

En los siguientes ejemplos se copia un directorio denominado squirrel-data y su contenido, desde una ruta de acceso del sistema de archivos local a un directorio squirrels dentro de la raíz del volumen especificado o la raíz de DBFS.

databricks fs cp /Users/<username>/squirrel-data dbfs:/Volumes/main/default/my-volume/squirrels -r
databricks fs cp /Users/<username>/squirrel-data dbfs:/squirrels -r

En el siguiente ejemplo se copia un archivo denominado squirrels.csv desde una ruta de acceso del sistema de archivos local a un directorio denominado squirrel-data dentro de la raíz del volumen especificado o la raíz de DBFS. Si el archivo ya existe en el destino, se sobrescribe.

databricks fs cp /Users/<username>/squirrels.csv dbfs:/Volumes/main/default/my-volume/squirrel-data --overwrite
databricks fs cp /Users/<username>/squirrels.csv dbfs:/squirrel-data --overwrite

Quitar un directorio

Para quitar un directorio, use el comando rm. Especifique la ruta de acceso al directorio existente en DBFS. En los ejemplos siguientes se elimina un directorio denominado squirrel-data de la raíz del volumen especificado o de un directorio tmp de la raíz de DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs rm dbfs:/tmp/squirrel-data

Si el directorio no existe, no ocurre nada y no se devuelve ningún error.

Si el directorio existe pero no está vacío, se devuelve un error. Para quitar un directorio no vacío y todo su contenido, use la opción --recursive o -r. En los ejemplos siguientes se elimina un directorio no vacío denominado squirrel-data de la raíz del volumen especificado o de un directorio tmp de la raíz de DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data -r
databricks fs rm dbfs:/tmp/squirrel-data -r